JP2007214837A - 動画配信装置、動画配信方法及びコンピュータプログラム - Google Patents

Abstract

【課題】符号化処理を無駄なく実行する為のスケジューリングを行うことができ、動画像のフォーマットに依存しないで、処理能力以上の要求が来た場合にも対応可能な動画配信装置及び方法を提供する。
【解決手段】動画を構成する単位画像の入力毎に、ストリーム毎の処理負荷を基に、単位時間内に処理可能なストリームと処理できないストリームとに切り分ける切り分けステップ（Ｓ５２０）と、前記処理可能なストリームを生成する選択ストリーム生成ステップ（Ｓ５４０）と、前記処理できなかったストリームを、次の単位画像の処理で優先的に処理する優先処理ステップ（Ｓ５３０）とを有し、フレーム毎に優先順位の高いストリームから順に符号化を割り当て、処理しきれないストリームは、次のフレームで高い優先順位で処理可能なように制御する。
【選択図】図５

Description

本発明は、入力された１つの動画像を、条件の異なる複数のストリームに加工して、複数のクライアントに配信する動画配信装置、動画配信方法及びコンピュータプログラムに関する。

従来、フレーム速度の総和がフレーム資源の範囲内である複数ストリームに対し、一つのフレームを一つのストリームに割り当てるスケジューリングを行なうことにより、複数のクライアントに配信するシステムが提案されている。（例えば、特許文献１参照）

また、１つの入力動画像を階層符号化し、複数のクライアントに対し、クライアント毎に送るフレーム及び階層を制御することを行う事により、条件の異なる複数のストリームを配信するシステムも提案されている。（例えば、特許文献２参照）

また、使用するマシンの性能に応じて符号化アルゴリズムを選択するシステムも提案されている。（例えば、特許文献３参照）

特開２０００−３４１６６８号公報 特開２００３−２４４６７６号公報 特開２００４−３２０６６７号公報

上記の特許文献１の例では、フレーム速度の総和がフレーム資源の範囲内の場合にしか対応できないという問題点が有る。また、短時間で終わる処理でも１フレームでは１つのストリームしか割り当てられない為効率が悪い。

特許文献２の例では、階層符号化が前提となっており、より一般的に普及している階層符号化を用いない動画像のフォーマット、例えばＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）のシンプルプロファイル等には対応できないという問題点が有る。

特許文献３の例では、マシンの性能に応じて符号化アルゴリズムを選択する方式である為、処理能力を超える要求が来た場合には対応できないという問題点が有る。

本発明は上記技術的課題に鑑みてなされたもので、その目的は、１つの動画ソースから、解像度、フレームレートなどの条件が異なる複数のストリームを同時生成して配信する動画配信装置及び方法であって、符号化処理を無駄なく実行する為のスケジューリングを行うことができ、動画像のフォーマットに依存しないで、処理能力以上の要求が来た場合にも対応可能な動画配信装置及び方法を提供することである。

本発明の動画配信装置は、動画像を入力する動画入力手段と、前記動画入力手段から得られる動画を構成する単位画像の入力毎に、条件の異なる複数の加工を行い複数のストリームを生成するストリーム生成手段と、前記複数のストリームを複数の配信先に送信する配信手段とを持つ動画配信装置であって、前記ストリーム生成手段が条件の異なる複数の加工を行う際に、ストリーム毎の処理負荷を基に、単位時間内に処理可能なストリームと処理できないストリームとに切り分ける切り分け手段と、前記処理可能なストリームを生成する選択ストリーム生成手段と、前記処理できなかったストリームは、次の単位画像の処理で優先的に処理する優先処理手段とを有することを特徴とする。
また、本発明の動画配信方法は、入力された動画像から、条件の異なる複数の加工によってストリームを生成し、複数の配信先に送信する動画配信装置の動画配信方法であって、前記動画を構成する単位画像の入力毎に、ストリーム毎の処理負荷を基に、単位時間内に処理可能なストリームと処理できないストリームとに切り分ける切り分けステップと、前記処理可能なストリームを生成する選択ストリーム生成ステップと、前記処理できなかったストリームを、次の単位画像の処理で優先的に処理する優先処理ステップとを有することを特徴とする。
また、本発明のコンピュータプログラムは、前記動画配信方法の各工程をコンピュータにて実行させることを特徴とする。

上記手段により、１つの動画ソースから、解像度、フレームレートなどの条件が異なる複数のストリームを同時生成して配信する動画配信装置及び方法に於いて、符号化処理を無駄なく実行する為のスケジューリングを行うことができ、動画像のフォーマットに依存しないで、処理能力以上の要求が来た場合にも、フレームレートを要求されているレートから徐々に下げていく事で対応し、負荷が軽くなっていくに従ってフレームレートが自動的に要求されているレートに戻っていく制御を行うことによって対応可能な動画配信装置及び方法が実現される。

（第１の実施の形態）
以下、図に基づき、本発明による動画配信装置及び方法の第１の実施の形態を説明する。図１乃至図６は、本発明の第１の実施の形態に係る動画配信システムを説明する図である。図１は、本実施の形態に係る動画配信システムの構成例を示す図である。

図１に於いて、カメラ部１００で入力された動画データは、動画配信装置１１０に渡され、解像度、フレームレートなどの条件が異なる複数のストリームとして同時生成し、ネットワーク１２０を通じて、様々な処理能力を持つ受信クライアント１３０、１４０、１５０に配信される。ここで、動画配信装置１１０で生成される複数のストリームの加工条件は、受信クライアント１３０、１４０、１５０からネットワーク１２０を通じて動画配信装置１１０に要求される。クライアント１３０、１４０、１５０は代表例として図示されているものであり、クライアントの数や種類は可変である。

図２は、動画配信装置１１０の構成を示すブロック図である。図２に於いて、２００は動画配信装置１１０全体の制御を行うＣＰＵである。２０１はシステムバスで、２１０から２７０に示す各ブロックとＣＰＵ２００が接続され、データ及び制御コマンドが流れる。

２１０はＣＰＵ２００が行う制御のプログラムが格納されているＲＯＭである。２２０はカメラ部１００から動画像を１フレーム毎に受け取る動画像入力部で、本実施の形態では、ＶＧＡ（６４０×４８０画素）のデータが、毎秒３０フレーム（３０ｆｐｓ）で入力される。

２３０は動画像入力部２２０で受け取った１フレームの画像を、受信クライアントの要求で必要とされる種類の解像度に変換する解像度変換部である。

２４０はストリーム数に応じて、動画像入力部２２０で受け取った画像、あるいは解像度変換部２３０で変換された複数の画像を符号化する画像符号化部である。本実施の形態では、この符号化処理は、ＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）のシンプルプロファイル規格を用いて符号化される。ＭＰＥＧ４シンプルプロファイル規格では、１つの入力画像をブロックに分割し、ブロック毎に離散コサイン変換、量子化、可変長符号化といった処理を施して生成するＩ−ＶＯＰ（イントラ符号化されたビデオオブジェクトプレーン）、及び、１つ前の画像への参照が用いられたＰ−ＶＯＰ（前方予測符号化ビデオオブジェクトプレーン）が使用される。

２６０は通信部で、ネットワーク１２０を通じて、受信クライアントからの要求を受け取りＣＰＵ２００に知らせたり、画像符号化部２４０で符号化されたストリームデータを受信クライアントに配信するインターフェースである。

２７０はＲＡＭ（ランダムアクセスメモリ）で以下に挙げる２７１〜２７４の内容及び、その他の明記しないワークエリアを含む。

２７１は現画像用バッファで、動画像入力部２２０で受け取った１フレームの画像を現画像１バッファに、解像度変換部２３０で解像度が変換された画像を、現画像２〜Ｎバッファに格納する。２７２は参照画像用バッファで、Ｐ−ＶＯＰを作成する為に前回生成された画像を参照画像として、複数（１〜Ｍ）のストリーム毎に格納しておくバッファである。２７３は符号化された画像をストリーム毎に格納しておく符号化画像用バッファである。２７４はストリーム管理テーブルで、各ストリームに対応する符号化データを生成する為の情報を格納しておくものである。

図３は、ストリーム管理テーブル２７４の構成及び実際のデータ例を示す図である。項目３００は、ストリームに対応してつけられた番号で、空いている番号のうち小さいものから順に使用される。

項目３１０は符号化処理をスキップするフレーム数であり、動画像入力部２２０からの入力が３０ｆｐｓなので、３０ｆｐｓの動画を生成するストリームは「０」、１５ｆｐｓの動画を生成するストリームは「１」、１０ｆｐｓの動画を生成するストリームは「２」といった数値となる。

項目３２０は各ストリームの１フレームあたりの処理負荷を相対的に表す数値で、本実施の形態では、生成するストリームの１フレームの画素数に比例するものとして表されている。動画像入力部２２０からの入力サイズと等しい６４０×４８０画素の処理負荷を「４」とし、解像度変換部２３０で１／２の画素数に縮小された４８０×３２０画素の処理負荷を「２」、解像度変換部２３０で１／４の画素数に縮小された３２０×２４０画素の処理負荷を「１」としている。

項目３３０は優先度を表す数値で、１〜９の範囲とし、数値の大きいもの程優先度が高いストリームである。

項目３４０は、スキップ値３１０の値から、１フレーム毎に１ずつカウントダウンされるカウント値で、正の値の間は符号化データが生成されない。値が「０」以下になると符号化が行われる対象となるが、画像符号化部２４０の処理可能量を超える場合、後述のアルゴリズムに従って符号化処理が保留される場合がある。符号化処理が保留されると、このカウント３４０の項目は負の数値になる。また、符号化処理が行われた場合には、スキップ値３１０の値に戻される。

項目３５０は、後述のアルゴリズムに従い、符号化処理を行うか行わないか判定した結果が書き込まれるフラグ項目で、符号化処理を行う場合に「１」となり、符号化処理終了時に「０」となる。

図４は、本実施の形態の動画配信装置１１０に於いて、１フレームの画像を処理する際の流れを示すフローチャートである。

ステップＳ４００では、カメラ部１００からの動画像を１フレーム分、動画像入力部２２０で取込み、現画像用バッファ２７１の現画像１バッファに格納する。

ステップＳ４１０では、通信部２６０をチェックして、受信クライアントからコマンドが送られてきているかどうか確認し、ストリームを削除するコマンドが送られてきている場合には、ストリーム管理テーブル２７４から該当ストリームを削除する。また、新規ストリームを追加するコマンドが送られてきている場合には、ストリーム追加の処理を行う。（詳細は後述の図６で説明）

ステップＳ４２０では、現在のフレームで処理を行うストリームを選択する。処理するストリームは、ここでストリーム管理テーブル２７４のフラグ３５０の項目が「１」となる。（詳細は後述の図５で説明）

ステップＳ４３０、ステップＳ４４０では、必要とされる解像度全てが作成されるまで、現画像用バッファ２７１の現画像１バッファからデータを読み出し、解像度変換部２３０で解像度変換を行い、結果を現画像用バッファ２７１の現画像２〜Ｎバッファに書き込む。

ステップＳ４５０では、ストリーム管理テーブル２７４のフラグ３５０の項目が「１」となっている各ストリームに対し、現画像用バッファ２７１から（Ｐ−ＶＯＰでは、参照画像バッファ２７２からも）データを読み出し、画像符号化部２４０で符号化し、結果を符号化画像バッファ２７３に書き込んだ後、ストリーム管理テーブル２７４のフラグ３５０の項目を「０」にクリアする。

ステップＳ４６０では、ステップＳ４５０で生成され符号化画像バッファ２７３に書き込まれているデータの送信指示を、通信部２６０に対して行う。

ステップＳ４７０では、全ストリームが終了したかチェックし、終了するまでステップＳ４５０、ステップＳ４６０を繰り返す。

図５は、本実施の形態の動画配信装置１１０に於いて、処理するフレームを選択する処理を表すフローチャートである。

ステップＳ５００では、ストリーム管理テーブル２７４のカウント３４０の項目、及び優先度３３０の項目の数値を基に、カウント値が低いものから順に、またカウント値が等しいものは、優先度が高いものから順にストリーム番号を並べたリストを作成する。

ステップＳ５１０では、今回のフレームで符号化処理を行う予定の負荷量の合計値を表す変数「ＳＵＭ」を０に初期化する。以下、ステップＳ５２０からステップＳ５７０では、ステップＳ５００で作成したリストの順に選択処理を行う。

ステップＳ５２０では、ストリーム管理テーブル２７４のカウント３４０の項目をチェックし、正の数値である場合は今回の処理候補から外し、ステップＳ５３０でカウント３４０の項目を１減らす。

ステップＳ５４０では、検討対象のストリームを処理候補とした場合に、画像符号化部２４０の１フレーム辺りの処理能力の最大値（本実施の形態では７とする）を超えるかどうかチェックし、超える場合は今回の処理候補から外し、ステップＳ５３０でカウント３４０の項目を１減らす。超えない場合は処理候補として、ステップＳ５５０以下の処理を行う。

ステップＳ５５０では、ストリーム管理テーブル２７４のフラグ３５０の項目に「１」をセットし、カウント３４０の項目をスキップ値３１０の項目の値に戻す。

ステップＳ５６０では、今回のフレームで符号化処理を行う予定の負荷量の合計値を表す変数「ＳＵＭ」に、処理候補に追加したストリームの処理負荷３２０の項目の値を加算する。

ステップＳ５７０では、全ストリームが終了したかチェックし、終了するまでステップＳ５２０以下を繰り返す。

図６は、本実施の形態の動画配信装置１１０に於いて、新規のストリームを追加する処理を表すフローチャートである。この図６の新規ストリーム追加処理では、追加されるストリームの処理を開始するフレームを、既に配信されているストリームに対する影響が少なくなる位置を探索することによって決定する。

ステップＳ６００では、ストリーム管理テーブル２７４のストリーム番号３００の項目で使われていない最少の番号位置に、新規ストリームのデータを追加する。ここでは、スキップ３１０には、入力ソースのレートである３０ｆｐｓを目標フレームレートで割った値をセットし、ストリームの処理負荷３２０には、画像サイズから導き出される負荷値をセットし、優先度３３０にはクライアントからの指示をそのままセットし、カウント３４０には初期値として仮に「０」をセットし、フラグ３５０は「０」にクリアする。次に、カウント３４０がスキップ３１０と等しくなるまでステップＳ６１０以下を繰り返す。

ステップＳ６２０では、ストリーム管理テーブル２７４のデータをＲＡＭ２７０のワークエリアに退避する。

現在のカウント３４０を初期値として１０フレーム先まで処理した場合の、現行ストリームに与える影響を、ステップＳ６３０からステップＳ６５０でチェックする。ステップＳ６３０では、図５で示した流れに従い処理ストリームの選択を行う。ステップＳ６４０では、Ｓ６３０の結果ストリーム管理テーブル２７４のカウント３４０の項目が負の値になった個所（処理が保留されたストリーム数）をカウントする。

ステップＳ６５０では１０フレーム先まで計算されたかどうかをチェックし、ステップＳ６３０、ステップＳ６４０の処理を繰り返す。ステップＳ６３０からステップＳ６５０の処理で１０フレーム間で処理が保留されたストリーム数の総和を計算し、カウント３４０の初期値を共にワークエリアに残す。

ステップＳ６６０では、ステップＳ６２０で退避しておいたストリーム管理テーブル２７４のデータをＲＡＭ２７０のワークエリアから戻し、ステップＳ６７０で追加するストリームのカウント３４０を１増加し、ステップＳ６１０へ戻る。

カウント３４０がスキップ３１０と等しくなるまでステップＳ６１０以下を繰り返した後、ステップＳ６８０で、ワークエリアに残されているストリーム数の１０フレーム分の総和の中から最少のものを選択し、対応するカウント３４０の初期値を、新規追加するストリームのカウント値の初期値としてセットする。

図６の処理によって、新規ストリーム追加処理で、既に配信されているストリームに対する影響が少なくなる位置から新規ストリームが開始される。

（第２の実施の形態）
第１の実施の形態では、ストリーム数が増えて負荷が増大すると、全てのストリームのフレームレートが落ちていく。配信先で動画像として蓄積する場合などでは、フレームレートが固定で無ければならないこともある。本第２の実施の形態は、上記の様なフレームレートが固定のストリームが混在している場合にも対応するものである。

図７及び図８は、本実施の形態に係る動画配信システムを説明する図である。第１の実施形態の図１乃至図６については、本実施の形態にも適用できる為、説明を省略する。図７はストリーム管理テーブル２７４の例を示す図である。第１の実施の形態の図３と比較すると、フレームレートが固定である「Ｎｏ．０」のストリームが追加されている。この「Ｎｏ．０」のストリームは、第１の実施の形態では優先度３３０の項目は「１」〜「１０」であったのに対し、「−１」とすることによって固定のストリームであることを表している。

図８は、図５のステップＳ５００の処理である、カウント、優先度によってストリームを処理順に並び替える処理で使われる評価関数のフローチャートである。

この関数は、ＡとＢという２つのストリームを比較し、Ａの方が処理順序が先になる場合に「１」を返し、Ｂの方が処理順序が先になる場合に「０」を返す。以下、順を追って説明する。

ステップＳ８００では、Ａの優先度をチェックし、優先度に負の値が設定されていた場合にはＡの方が処理順序が先となり、ステップＳ８４０で戻り値を「１」とする。

次に、ステップＳ８１０では、Ｂの優先度をチェックし、優先度に負の値が設定されていた場合にはＢの方が処理順序が先となり、ステップＳ８４０で戻り値を「０」とする。

次に、ステップＳ８２０では、ＡのカウントとＢのカウントを比較し、Ａのカウントの方が小さい場合にはＡの方が処理順序が先、Ｂのカウントの方が小さい場合にはＢの方が処理順序が先と判定し、カウント値が等しい場合にはステップＳ８３０へ進む。

ステップＳ８３０では、Ａの優先度とＢの優先度を比較し、Ａの優先度が高いか等しい
場合にはＡの方が処理順序が先、Ｂの優先度が高い場合にはＢの方が処理順序が先と判定する。

図８で説明した評価関数を用いて、図５のステップＳ５００の処理でストリームを並べ替えることにより、まず、カウント値に関わらず優先度が負のものを先に処理を行い、次にカウント値が低いものから順に処理を行い、カウント値が等しいものは、優先度が高いものから処理が行われる。

本実施の形態では、フレームレートが固定のストリームが１つの例で説明したが、単位時間内で処理可能な範囲を超えない条件で、フレームレートが固定のストリームが複数ある場合にも対応可能である。

以上説明したように、本実施の形態ではフレームレートが固定のストリームが混在している場合にも対応することが可能となる。

（第３の実施の形態）
第１の実施形態では、各ストリームの処理負荷は、全てのフレームで一定の値として計算しているが、ＭＰＥＧ４の場合、ビデオオブジェクトプレーンＶＯＰの種類によって処理負荷が変動する場合がある。本第３の実施の形態は、同一のストリーム上でもビデオオブジェクトプレーンＶＯＰの種類によって処理負荷が変動する場合にも対応するものである。

図９及び図１０は、本実施の形態に係る動画配信システムを説明する図である。第１の実施の形態の図１乃至図４及び図６については、本実施の形態にも適用できる為、説明を省略する。

図９は本実施の形態に於けるストリーム管理テーブル２７４の例を示す図である。第１の実施の形態の図３と比較すると、図３の負荷３２０（Ｌｏａｄ）がＩ−ＶＯＰ生成時の処理負荷であるＩ−ＶＯＰ負荷９００（Ｌｏａｄ＿Ｉ）、Ｐ−ＶＯＰ生成時の処理負荷であるＰ−ＶＯＰ負荷９１０（Ｌｏａｄ＿Ｐ）の２つの項目に分かれた点と、ＶＯＰグループ９２０（ＧＯＶ）、ポインタ９３０（Ｐｏｉｎｔ）の項目が加えられている。ここで、ＶＯＰグループ９２０とは、複数のビデオオブジェクトプレーンＶＯＰをまとめてグループにした処理単位の事で、本実施の形態では、１つのＩ−ＶＯＰと１つ以上のＰ−ＶＯＰから構成され、この処理単位が繰り返される形で動画の符号化が行われる。ポインタ９３０は、次の符号化がＶＯＰグループ９２０のどのビデオオブジェクトプレーンＶＯＰとして符号化が行われるかを示すポインタで、初期値は０（先頭）となっている。

また、上記の変更に伴い、第１の実施の形態の図５のステップＳ５４０で説明した、画像符号化部２４０の１フレーム辺りの処理能力の最大値は、本実施の形態では１１とする。

図１０は本実施の形態に於いて、処理するフレームを選択する処理を表すフローチャートであり、第１の実施の形態の図５に処理を追加したものである。

ステップＳ５４０の前に挿入されたステップＳ１０００では、対象ストリームのポインタ９３０が指すＶＯＰグループ９２０の情報を基にして、次に行われる符号化がＩ−ＶＯＰであれば、Ｉ−ＶＯＰ負荷９００の項目の値、Ｐ−ＶＯＰであれば、Ｐ−ＶＯＰ負荷９１０の項目の値を負荷Ｌｏａｄの値とし、以下の処理を行う。

ステップＳ５６０の後ろに挿入されたステップＳ１０１０では、ポインタ９３０を１増加する。この時ＶＯＰグループ９２０の長さと同じ値に達したら、ポインタ９３０を０に戻す。

以上説明した構成により、本実施の形態では、ビデオオブジェクトプレーンＶＯＰの種類に応じた処理負荷を用いて計算が行われるため、同一のストリーム上でビデオオブジェクトプレーンＶＯＰの種類によって処理負荷が変動する場合にも対応することが可能となる。

また、上記の第１〜３の実施の形態で説明した動画配信システムでは、動画像はＭＰＥＧ４のシンプルプロファイルで符号化されているものとしたが、ＭＰＥＧ４の他のプロファイルや、ＭＰＥＧ２、Ｈ．２６４、ＭｏｔｉｏｎＪＰＥＧ２０００等、他の符号化形式を用いた場合、あるいは混在した場合にも同様の効果が得られる。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施の形態に係る動画配信システムの構成例を示す図である。 本発明の第１の実施の形態に係る動画配信装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る動画配信装置のストリーム管理テーブルの例を示す図である。 本発明の第１の実施の形態に係る動画配信装置のフレーム処理手順を説明するためのフローチャートである。 本発明の第１の実施の形態に係る動画配信装置の処理するフレームを選択する処理手順を説明するためのフローチャートである。 本発明の第１の実施の形態に係る動画配信装置の新規のストリームを追加する処理手順を説明するためのフローチャートである。 本発明の第２の実施の形態に係る動画配信システムのストリーム管理テーブルの例を示す図である。 本発明の第２の実施の形態に係る動画配信装置の処理する順位を決定する時の条件比較処理手順を説明するためのフローチャートである。 本発明の第３の実施の形態に係る動画配信システムのストリーム管理テーブルの例を示す図である。 本発明の第３の実施の形態に係る動画配信装置の処理するフレームを選択する処理手順を説明するためのフローチャートである。

符号の説明

１００ カメラ部
１１０ 動画配信装置
２００ ＣＰＵ
２１０ ＲＯＭ
２２０ 動画入力部
２３０ 解像度変換部
２４０ 画像符号化部
２６０ 通信部
２７０ ＲＡＭ
２７４ ストリーム管理テーブル

Claims (13)

1. 動画像を入力する動画入力手段と、
   前記動画入力手段から得られる動画を構成する単位画像の入力毎に、条件の異なる複数の加工を行い複数のストリームを生成するストリーム生成手段と、
   前記複数のストリームを複数の配信先に送信する配信手段とを持つ動画配信装置であって、
   前記ストリーム生成手段が条件の異なる複数の加工を行う際に、ストリーム毎の処理負荷を基に、単位時間内に処理可能なストリームと処理できないストリームとに切り分ける切り分け手段と、
   前記処理可能なストリームを生成する選択ストリーム生成手段と、
   前記処理できなかったストリームは、次の単位画像の処理で優先的に処理する優先処理手段とを有することを特徴とする動画配信装置。
2. 前記条件の異なる複数の加工は、単位画像のサイズ、フレームレート、圧縮率のいずれか又はその複数の組合せであることを特徴とする請求項１に記載の動画配信装置。
3. 前記ストリーム毎の処理負荷は、単位画像のサイズを基に計算される値であることを特徴とする請求項１又は２に記載の動画配信装置。
4. 前記複数のストリームに新たにストリームが追加される際、追加されるストリームの処理を開始する単位画像を、既に配信されているストリームに対する影響が少なくなる位置を探索して開始する開始位置探索手段を有することを特徴とする請求項１〜３のいずれか１項に記載の動画配信装置。
5. 前記切り分け手段は、フレームレートを固定する為に、常に最優先で処理可能なストリームに切り分けられるストリームを１つ以上持つ事が可能であることを特徴とする請求項１〜４のいずれか１項に記載の動画配信装置。
6. 前記ストリーム毎の処理負荷は、単一の単位画像から処理される時と、入力された時間の異なる複数の単位画像から処理される時とで、処理負荷が変化することを特徴とする請求項１〜５のいずれか１項に記載の動画配信装置。
7. 入力された動画像から、条件の異なる複数の加工によってストリームを生成し、複数の配信先に送信する動画配信装置の動画配信方法であって、
   前記動画を構成する単位画像の入力毎に、ストリーム毎の処理負荷を基に、単位時間内に処理可能なストリームと処理できないストリームとに切り分ける切り分けステップと、
   前記処理可能なストリームを生成する選択ストリーム生成ステップと、
   前記処理できなかったストリームを、次の単位画像の処理で優先的に処理する優先処理ステップとを有することを特徴とする動画配信方法。
8. 前記条件の異なる複数の加工は、単位画像のサイズ、フレームレート、圧縮率のいずれか又はその複数の組み合わせであることを特徴とする請求項７に記載の動画配信方法。
9. 前記ストリーム毎の処理負荷は、単位画像のサイズを基に計算される値であることを特徴とする請求項７又は８に記載の動画配信方法。
10. 前記複数のストリームに新たにストリームが追加される際、追加されるストリームの処理を開始する単位画像を、既に配信されているストリームに対する影響が少なくなる位置を探索して開始する開始位置探索ステップを有することを特徴とする請求項７〜９のいずれか１項に記載の動画配信方法。
11. 前記切り分け手段は、フレームレートを固定する為に、常に最優先で処理可能なストリームに切り分けられるストリームを１つ以上持つ事が可能であることを特徴とする請求項７〜１０のいずれか１項に記載の動画配信方法。
12. 前記ストリーム毎の処理負荷は、単一の単位画像から処理される時と、入力された時間の異なる複数の単位画像から処理される時とで、処理負荷が変化することを特徴とする請求項７〜１１のいずれか１項に記載の動画配信方法。
13. 請求項７〜１２のいずれか１項に記載の方法の各工程をコンピュータにて実行させることを特徴とするコンピュータプログラム。

Images