JP2009543513A - パケットベースのビデオ放送システムにおける映像複雑度の計算 - Google Patents

Abstract

チャネルの帯域幅変化及びシーン内容の変化を考慮した映像複雑度を示す統計モデルを使用して、ビデオストリーミング、ＩＰＴＶ、及び放送アプリケーションにおけるリアルタイム映像の複雑度を求める方法を提供する。放送されるビデオストリームの帯域幅変化及び映像複雑度に比例して、利用可能なチャネル帯域幅を複数のビデオストリーム間で不均等に分配することができる。利用可能なチャネル帯域幅の分配は、帯域幅変化及び映像複雑度を考慮に入れた確率行列から決定されるように、個々のビデオストリームの映像複雑度の要素に基づいて決定される。
【選択図】図３

Description

本発明は、一般的に放送システムに関する。より具体的には、本発明は、ＭＰＥＧ準拠の符号化を使用する圧縮ビデオプログラムにおいて一連の映像複雑度を推定する方法に関する。

ＩＰＴＶ（インターネットプロトコルテレビ）及びダイレクト放送衛星（ＤＢＳ）アプリケーションなどにおける一般的な放送システムでは、複数のビデオプログラムが並行して符号化され、デジタル圧縮されたビットストリームが、単一の固定又は可変ビットレートチャネル上に多重化される。ビデオソースの各々の情報の内容／複雑さに比例して、利用可能なチャネル帯域幅をプログラム間で不均等に分配することができる。劣化を測定することによりビデオ画質を計算するモニタシステムは、ビデオストリームの映像複雑度の要素を考慮に入れて、より複雑でない映像又はより複雑な映像に対して異なる劣化の影響を計算することができる。

ＭＰＥＧ符号化した可変ビットレート（ＶＢＲ）ビデオトラフィックは、広帯域ネットワークの帯域幅を独占することが見込まれる。ストリーミング、オンデマンド、ＩＰＴＶ、又はＤＢＳ形式の環境において、このビデオトラフィックを配信することができる。任意の提案されたネットワークの性能をネットワークの動作中に予測するためのモニタシステムを実現するには、ＶＢＲ又はＣＢＲビデオの複雑度の正確なモデルが必要となる。図１は、典型的なＩＰＴＶ環境においてビデオコンテンツの配信に関与する構成要素を示す図である。アナログ信号として発信されるビデオソースは、エンコーダで符号化され、パケット化され、ＩＰネットワークを使用して送信される。このビデオソースをマルチキャスト又はユニキャストとしてネットワークへ送信することができる。中心部は、ネットワーク加入者及びトラフィックの流れを設定し、管理するための様々な要素を含む。コンテンツは、コンテンツサーバに記憶され、ユーザの要望時にオンデマンドで配信される。ネットワーク内の様々なポイントにおいて、サービス保証管理システムによって劣化の測定を行うことができる。

ＭＰＥＧ符号化規格では、３つの画像形式（Ｉ、Ｂ、及びＰ）が定義され、画像が固定配列で符号化される。シーン遷移に起因して、画像形式の変化が生じる可能性がある。突然の遷移の場合、重大な符号化エラーを避けるために、新しいシーンの先頭フレームがイントラ符号化（Ｉ−フレーム）される。段階的なシーン遷移中には、２つの基準フレーム（Ｉ又はＰ）間の距離を変更して画像品質を改善することができる。ほとんどのこれらの段階的な移行中は、時間相関性が低くなる傾向にある。この状況では、予測基準フレーム（Ｐ−フレーム）をより頻繁に配置して必要な画像品質を維持することが求められる。ビデオシーケンスが速い動きを含む場合にも、画像品質を改善するために多くのＰ−フレームが必要になると考えられる。これによりビットレートが増大する。一方、シーンがいかなる速い動きも、或いは段階的なシーン遷移も含まない場合、画像品質に影響を与えることなくフレーム間（Ｉ−フレーム）の基準距離を増大させることができる。これはフレーム間の強い相関性に起因するものである。

従って、以下に限定されるわけではないが、スライス、マクロブロック、量子化、インター符号化／イントラ符号化した参照及び非参照マクロブロック／スライス／画像形式を含むビデオ符号化層（ＶＣＬ）のパラメータを分析することにより、ビデオストリームにおけるＶＣＬの複雑度の指標の変化及びビットレートの変化を分析し、統計モデルへとたどり着いて映像複雑度を動的に計算することにより、劣化モニタがこの値を使用して、一連の複雑な映像に対するこれらの変化の影響を測定できるようにするための処理が必要とされる。

本発明は、ビデオプログラムストリームにおけるＶＣＬのパラメータ及び帯域幅の変化を統計分析することにより、映像複雑度をリアルタイムで推定する方法を提供する。この値をモニタリング及びその他のアプリケーションで使用して、損なわれた状態にあるビデオ画質を推定し、人間の視覚系で知覚される品質に関して、より確実な推定を行うことができる。

単一のチャネル上で複数のビデオストリームを放送するための処理は、複数のビデオストリームの各々のビデオ符号化層の複雑度の指標の変化及びビットレートの変化を分析することから開始される。次に、統計モデルが作成されて、複数のビデオストリームの各々の映像複雑度が動的に計算される。その後、複数のビデオストリームの各々の映像複雑度の、放送に対する影響が測定される。この測定された複数のビデオストリームの各々の映像複雑度の影響に基づいて、利用可能なチャネル帯域幅が複数のビデオストリーム間で分配される。

この処理は、ある特定の損なわれた状態にあるビデオ画質を推定するステップをさらに含む。

複雑度の指標の変化を分析するステップは、ビデオストリームの不連続部分のパラメータの変化を分析するステップを含む。ビデオストリームの不連続部分は、スライス、マクロブロック、量子化、インター符号化した参照ブロック、イントラ符号化した参照ブロック、及び非参照マクロブロック／スライス／画像形式を含む。

統計モデルを作成するステップは、個々のビデオストリームの不連続部分に対して、ビデオ符号化層の複雑度の指標の変化についての第１の統計モデルを作成するステップを含む。さらに、個々のビデオストリームの同じ不連続部分に対して、ビデオ符号化層のビットレートの変化及び帯域幅の変化についての第２の統計モデルが作成される。その後、個々のビデオストリームの不連続部分から得られる第１及び第２の統計モデルが組み合わせられる。この組み合わされた第１及び第２の統計モデルに基づいて、個々のビデオストリームの不連続部分の映像複雑度が算出される。

個々のビデオストリームにおける量子化の変化を求めることにより、高い量子化の遷移、スライス／マクロブロック、及び画像／スライス／マクロブロック形式に関するインター／イントラ予測形式がカウントされる。個々のビデオストリームにおけるビデオ符号化層データの帯域幅を求めることにより、帯域幅の変化がカウントされる。このカウントは、個々の量子化の変化に対して第１のカウンタを増分し、個々のマクロブロックに対して第２のカウンタを増分し、個々のスライスに対して第３のカウンタを増分し、個々の低帯域幅の状態遷移、平均帯域幅の状態遷移、及び高帯域幅の状態遷移に対して第４のカウンタを増分することにより完了する。

この第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの不連続部分に関するビデオ符号化層の複雑度の複雑度確率が計算される。さらに、この第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの不連続部分が低帯域幅状態、平均帯域幅状態、及び高帯域幅状態にある場合の確率が計算される。個々のビデオストリームの不連続部分のビデオ符号化層の複雑度の遷移に対して第１の遷移確率行列が構築され、個々のビデオストリームの不連続部分の帯域幅の状態遷移に対して第２の遷移確率行列が構築される。個々の遷移確率行列から得られる限界状態確率を使用して、個々のビデオストリームの不連続部分の映像複雑度の値が計算される。

この方法をコレクタで使用して、分散遠隔プローブから映像複雑度の値を取得し、この映像複雑度を変数として使用して、パケット化したビデオストリームにおける劣化の計算を容易にして知覚されるビデオ画質に関してより高い精度を確保し、パケット化したビデオアプリケーションに映像複雑度を一定の間隔で提供し、人間の視覚系で知覚されるビデオの複雑度に関する推定を行い、以下に限定されるわけではないが、ピーク信号対ノイズ比（ＰＳＮＲ）、ＭＰＱＭ、ＭＱＵＡＮＴ、及び二乗平均平方根誤差（ＲＭＳＥ）を含む、標準的な業界全体にわたるビデオ画質評価モデルに関して映像複雑度の測定を行い、ビデオエンコーダ、マルチプレクサ、ルータ、ＶＯＤサーバ（ビデオオンデマンド）、放送サーバ、及びビデオ画質測定機器で使用される、又はこれらに組み込むことができるオフラインでリアルタイムの映像複雑度の測定を行い、映像複雑度の一因となる帯域幅変化に関する統計モデルを提供し、シーン遷移の一因となるビデオ符号化層の複雑度に関する統計モデルを提供し、複雑度が低い状態及び複雑度が高い状態にある一連の映像の統計分布を求めることができる。

本発明の原理を例として示す添付の図面に関連して行われる以下のより詳細な説明から、本発明のその他の特徴及び利点が明らかになるであろう。

添付の図面は本発明を例示するものである。

映像複雑度の測定を行うことができるポテンシャルポイントを有するＩＰＴＶ（ＩＰテレビジョン）配信ネットワークの例を示す図である。 ＭＰＥＧフレームがＩＰ（インターネットプロトコル）でカプセル化され、測定値がＶＣＬレベルで抽出される一般的なプロトコルスタックを示す図である。 最終的な曲線近似方程式を有する映像複雑度に関する統計モデルを示す図である。 帯域幅モデルに関するマルコフ遷移プロセスを示す図である。 ビデオ符号化層の複雑度モデルに関するマルコフ遷移プロセスを示す図である。 帯域幅モデルに関するカウンタと遷移行列との関係を示す図である。 ビデオ符号化層の複雑度モデルに関するカウンタと遷移行列との関係を示す図である。 帯域幅変化モデルに関する遷移確率行列を示す図である。 ビデオ符号化層の複雑度モデルに関する遷移確率行列を示す図である。 確率値と、映像複雑度を計算する曲線近似方程式との関係を示す図である。 帯域幅モデル及びビデオ符号化層モデルを計算するためのフロー図である。

本発明の好ましい実施形態を図２〜図１０に示す。図１に示すようなＩＰＴＶ配信システムにおいて、本発明の実施形態を利用することができる。

本発明は、ＭＰＥＧ形式の画像符号化をサポートするビデオストリームにおいて一連の映像の映像複雑度を推定する方法に関する。この方法は、符号化したビデオストリームのフロー中に、ＶＣＬパラメータを、量子化、マクロブロック／スライスカウント、１６×１６、１６×８、８×８、４×４、８×１６のマクロブロックサイズとして表し、画像形式の変化を、シーン遷移を引き起こす確率を求めるインターフレーム／マクロブロック、イントラフレーム／マクロブロック、Ｉ／Ｂ／Ｐフレーム／マクロブロック形式の変化として表す統計モデルを作成するステップを含む。符号化したビデオストリームの同じフロー中に、高帯域幅状態及び低帯域幅状態の確率を求める帯域幅変化を表す統計モデルも作成される。その後、符号化したビデオストリームの同じフローから作成されたこの２つの統計モデルから映像の複雑度が求められる。この方法を使用して、知覚されるビデオの複雑度を推定する分散システムを実現することができる。

この方法はまた、量子化の変化を求めて、高い量子化の遷移、モニタ間隔の間のスライス／マクロブロックのカウント、画像／スライス／マクロブロックの形式に関するインター／イントラ予測の形式（Ｉ、Ｂ、Ｐ）をカウントし、ＶＣＬデータの帯域幅を求めて帯域幅変化をカウントするステップと、量子化変化に関するカウンタを増分し、マクロブロック及びスライスの形式及びサイズに関するカウンタを増分し、低帯域幅の状態遷移、平均帯域幅の状態遷移、及び高帯域幅の状態遷移に関するカウンタを増分するステップと、状態遷移に関するカウンタからビデオ符号化層の複雑度に関する確率を計算し、これらのカウンタから低帯域幅状態、平均帯域幅状態、及び高帯域幅状態における状態遷移に関する確率を計算するステップと、ビデオ符号化層の複雑度の遷移に関する遷移確率行列を計算し、帯域幅の状態遷移に関する遷移確率行列を計算するステップとを含む。

上記に概説したように、図１は、ビデオコンテンツの取得１２、ＩＰＴＶ管理システム１４、ＩＰＴＶコンテンツの配信１６、及びＩＰＴＶの消費者１８を含む一般的なＩＰＴＶ配信ネットワーク２１を示す図である。通常、ビデオソース２０はアナログ形式で取得され、ビデオエンコーダ２２によりＭＰＥＧ１／２／４フォーマットで符号化され、ビデオオンデマンド（ＶＯＤ）サーバ２４又は放送サーバ２６へ送られる。ＶＯＤサーバ２４は、ネットワーク中心部２８へ伝送するためのプログラムストリーム内にコンテンツをカプセル化する。ネットワーク中心部２８は比較的高帯域幅のパイプである。ＩＰＴＶネットワーク２１はまた、様々な管理、プロビジョニング、及びサービス保証要素で構成される。通常、ＩＰＴＶネットワーク２１は、運用支援システム（ＯＳＳ）３０、視聴者管理システム３２、及び新しい付加価値サービスを生み出すためのアプリケーションサーバ３４を含む。管理、プロビジョニング、及びサービス保証に続き、消費者がアクセス可能なＶＯＤサーバ３６又は放送サーバ３８にコンテンツを記憶することができる。一般的にこれらのサーバはネットワーク２１の縁部に配置される。消費者は広帯域アクセス回線４２へのアクセス手段を有し、このアクセス手段はケーブル／ＤＳＬ回線４４であってもよい。通常、ビデオストリームをコンポーネント出力へと復号するセットトップボックス４６にテレビが接続される。

パケット化したビデオストリーム用のプロトコルスタックを図２に示す。媒体に依存する付属品４８は、イーサネット（登録商標）、Ｓｏｎｅｔ、ＤＳ３、ケーブル、又はＤＳＬインターフェースであってもよい。ＰＨＹ５０は媒体に依存するパケット処理を行う。ＩＰ（インターネットプロトコル）５２は、主にＩＰＴＶネットワーク２１におけるパケットルーティングにアドレス指定を行うネットワーク層の部分である。ＵＤＰ／ＲＴＰ５４は、ポートにアプリケーションレベルのアドレス指定を行うトランスポート層である。ＵＤＰ／ＲＴＰ又は単なるＵＤＰ層５４においてビデオストリームをカプセル化することができる。符号化されたビデオをＭＰＥＧ１／２／４の形で圧縮し、トランスポートストリームとして、又はビデオ用ＲＴＰカプセル化５６の形で送信することができる。Ｈ．２６４／ＡＶＣの場合のように、任意のネットワーク抽象化層５８が存在してもよい。後述するように、ビデオ符号化層のパケット入力６０が復号化され、必要なパラメータが抽出されて、映像複雑度のモデルのための測定値６２が得られる。

図３は、本発明の実施形態における統計モデルに関する高レベルの論理を示す図である。ＭＰＥＧ ＶＣＬ入力６４がＶＣＬ複雑度（Ｉ−フレーム）モデル６６及び帯域幅モデル６８の両方に提供されて、統計モデルに必要なカウンタが計算される。曲線近似方程式７０がモデル出力パラメータを取得し、映像複雑度７２を計算する。

図４は、帯域幅モデル６８に関する離散マルコフ過程の状態遷移を示す図である。ビデオシーケンスにおける帯域幅変化が３つの状態のマルコフ過程へとモデル化されて、低帯域幅の状態遷移及び高帯域幅の状態遷移の確率が求められる。状態１（Ｓ１）７４、状態２（Ｓ２）７６、及び状態３（Ｓ３）７８はそれぞれ、低帯域幅状態、定帯域幅状態、高帯域幅状態にあるモデル６８の状態を表す。

図５は、ＶＣＬ層複雑度量子化モデル６６に関する離散マルコフ過程の状態遷移を示す図である。マクロブロック層から取り出された量子化の遷移が、２つの状態のマルコフ過程へとモデル化される。Ｋ１（８０）及びＫ２（８２）は、ＶＣＬ層複雑度モデル６６の状態、すなわち量子化が高い状態及び量子化が低い状態を示している。

図６は、帯域幅モデル６８の遷移確率９０の計算に使用するカウンタ８６を示す図である。ＶＣＬ帯域幅モニタ８４は、ＶＣＬストリームの帯域幅変化をモニタすると共にカウンタｃＸＹ８６を更新し、この場合Ｘは初期状態を表し、Ｙは結果状態を表す。初期状態及び結果状態は、低帯域幅状態、一定帯域幅状態、又は高帯域幅状態である可能性があり、これらは、それぞれ１、２、又は３で示される。例えば、Ｃ１１は、低帯域幅状態７４から低帯域幅状態７４への状態遷移イベントを表し、Ｃ２３は、一定帯域幅状態７６から高帯域幅状態７８への状態遷移イベントを表す。

状態遷移確率９０が計算されて遷移行列８８が得られる。状態遷移確率９０はｐＸＹで表され、この場合Ｘは初期状態を表し、Ｙは結果状態を表す。初期状態及び結果状態は、低帯域幅状態、一定帯域幅状態、又は高帯域幅状態である可能性があり、これらは、それぞれ１、２、又は３で示される。例えば、ｐ１２は、低帯域幅状態（Ｓ１）７４から一定帯域幅状態（Ｓ２）７６へと移る遷移確率を表す。遷移確率９０から遷移行列８８が形成される。遷移行列８８から初期条件なしで限界状態確率が計算され、ＢＰ１０１（９２）及びＢＰ１０３（９４）が得られる。これらの値はそれぞれ、低帯域幅状態及び高帯域幅状態に留まる確率を表す。

図７には、ＶＣＬ層の複雑度の量子化モデルに関する遷移確率の計算に使用するカウンタ９８が見られる。ＶＣＬスライス及びマクロブロックモニタ９６は、マクロブロック内で量子化パラメータをモニタすると共にカウンタｄＸＹを更新し、この場合Ｘは初期状態を表し、Ｙは結果状態を表す。初期状態及び結果状態は、量子化を高く受けた状態又は量子化を低く受けた状態である可能性があり、これらはそれぞれ１又は２で示される。例えば、ｄ１２は、量子化を高く受けた状態から量子化を低く受けた状態への状態遷移イベントのカウントを表す。状態遷移確率が計算されて、ＶＣＬ層量子化モデル６６に関する遷移行列１００が得られる。遷移行列１００から、画像シーケンスにおける高い量子化の発生確率が計算され、変数ＩＰ１００（１０２）に設定される。

帯域幅モデル６８に関する遷移確率行列８８を図８に示す。状態Ｓ１（７４）、Ｓ２（７６）、及びＳ３（７８）は、上記に概説したように、低帯域幅状態、平均帯域幅状態、及び高帯域幅状態を表し、行列８８内の個々のセルは、１つの状態から別の状態への状態遷移の確率を表す。

図９は、ＶＣＬ層量子化モデル６６に関する遷移確率行列１００を示す図である。状態Ｋ１（１０４）及びＫ２（１０６）は、高い量子化の発生状態及び低い量子化の発生状態を表し、行列１００内の個々のセルは、１つの状態から別の状態への状態遷移の確率を表す。

図１０は、２から３までの値にわたる映像複雑度（Γ）７２を得るために、図３の曲線近似方程式７３で使用される、ＶＣＬ層の複雑度モデル６６及び帯域幅モデル６８の出力パラメータＢＰ１０１（９２）、ＢＰ１０３（９４）、及びＩＰ１００（１０２）を示す図である。

図１１は、本発明プロセスの主な機能ブロックのフローチャートを示す図である。帯域幅モデルの初期化１０８は、帯域幅モデル６８及びＶＣＬ層複雑度モデル６６を実行するために行う必要がある第１のステップである。平均帯域幅を計算するための変数が初期化される（１１０）。ＮＡＬ（ネットワーク抽象化層）／トランスポートストリームからＶＣＬ入力が読み取られる（１１２）。ＶＣＬパケットに関する平均帯域幅が計算され（１１４）、設定される（１１６）。この動作中、帯域幅モデル６８及びＶＣＬ層複雑度モデル６６が並行して実行される（１１８）。帯域幅モデル６８が、遷移カウンタに対して初期化される（１２０）。ＮＡＬ／伝送層ストリームからＶＣＬパケットサイズが読み取られる（１２２）。ＶＣＬに関する帯域幅が計算される（１２４）。遷移カウンタが更新され（１２６）、遷移確率行列が更新される（１２８）。次のステップは、下記に詳述するように、式（１）及び（２）を使用して、高限界状態確率及び低限界状態確率を計算する（１３０）ことである。変数ＢＰ１０１及びＢＰ１０３が設定される（１３２）。すべてのマクロブロックに対して、ＶＣＬの複雑度モデル６６が同時に実行される（１１８）。カウンタが初期化され（１３６）、ＶＣＬから得られるスライスデータを復号化することにより、ＮＡＬ／トランスポートストリームからマクロブロック及びスライス量子化パラメータが読み取られる（１３８）。ＶＣＬの複雑度の量子化遷移確率行列が計算され（１４０）、限界状態確率が計算される（１４２）。次にＩＰ１００変数が設定される（１４４）。変数ＢＰ１０１、ＢＰ１０３、及びＩＰ１００を使用して、最終の曲線近似方程式が計算される（１４６）。

以下、実施形態の動作をより詳細に説明する。帯域幅モデル６８は、図４のマルコフモデルを使用して構築される。状態Ｓ１（７４）、Ｓ２（７６）、及びＳ３（７８）は、ある一定数のＶＣＬパケット又は不連続部分を処理した後の時間の任意の場合におけるＶＣＬパケットレートの状態に関係する。帯域幅モデル６８は、ＭＰＥＧビデオストリームの作成後に初期化される。この段階で、帯域幅モデル６８は、個々の不連続部分に関する、すなわちすべてのサンプリング例におけるビデオストリームの平均帯域幅を求める。平均帯域幅を求める手順は以下の通りである。
・カウンタＡ１００、Ａ１０１、Ａ１０２、Ａ１０３、Ａ１０４をゼロに初期化する。
・受信したすべてのＮＡＬ／伝送層パケットのＶＣＬパケットサイズをＭＰＥＧ層から読み取り、受信した累積サイズにＡ１００を設定する。
・すべてのイントラマクロブロック／画像形式に対してＡ１０３を増分する。
・すべてのスライス形式に対してＡ１０４を増分する。
・Ａ１０１を先頭のＶＣＬの受信時間にミリ秒単位で設定する。
・Ａ１０２をすべてのＶＣＬの受信時間にミリ秒単位で設定する。
・個々のサンプリング例において平均帯域幅を計算する。

算出は次の手順をたどる。
Ａ１００＝Ａ１００＋ＶＣＬ＿ｓｉｚｅ＿ｒｃｖｄ ｆｒｏｍ ＭＰＥＧ ｌａｙｅｒ
Ｉｆ（Ａ１０１＝０） ｔｈｅｎ Ａ１０１＝ｃｕｒｒｅｎｔ ｔｉｍｅ
Ａ１０２＝ｃｕｒｒｅｎｔ ｔｉｍｅ
Ｃ１００＝Ａ１００×８／（Ａ１０２−Ａ１０１）／１０００（ｉｎ ｋｂｐｓ）

平均帯域幅（Ｃ１００）の範囲は、Ｃ１００±１０ｋｂｐｓとなる。

このモデルは、Ａ１０３の最小の所定カウントが受信された場合にのみ実行される。このカウンタはシーン遷移を示し、モデルを効果的に計算するには複数のシーン遷移が必要となる。現在のビデオストリームの帯域幅がＣ１００−１０ｋｂｐｓよりも低い場合には、モデルは低帯域幅状態（Ｓ１）にあることになり、Ｃ１００＋１０ｋｂｐｓよりも高い帯域幅では、モデルは高帯域幅状態（Ｓ３）にあることになる。帯域幅が平均帯域幅の値の範囲内にある場合、モデルは一定帯域幅状態（Ｓ２）にある。

平均帯域幅（Ｃ１００）は、ＶＣＬパケットに関して連続して求められ、図４に示す離散遷移マルコフ過程を使用して帯域幅変化をモデル化することができる。３つの状態（Ｓ１、Ｓ２、及びＳ３）の遷移は、ビデオストリームの帯域幅変化をモニタすることにより算出される。遷移行列８８（図８）が得られ、この場合、個々のセルは特定の状態から次の状態へ状態遷移する確率を表す。この処理についてのマルコフモデルは、周期的状態及び単一のチェーンからの再帰状態を有さないので、限界状態確率は初期条件とは無関係である。この条件を適用して、Ｐ１（Ｓ１状態にある確率）、Ｐ２（Ｓ２状態にある確率）及びＰ３（Ｓ３状態にある確率）を得ることができる。限界状態確率に関しては以下の方程式が十分に成り立つ。

３つの求める変数（Ｐ１、Ｐ２、Ｐ３）が存在するため、３元連立方程式が必要となり、その各々を遷移行列８８（図８）から作成することができる。遷移行列８８は、ＭＰＥＧビデオストリームの帯域幅変化の統計から構築される。図８に示すように、遷移行列８８は、特定の状態から任意の他の遷移可能な状態への遷移確率を計算することにより得られる。例えば、状態Ｓ１に留まる確率はｐ１１で表される。

これらの遷移確率を式（１）及び（２）に入力して３元連立方程式を取得し、この方程式を解いてＰ１、Ｐ２、及びＰ３を得ることができ、この場合これらＰ１、Ｐ２、及びＰ３は、Ｐ１（モデルが低帯域幅状態に留まる確率）、Ｐ２（モデルが平均／一定帯域幅状態に留まる確率）、Ｐ３（モデルが高帯域幅状態に留まる確率）を表す。

低遷移及び高遷移の確率を最終の曲線近似方程式７０に入力して、映像複雑度の値７２が得られるようになる。Ｐ１、Ｐ２、及びＰ３を得るためのアルゴリズムは以下のように記述される。
・カウンタｃ１１、ｃ１２、ｃ１３、ｃ２１、ｃ２２、ｃ２３、ｃ３１、ｃ３２、及びｃ３３を０に初期化する。
・状態＝Ｓ２とする。
・ＭＰＥＧビデオ基本ストリーム内のいくつかのＶＣＬパケット（設定可能なカウント）に対して、次のプログラムを実行する。
Ｉｆ（Ａ１０３＞５０００（ｃｏｎｆｉｇｕｒａｂｌｅ ｃｏｕｎｔ）｜｜Ａ１０４＞１００（ｃｏｎｆｉｇｕｒａｂｌｅ ｃｏｕｎｔ））
ｃｕｒｒｅｎｔ＿ｂａｎｄｗｉｄｔｈ＝（ｖｃｌ＿ｓｉｚｅ×８）／（ｃｕｒｒｅｎｔ＿ｔｉｍｅ−ｐｒｅｖｉｏｕｓ＿ｔｉｍｅ）／１０００
Ｉｆ（ｃｕｒｒｅｎｔ＿ｂａｎｄｗｉｄｔｈ＞（Ｃ１００＋１０））
Ｉｆ（ｓｔａｔｅ＝Ｓ１）
＋＋ｃ１３．
ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝Ｓ２）
＋＋ｃ２３．
ｅｌｓｅ
＋＋ｃ３３
ｅｌｓｅ ｉｆ（ｃｕｒｒｅｎｔ＿ｂａｎｄｗｉｄｔｈ＜（ｃ１００−１０））
ｉｆ（ｓｔａｔｅ＝Ｓ１）
＋＋ｃ１１
ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝Ｓ２）
＋＋ｃ２１
ｅｌｓｅ
＋＋ｃ３１
ｅｌｓｅ
ｉｆ（ｓｔａｔｅ＝Ｓ１）
＋＋ｃ１２
ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝Ｓ２）
＋＋ｃ２２
ｅｌｓｅ
＋＋ｃ３２
ｕｐｄａｔｅ ｓｔａｔｅ ｔｏ ｃｕｒｒｅｎｔ ｓｔａｔｅ

（１０秒などの）すべてのサンプリング例において、遷移行列８８は上記プログラムにより計算される。遷移確率は、状態遷移の相対頻度から算出される。
Ｐ１１＝ｃ１１／（ｃ１１＋ｃ１２＋ｃ１３）
Ｐ１２＝ｃ１２／（ｃ１１＋ｃ１２＋ｃ１３）
Ｐ１３＝ｃ１３／（ｃ１１＋ｃ１２＋ｃ１３）
ｐ２１＝ｃ２１／（ｃ２１＋ｃ２２＋ｃ２３）
ｐ２２＝ｃ２２／（ｃ２１＋ｃ２２＋ｃ２３）
ｐ２３＝ｃ２３／（ｃ２１＋ｃ２２＋ｃ２３）
ｐ３１＝ｃ３１／（ｃ３１＋ｃ３２＋ｃ３３）
ｐ３２＝ｃ３２／（ｃ３１＋ｃ３２＋ｃ３３）
ｐ３３＝ｃ３３／（ｃ３１＋ｃ３２＋ｃ３３）

遷移行列から、式（１）及び（２）を利用してできる３元連立方程式を使用して、確率Ｐ１（低レート確率）、確率Ｐ２（一定／平均レート確率）、及び確率Ｐ３（高レート確率）が計算される。

遷移確率を式（１）に入力することにより、次式が得られる。
０＝Ｐ１×（ｐ１１−１）＋Ｐ２×ｐ２１＋Ｐ３×ｐ３１ 式（３）
０＝Ｐ１×ｐ１２＋Ｐ２×（ｐ２２−１）＋Ｐ３×ｐ３２ 式（４）
式（２）から次式が得られる。
１＝Ｐ１＋Ｐ２＋Ｐ３ 式（５）

これらの式を解いた後、この確率が次の変数内に割り当てられる。
ＢＰ１０１＝Ｐ１
ＢＰ１０３＝Ｐ３

上記３元方程式を解いた後、Ｐ１及びＰ３が計算されて曲線近似方程式７０に使用され、最終的な映像複雑度７２が得られるようになる。

すべてのＶＣＬ入力に対して、ＶＣＬ層複雑度モデル６６を並行して実行する必要がある。シーン遷移及び画像品質に関してＶＣＬパラメータがモニタされる。インター／イントラマクロブロック形式を分析してシーン遷移を求め、マクロブロック内部の量子化パラメータを読み取って映像複雑度の一因となる画像品質を求める。ＶＣＬ複雑度モデル６６を実行した後で、映像複雑度に関する曲線近似方程式７０を解いて、映像複雑度の値７２を得ることができる。

ＶＣＬ複雑度の確率を計算するステップは上述した過程と同様の過程をたどるが、マルコフ状態は２つの状態に限定される。図１０は、ＶＣＬ複雑度モデルの状態遷移過程を示す図である。これらの状態は以下を示す。
Ｋ１（高い量子化のマクロブロックが受信された状態）
Ｋ２（低い量子化のマクロブロックが受信された状態）

遷移確率を含む遷移行列１００（図９）が計算される。個々のセルは状態遷移を示し、例えば、ｐ１２は、高い量子化を受信した状態（Ｋ１）において低い量子化（Ｋ２）を有する確率を表す。

遷移確率を計算する手順は以下の通りである。

ＭＰＥＧビデオ基本ストリームにおけるすべてのＶＣＬ入力に対して、
・すべてのカウンタｄ１１、ｄ１２、ｄ２１、ｄ２２をゼロに初期化する。状態＝Ｋ１に設定する。
・高い／低い量子化状態を設定するための量子化しきい値を決定するために、（ＭＰＥＧ４の形の）画像パラメータセット又はこれが利用不可能な場合、予め設定した値のいずれかから初期の量子化値を読み取る。Ｃ１０１をこの値に設定する。
・マクロブロックカウント値に関するＣ１０２をゼロに設定する。
・フレーム内圧縮マクロブロック形式に関するＣ１０３をゼロに設定する。
・スライス形式に関するＣ１０５をゼロに設定する。
・処理されるすべてのマクロブロックに対してＣ１０２を増分する。
・すべてのフレーム内圧縮マクロブロック形式に対してＣ１０３を増分する。
・すべてのスライス形式に対してＣ１０５を増分する。
・量子化が利用可能なすべてのマクロブロックに対して、量子化値をＣ１０４に読み込む。
Ｉｆ（ｓｔａｔｅ＝Ｋ１）
Ｉｆ（Ｃ１０４＞Ｃ１０１＆＆Ｃ１０５＞１００（ｃｏｎｆｉｇｕｒａｂｌｅ）＆＆Ｃ１０３＞３０００（ｃｏｎｆｉｇｕｒａｂｌｅ））
＋＋ｄ１１；
ｅｌｓｅ
＋＋ｄ１２；
ｅｌｓｅ ｉｆ（ｓｔａｔｅ＝Ｋ２）
Ｉｆ（Ｃ１０４＞Ｃ１０１＆＆Ｃ１０５＞１００（ｃｏｎｆｉｇｕｒａｂｌｅ）＆＆Ｃ１０３＞３０００（ｃｏｎｆｉｇｕｒａｂｌｅ））
＋＋ｄ２１
ｅｌｓｅ
＋＋ｄ２２
ｕｐｄａｔｅ ｓｔａｔｅ ｔｏ ｃｕｒｒｅｎｔ ｓｔａｔｅ

上記のカウンタから得られる（１０秒などの）すべてのサンプリング例において、遷移確率を計算して上記の遷移行列１００を得る。
ｐ１１＝ｄ１１／（ｄ１１＋ｄ１２）
ｐ１２＝ｄ１２／（ｄ１１＋ｄ１２）
ｐ２１＝ｄ２１／（ｄ２１＋ｄ２２）
ｐ２２＝ｄ２２／（ｄ２１＋ｄ２２）

遷移確率から、高い量子化の発生確率（Ｐ１）及び低い量子化の発生確率（Ｐ２）を計算することができる。高い量子化の発生確率を曲線近似関数７０で使用して、最終的な映像複雑度の値７２を得ることになる。

限界状態確率は初期条件とは無関係であるため、限界状態確率に関する連立方程式を以下の様に解くことができる。

上記式（６）及び（７）に遷移確率を代入し、展開する。
０＝Ｐ１×（ｐ１１−１）＋Ｐ２×ｐ２１ 式（８）
１＝Ｐ１＋Ｐ２ 式（９）

上記の２つの式が解かれて、Ｐ１及びＰ２が得られる。ＩＰ１００＝Ｐ１（マクロブロックにおけるＶＣＬ層の高複雑度の発生確率）と割り当てて、映像複雑度の方程式に使用する。

ＢＰ１０１、ＢＰ１０３、及びＩＰ１００を曲線近似方程式７０（図１０）に使用して、２と３との間の範囲に収まる映像複雑度７２を得る。
映像複雑度Γ
（Γ＞３）Γ＝３の場合、
Γ＝２＋Ｉｎ（１＋ＩＰ１００）＋Ｉｎ（２＋Ｂ１０３−Ｂ１０１） 式（１０）

例示を目的としていくつかの実施形態について詳細に説明したが、本発明の範囲及び思想から逸脱することなく、各々に対して様々な修正を加えることができる。

６４ ＭＰＥＧ ＶＣＬ入力
６６ ＶＣＬ層複雑度モデル
６６ 帯域幅モデル
７０ 曲線近似関数
７２ 映像複雑度

Claims (25)

1. 複数のビデオストリームを単一のチャネル上で放送するためのプロセスであって、
   前記複数のビデオストリームの各々のビデオ符号化層における複雑度の指標の変化とビットレートの変化とを分析するステップと、
   統計モデルを作成して、前記複数のビデオストリームの各々の映像複雑度を動的に計算するステップと、
   前記複数のビデオストリームの前記映像複雑度の、前記放送に対する影響を測定するステップと、
   前記複数のビデオストリームの各々の前記映像複雑度の前記測定された影響に基づいて、利用可能なチャネル帯域幅を前記複数のビデオストリーム間で分配するステップと、
   を含むことを特徴とするプロセス。
2. 前記分析ステップは、前記ビデオストリームの不連続部分のパラメータにおける、ビデオ符号化層の複雑度の指標の変化を分析するステップを含む、
   ことを特徴とする請求項１に記載のプロセス。
3. 前記ビデオストリームの前記不連続部分は、スライス、マクロブロック、量子化、インター符号化した参照ブロック、イントラ符号化した参照ブロック、及び非参照マクロブロック／スライス／画像形式を含む、
   ことを特徴とする請求項２に記載のプロセス。
4. 損なわれた状態にあるビデオ画質を推定するステップをさらに含む、
   ことを特徴とする請求項１に記載のプロセス。
5. 前記作成ステップは、
   個々のビデオストリームの不連続部分に対して、ビデオ符号化層の複雑度の指標の変化についての第１の統計モデルを作成するステップと、
   個々のビデオストリームの前記同じ不連続部分に対して、ビデオ符号化層のビットレートの変化又は帯域幅の変化についての第２の統計モデルを作成するステップと、
   個々のビデオストリームの前記不連続部分から得られる前記第１及び第２の統計モデルを組み合わせるステップと、
   前記組み合わされた第１及び第２の統計モデルに基づいて、個々のビデオストリームの前記不連続部分の前記映像複雑度を算出するステップと、
   を含むことを特徴とする請求項１に記載のプロセス。
6. 個々のビデオストリームの前記不連続部分における量子化の変化を求めることにより、高い量子化の遷移、スライス／マクロブロック、及び画像／スライス／マクロブロック形式に関するインター／イントラ予測形式をカウントするステップと、
   個々のビデオストリームの前記不連続部分におけるビデオ符号化層データの帯域幅を求めることにより、帯域幅変化をカウントするステップと、
   をさらに含むことを特徴とする請求項５に記載のプロセス。
7. 前記カウントステップは、個々の量子化の変化に対して第１のカウンタを増分するステップと、個々のマクロブロックに対して第２のカウンタを増分するステップと、個々のスライスに対して第３のカウンタを増分するステップと、個々の低帯域幅の状態遷移、平均帯域幅の状態遷移、及び高帯域幅の状態遷移に対して第４のカウンタを増分するステップとを含む、
   ことを特徴とする請求項６に記載のプロセス。
8. 前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関するビデオ符号化層の複雑度についての確率を計算するステップと、
   前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関する低帯域幅状態、平均帯域幅状態、及び高帯域幅状態についての確率を計算するステップと、
   をさらに含むことを特徴とする請求項７に記載のプロセス。
9. 個々のビデオストリームの前記不連続部分のビデオ符号化層の複雑度の遷移に関する第１の遷移確率行列を構築するステップと、
   個々のビデオストリームの前記不連続部分の帯域幅状態の遷移に関する第２の遷移確率行列を構築するステップと、
   をさらに含むことを特徴とする請求項８に記載のプロセス。
10. 個々の遷移確率行列から得られる限界状態確率を使用して、個々のビデオストリームの前記不連続部分の映像複雑度を計算するステップをさらに含む、
    ことを特徴とする請求項９に記載のプロセス。
11. 複数のビデオストリームを単一のチャネル上で放送するためのプロセスであって、
    前記複数のビデオストリームの各々の不連続部分のパラメータにおいて、ビデオ符号化層における複雑度の指標の変化とビットレートの変化とを分析するステップと、
    統計モデルを作成して、前記複数のビデオストリームの各々の映像複雑度を動的に計算するステップと、
    前記複数のビデオストリームの前記映像複雑度の、前記放送に対する影響を測定するステップと、
    前記複数のビデオストリームの各々の前記映像複雑度の前記特定された影響に基づいて、利用可能なチャネル帯域幅を前記複数のビデオストリーム間で分配するステップと、
    損なわれた状態にあるビデオ画質を推定するステップと、
    を含むことを特徴とするプロセス。
12. 前記ビデオストリームの前記不連続部分は、スライス、マクロブロック、量子化、インター符号化した参照ブロック、イントラ符号化した参照ブロック、及び非参照マクロブロック／スライス／画像形式を含む、
    ことを特徴とする請求項１１に記載のプロセス。
13. 前記作成ステップは、
    個々のビデオストリームの前記不連続部分に対して、ビデオ符号化層の複雑度の指標の変化についての第１の統計モデルを作成するステップと、
    個々のビデオストリームの前記同じ不連続部分に対して、ビデオ符号化層のビットレートの変化又は帯域幅の変化についての第２の統計モデルを作成するステップと、
    個々のビデオストリームの前記不連続部分から得られる前記第１及び第２の統計モデルを組み合わせるステップと、
    前記組み合わされた第１及び第２の統計モデルに基づいて、個々のビデオストリームの前記不連続部分の前記映像複雑度を算出するステップと、
    を含むことを特徴とする請求項１１に記載のプロセス。
14. 個々のビデオストリームの前記不連続部分における量子化の変化を求めることにより、高い量子化の遷移、スライス／マクロブロック、及び画像／スライス／マクロブロック形式に関するインター／イントラ予測形式をカウントするステップと、
    個々のビデオストリームの前記不連続部分におけるビデオ符号化層データの帯域幅を求めることにより、帯域幅変化をカウントするステップと、
    をさらに含むことを特徴とする請求項１３に記載のプロセス。
15. 前記カウントステップは、個々の量子化の変化に対して第１のカウンタを増分するステップと、個々のマクロブロックに対して第２のカウンタを増分するステップと、個々のスライスに対して第３のカウンタを増分するステップと、個々の低帯域幅の状態遷移、平均帯域幅の状態遷移、及び高帯域幅の状態遷移に対して第４のカウンタを増分するステップとを含む、
    ことを特徴とする請求項１４に記載のプロセス。
16. 前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関するビデオ符号化層の複雑度についての確率を計算するステップと、
    前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関する低帯域幅状態、平均帯域幅状態、及び高帯域幅状態についての確率を計算するステップと、
    をさらに含むことを特徴とする請求項１５に記載のプロセス。
17. 個々のビデオストリームの前記不連続部分のビデオ符号化層の複雑度の遷移に関する第１の遷移確率行列を構築するステップと、
    個々のビデオストリームの前記不連続部分の帯域幅状態の遷移に関する第２の遷移確率行列を構築するステップと、
    をさらに含むことを特徴とする請求項１６に記載のプロセス。
18. 個々の遷移確率行列から得られる限界状態確率を使用して、個々のビデオストリームの前記不連続部分の映像複雑度を計算するステップをさらに含む、
    ことを特徴とする請求項１７に記載のプロセス。
19. 複数のビデオストリームを単一のチャネル上で放送するためのプロセスであって、
    前記複数のビデオストリームの各々のビデオ符号化層における複雑度の指標の変化とビットレートの変化とを分析するステップと、
    個々のビデオストリームの前記不連続部分に対して、ビデオ符号化層の複雑度の指標の変化についての第１の統計モデルを作成するステップと、
    個々のビデオストリームの前記同じ不連続部分に対して、ビデオ符号化層のビットレートの変化又は帯域幅の変化についての第２の統計モデルを作成するステップと、
    個々のビデオストリームの前記不連続部分から得られる前記第１及び第２の統計モデルを組み合わせて、前記複数のビデオストリームの各々の映像複雑度を動的に計算するステップと、
    前記複数のビデオストリームの前記映像複雑度の、前記放送に対する影響を特定するステップと、
    前記複数のビデオストリームの各々の前記映像複雑度の前記特定された影響に基づいて、利用可能なチャネル帯域幅を前記複数のビデオストリーム間で分配するステップと、
    前記組み合わされた第１及び第２の統計モデルに基づいて、個々のビデオストリームの前記不連続部分の前記映像複雑度を算出するステップと、
    損なわれた状態にあるビデオ画質を推定するステップと、
    を含むことを特徴とするプロセス。
20. 個々のビデオストリームにおける量子化の変化を求めることにより、高い量子化の遷移、スライス／マクロブロック、及び画像／スライス／マクロブロック形式に関するインター／イントラ予測形式をカウントするステップと、
    個々のビデオストリームにおけるビデオ符号化層データの帯域幅を求めることにより、帯域幅変化をカウントするステップと、
    をさらに含むことを特徴とする請求項１９に記載のプロセス。
21. 前記カウントステップは、個々の量子化の変化に対して第１のカウンタを増分するステップと、個々のマクロブロックに対して第２のカウンタを増分するステップと、個々のスライスに対して第３のカウンタを増分するステップと、個々の低帯域幅の状態遷移、平均帯域幅の状態遷移、及び高帯域幅の状態遷移に対して第４のカウンタを増分するステップとを含む、
    ことを特徴とする請求項２０に記載のプロセス。
22. 前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関するビデオ符号化層の複雑度についての確率を計算するステップと、
    前記第１、第２、第３、及び第４のカウンタを使用して、個々のビデオストリームの前記不連続部分に関する低帯域幅状態、平均帯域幅状態、及び高帯域幅状態についての確率を計算するステップと、
    をさらに含むことを特徴とする請求項２１に記載のプロセス。
23. 個々のビデオストリームの前記不連続部分のビデオ符号化層の複雑度の遷移に関する第１の遷移確率行列を構築するステップと、
    個々のビデオストリームの前記不連続部分の帯域幅状態の遷移に関する第２の遷移確率行列を構築するステップと、
    をさらに含むことを特徴とする請求項２２に記載のプロセス。
24. 個々の遷移確率行列から得られる限界状態確率を使用して、個々のビデオストリームの前記不連続部分の映像複雑度を計算するステップをさらに含む、
    ことを特徴とする請求項２３に記載のプロセス。
25. 前記分析ステップは、前記ビデオストリームの前記不連続部分のパラメータにおける、ビデオ符号化層の複雑度の指標の変化を分析するステップを含み、前記ビデオストリームの前記不連続部分は、スライス、マクロブロック、量子化、インター符号化した参照ブロック、イントラ符号化した参照ブロック、及び非参照マクロブロック／スライス／画像形式を含む、
    ことを特徴とする請求項１９に記載のプロセス。

Images