JP2006515977A - ビデオ信号処理システム - Google Patents

Abstract

ビデオ信号処理システムは、本発明に係るビデオ信号処理システムは、特に全ての、受信ビデオデータに関するビデオ信号又はピクチャ解析処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）と、特に全ての、受信ビデオデータに関するビデオ信号又はピクチャ処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）とを備える。

Description

本発明は、ビデオ信号処理システム、ビデオ信号送信機及びビデオ信号受信機に関する。

高度なデジタルピクチャ処理システムは、通常、例えば、フレームレート変換、インタレース−プログレッシブ変換、雑音の低減、ピクチャエンハンスメント等の幾つかの個別の独立したモジュールから構成される。これらの各ブロックは、通常、最高の品質を達成するために、何らかの解析情報を必要とする。これらの解析ブロックは、多くの場合、それぞれの画像処理コンポーネントに統合されている。

したがって、ビデオ処理システムは、通常、１つのモジュールから出力される情報が次のモジュールに入力される等しく重要なモジュールのシーケンス又は結合体とみなすことができる。

また、純粋なアナログのビデオ受信機内でのアップコンバージョン及び雑音低減処理のために利用する動き推定器をハードウェアによって実現する手法も提案されている。これらの実現例の主な利点は、これらの２つの処理段において、一組の動きベクトルを導出し、利用するという点である。但し、この方式を使用できる状況は、圧縮されていないビデオ信号に制限される。

更に、ＭＰＥＧ−２符号化のために、動き推定の領域で真の動きベクトル（true-motion vector）を用いる手法も研究されている。しかしながら、これらの方式は、従来の設計では、通常、実現できない。フレーム間ビデオ圧縮を利用したシステムでは、多くの場合、グループオブピクチャ（group of picture：ＧＯＰ）又はビデオオブジェクトプレーン（video object plane：ＶＯＢ）内で、フィールド又はフレームの対の間でブロックマッチングを行う。

したがって、従来のビデオ信号処理システムでは、雑音低減、符号化及びフォーマット変換のための縦列接続された処理段において、最大３つの異なる動き推定器を採用している。上述のように、これらの動き推定器は、個別に動作し、如何なるリソースや情報も互いに共有しない。更に、動き推定器は、通常、異なる動き推定アルゴリズムに基づいており、このため、動き推定器によって生成された異なる動きベクトル情報によって、画質が劣化する。

このような劣化は、特に、ビデオ符号化の場合に顕著である。従来のフレーム間ビデオエンコーダは、グループオブピクチャ又はビデオオブジェクトプレーン内で動きを推定する。しかしながら、この手法では、フィールド又はフレームの間のオブジェクトの「真の」動きが推定されるわけではない。

更に、ノイズリデューサ、ビデオエンコーダ及びフォーマット変換器からなる従来のシステムでは、２つの異なるモジュールにおいて、少なくとも２回、すなわち送信機で一回、受信機で一回、動きを推定を行わなくてはならない。

そこで、本発明の目的は、システムリソースをより効率的に利用できるビデオ処理システム、ビデオ信号送信機及びビデオ信号受信機を提供することである。

この目的は、請求項１に定義される本発明に基づくビデオ信号処理システム、請求項１０に定義される本発明に基づくビデオ信号送信機及び請求項１７に定義される本発明に基づくビデオ信号受信機によって解決される。これらの好適な実施形態は、それぞれの従属請求項において定義されている。

本発明に係るビデオ信号処理システムは、特に全ての、受信ビデオデータに関するビデオ信号又はピクチャ解析処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）を備える。更に、ビデオ信号処理システムは、特に全ての、受信ビデオデータに関するビデオ信号又はピクチャ処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）とを備える。

本発明では、基本的に、単一のビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）内に各ビデオ信号又はピクチャ解析機能を集積化及び／又は集中化し、及び単一のビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）内に各ビデオ信号又はピクチャ処理能力を集積化及び／又は集中化する。

本発明の好適な実施形態においては、ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）は、集積化及び／又は集中化された形式で動き推定及び／又はセグメント化を含む処理を行うビデオ信号又はピクチャ解析コンポーネントを備える。

これに加えて又はこれに代えて、ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）は、集積化及び／又は集中化された形式で特定のフレームレート変換及び／又はピクチャ解析コンポーネントを含む処理を行うビデオ信号又は画像処理コンポーネントを備える。

好適な実施形態においては、ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）と、ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）とを接続し、ビデオメタデータの交換を可能にするビデオメタデータ伝送チャンネルを設ける。

換言すれば、本発明に基づくビデオ信号処理システムの実施形態は、本発明に基づくビデオ信号送信機及びビデオ信号受信機の間を接続するビデオ信号伝送チャンネルによって接続されるビデオ信号送信機及びビデオ信号受信機を備える。

本発明に基づくビデオ信号送信機は、入力ビデオ信号を解析し、これに対応するビデオ情報を、ビデオ信号送信機又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）内の少なくとも１つのビデオ前処理段、及び／又はビデオ情報チャンネル又はビデオメタデータチャンネルを介して、ビデオ信号受信機内の少なくとも１つのビデオ信号処理段又はビデオ信号ピクチャ処理モジュール（ＶＳＰＭ）に供給する包括的解析モジュールとしてのビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）を備える。

本発明に基づくビデオ信号受信機は、ビデオ信号送信機又はビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）から受け取ったビデオ情報に基づいて、ビデオ信号送信機又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）から受け取ったビデオ信号を処理する処理モジュールとしての少なくとも１つのビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）を備える。

したがって、本発明では、例えば、雑音の低減、符号化及びフォーマット変換のためにビデオ信号を解析した結果であるビデオ情報を、各モジュール内だけではなく、モジュール境界を超えて利用でき、並びにビデオ情報は、ビデオ信号送信機からビデオ信号受信機に渡すこともできる。

本発明は、現在周知のシステムにおいて各コンポーネントに分散されているピクチャ解析処理ステップを集積化した、すなわち、包括的な解析に置換した構造を提供する。したがって、例えば、実際の補間の前にエッジの向きを決定するインタレース−プログレッシブ変換フィルタにおいて、空間的なマッチング処理が行われ、生成された結果は、次に、例えば、雑音低減コンポーネント又はフレームレート変換コンポーネントにおいて利用できる。

したがって、本発明により、高度なデジタルピクチャ処理システムの幾つかのモジュールが必要とする解析情報を、処理チェーンにおける他のモジュールでも用いることができ、すなわち、同様の解析処理ステップ（例えば、動き推定及び動き検出）を複数回実行する必要がなくなる。したがって、リソースを有効に活用することができる。

例えば、周知のシステムでは、動き推定処理の演算オーバヘッドが大きい。システム内の他のビデオ処理モジュールに比べて、動き推定器の相対的な複雑性考慮すると、この問題はより顕著になる。動き推定器は、多くの場合、最も複雑なモジュールであり、また、全体的な画質に強く関係する。

他の具体例は、システムによって用いられる雑音低減モジュールの品質に比例する、従来のシステムにおける雑音低減の演算オーバヘッドである。本発明では、システムに亘って、高品質の雑音低減を採用しながら、この雑音低減のためのピクチャ解析を集積的に実現することができる。

本発明に係るビデオ信号処理システムでは、ビデオ情報伝送チャンネルは、好ましくは、ビデオ信号送信機又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）からビデオ信号受信機又はビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）にビデオメタデータを送信する順方向チャンネルを含む。

本発明に係るビデオ信号処理システムでは、ビデオメタデータは、更に好ましくは、ビデオ信号受信機側又はビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）の側でビデオ信号を処理するためのピクチャ解析情報を含む。

これに代えて又はこれに加えて、本発明に係るビデオ信号処理システムでは、ビデオ情報伝送チャンネルは、好ましくは、ビデオ信号受信機又はビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）からビデオ信号送信機又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）にビデオ品質データを送信する逆方向チャンネルを含む。

更に好ましくは、本発明に係るビデオ信号処理システムでは、ビデオ品質データは、ビデオ信号送信機又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）からビデオ信号受信機又はピクチャ処理モジュール（ＶＳＰＭ）が受け取ったビデオメタデータへの各フィードバックを提供する。

これに代えて又はこれに加えて、本発明に係るビデオ信号処理システムでは、更に好ましくは、品質データは、ビデオ信号送信機側で又は上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）の側でビデオ信号を前処理するための画質情報を含む。

本発明に係るビデオ信号送信機において、包括的解析モジュールは、好ましくは、動き評価器及び／又はエッジ検出器及び／又は雑音測定ユニット及び／又はフィルムモード検出器及び／又はヒストグラム計算ユニット及び／又はブロック検出器及び／又はセグメント化器を備える。

これに代えて又はこれに加えて、本発明に基づくビデオ信号送信機では、包括的解析モジュールは、好ましくは、ビデオ情報をビデオメタデータに符号化するビデオメタデータエンコーダを備える。

更にこれに代えて又はこれに加えて、本発明に基づくビデオ信号送信機では、包括的解析モジュールは、受信した画質情報に基づいて、解析性能を向上させるようにパラメータ設定を適応化する。

本発明に基づくビデオ信号送信機において、少なくとも１つのビデオ前処理段は、好ましくは、ビデオ情報を受け取り、ビデオ信号をビデオ信号受信機に送信する前に、受信したビデオ情報に基づいて、入力ビデオ信号を前処理する。

この場合、本発明に基づくビデオ信号送信機において、少なくとも１つのビデオ前処理段は、好ましくは、ノイズリデューサ及び／又はビデオエンコーダを備える。

更にこの場合、本発明に基づくビデオ信号送信機では、これに代えて又はこれに加えて、少なくとも１つのビデオ前処理段は、好ましくは、ビデオメタデータデコーダを備える。

本発明に基づくビデオ信号受信機では、少なくとも１つの処理モジュールは、好ましくは、受信したビデオメタデータからビデオ情報を復号するビデオメタデータデコーダを備える。

これに代えて又はこれに加えて、本発明に基づくビデオ信号受信機では、少なくとも１つの処理モジュールは、好ましくは、ビデオ情報へのフィードバックとして、ビデオ信号送信機に画質情報を提供する。

これに代えて又はこれに加えて、本発明に基づくビデオ信号受信機では、少なくとも１つの処理モジュールは、好ましくは、ビデオフォーマット変換器及び／又はフレームレート変換器及び／又はインタレース−プログレッシブ変換器及び／又はノイズリデューサ及び／又はピクチャ改善ユニット及び／又はデブロッキングユニットを備える。

本発明に基づくビデオ信号処理システム、ビデオ信号送信機及びビデオ信号受信機の更なる特徴及び利点は、添付の図面を参照した以下の例示的な実施形態の説明によって明らかになる。

まず図１のブロック図を参照して、本発明の基本的な原理を説明する。本発明に基づくビデオ処理システムは、集積的及び／又は集中的な形式で、受信ビデオデータＶｉｎに関する全てのビデオ信号又はピクチャ解析処理を実現するビデオ信号又はピクチャ解析モジュールＶＳＡＭを備える。更に、ビデオ処理システムは、集積的及び／又は集中的な形式で、受信ビデオデータＶｉｎに関する全てのビデオ信号又はピクチャ処理を実現するビデオ信号又はピクチャ処理モジュールＶＳＰＭを備える。

本発明に基づくデジタルピクチャ処理システムは、好ましくは１つの解析部分及びピクチャ処理部分に区分され、各部分は、集積化されている。図２は、本発明に基づくシステムの第１の好適な実施形態の概要を示している。

入力ビデオデータは、中央ピクチャ解析ブロック１に供給され、更に任意の順方向チャンネル３を介して、ピクチャ処理ブロック２に供給される。中央ピクチャ解析ブロック１及びピクチャ処理ブロック２の間でピクチャ解析の結果を伝送するための通信は、ビデオメタデータプロトコル（Video Meta Data Protocol：ＶＭＤＰ）によって組織化された全ての利用可能なピクチャ解析情報を含むビデオメタデータストリームを介して行われる。ビデオメタデータは、ビデオデータに同期し、ビデオメタデータストリームも順方向チャンネル３を通過する。

図２は、解析ブロック１及びピクチャ処理ブロック２が必ずしも受信機内にある必要はなく、すなわち、必ずしも伝送チャンネル、ここでは、順方向チャンネル３の同じ側に存在する必要はないことを示している。また、図２に示すように、作成／送信側においてピクチャ解析を実行し、全ての解析情報をビデオメタデータとして、伝送チャンネルを介して送信してもよい。

更に、図２に示すシステムは、処理コンポーネントであるピクチャ処理ブロック２から解析コンポーネントである解析ブロック１へのバックパス、すなわち、逆方向チャンネル４を備えていてもよい。この逆方向チャンネル４は、改良されたピクチャの品質に関する情報又は解析情報の品質に関する情報を搬送してもよい。解析コンポーネントは、この情報に応じて、処理を向上させるようにパラメータ設定を適応化することができる。

図３は、解析ブロック１の構成を示している。解析ブロック１は、ＶＭＤＰエンコーダ１２と、例えば、動き推定器５、エッジ検出器６、雑音測定ユニット７、フィルムモード検出器８、ヒストグラム構築ユニット９、ブロック検出器１０、セグメント化器１１等の、全てがビデオ信号及び品質情報を受け取る複数の解析コンポーネントとを備える。また、この他の解析コンポーネントを設けてもよい。また、１つの解析コンポーネントは、他の解析コンポーネントの解析の結果を利用してもよい。高い品質が望まれない場合には、幾つかのコンポーネントを省略してもよい。また、品質及びコストに関する要求に応じて、より簡単な又はより高度なアルゴリズムを適用してもよい。ＶＭＤＰエンコーダ１２は、完全な解析情報（また、ビデオ情報とも呼ばれる。）を収集し、ビデオメタデータプロトコルに基づいて、この情報をビデオメタデータに含ませる。ある部品を省略する場合、それぞれの情報を搬送するプロトコル部分は、デフォルト値に設定してもよく、例えば、動き推定器を省略する場合、ベクトルの値をゼロに設定してもよい。

図４は、ピクチャ処理ブロック２のブロック図を示している。ピクチャ処理ブロック２は、ＶＭＤＰデコーダ１３と、例えば、フレームレート変換器１４、インタレース−プログレッシブ変換器１５、ノイズリデューサ１６、ピクチャ改善ユニット１７、デブロッキングユニット１８等の処理コンポーネントとを備える。ピクチャ処理ブロック２のスケーラビリティは、解析ブロック１と同様である。ＶＭＤＰデコーダ１３は、プロトコルに基づいてメタデータを復号し、ピクチャ処理モジュールにメタデータを転送する。

ビデオシステムの異なる複数のビデオ処理段において共通の１つの動き推定器を用いることにより、各処理段における時間的予測の調和を実現する、図５〜図７に示す本発明に基づく第２の実施形態を用いて、本発明の基本的な発想を更に詳細に説明する。

本発明に基づく第２の実施形態を適用できる、対応する一般的なビデオシステムを図５に示す。入力ビデオ信号は、ノイズリデューサ１９に供給され、ノイズリデューサ１９は、雑音を低減したビデオ信号をビデオエンコーダ２０に供給する。ビデオエンコーダ２０は、符号化したビデオ信号をマルチプレクサ２２に供給する。マルチプレクサ２２には、オーディオエンコーダ２１を介して、オーディオ信号も入力されている。マルチプレクサ２２は、両方の入力信号、すなわち、雑音が低減され、符号化されたビデオ信号及び符号化されたオーディオ信号を多重化し、多重化された信号を任意のチャンネル２３を介して、デマルチプレクサ２４に供給する。また、マルチプレクサ２２及びデマルチプレクサ２４は、設けなくてもよい。デマルチプレクサ２４は、符号化されたビデオ信号及び符号化されたオーディオ信号を逆多重化し、逆多重化された信号をそれぞれのデコーダに供給し、すなわち、符号化されたビデオ信号をビデオデコーダ２５に供給し、符号化されたオーディオ信号をオーディオデコーダ２６に供給する。オーディオデコーダ２６は、復号されたオーディオ信号を出力し、ビデオデコーダ２５は、フォーマット変換器２７を介して、復号されたビデオ信号を出力する。

本発明に基づく包括的解析モジュール、この具体例では、好ましくは真の動きベクトルを生成する動き推定器は、解析結果、すなわち、ビデオ情報、ここでは（真の）動きベクトルをビデオ処理システム内の異なる処理段に渡す。この処理段には、図５に示すノイズリデューサ１９、ビデオエンコーダ２０、フォーマット変換器２７等が含まれる。これらの処理段は、以下の機能を有する。

ノイズリデューサ１９：時間フィルタ及びオプションの空間フィルタを適用することによって、アナログ入力信号の雑音を低減させる。

ビデオエンコーダ２０：空間的及び時間的な方向にビデオ信号を圧縮する。

フォーマット変換器２７：所望の出力フォーマットに一致するようにビデオ信号のフォーマットを変換する。これは、プログレッシブ方式のディスプレイ装置への信号の出力を含む。

図５に示す構成は、単一の装置として設計してもよい。

本格的な（full-blown）ビデオ処理システムは、これらの処理段の全てを同時に用いる。図５は、このようなシステムの具体例、すなわち、ノイズリデューサ１９、ビデオエンコーダ２０及びフォーマット変換器２７を備えるパーソナルビデオレコーダ（personal video recorder：ＰＶＲ）型の適用例を示している。このシステムには、アナログ信号が入力される。第１のステップでは、信号の雑音がフィルタリングされる。第２のステップでは、例えば、フレーム間符号化を適用することによって、信号を符号化する。ビデオエンコーダの出力は、任意のオーディオエンコーダの出力に多重化され、これにより、トランスポート／プログラムストリームが生成される。多重化されたストリームは、記録媒体に保存した後にデマルチプレクサ２４に供給してもよく、デマルチプレクサ２４は、ビデオデータ及びオーディオデータを２つの個別のストリーム及びプライベートストリームに分割する。ビデオデータストリームは、ビデオデコーダ２５に入力される。ビデオデコーダ２５は、ベースバンドビデオ信号を復元する。ビデオデコーダ２５の出力は、最終的に、フォーマット変換器２７において、システムの所望の出力フォーマットに変換される。同様に、オーディオストリームは、オーディオデコーダ２６に入力され、オーディオデコーダ２６は、ストリームを復号し、圧縮されていないオーディオデータを出力する。

本発明では、様々なビデオ処理段階で共通の動きベクトルの組を用いる。高品質なビデオノイズリデューサ及びビデオフォーマット変換器は、ビデオシーケンス内の動くオブジェクトを追跡するための技術として、通常、動き補償を用いる。ビデオ符号化アルゴリズムも、フレーム間予測を利用する場合、動き補償に基づいている。本発明が提案するシステムは、共通の動き推定器を使用し、導出された動きベクトルを、処理ルーチンの一部として動き推定を適用する様々なモジュールに供給する。

図６は、動き推定を行い、動きベクトルを配布するＰＶＲ型の適用例として提案する構成のブロック図を示している。システムの中心には、共通の動き推定器２８がある。この動き推定器２８は、ノイズリデューサ１９、ビデオエンコーダ２０及びビデオフォーマット変換器２７に動きベクトルを供給する。この具体例では、空間的ノイズリデューサ１９ａと、動きベクトルを受け取る時間的ノイズリデューサ１９ｂとから構成されるノイズリデューサ１９と、ビデオフォーマット変換器２７とには、これらのベクトルが直接入力される。

動きベクトルがビデオエンコーダ２０に供給される場合、任意の動きベクトル高精度化ユニット（motion vector refinement unit）２９によって、動きベクトルのベクトル品質を向上させてもよい。この処理は、符号化段、すなわち、ビデオエンコーダ２０に適切な動きベクトルを生成するために、動きベクトルを高精度化する処理を含む。したがって、ビデオエンコーダ２０は、連続するフィールド間で動きベクトルを使用し、ＧＯＰ／ＶＯＰ内のフィールド又はフレームの対の間では、動きベクトルに依存しない。動きベクトルの高精度化は、動き推定器に統合してもよく、又は図６に示す動きベクトル高精度化ユニット２９のように、独立したモジュールとして加えてもよい。高精度化された動きベクトルは、ビデオシンタクス（video syntax）の一部になり、ビデオエレメンタリストリームに挿入される。

動き補償されたノイズリデューサ１９は、アナログ信号をフィルタリングする。時間的ノイズフィルタ１９ｂは、動き推定器２８によって生成された動きベクトルを直接利用する。ノイズリデューサ１９は、空間フィルタ１９ａも適用できる。ここに提案するシステムの１つの利点は、アナログビデオ信号に対して単一のノイズリデューサ１９を用いることである。

ビデオフォーマット変換器２７は、ビデオデコーダ２５の後段に設けられているので、ビデオベースバンド信号を復元した後、フォーマット変換のための動きベクトルをローカルに保存してもよく、又は伝送チャンネル２３を用いる場合は、動きベクトルを受信機に送信してもよい。ストレージ又は伝送の際には、これらの動きベクトルのデータサイズを最小化することが望ましい。したがって、動きベクトルエンコーダ３０によって、例えば、可変長符号化（variable length encoding：ＶＬＥ）又はこれとランレングス符号化（run-length coding：ＲＬＣ）とを組み合わせた可逆データ圧縮技術を用いて、動きベクトルを圧縮してもよい。可逆データ圧縮技術では、通常、データサイズを約１／６に削減することができる。ここに提案するシステムの利点の１つは、多くのビデオコーデック（エンコーダ／デコーダシステム）が可変長符号化／復号（ＶＬＸ）のためのコプロセッサを含む点である。このコプロセッサを用いることにより、ビデオ符号化及び動き推定ベクトル符号化を効率的に実現することができる。コプロセッサは、メインプロセッサの処理と並列して実行することができる。すなわち、ＶＬＸ演算は、アイドリング中のコプロセッサにおいて行われるため、メインプロセッサの演算負荷は大きくならない。

一旦、動きベクトルが圧縮されると、これらの動きベクトルは、ビデオエレメンタリストリーム及び任意のオーディオエレメンタリストリームとともに、プライベートストリームデータとして、伝送／保存ビットストリームに多重化される。１ビデオフレームあたりの動きベクトルの最大数は既知であるので、１ビデオフレームに割り当てられるビット数の上限を算出することができる。例えば、ＰＡＬ信号に１６×１６ブロックサイズの動き推定処理を適用した場合、実効データレートは、約１００ｋｂｐｓになる。この上限は、このプライベートストリームのための固定ビットレートを導出するために用いることができる。多重化されたストリームのビットレートは、トランスポート層における追加的なプライベートストリームのために、僅かに高くなる。多重化されたストリームは、ローカルに保存してもよく、又は受信機に送信してもよい。ここに提案するシステムは、同時に複数のビデオストリームを扱うように拡張することができる。このシステムは、複数のトランスポート／プログラムストリームを出力してもよく、又は全てのストリームを単一の多重化されたストリームに結合してもよい。

もちろん、本発明の第１の実施形態との組合せも可能であり、この場合、ＶＭＤＰエンコーダを用いて、圧縮された又は圧縮されていない動きベクトルを符号化する。

図７に示すように、デコーダ側では、デマルチプレクサ２４によって、トランスポート／プログラムストリームを逆多重化する。デマルチプレクサ２４の各出力、すなわち、動きベクトルを搬送するプライベートストリーム、符号化されたビデオ信号及び符号化されたオーディオ信号は、各デコーダすなわち、動きベクトルデコーダ３１、ビデオデコーダ２５、及びオーディオデコーダ２６に供給される。フォーマット変換器２７のための圧縮された動きベクトルを含むプライベートストリームは、この場合伸張器の機能も有するビデオデコーダ２５に入力される。理想的には、可変長復号（ＶＬＤ）は、ビデオデコーダ２５と同じリソースを利用する。フォーマット変換器２７は、ビデオデコーダ２５によって復号されたベースバンドビデオ信号に伸張された動きベクトルを適用する。エンコーダ側と同様に、ＶＬＤは、メインプロセッサにおけるフォーマット変換処理と並列に実行することができる。

ここに提案するシステムは、ＰＶＲ型の適用例に最適なシステムである。このような適用例の構成は、図５に示すブロック図に正確に一致する。ビデオ信号は、ライブモードにおいても、常に符号化され、続いて復号される。なお、図５を用いて説明した実施形態の様々な部分の組み合わせも本発明の範囲内にある。例えば、エンコーダ／デコーダブロック２０、２５を備えないビデオシステムも本発明の範囲内にある。更に、符号化処理は、放送業者側で適用してもよく、これにより、ビデオエレメンタリストリームを含む圧縮されたデジタルストリームと、真の動きベクトル情報を含む関連する補足的なプライベートストリームとが受信機側に提供される。

本発明に基づく手法の利点は、同じ処理ステップを複数回実行しなくてもよいという点である。これにより、システムの演算負荷が減少し、又は演算リソースを集中できる。また、これにより、システムリソースは、より効率的に利用され、例えば、真の動きベクトルを生成する共通の動き推定器を利用することにより、画質を改良できる。また、冗長な処理ステップをスキップし、例えば、符号化のための単一の共通の動き推定器及び共通のフォーマット変換器を用いる等、リソースを共有し、すなわち、部品が少なくなり、システム全体がより単純化されるため、システムコストを削減できる。

更に、本発明では、全ての画像処理コンポーネントにおいて、完全な解析情報を利用でき、また、例えば、異なるビデオ処理段において使用される動きベクトル情報の調和によって、全体の画質が改善される。多くの場合、画像処理コンポーネントは、その性質に応じて、全ての情報を利用してもよく、一部の情報のみを利用してもよい。これにより、これまでアクセスできなかった解析情報を利用できるようになるため、実現可能な画質を向上させることができる。

更に、このシステムでは、ピクチャ処理モジュールを変更することなく、幾つかの解析コンポーネントからの分岐が可能であるため、このシステムは、スケーラビリティが高い。このため、中間的な又は低い画質のみが期待されるような機器のための処理チェーンも容易に設計及び実現することができる。これにより、発売までの期間を短縮することができる。

更に、本発明では、例えば、ノイズ削減及びフォーマット変換処理に必要な動き推定等の演算負荷をクライアント側からサーバ側に移行できる。

具体例として、ハイエンドの１００Ｈｚのテレビジョン受像機は、動き補償されたフレームレート変換を必要とし、中間的な又はローエンドのテレビジョン受像機は、適応型又は固定のアップコンバージョンで動作できる。ここで、（高価な）動き推定器を省略する場合、ＶＭＤＰエンコーダは、プロトコルの動きベクトル部分をゼロベクトルに設定してもよい。この場合、フレームレート変換器は、固定のアップコンバージョンを実行する。この場合、ＤＳＰ上で動作するソフトウェアとして実現される画質向上システムにアドオンされるハードウェアコンポーネントである動き推定器は、ソフトウェアによるインプリメンテーションに変更を加えることなく、省略することができる。

本発明の適用範囲は、アナログビデオ処理システム、混合的な（アナログ／デジタル）ビデオ処理システム、デジタルビデオ処理システムを包含する。本発明は、ローカルエンコーダ及びリモートエンコーダ（例えば、放送業者）を備えるシステム、並びに統合された又は分離されたエンコーダ／デコーダ（コーデック）システムをサポートする。

本発明は、新たな画像処理システムを提案する。このシステムでは、動き推定やセグメント化等の全てのピクチャ解析コンポーネントは、単一のピクチャ解析モジュールに集積化される。また、フレームレート変換や画質向上等の全ての画像処理コンポーネントは、好ましくは、中央の画像処理モジュールに集積化される。解析情報は、ビデオメタデータストリームとともに伝送される。この集積化により、演算負荷が軽減され、冗長な処理ステップが省略され、全ての画像処理コンポーネントが解析情報を利用できるようになる。このシステムでは、他の各モジュールを変更することなく、解析／画像処理コンポーネントの部分を省略し又は変更することができるため、このシステムはスケーラビリティが高い。これにより、画質を自在に向上させ又は低下させることができる。

本発明の基本的な原理を示すブロック図である。 本発明に基づくビデオ信号処理システムの第１の実施形態を示す図である。 図２に示すピクチャ解析コンポーネントのブロック図である。 図２に示すピクチャ処理コンポーネントのブロック図である。 本発明に基づくビデオ信号処理システムの第２の実施形態を適用できる一般的なオーディオ／ビデオ処理システムの構成を示す図である。 図５に示す一般的なオーディオ／ビデオ処理システムにおける、本発明に基づくビデオ信号処理システムの第２の実施形態の共通の動き推定器の構成を示す図である。 図５に示す一般的なオーディオ／ビデオ処理システムにおける、本発明に基づくビデオ信号処理システムの第２の実施形態のデコーダ側の構成を示す図である。

Claims (20)

1. 受信ビデオデータに関するビデオ信号又はピクチャ解析処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）と、
   受信ビデオデータに関するビデオ信号又はピクチャ処理を集積化及び／又は集中化された形式で実現するビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）とを備えるビデオ信号処理システム。
2. 上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）は、集積化及び／又は集中化された形式で動き推定及び／又はセグメント化を含む処理を行うビデオ信号又はピクチャ解析コンポーネントを備えることを特徴とする請求項１記載のビデオ信号処理システム。
3. 上記ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）は、集積化及び／又は集中化された形式で特定のフレームレート変換及び／又はピクチャ解析コンポーネントを含む処理を行うビデオ信号又は画像処理コンポーネントを備えることを特徴とする請求項１又は２記載のビデオ信号処理システム。
4. 上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）と、ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）とを接続し、ビデオメタデータの交換を可能にするビデオメタデータ伝送チャンネル（ＶＭＤＣ、３、４）を備える請求項１乃至３いずれか１項記載のビデオ信号処理システム。
5. 上記ビデオメタデータ伝送チャンネル（ＶＭＤＣ、３、４）は、上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）から上記ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）に上記ビデオメタデータを送信する順方向チャンネル（３）を含むことを特徴とする請求項１乃至４いずれか１項記載のビデオ信号処理システム。
6. 上記ビデオメタデータは、上記ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）の側でビデオ信号を処理するためのピクチャ解析情報を含むことを特徴とする請求項２乃至５いずれか１項記載のビデオ信号処理システム。
7. 上記ビデオメタデータ伝送チャンネル（ＶＭＤＣ、３、４）は、上記ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）から上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）にビデオ品質データを送信する逆方向チャンネル（４）を備えることを特徴とする請求項２乃至６いずれか１項記載のビデオ信号処理システム。
8. 上記ビデオ品質データは、上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）から上記ビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）が受け取った上記ビデオメタデータへの各フィードバックを提供することを特徴とする請求項７記載のビデオ信号処理システム。
9. 上記ビデオ品質データは、上記ビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）の側でビデオ信号を前処理及び／又は解析するための画質情報を含むことを特徴とする請求項７又は８記載のビデオ信号処理システム。
10. ビデオ信号を送信するビデオ信号送信機において、入力ビデオ信号を解析し、これに対応するビデオ情報を、当該ビデオ信号送信機内の少なくとも１つのビデオ前処理段（１９，２０）に、及び／又はビデオ情報チャンネル（３；２３）を介して、ビデオ信号受信機内の少なくとも１つのビデオ信号処理段（２；２７）に供給する包括的解析モジュール（１；２８）としてのビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）を備えるビデオ信号送信機。
11. 上記包括的解析モジュール（１；２８）は、動き評価器（５；２８）及び／又はエッジ検出器（６）及び／又は雑音測定ユニット（７）及び／又はフィルムモード検出器（８）及び／又はヒストグラム計算ユニット（９）及び／又はブロック検出器（１０）及び／又はセグメント化器（１１）を備えることを特徴とする請求項１０記載のビデオ信号送信機。
12. 上記包括的解析モジュール（１）は、上記ビデオ情報をビデオメタデータに符号化するビデオメタデータエンコーダ（１２）を備えることを特徴とする請求項１０又は１１記載のビデオ信号送信機。
13. 上記包括的解析モジュール（１）は、受信した画質情報に基づいて、解析性能を向上させるようにパラメータ設定を適応化することを特徴とする請求項１０乃至１２いずれか１項記載のビデオ信号送信機。
14. 上記少なくとも１つのビデオ前処理段（１９、２０）は、ビデオ情報を受け取り、上記ビデオ信号をビデオ信号受信機に送信する前に、上記受信したビデオ情報に基づいて、入力ビデオ信号を前処理することを特徴とする請求項１０乃至１２いずれか１項記載のビデオ信号送信機。
15. 上記少なくとも１つのビデオ前処理段は、ノイズリデューサ（１９）及び／又はビデオエンコーダ（２０）を備えることを特徴とする請求項１４記載のビデオ信号送信機。
16. 上記少なくとも１つのビデオ前処理段は、ビデオメタデータデコーダを備えることを特徴とする請求項１４又は１５記載のビデオ信号送信機。
17. ビデオ信号を受信するビデオ信号受信機において、ビデオ信号送信機から受け取ったビデオ情報に基づいて、該ビデオ信号送信機、又はビデオ信号又はピクチャ解析モジュール（ＶＳＡＭ）から受け取ったビデオ信号を処理する処理モジュール（２；２７）としての少なくとも１つのビデオ信号又はピクチャ処理モジュール（ＶＳＰＭ）を備えるビデオ信号受信機。
18. 上記少なくとも１つの処理モジュール（２）は、受信したビデオメタデータから上記ビデオ情報を復号するビデオメタデータデコーダ（１３）を備えることを特徴とする請求項１７記載のビデオ信号受信機。
19. 上記少なくとも１つの処理モジュール（２）は、上記ビデオ情報へのフィードバックとして、上記ビデオ信号送信機に画質情報を提供することを特徴とする請求項１７又は１８記載のビデオ信号受信機。
20. 上記少なくとも１つの処理モジュール（２；２７）は、ビデオフォーマット変換器（２７）及び／又はフレームレート変換器（１４）及び／又はインタレース−プログレッシブ変換器（１６）及び／又はノイズリデューサ（１７）及び／又はピクチャ改善ユニット（１７）及び／又はデブロッキングユニット（１８）を備えることを特徴とする請求項１７乃至１９いずれか１項記載のビデオ信号受信機。

Images