JP2004518342A - スケーラブルビデオトランスコーディング方法及び装置 - Google Patents

Abstract

本発明は、４個のトランスコーディングアーキテクチャを招く、ＭＰＥＧ−２標準規格に従って符号化された入力ビデオ信号（１０３）のトランスコーディングを行うスケーラブルビデオトランスコーディング方法に関する。スケーラビリティが、符号化エラー（１１９）の再構成（１１８）及び動き補償（１２８）が実行されるか否かを決定するスイッチ（１２０）及び（１３０）により得られる。異なる処理の複雑さを持つ斯様に規定されるアーキテクチャ毎に、利用可能な処理資源の全体が、フレームのグループに沿って、これら４個のアーキテクチャの一つに従って該フレームのトランスコーディングする部分において最適に用いられ且つ最小限にされ得ると共に、トランスコードされた信号（１０９）の良好な画質が保証される。前記符号化エラーのエネルギ予測に基づくこれらスイッチの経済的な制御ストラテジーも提案される。

Description

【０００１】
【発明の属する技術分野】
本発明は、出力ビデオ信号を生成するために入力符号化ビデオ信号内のデータを修正する方法であって、各ビデオ信号は一連の符号化ビデオフレームに対応し、当該方法は少なくとも、
− 現在の入力符号化ビデオフレームからの復号化データ信号を出すためのエラー復号化ステップと、
− 修正された信号からの、前記出力ビデオ信号により搬送される、出力ビデオフレームを出すための再エンコードステップであって、前記修正された信号は、動き補償された信号と前記復号化データ信号との間の加算サブステップに起因する、再エンコードステップと、
− 前記出力ビデオフレームの符号化エラーを出すための再構成ステップと、
− 前の出力ビデオフレームの記憶された符号化エラーからの前記動き補償された信号を出すための動き補償ステップと、を有する方法に関する。
【０００２】
本発明はまた、前記方法を実行するためのトランスコーディング装置にも関する。この発明は、例えば、ビデオブロードキャスティングの分野で用いられても良い。
【０００３】
【従来の技術】
符号化データ信号のトランスコーディングは、ビデオブロードキャスティングの分野において極めて重要な機能となっている。例えば、ＭＰＥＧ−２標準規格に従って符号化された入力ビデオ信号が、限られた帯域幅の伝送チャネル上をブロードキャストされなければならない場合、トランスコーディング方法を、その結果の出力ビデオ信号が上記限られた帯域幅内に適合する低減されたビットレートを持つように、前記入力ビデオ信号に適用することができる。
【０００４】
トランスコーディング方法は、欧州特許出願公開第ＥＰ ０ ６９０ ３９２ Ａ１号で提案されている。この特許出願は、符号化データ信号を修正するための方法及び該方法に対応する装置を述べている。とりわけ、この方法は、ＭＰＥＧ−２標準規格に従って符号化された入力ビデオ信号のビットレートを低減させるために用いられる。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、処理資源の量が最大限である場合により良好なレンダリング品質を伴う修正されたビデオ信号を生成することを可能にする、符号化データ信号内のデータを修正する方法を提供することにある。
【０００６】
従来技術の方法は、トランスコードされたビデオフレーム上の品質ずれ（ｑｕａｌｉｔｙ ｄｒｉｆｔ）を回避する動き補償ブランチを含むトランスコーディングアーキテクチャに基づく。この動き補償ブランチは、前記再構成ステップ及び動き補償ステップを含む。トランスコーディングは高品質となるが、このアーキテクチャは複雑さを残している。なぜなら、動き補償ブランチは、離散コサイン変換（ＤＣＴ）ステップ、逆離散コサイン変換（ＩＤＣＴ）ステップ、逆量子化（ＩＱ）ステップ及び動き補償（ＣＯＭＰ）ステップを必要とするからである。斯かるアーキテクチャは、斯くして、多量の処理資源を持つビデオ装置に専用とされる。
【０００７】
それ故、民生製品等の限られた処理資源のビデオ装置では、従来技術の方法を実現することができない。
【０００８】
動き補償ブランチは、いわゆる再量子化アーキテクチャを招くように、演算負荷を低減させるために抑制されても良い。しかしながら、これは、トランスコードされたビデオ信号の品質を害することになるであろう。更に、この場合、再量子化アーキテクチャは経済的であるため、処理資源は最適に用いられない、即ち、全ての処理資源が用いられるわけではない。
【０００９】
【課題を解決するための手段】
従来技術の方法の制限を解決するために、本発明によるデータを修正する方法は、当該方法が、
前記再構成ステップをアクティブにするための前記再エンコードステップと前記再構成ステップとの間に挿入される第１スイッチングステップと、
前記動き補償ステップをアクティブにするための前記動き補償ステップと前記加算サブステップとの間に挿入される第２スイッチングステップと、を有し、
これらスイッチングステップは、前記入力符号化ビデオ信号を修正するための４個のアーキテクチャを規定するスケーラブル方法を規定するために制御ストラテジーにより別個に制御されることを特徴とする。
【００１０】
この方法は、入力ビデオ信号のトランスコーディング中に択一的にアクティブにされる、以下の４個のトランスコーディングアーキテクチャを規定することを可能にする。
【００１１】
− 再量子化アーキテクチャ：動き補償ブランチが従来技術のトランスコーディングアーキテクチャにおいて抑制される、
− 再構成アーキテクチャ：動き補償ステップが従来技術のトランスコーディングアーキテクチャにおいて抑制される、
− 動き補償アーキテクチャ：再構成ステップが従来技術のトランスコーディングアーキテクチャにおいて抑制される、
− 高品質アーキテクチャ：従来技術のトランスコーディングアーキテクチャに対応する。
【００１２】
このようにして、４個のアーキテクチャが規定され得るので、トランスコーディング方法はスケーラブルとなる。異なる処理の複雑さ（ｐｒｏｃｅｓｓｉｎｇ ｃｏｍｐｌｅｘｉｔｙ）を持つ斯様に規定されるアーキテクチャ毎に、利用可能な処理資源の全体が、従来技術の方法におけるように使われない処理資源を持つということなく、この４個のアーキテクチャの一つに従って前記入力ビデオ信号のトランスコーディング部分において最適に用いられ得る。
【００１３】
この処理資源の最適化された使用は、各前記スイッチングステップをアクティブにし、当該システムがあるマクロブロックと別のマクロブロックとの間で異なるトランスコーディングアーキテクチャを適用させることを可能にする経済的な制御プロセスに基づく。このため、前記方法は、
マクロブロックレベルにおいて実行される、前記第１スイッチングステップの制御ストラテジーが、
− 前記符号化エラーのエネルギの第１予測サブステップであって、前記符号化エラーエネルギは出力ビデオフレームの全ての再エンコードされたマクロブロックに対して予測される、第１予測サブステップと、
− 前記符号化エラーを規定するマクロブロックの間で、所与の閾値を下回る予測された符号化エラーエネルギを持つ第１のマクロブロックの組を特定するための第１選択サブステップであって、前記第１のマクロブロックの組の符号化エラーはゼロ値に設定されて、修正された、記憶された符号化エラーに結果としてなる、第１選択サブステップと、
− 前記符号化エラーを規定するマクロブロックの間で、前記所与の閾値を上回る予測された符号化エラーエネルギを持つ第２のマクロブロックの組を特定するための第２選択サブステップと、を有し、
前記第１スイッチングステップは、前記第２のマクロブロックの組に対して前記再構成ステップをアクティブにすることを特徴とする。
【００１４】
前記方法はまた、
マクロブロックレベルにおいて実行される、前記第２スイッチングステップの制御ストラテジーが、
− 前記動き補償された信号のエネルギの第２予測サブステップであって、前記エネルギはマクロブロックレベルにおいて予測される、第２予測サブステップと、
− 前記動き補償された信号内で、前記所与の閾値を上回る予測されたエネルギを持つ第３のマクロブロックの組を特定するための第３選択サブステップと、を有し、
前記第２スイッチングステップは、その動き補償されたマクロブロックが前記第３のマクロブロックの組に属する前記復号化データ信号を規定する各マクロブロックに対して前記動き補償ステップをアクティブにすることを特徴とする。
【００１５】
この制御プロセスは、その結果のトランスコードされた出力ビデオ信号内に品質ずれを導入する可能性のある入力ビデオ信号内のマクロブロックに対してのみ動き補償ステップ及び／又は再構成ステップを実行することができる。
【００１６】
このトランスコーディング方法及び該方法を実現する、該方法に対応するトランスコーディング装置は、所与の量の処理資源に関して、トランスコードされた信号の良好な画質を得ることを可能にする。
【００１７】
本発明の詳細な説明及び他の特徴が以下に与えられている。
【００１８】
ここで、本発明の格別の特徴が、添付の図面と関連付けて考慮されている以下に記載の実施例を参照して説明されるであろう。図において、同様の部分又はサブステップは同様に指定されている。
【００１９】
【発明の実施の形態】
本発明は、ＭＰＥＧ−２入力符号化ビデオ信号のトランスコーディングに良好に適応されるが、例えばＭＰＥＧ−４、Ｈ．２６１又はＨ．２６３標準規格に述べられているようなブロックに基づく圧縮方法によりエンコードされる如何なる符号化信号にも適用可能であることが当業者にとって明らかであろう。
【００２０】
本発明は、入力符号化ビデオ信号及び出力符号化ビデオ信号がＭＰＥＧ−２国際ビデオ標準規格（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ， ＩＳＯ／ＩＥＣ １３８１８−２）に準拠するということを前提として、以下詳細に述べられるであろう。ビデオフレームは、マクロブロックと称される１６×１６画素の隣接平方領域に分割されるということが前提とされている。
【００２１】
図１は、本発明によるトランスコーディング装置の全体的な実施例を示す。このトランスコーディング装置は、以下の機能的ステップを有するトランスコーダ機構（ｔｒａｎｓｃｏｄｅｒ ａｒｒａｎｇｅｍｅｎｔ）に基づく。
【００２２】
− 現在の入力符号化ビデオ信号１０３からの復号化データ信号１０２を出す（ｄｅｌｉｖｅｒ）エラー復号化ステップ１０１。このステップは、信号１０３に含まれる少なくともＤＣＴ係数及び動きベクトルの可変長復号化（ＶＬＤ）１０４を備える。このステップは、復号化ＤＣＴ係数１０５及び動きベクトル１０６を得ることを可能にする、例えばハフマンコードの逆ルックアップテーブルによるエントロピー復号化にある。ステップ１０４に直列に、逆量子化（ＩＱ）１０７が、復号化データ信号１０２を出すために復号化ＤＣＴ係数１０５に対して実行される。この逆量子化１０７は、復号化ＤＣＴ係数１０５を入力信号１０３に含まれる量子化係数により乗算することにある。殆どの場合、この逆量子化は、マクロブロックレベルにおいて実行される。なぜなら、前記量子化係数は、あるマクロブロックと別のマクロブロックとの間で変化する可能性があるからである。復号化信号１０２は、周波数領域（ｆｒｅｑｕｅｎｔｉａｌ ｄｏｍａｉｎ）にある。
【００２３】
− 入力ビデオ信号１０３のトランスコーディングに起因する信号に対応する出力ビデオ信号１０９を出す再エンコードステップ１０８。再エンコード１０８は、加算サブステップ１１１による復号化データ信号１０２と動き補償された信号１１２との加算に起因する修正された信号１１０（ｍｏｄｉｆｉｅｄ ｓｉｇｎａｌ）に対して作用する。再エンコードステップ１０８は、直列に量子化（Ｑ）１１３を備える。この量子化１１３は、量子化されたＤＣＴ係数１１４を出すために信号１１０に含まれるＤＣＴ係数を新しい量子化係数により除算することにある。この新しい量子化係数は、入力符号化ビデオ信号１０３のトランスコーディングにより実行される修正を特徴付ける。なぜなら、例えば、大きな量子化係数は、入力符号化ビデオ信号１０３のビットレートの低減となり得るからである。量子化１１３に直列に、可変長符号化（ＶＬＣ）１１５が、エントロピー符号化ＤＣＴ係数１１６を得るために前記係数１１４に適用される。ＶＬＤ処理と同様に、ＶＬＣ処理は、ハフマンコードと各々の係数１１４とを関連付けるためのルックアップテーブルにある。次いで、係数１１６は、出力ビデオ信号１０９により搬送されるトランスコードされたフレームを構築するためにバッファ１１７に蓄積される。
【００２４】
− 出力ビデオ信号１０９の符号化エラー１１９を出すための再構成ステップ１１８。この再構成ステップは、量子化１１３により導入された符号化エラーを定量化する（ｑｕａｎｔｉｆｙ）ことを可能にする。以下の段落で説明されるように、現在のトランスコードされたビデオフレームの斯様な符号化エラーは、出力ビデオ信号１０９における品質ずれを回避するため次のビデオフレームのトランスコーディングに対して考慮され得る。この再構成ステップは、第１スイッチングステップ１２０により再エンコードステップ１０８に接続される。第１スイッチングステップ１２０は、スイッチが開いている場合再構成ステップ１１８を再エンコードステップ１０８から切り離し、スイッチが閉じている場合符号化エラーの再構成を可能にする。この第１スイッチングステップは、以下の段落で説明されるように、オープンモード又はクローズモードを選択するための制御プロセス１２１により制御される。前記第１スイッチングステップがクローズされている場合、信号１１０及び１１４が同時に再構成ステップ１１８に送られる。その場合、逆量子化（ＩＱ）１２２が前記信号１１４に対して実行され、その結果、信号１２３となる。次いで、減算サブステップ１２４が、信号１１０と信号１２３との間で実行される。その結果の信号１２５は、周波数領域（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）における、量子化１１３によりもたらされる前述の符号化エラーに対応する。次いで、ＩＤＣＴステップ１２６が、ピクセル領域における符号化エラー１１９を得るために信号１２５に対して実行される。マクロブロックレベルにおいて実行される再構成ステップ１１８を説明すると、信号１１０により搬送される現在のマクロブロックは、トランスコーディングの後、信号１１４により搬送される修正されたマクロブロックとなり、該修正されたマクロブロックの品質ロスが、信号１１９により搬送される符号化エラーマクロブロックにより定量化される。現在の入力ビデオフレームのトランスコーディング中、マクロブロックの再構成がアクティブにされる場合、その結果の符号化エラー１１９が、次の入力ビデオフレームのトランスコーディング中に用いられるためにメモリ１２７に記憶される。そうでない場合、そのために再構成は実行されないマクロブロックの符号化エラーは、ゼロ値に設定され、メモリ１２７に記憶される。
【００２５】
− 前のトランスコードされたビデオフレームに対する記憶された符号化エラー１２９からの動き補償された信号１１２を出すための動き補償ステップ１２８。この動き補償ステップ１２８は、第２スイッチングステップ１３０により加算サブステップ１１１に接続される。第２スイッチングステップ１３０は、スイッチが開いている場合動き補償ステップ１２８を加算サブステップ１１１から切り離し、スイッチが閉じている場合符号化エラーの動き補償を解放する。この第２スイッチングステップは、以下の段落に説明されるように、当該システムがオープンモード又はクローズモードを選択することを可能にする、制御プロセス１３１により制御される。第２スイッチングステップがクローズされている場合、信号１１２が加算サブステップ１１１に送られる。その場合、動き補償１３２が、動きベクトル１０６を用い、前記記憶された符号化エラー１２９に基づいて実行される。斯かる動き補償１３２はピクセル領域において実行され、その結果のピクセルに基づく動き補償された信号１３３は、その結果の周波数的な動き補償された信号１１２が復号化データ信号１０２に加算され得るようにＤＣＴステップ１３４に通される。
【００２６】
斯くして、上述したこの全体的なアーキテクチャから、２つのスイッチングステップ１２０及び１３０により、４個のトランスコーディングアーキテクチャ、即ち、
− 再量子化アーキテクチャ、
− 再構成アーキテクチャ、
− 動き補償アーキテクチャ、
− 高品質アーキテクチャ、
を導き出すことができる。
【００２７】
斯くして、トランスコードされたマクロブロックの最良の画質を得るための基準のみならず、演算負荷を最小限にするための基準も考慮に入れて、これら４個のアーキテクチャの１つをトランスコードされるべき所与のマクロブロックに適用することを可能にするスケーラブルトランスコーディング方法が得られる。
【００２８】
再構成スイッチストラテジー１２１は、再構成なしの、各トランスコードされたマクロブロックの符号化エラーエネルギの経済的な予測（ｃｏｓｔ−ｅｆｆｅｃｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ）に基づく。実際の所、前記符号化エラーのエネルギは、トランスコーディングにより入力ビデオ信号に負わされた劣化の量を表すので、再構成を必要とするであろうマクロブロックを検出するための関連基準である。故に、この符号化エラーは、次いでトランスコードされて行くフレーム内のマクロブロックを伝搬して行かず、これにより、品質ずれが回避される。
【００２９】
従って、再構成スイッチストラテジー１２１の原理は、高いエネルギを持つ符号化エラーマクロブロックのみを再構成することにある。
【００３０】
以下の表記を適応させてみる。
− Ｍ_ｍａｘは、ビデオフレーム内のマクロブロックの数である。
− ＮＢ_{ｒｅｃｏｎ}は、トランスコードされたビデオフレーム内の再構成されたマクロブロックの数である。
− ｉは、１＜Ｉ＜Ｍ_ｍａｘで変化するビデオフレーム内のマクロブロックのランクである（ｉは暗黙的に前記ビデオフレーム内の水平インデックス及び垂直インデックスの対を示す）。
− Ｘ_ｉは、信号１１０により搬送されるランクｉを持つマクロブロックを規定する係数を示す。
− Ｙ_ｉは、信号１１４により搬送されるランクｉを持つマクロブロックを規定する係数を示す。
− ＹＤＱ_ｉは、信号１２３により搬送されるランクｉを持つマクロブロックを規定する係数を示す。
− ｚ_ｉは、信号１１９により搬送されるランクｉを持つマクロブロックを規定する係数を示す。
− Ｚ_ｉは、信号１２５により搬送されるランクｉを持つマクロブロックを規定する係数を示す。
− ＩＱ（ｓ）は、信号ｓの逆量子化された信号である。
【外１】

は、信号ｓの予測されたエネルギである。
− Ｅ（ｓ）は、信号ｓのエネルギである。
− Ｑ_ｏｕｔは、ステップ１１３で用いられる量子化係数である。
【００３１】
所与のマクロブロックｚ_ｉの符号化エラーエネルギは以下のように予測される。信号のエネルギはピクセル領域におけるものと周波数領域におけるものとが同一であることを示すＰａｒｓｅｖａｌの定理は、以下のように書き得ることを示している。
【００３２】
Ｅ（ｚ_ｉ）＝Ｅ（Ｚ_ｉ） 式１
Ｅ（ｚ_ｉ）＝Ｅ（Ｘ_Ｉ−ＹＤＱ_ｉ ）
Ｅ（ｚ_ｉ）＝Ｅ（Ｘ_Ｉ−ＩＱ（Ｙ_ｉ ））
ＭＰＥＧ−２ビデオ標準規格に従って、以下のように書くことができる。
ＩＱ（Ｙ_ｉ ）＝（２＊Ｙ_ｉ＋ｋ）＊Ｗ_ｉ＊ Ｑ_ｏｕｔ ／３２ 式２
ここで、Ｗ_ｉは、加重マトリクス（ｗｅｉｇｈｔｅｄ ｍａｔｒｉｘ）であり、ｋは、ＩＮＴＲＡマクロブロックに対しては０であり、非ＩＮＴＲＡマクロブロックに対してはｓｉｇｎ（Ｙ_ｉ）である。ｋが０に設定され、Ｗ_ｉが１６（即ちフラットなマトリクス）に設定される場合、符号化エラー予測
【外２】

は、以下の式に従って評価され得る。
【数１】

このエネルギ予測は経済的である。なぜなら、ＩＤＣＴステップ１２６及びＩＱステップ１２２が実行されないからである。
【００３３】
現在のトランスコードされたビデオフレームを考えると、先ず、式３に従うエネルギ予測が、該現在のビデオフレーム内の全てのトランスコードされたマクロブロックに対して実行される。このようにして、Ｍ_ｍａｘ個の予測された符号化エラーエネルギ値の組が得られる。この予測された符号化エラーエネルギの組は、所与の閾値Ｅ_ｃを下回る予測された符号化エラーエネルギを持つ第１のマクロブロックの組及び所与の閾値Ｅ_ｃを上回る予測された符号化エラーエネルギを持つ第２のマクロブロックの組を決定するために昇順に記憶される。次いで、再構成ステップが、スイッチ１２０を閉じることにより、ＮＢ_{ｒｅｃｏｎ}個のマクロブロックを有する前記第２のマクロブロックの組のみに対して実行される。次いで、信号１１９により搬送されるその結果の再構成されたマクロブロックが、メモリ１２７に記憶される。並列に、再構成されたマクロブロックのランク及び予測された符号化エネルギが、補助メモリに記憶される。
【００３４】
エネルギ閾値Ｅ_ｃは、再構成されたマクロブロックの数ＮＢ_{ｒｅｃｏｎ}がフレーム毎に変化することになる、固定値に設定されても良い。この閾値はまた、トランスコーディングプラットフォームにおいて利用可能な処理資源を考慮するようにして決定されても良い。斯くして、如何なるフレームにおいてもマクロブロックの所与のパーセンテージＰ（Ｐ＝１００＊ ＮＢ_{ｒｅｃｏｎ}／Ｍ_ｍａｘ）を越えて再構成しないことが決定され得る。この最後の場合、エネルギ閾値Ｅ_ｃは、前記第２の組における最小のエネルギを持つマクロブロックのエネルギに対応する。
【００３５】
前記第１の組のマクロブロックは小さい符号化エラーを持つことになっているため、再構成が、次のステップにおいてこれらのマクロブロックに対して実行されず（スイッチ１２１は開いている）、それらの符号化エラーはゼロ値に設定される。再構成されなかったマクロブロックのランクも、再構成されたマクロブロックと同様、前記補助メモリに記憶される。
【００３６】
現在のフレームの全てのマクロブロックに対して実行される再構成後に得られる符号化エラーとは異なり、メモリ１２７に記憶される修正された符号化エラーが、前記第２のマクロブロックの組に対してのみ再構成が実行され、前記第１のマクロブロックの組はゼロ値に設定されると言う点において得られる。この記憶された、修正された符号化エラーは、該現在のフレームのトランスコーディング中ではなく、次のフレームのトランスコーディング中に品質ずれの補正（ｑｕａｌｉｔｙ ｄｒｉｆｔ ｃｏｒｒｅｃｔｉｏｎ）のため用いられることに留意されたい。
【００３７】
動き補償スイッチングストラテジー１３１は、動き補償が実行され得る信号１０２により搬送される各マクロブロックの、信号１１２により搬送される時間的プレディクタたるマクロブロック（ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｏｒ ｍａｃｒｏｂｌｏｃｋ）の経済的なエネルギ予測に基づく。無論、この動き補償は、ＩＮＴＲＡモードに従って符号化されたビデオフレームに関せず、前のフレーム、例えば、Ｐ及びＢモードに従って符号化されたビデオフレームにのみ関する。動き補償されたマクロブロックとも称される前記時間的プレディクタのエネルギは、動き補償がそれらのトランスコーディング中に実行されない場合に品質ずれを導入する可能性のある、信号１０２により搬送されるマクロブロックを検出するための関連基準である。
【００３８】
動き補償スイッチングストラテジー１３１の原理は、それらの時間的プレディクタのエネルギが高い、信号１０２により搬送される入力マクロブロックに対して動き補償を実行することにある。
【００３９】
図２に示されるように、時間的プレディクタは、前記記憶された、修正された符号化エラーを表す動きベクトル１０６により指し示されたマクロブロックＰＲＥＤであり、このマクロブロックＰＲＥＤは、一般的な場合４個の隣接マクロブロックに重畳する。トランスコーディングが見込まれる信号１０２により搬送される入力マクロブロックに関連付けられる、斯かる動きベクトルは、マクロブロックＰＲＥＤにより重畳された各マクロブロックのインデックスを検索し、斯くして、それらの記憶された、予測された符号化エラーエネルギ
【外３】

を検索することを可能にする。前記時間的プレディクタたるマクロブロックの予測されたエネルギ
【外４】

は、以下の式に従って、前記補助メモリに記憶された前記４個のマクロブロックに対する予測された符号化エラーエネルギ
【外５】

の加重平均から決定される。
【数２】

ここで、Ｋは、１／２ピクセル座標を持つ動きベクトル１０６に対する、前記４個の隣接マクロブロックに対して実行されるピクセル内挿を考慮した補正係数であり、ｖｌ及びｈｌは、マクロブロックＰＲＥＤにより重畳されたランクｌを持つマクロブロックのピクセルの数である。
【００４０】
斯くして、
【外６】

の計算が、信号１０２により搬送される各非ＩＮＴＲＡ入力マクロブロックｉに対して実行される。次いで、この予測された値は、前記エネルギ閾値Ｅｃと比較される。
【数３】

の場合、スイッチ１３０は、前記入力マクロブロックのトランスコーディング中開いたままであり、故に、動き補償は実行されない。しかしながら、
【数４】

の場合、スイッチ１３０は前記入力マクロブロックのトランスコーディング中閉じられることとなり、故に、動き補償が実行され、その結果の、信号１１４（及び１０９）により搬送されるトランスコードされたマクロブロックの良好な品質が保証されるように品質ずれが回避される。
【００４１】
本発明によれば、多くのエネルギ計算が実行され得る。例えば、エネルギ計算は、エネルギ予測が見込まれるマクロブロックを規定する値（周波数またはピクセルに基づく値）の組に適用される、直交エネルギ（ｑｕａｄｒａｔｉｃ ｅｎｅｒｇｙ）としても知られる、標準（ｓｔａｎｄａｒｄ）Ｌ２に基づいても良い。同様に、斯かる計算はまた、低処理手段しか必要としない、標準Ｌ１を用いて実行されても良い。
【００４２】
図３は、本発明による図１に示された全体的なトランスコーディングアーキテクチャから導かれる再量子化アーキテクチャに対応する。
【００４３】
これは、それ程高価ではないアーキテクチャである。なぜなら、信号１０２により搬送される現在の入力マクロブロックが、再構成も、動き補償もされないからである。結果として、トランスコーディングは、再エンコード１０８が後続する復号化１０１にある。斯かるアーキテクチャはスイッチ１２０及び１３０の開により規定され、これらスイッチは上述のストラテジーに従って制御される。このアーキテクチャは概して、トランスコードされたマクロブロックに重大な品質ロスを導入するかもしれないが、本発明の意味合いにおいては、このアーキテクチャを用いることで品質ロスは見込まれない。なぜなら、低い予測された符号化エラーエネルギ及び低い時間的プレディクタエネルギを持つ、対象とされた入力マクロブロックにしか実行されないからである。
【００４４】
図４は、本発明による図１に示された全体的なトランスコーディングアーキテクチャから導かれる再構成アーキテクチャに対応する。
【００４５】
再量子化アーキテクチャにおけるように、現在の入力マクロブロックのトランスコーディングは、再エンコード１０８が後続する復号化１０１にある。斯かるアーキテクチャはスイッチ１２０の閉及びスイッチ１３０の開により規定され、これらスイッチは上述のストラテジーに従って制御される。再量子化アーキテクチャを用いて得られるものと同一の画質が、トランスコードされたマクロブロックに対して見込まれる。高い予測された符号化エラーエネルギを持つトランスコードされたマクロブロックが、再構成され、次の入力ビデオフレームのマクロブロックのトランスコーディング中に時間的プレディクタとして用いられ得るようにメモリ１２７に記憶される。
【００４６】
図５は、本発明による図１に示された全体的なトランスコーディングアーキテクチャから導かれる動き補償アーキテクチャに対応する。
【００４７】
現在の入力マクロブロックのトランスコーディングは、その結果復号化データ信号１０２をもたらし、この信号は動き補償１２８に起因する動き補償された信号１１２に加算される、復号化１０１にある。斯かるアーキテクチャはスイッチ１２０の開及びスイッチ１３０の閉により規定され、これらスイッチは上述のストラテジーに従って制御される。前のトランスコードされたビデオフレームの記憶された符号化エラーマクロブロックに対して実行される動き補償１２８は、トランスコードされたフレームの一定の画質が出力ビデオ信号１０９においてあるフレームから次のフレームへと得られるように品質ずれを回避する。
【００４８】
図６は、本発明による図１に示された全体的なトランスコーディングアーキテクチャから導かれる高品質アーキテクチャに対応する。
【００４９】
動き補償アーキテクチャにおけるように、現在の入力マクロブロックのトランスコーディングは、その結果復号化データ信号１０２をもたらし、この信号は動き補償１２８に起因する動き補償された信号１１２に加算される、復号化１０１にある。斯かるアーキテクチャはスイッチ１２０及びスイッチ１３０の閉により規定され、これらスイッチは上述のストラテジーに従って制御される。前のトランスコードされたビデオフレームの記憶された符号化エラーマクロブロックに対して実行される動き補償１２８は、トランスコードされたフレームの一定の画質が出力ビデオ信号１０９においてあるフレームから次のフレームへと得られるように品質ずれを回避する。同時に、トランスコードされたマクロブロックに対する如何なる符号化エラーも、次の入力ビデオフレームのトランスコーディング中に動き補償によりあり得る将来の使用を鑑みて、再構成され、記憶される。
【００５０】
上述したように、フレーム毎に再構成される符号化エラーマクロブロックの数ＮＢ_{ｒｅｃｏｎ}を設定することは、エネルギ閾値Ｅｃを規定することを可能にし、動き補償は、その時間的プレディクタが前記エネルギ閾値を越える予測されたエネルギを持つ入力マクロブロックに対してしか実行されない。
【００５１】
Ｅｃが非常に低い値を持つ場合、殆どの符号化エラーマクロブロックが再構成され、殆どの入力マクロブロックが動き補償されることになり、高品質のトランスコードされたフレームをもたらすが、高価な解決策となろう。対照的に、Ｅｃが高い値を持つ場合、殆どの符号化エラーマクロブロックが再構成されず、殆どの入力マクロブロックが動き補償されないことになり、低品質のトランスコードされたフレームをもたらすが、高価な解決策となろう。
【００５２】
コストと品質との最良の妥協点を得る方法が次に提案される。この方法は、符号化エラーマクロブロックが再構成も動き補償もされない場合ステップ１１３によりもたらされる量子化エラーがＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）内のフレームからフレームに伝搬することを考慮する。ＧＯＰ内のこのエラーの伝搬は、Ｐ及びＢフレーム（即ち時間的に予測されるフレーム）により悪化されるが、各新しいＧＯＰの初めに（即ち、ＩＮＴＲＡフレーム上で）止まる。後続する時間的に予測されるフレームのための時間的基準（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ）として作用する、ＧＯＰ内の最初の時間的に予測されるフレームが、最後のフレームよりも重要である。なぜなら、最後のフレームでは、エラーの伝搬が、より少ない数のフレームにしか渡らないであろうからである。斯くして、ＮＢ_{ｒｅｃｏｎ}の数を、該ＮＢ_{ｒｅｃｏｎ}の値をＧＯＰに沿って減少させると共に、処理資源に対して許される範囲内で再構成されるマクロブロックの平均数を維持するようにＧＯＰ内のフレーム位置に相関づけることができる。
【００５３】
１２個のフレーム（１つのＩＮＴＲＡフレームとそれに続く１１個の時間的に予測されるフレーム）を有するＧＯＰに沿ったＮＢ_{ｒｅｃｏｎ}の変化が図７に示されている。この数は、最初のフレームに係る最大のＮＢ_ｍａｘから最後のフレームに係る最小のＮＢ_ｍｉｎまで変化する。このように、より多くのマクロブロックが、動き補償をアクティブにすることにより次にトランスコードされるフレームの良好な品質を保証するために、ＧＯＰの初めに再構成される。しかしながら、少量のマクロブロックしか、著しい品質ロスを招くことなく、できる限り演算負荷を低減させるために、ＧＯＰの終わりに再構成されない。斯くして、良好で一定の品質がＧＯＰに沿って得られると共に、処理資源が最適に利用される。
【００５４】
本発明の特定の実施例においては、スイッチ１２０及び１３０が、マクロブロックレベルに代えて、フレームレベルで実現される。この場合、所与の入力フレームのマクロブロック全体が、上述した４個のトランスコーディングアーキテクチャの１つに従ってトランスコードされる。このストラテジーは、より粗いスケーラビリティレベルとなるが、制御ストラテジー１２１及び１３１が各フレームの初めにしかスイッチングステップ１２０及び１３０を更新する必要がないため、経済的な解決策である。
【００５５】
入力符号化ビデオ信号をトランスコーディングするこのスケーラブル方法は、トランスコーディング装置において種々の様にして実現されても良い。トランスコーディング装置は、ＭＰＥＧ−２符号化ビデオ信号に対してビットレートの変更を実行するためのブロードキャスティング機器に対応しても良いが、他の例においては、ビットレートの変更がＭＰＥＧ−２符号化ビデオ信号を記憶する又は取り直す（ｒｅｃｏｐｙ）するために実行される、セットトップボックスやＤＶＤ等の民生製品に対応しても良い。
【００５６】
資材の観点から、このスケーラブル方法は、配線がなされた電子回路により実現されても良いが、他の例においては、コンピュータが読取り可能な媒体に記憶された一組の命令により実現されても良い。これらの命令は、前記回路の少なくとも一部と置き換わり、該置き換えられた回路で履行されるものと同一の機能を実施するためにコンピュータ又はディジタルプロセッサの制御の下で実行可能なものである。この場合、本発明は、前述した方法の全ステップ又は幾つかのステップを実行するためのコンピュータで実行可能な命令を含むソフトウェアモジュールを有するコンピュータが読取り可能な媒体にも関する。
【００５７】
本発明によれば、メモリ空間１２７の最適化が提案される。この最適化は、前記メモリに再構成された符号化エラーマクロブロックしか記憶せず、ゼロ値に強制される符号化エラーマクロブロックを記憶しないことにある。斯くして、前記メモリは、ＮＢ_ｍａｘの再構成されたマクロブロックのみを記憶するために釣り合いがとられても良く、これは、Ｍ_ｍａｘのマクロブロックを受信するために釣り合いがとられたメモリ空間と比較して著しい改善を表す。
【図面の簡単な説明】
【図１】本発明によるトランスコーディングアーキテクチャの全体的な実施例を示す。
【図２】本発明による時間的プレディクタのエネルギ予測を示す。
【図３】本発明による第１トランスコーディングアーキテクチャを示す。
【図４】本発明による第２トランスコーディングアーキテクチャを示す。
【図５】本発明による第３トランスコーディングアーキテクチャを示す。
【図６】本発明による第４トランスコーディングアーキテクチャを示す。
【図７】ＧＯＰに沿う再構成されたマクロブロックの数の変化を示す。

Claims (14)

1. 出力ビデオ信号を生成するために入力符号化ビデオ信号内のデータを修正する方法であって、各ビデオ信号は一連の符号化ビデオフレームに対応し、当該方法は少なくとも、
   − 現在の入力符号化ビデオフレームからの復号化データ信号を出すためのエラー復号化ステップと、
   − 修正された信号からの、前記出力ビデオ信号により搬送される、出力ビデオフレームを出すための再エンコードステップであって、前記修正された信号は、動き補償された信号と前記復号化データ信号との間の加算サブステップに起因する、再エンコードステップと、
   − 前記出力ビデオフレームの符号化エラーを出すための再構成ステップと、
   − 前の出力ビデオフレームの記憶された符号化エラーからの前記動き補償された信号を出すための動き補償ステップと、を有する方法において、
   当該方法は、
   前記再構成ステップをアクティブにするための前記再符号化ステップと前記再構成ステップとの間に挿入される第１スイッチングステップと、
   前記動き補償ステップをアクティブにするための前記動き補償ステップと前記加算サブステップとの間に挿入される第２スイッチングステップと、を有し、
   これらスイッチングステップは、前記入力符号化ビデオ信号を修正するための４個のアーキテクチャを規定するスケーラブル方法を規定するために制御ストラテジーにより別個に制御されることを特徴とするデータを修正する方法。
2. マクロブロックレベルにおいて実行される、前記第１スイッチングステップの制御ストラテジーは、
   − 前記符号化エラーのエネルギの第１予測サブステップであって、前記符号化エラーエネルギは出力ビデオフレームの全ての再エンコードされたマクロブロックに対して予測される、第１予測サブステップと、
   − 前記符号化エラーを規定するマクロブロックの間で、所与の閾値を下回る予測された符号化エラーエネルギを持つ第１のマクロブロックの組を特定するための第１選択サブステップであって、前記第１のマクロブロックの組の符号化エラーはゼロ値に設定されて、修正された、記憶された符号化エラーに結果としてなる、第１選択サブステップと、
   − 前記符号化エラーを規定するマクロブロックの間で、前記所与の閾値を上回る予測された符号化エラーエネルギを持つ第２のマクロブロックの組を特定するための第２選択サブステップと、を有し、
   前記第１スイッチングステップは、前記第２のマクロブロックの組に対して前記再構成ステップをアクティブにすることを特徴とする請求項１に記載のデータを修正する方法。
3. マクロブロックレベルにおいて実行される、前記第２スイッチングステップの制御ストラテジーは、
   − 前記動き補償された信号のエネルギの第２予測サブステップであって、前記エネルギはマクロブロックレベルにおいて予測される、第２予測サブステップと、
   − 前記動き補償された信号内で、前記所与の閾値を上回る予測されたエネルギを持つ第３のマクロブロックの組を特定するための第３選択サブステップと、を有し、
   前記第２スイッチングステップは、その動き補償されたマクロブロックが前記第３のマクロブロックの組に属する前記復号化データ信号を規定する各マクロブロックに対して前記動き補償ステップをアクティブにすることを特徴とする請求項２に記載のデータを修正する方法。
4. 前記符号化エラーのエネルギの前記第１予測サブステップは、量子化係数により乗算された前記出力ビデオ信号を前記修正された信号から減算した後に得られる信号のエネルギ計算にあることを特徴とする請求項２に記載のデータを修正する方法。
5. 前記動き補償された信号のエネルギの前記第２予測サブステップは、前記修正された符号化エラーを規定する４個の隣接マクロブロックに関する４個の前に予測された符号化エラーエネルギの加重平均にあることを特徴とする請求項３に記載のデータを修正する方法。
6. 前記第２スイッチングステップによりアクティブにされる場合、前記動き補償ステップは、前記修正された、記憶された符号化エラーに基づいて実行されることを特徴とする請求項３に記載のデータを修正する方法。
7. 前記第１スイッチングステップは、ＧＯＰにわたって再構成されるマクロブロックの数が減少するようにアクティブにされることを特徴とする請求項１に記載のデータを修正する方法。
8. 各前記スイッチングステップがフレームレベルにおいて制御され、所与の入力符号化ビデオフレームが、前記４個のアーキテクチャの１つに従って修正されることを特徴とする請求項１に記載のデータを修正する方法。
9. 出力ビデオ信号を生成するために入力符号化ビデオ信号内のデータを修正するためのトランスコーディング装置であって、各ビデオ信号は一連の符号化ビデオフレームに対応し、当該トランスコーディング装置は少なくとも、
   − 現在の入力符号化ビデオフレームからの復号化データ信号を出すための復号化手段と、
   − 修正された信号からの、前記出力ビデオ信号により搬送される、出力ビデオフレームを出すための再エンコード手段であって、前記修正された信号は、動き補償された信号を前記復号化データ信号に加算する加算手段に起因する、再エンコード手段と、
   − 前記出力ビデオフレームの符号化エラーを出すための再構成手段と、
   − 前の出力ビデオフレームの記憶された符号化エラーに基づいて前記動き補償された信号を出すための動き補償手段と、を有するトランスコーディング装置において、
   当該トランスコーディング装置は、
   前記再構成手段をアクティブにするための前記再エンコード手段と前記再構成手段との間に挿入される第１スイッチング手段と、
   前記動き補償手段をアクティブにするための前記動き補償手段と前記加算手段との間に挿入される第２スイッチング手段と、を有し、
   これらスイッチング手段は、前記入力符号化ビデオフレームを修正するための４個のアーキテクチャを規定するスケーラブルトランスコーディング装置を規定するために制御手段により別個に制御されることを特徴とするデータを修正するためのトランスコーディング装置。
10. 前記第１スイッチング手段の制御手段は、
    − 前記符号化エラーのエネルギを予測するための第１予測手段であって、前記符号化エラーエネルギは出力ビデオフレームの全ての再エンコードされたマクロブロックに対して予測される、第１予測手段と、
    − 前記符号化エラーを規定するマクロブロックの間で、所与の閾値を下回る予測された符号化エラーエネルギを持つ第１のマクロブロックの組を特定するための第１選択手段であって、前記第１のマクロブロックの組の符号化エラーはゼロ値に設定されて、修正された、記憶された符号化エラーに結果としてなる、第１選択手段と、
    − 前記符号化エラーを規定するマクロブロックの間で、前記所与の閾値を上回る予測された符号化エラーエネルギを持つ第２のマクロブロックの組を特定するための第２選択手段と、を有し、
    前記第１スイッチング手段は、前記第２のマクロブロックの組に対して前記再構成手段をアクティブにすることを特徴とする請求項９に記載のデータを修正するためのトランスコーディング装置。
11. 前記第２スイッチング手段の制御手段は、
    − 前記動き補償された信号のエネルギを予測するための第２予測手段であって、前記エネルギはマクロブロックレベルにおいて予測される、第２予測手段と、
    − 前記動き補償された信号内で、前記所与の閾値を上回る予測されたエネルギを持つ第３のマクロブロックの組を特定するための第３選択手段と、を有し、
    前記第２スイッチング手段は、その動き補償されたマクロブロックが前記第３のマクロブロックの組に属する前記復号化データ信号を規定する各マクロブロックに対して前記動き補償手段をアクティブにすることを特徴とする請求項１０に記載のデータを修正するためのトランスコーディング装置。
12. 前記修正された符号化エラーは、その容量が再構成されたマクロブロックのみを記憶するために釣り合いがとられたメモリに記憶されることを特徴とする請求項１０に記載のデータを修正するためのトランスコーディング装置。
13. ＭＰＥＧ−２ビデオ標準規格に従って符号化された入力符号化ビデオ内のデータを修正するためのセットトップボックスであって、請求項１乃至８の何れか一項に記載の方法のステップ及びサブステップを実施するセットトップボックス。
14. 符号化ビデオ信号内のデータを修正するためのトランスコーディング装置用のコンピュータプログラムであって、前記トランスコーディング装置にロードされた場合、該トランスコーディング装置に請求項１乃至８の何れか一項に記載の方法を実行させる命令の組を有するコンピュータプログラム。