JP2000514628A - ビデオ信号圧縮処理方法 - Google Patents

Abstract

(57)【要約】 ＭＰＥＧビットストリームをビデオ信号の形に復号化した後、ＭＰＥＧビットストリームの全部あるいは一部の形の情報ストリーム信号がビデオ信号と並んで送信され、最下位ビットに埋め込まれる。記録は、埋め込まれたＭＰＥＧビットストリームの抽出に関与するのみでよく、あるいは、もしビットストリームの一部だけが埋め込まれているのであれば、情報ストリーム信号によって導かれた本質的なダム符号化操作に関与するのみで良い。

Description

【発明の詳細な説明】 ビデオ信号圧縮処理方法 本発明はビデオ信号圧縮処理方法に関する。 本発明は、特にＭＰＥＧ−２ビデオ信号圧縮標準であるＩＳＯ／ＩＥＣ１３８ １８−２に関しているが、符号化及び復号化を段階的に行なう際に質の低下を伴 うあらゆるビデオ圧縮システムに、適応され得るものである。 ＭＰＥＧビットストリームに伴い、かつ、例えば復号化されたＭＰＥＧ画像の 再符号化といった後段での処理で使用するために、そのビットストリームについ ての情報を搬送する信号を使用することについては、国際公表公報９５３５６２ ８号で既に開示されている。この信号は圧縮復号器から次の符号器へ圧縮されて いない信号に伴って並列に与えられ、適切なサイドチャネルに沿って送られる。 装置を、このような信号を用いるように特別に設計した場合、相当な利点が得 られ、前段（アップストリーム）での符号化及び復号化に関するキー情報をダウ ンストリーム符号化処理で使用することによって、段階的に行われる符号化及び 復号化処理に以前からあった問題の多くが除去あるいは改善される。 本発明の目的は、この利点を、そのような信号の使用に合わせて特別に設計さ れていない装置を含む構成にまで、部分的あるいは全体的に及ぼすことにある。 従って本発明は、圧縮符号化信号がビデオ経路に沿って通過するために圧縮復 号化されるビデオ信号処理において、圧縮符号化信号あるいはその一部が、ビデ オ経路に沿ってビデオ信号に伴うことを特徴としたものである。 圧縮符号化信号の前記部分は、上述の国際公表公報９５３５６２８号に記載さ れているように情報バスの圧縮された形からなることが好ましい。情報バスは以 下の情報、即ち、画像の面積、フレームレート、画像構造（フレームコード化、 あるいはフィールドコード化されたもの）、画像のタイプ（ｌ、ＰあるいはＢ） 、マクロブロックはイントラコード化されているかあるいは予測を使用している か、前方、後方、あるいは両方向の予測が使用されるかどうか、動きべクトル、 量子化器の可視性加重マトリックス、量子化器ステップ、及びダウンストリーム 復号 器のバッファ状態といったものを含むこともできる。 更に本発明は、ＭＰＥＧビットストリームから復号化されたビデオ信号と並ん で、ＭＰＥＧビットストリームの全てあるいは一部を含む、信号のビデオ経路に 沿って行われる伝送からなる。 本発明の一形式において、前記信号はＭＰＥＧコンプライアントである。 このような構成の利点は、ビットストリーム情報がスタジオ処理装置を透過し て、段階的操作による損傷無くＭＰＥＧフォーマットへの出力の再符号化を容易 にできることである。この説明にあたって、新しい信号を情報ストリームと呼ぶ ことにする。 付随する図面を参照して、例を挙げて本発明について説明する。 図１は、情報ストリームを使用するスタジオ装置のブロック図である。 図２は、情報ストリーム符号器のブロック図である。 図３は、情報ストリーム復号器のブロック図である。 まず、図１を参照して、装置は入力及び出力段階でＭＰＥＧビットストリーム を有するが、非圧縮ビデオ信号で動作する従来のスタジオ処理装置を使用してい る。このブロック図は２つの部分に分かれており、一つは図の上端にそってある 主信号通路と、底部にそってある情報ストリーム通路である。 主信号通路では、ＭＰＥＧビットストリームは、ＭＰＥＧ復号器フロントエン ド１０へ入り、ＤＣＴ係数と情報バスを生じさせる。これらは、ＭＰＥＧ復号器 表示処理ブロック１２によって処理され、番号１４で示されているスタジオ装置 のためのＩＴＵ−Ｒ Ｒｅｃ．６５６ビデオ信号を作成する。この装置は、例え ばビジョンミキサ、簡単なスイッチ、あるいはＤＶＥ機械を有してもよい。スタ ジオ装置１４の出力は、ＭＰＥＧ符号器フロントエンド１６によって分析され、 ＭＰＥＧ符号器フロントエンド１６は適切にフォーマットされた画像信号と情報 バスをＭＰＥＧ符号器１８へ通過させる。この構成は、現状ではスタジオ装置の 出力段階で全ＭＰＥＧ再符号化操作を必要としており、操作を段階的に行うこと によって損傷が生じる。 段階的操作による損傷の問題は、情報ストリーム通路を付加することによって 克服される。その様々な段階が本発明によって提供される。ＤＣＴ係数及び情報 バスは、情報ストリーム符号器２０で処理され、様々な情報ストリーム信号の一 つを作成する。以下により詳しく説明する。情報ストリームのフォーマットは情 報ストリームフォーマット装置２２によって行われ、その結果できたビットスト リームは、復号化されたビデオ信号と共にスタジオ装置１４を通過出来るように 、情報ストリームチャネルアダプタ２４によって符号化される。スタジオ装置の 出力において、情報ストリームは情報ストリーム復号器２６によって一般に、情 報バスに復号化される。この情報バスは、ＭＰＥＧ符号器フロントエンド１６に よって作成された情報バスと互換性があり、同期している。次に、情報バススイ ッチ２８は、新しく算出された情報バスか、情報ストリームから復号化された情 報バスのいずれかを選択する。選択された情報バスは、ＭＰＥＧビットストリー ムへの再符号化の基準として使用される。 ＭＰＥＧ符号器フロントエンド１６、情報バススイッチ２８及びＭＰＥＧダム 符号器１８は共に情報ストリームを基本とするＭＰＥＧ符号器を構成する。なお 、この符号器の出力におけるＭＰＥＧビットストリームのビットレートを、元の ＭＰＥＧ信号のビットレートと同一になるように拘束していないことは特記に値 する。 一般に、スタジオ装置が情報ストリームを透過させた時はいつでも、情報スト リーム通路が使用される。これは例えば、ビジョンミキサのスライダスイッチが 全入力の１方あるいは他方を選択するように設定されている時に起こる。他の場 合、例えばスライダが中間位置にあるときには、スタジオ装置を通過した情報ス トリームは破壊され使用できず、画像情報は、どんな場合においても新しいＭＰ ＥＧ符号化決定がなされなければならない状態となる。 さて、図２には、情報ストリーム符号器が示されている。 ＤＣＴ係数及び情報バスはそれぞれ、係数前処理装置３０と情報バス前処理装 置３２によって受信される。２つの前処理装置の出力は可変長符号器３４に入り 、それの出力はバッファ３６を通って、情報ストリーム出力を作成するためにタ イムスタンプ割り当て及びパケット作成ユニット３８に至る。バッファ３６は外 部読取制御信号を受信する。バッファ３６は、前処理装置３０及び３２を制御す るよう機能するバッファ制御ユニット４０によって監視されている。 情報ストリーム符号器は、ＭＰＥＧ符号器のバックエンドとほとんど同じであ る。主な違いは、情報ストリームのビットレートを制限するためにバッファ制御 が異なった方法で使用される点である。バッファからの読取もまた、既述のよう に、外部から制御される。 情報ストリームを構成する信号の例は以下の通りである。 （１）エレメンタリーストリームあるいはパケット化されたエレメンタリース トリームのいずれかの形式のＭＰＥＧビットストリーム自体。この場合、ＭＰＥ Ｇ復号器フロントエンド及び情報ストリーム符号器をバイパスして、入力ビット ストリームは恐らく遅延を伴って、直接使用される。 （２）選択された伝送方法の容量にビットレートを限定するために、図２に示 している係数前処理装置により、ＤＣＴ係数を除去あるいは変更することによっ て修正されたＭＰＥＧビットストリーム。 （３）すべてのＤＣＴ係数を除去することによって修正されたＭＰＥＧビット ストリーム。これは実質的には、圧縮方法としてＭＰＥＧシンタクスを使用する 情報バスの圧縮バージョンである。もし、情報ストリームに対して利用可能なビ ットレートが非常に低い時には、極端な場合、図２に示している情報バス前処理 装置によって、これは最終手段ではあるが、ビットストリームからさほど重要で はない要素を除去することが必要である。 （４）情報バス自体。 情報ストリーム信号が伴うビデオ信号との時間的関係によって、情報ストリー ム信号のフォーマットについて様々な可能性がある。フォーマットは、図１の情 報ストリームフォーマット装置２２によって行われる。情報ストリーム信号に対 して可能なフォーマットの例は、以下の通りである。 （１）１画像当たりのビット数が可変であり、ビデオ信号への同期には関係な く送信される固定ビットレート信号。実際、情報ストリームは可変ビットレート であり得るし、スタッフビットの使用によって固定ビットレートチャネルとして 作動させることが可能である。 （２）（ＧＯＰ構造内で、ビットストリームオーダーから表示オーダーへ）再 オーダーされ、各画像に対する情報ストリームがその画像のビデオ信号と同時的 関係になるようにタイムシフトされた、固定あるいは可変ビットレート信号。 （３）上記２つの組み合わせ。すなわち、情報ストリーム自体は非同期である が、小さなスロットがいくつかの画像固定データ用に確保されている。これは例 えば、タイムコードとピクチャータイプの複製を搬送する。 （４）上記２番目に記載されている再オーダーされ、タイムシフトされた固定 ビットレート信号であるが、さらに、各マクロブロックに対するマクロレート情 報がマクロブロックに対応するビデオ信号と同時的となるように配置されている 信号。 情報ストリームをデジタルビデオ信号と共に伝送する多くの方法を明らかにし た。図１の情報ストリームチャネルアダプタはこの作業を履行できる。以下にそ の例をみることにする。 （１）アクティブビデオ領域内だけにおいて、１０−ビットＩＴＵ−Ｒ Ｒｅ ｃ．６５６信号の色差に関する部分の最下位ビット中に。これは情報ストリーム に対して、１０．３６８Ｍｂｉｔ／Ｓという原ビットレートを提供する。情報ス トリームが存在することによって、ビデオ信号に可視性の損傷を起さないこと、 また１０ビットに見積もってあるスタジオ装置がミキシングあるいは他の処理が 実行されない時に１０ビットの信号全てを確かに透過することを保証するよう注 意が払われる。情報ストリームの伝送のためのこの選択肢は、特に精巧なものと 思われる。その他に、情報ストリームは、９番目あるいは８番目の色差に関する ビット、１０番目、９番目あるいは８番目の輝度に関するビット、もしくは上記 のいかなる組み合わせを用いて伝送することができる。また、８番目のビットの 使用は、たった８ビットの表示しか可能でないＲｅｃ．６５６の古いバージョン を使用したシステムにおいては適当なものである。 （２）上記の手法の拡張。そこでは、ダウンストリームＭＰＥＧ符号器が影響 されないような方法で情報ストリームデータを付加することによって、デジタル ビデオ信号のある部分（最下位ビットではない）を修正する。 （３）Ｒｅｃ．６５６信号のブランク期間に搬送される補助的データチャネル 中。スタジオ装置は、ミキシングあるいは他の処理が実行されていない時にこの 情報を変化させないで通過させることを保証することは必要なことである。 （４）ＡＥＳ／ＥＢＵデジタル音声チャネルとして。これはスタジオ装置の音 声通路内のスペアチャネルを介して通される。メインの音声チャネルがビデオか ら独立して切り替えられるにもかかわらず、ビデオ切り替えと共に音声チャネル の切り替えが実行されることを保証することは必要である。 情報ストリームのための適切な伝送方法を形成することに加えて、情報ストリ ームチャネルアダプタは、以下の３つの操作のいくつか、あるいは全てを随意に 実行することが可能である。 （１）例えば、周知の疑似ランダム２進シーケンスにモジューロ２を付加する か、あるいはセルシンスクランブラを使用して情報ストリームをスクランブルす る。これは、もしビデオ信号の最下位ビットにて搬送される場合、情報ストリー ムの可視性を制限するために必要であろう。疑似ランダムシーケンスの核、ある いはシーケンス自体が情報ストリームの一部として伝送されてもよい。 （２）公知のアルゴリズムを使用した情報ストリームのエラー修正。これは、 画像内のいくつかの場所の画像レート情報の反復を含んでおり、これによって、 例えばキャプション挿入などの空間的に限定された処理を行うことによって情報 の損失が起ることはない。 （３）ビデオ信号内で情報ストリームを搬送する場合に、情報ストリームの残 像性を更に削減するために、ダイナミック切り上機能あるいはエラーフィードバ ックといった公知のノイズ形成アルゴリズムによってビデオ信号自体を修正する こと。例えば、もし情報ストリームが８番目の輝度ビットで搬送されるならば、 元の８番目の輝度ビットを情報ストリームビットによって置き代える際に生じる エラーは、１クロック期間遅延させるか、あるいは、いくつかのより複雑なノイ ズ形成ネットワークを通過させ、信号の後に付加することができる。エラーフィ ードバック処理の全貌については、例えば、Ｍｉｔｒａ ＆Ｋａｉｓｅｒによる 、「Ｈａｎｄｂｏｏｋ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓ ｓｉｎｇ，Ｗｉｌｅｙ， １９９３， Ｐ４２１．」で説明されている。 図３には、情報ストリーム復号器が示されており、これは情報バスを生成する ためにチャネル適合、フォーマット及び符号化機能の逆を実行し、情報ストリー ムが有効かどうかについて情報バススイッチに指示を与える。更に詳しく言えば 、 情報ストリーム復号器は、チャネル受信機５０を有し、これは信号をデスクラン ブラ５２とエラー修正器及び検出器ユニット５４に順次信号を送る。デスクラン ブルされ、エラー修正された信号は、バッファ５６を通り可変長復号器５８へ入 り、係数情報及び情報バスが出力される。有効性ロジックユニット６０は、エラ ー修正器及び検出器ユニット５４とバッファ５６から入力を得、“情報ストリー ム有効”のフラッグを出力する。これが、情報バススイッチ２８を制御する。 情報ストリームは以下の場合において無効となる。 （１）受信した情報ストリーム信号中にエラーがある場合（エラー修正器及び 検出器ユニット５４によって検出される）。このことは、ＤＶＥがビデオ信号に 影響していること、及び、新しいＭＰＥＧ符号器フロントエンドによって算出し た情報バスを使用しなければならないことを示している。 （２）所望の時間に復号化された情報ストリーム信号が利用できない場合。こ のことは、たとえその情報ストリームに関係のある映像がなんらの処理を受けず に通過しても、その情報ストリームがＤＶＥ内で消失したことを示す（これは、 情報ストリーム及びビデオ信号が共時的でない場合におこる）。 （３）ビデオ信号と情報ストリームが同時的である場合。その時は、情報スト リームは有効の様に見えるが、利用不可能な参照画像におけるマクロブロックを 指示する動きベクトルを含んでいる。 ある実施においては、情報ストリーム復号器の役割は、その出力における情報 バスがＭＰＥＧ符号器フロントエンドの出力における情報バスと同時的であるこ とを保証することである。これは、情報ストリームが、復号化のためにバッファ と従来のＭＰＥＧ復号化技術を必要とするＭＰＥＧコンプライアント信号である という事実を利用することで成し得る。バッファは遅延装置として使用可能であ り、外部読取信号によって制御され、２つの情報バスが同期していることを保証 する。 情報バススイッチ２８は、情報ストリームから復号化された情報バスと、符号 器フロントエンドから新しく算出された情報バスとのいずれかを選択する。最も 単純な形式では、スイッチを制御するために情報ストリーム復号器によって生成 された有効信号を使用する。例えば、ＤＶＥによって挿入されたキャプションの 有無に従う空間基準に基づく２つの情報バスから選択するという、より複雑な選 択肢も可能である。これは、もし情報ストリームがマクロブロック基準上で画像 信号に同期させる方法でフォーマットされるのであれば、非常に適切である。 これまでの特定の記載において、復号化された情報ストリームは情報バスであ ると仮定して、それが有効である時はいつでもダム符号器へ符号化決定を与える 。しかしながら既述のように、情報ストリームは、実際には、ビットストリーム 全体、あるいは少なくとも、符号化決定ばかりでなくＤＣＴ係数に関する情報を 含んでいる。その場合には、ダム符号器は係数情報を利用するためのある付加的 処理を有することができる。これは、例えば、ダム符号器が元のＭＰＥＧビット ストリームとは異なるビットレートを作成する場合に有益であろう。 情報ストリームは、復号化されたＭＰＥＧ信号に、最終的に再符号化操作を伴 う処理を施す必要がある時はいつでも、有利に使用できる。図１は典型的な仕様 を示している。図１の左側にあるＭＰＥＧ復号器は、従来の復号器で、そこにＭ ＰＥＧビットストリームがネットワークあるいは送信チャネルから印加される。 あるいは、そのＭＰＥＧ復号器は、ＭＰＥＧ基準のサーバーステーション内にあ るような、独自の時間制御下でネットワークあるいは記憶媒体から情報を引き込 む復号器であってもよい。 スタジオ装置内では、復号化されたデジタルビデオ信号に作用する処理の間で 符号化されたＭＰＥＧ信号を再作成する必要性が常にあるわけではない。情報ス トリームとともに信号をスタジオ装置を通過させ、上述の情報ストリーム基準の 符号器を使用して最終的なスタジオ出力段階でＭＰＥＧに再符号化するだけで十 分である。情報ストリームが損傷を受けずにスタジオ処理装置を全て通過した場 合には、それは最終符号化操作のための情報バスを提供する。そうでなければ、 最終符号器は情報ストリームを無視して、スクラッチから画像を符号化する。 本発明及び情報ストリーム概念はＭＰＥＧ圧縮に限定されるものではなく、他 の圧縮技術と一緒に、あるいは混合して使用することも可能である。その場合、 異なった圧縮スキームのための符号化モード情報を再通訳することが必要である が、復号化された情報ストリームの処理がかなり複雑になるであろう。 本発明はいくつかの例によってのみ説明されてきたが、本発明の範囲を逸脱す ることなく様々な変更が可能であることは明らかであろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＡＵ，ＣＡ，ＪＰ，Ｕ Ｓ (72)発明者 ニー，マイケル ジェームス イギリス国，ハムプシャー ジーユー32 ２イーイー，ピーターズフィールド，ウッ ドバリー アヴェニュー ６ (72)発明者 ウェルス，ニコラス ドミニク イギリス国，イースト サセックス ビー エヌ２ ３エイビー，ブライトン，ウェリ ングトン ロード 17

Claims (1)

1. 【特許請求の範囲】 １． 圧縮符号化信号をビデオ経路に沿って通過するために圧縮復号化するビ デオ信号処理において、圧縮符号化信号あるいはその一部をビデオ経路に沿った ビデオ信号に伴わせることを特徴とするビデオ信号の処理方法。 ２． ビデオ経路に沿ってＭＰＥＧの全部あるいは一部、もしくは他の圧縮符 号化ビットストリームを含む信号を、前記ビットストリームから復号化されたビ デオ信号と並列に、伝送することを特徴とするビデオ信号の処理方法。 ３． 前記信号はＭＰＥＧコンプライアントであることを特徴とする、請求項 ２による処理方法。 ４． 前記信号は、エレメンタリーストリーム、あるいはパケット化されたエ レメンタリーストリームのいずれかの形式のＭＰＥＧビットストリーム自体であ ることを特徴とする請求項２による処理方法。 ５． 前記信号は、選択した伝送方法の容量にビットレートを制限するために ＤＣＴ係数を除去あるいは変更することによって修正されたＭＰＥＧビットスト リームであることを特徴とする請求項２による処理方法。 ６． 前記信号は、すべてのＤＣＴ係数を除去することにより修正されたＭＰ ＥＧビットストリームであることを特徴とする請求項２による処理方法。 ７． 前記信号は、国際公表公報９５３５６２８号で定義されている情報バス であることを特徴とする請求項２による処理方法。 ８． 前記信号は、１画像当たりのビット数が可変であり、ビデオ信号との同 期には関係なく送信される固定ビットレート信号であることを特徴とする請求項 ２から７のいずれか一つによる処理方法。 ９． 前記信号は、（ＧＯＰ構造内で、ビットストリームオーダーから表示オ ーダーへ）再オーダーされ、各画像に対する前記信号がその画像のビデオ信号と 同時的関係になるようにタイムシフトされた、固定あるいは可変ビットレート信 号であることを特徴とする請求項２から７のいずれか一つによる処理方法。 １０． 前記信号は、各マクロブロックに対するマクロレート情報がそのマク ロブロックに対応するビデオ信号と同時的となるように再オーダーされタイムシ フトされることを特徴とする請求項９による処理方法。 １１． 前記信号を、前記ビデオ信号の最下位デジタル要素中に符号化するこ とによって前記ビデオ信号と並列に、送信することを特徴とする前述の請求項の いずれか一つによる処理方法。 １２． 前記デジタル要素は、アクティブビデオ領域内だけにおいて、１０ビ ットのビデオ信号の色差に関する部分の最下位ビットであることを特徴とする請 求項１１による処理方法。 １３． 前記デジタル要素は、９番目あるいは８番目の色差に関するビット、 １０番目、９番目あるいは８番目の輝度に関するビット、もしくは上記のある組 み合わせであることを特徴とする請求項１１による処理方法。 １４． 前記信号を、ビデオ信号のブランク期間に搬送される補助的データチ ャネルにおいて前記ビデオ信号と並列に送信することを特徴とする請求項１から １０までのいずれか一つによる処理方法。 １５． 前記信号をデジタル音声チャネルとして前記ビデオ信号と並列に送信 することを特徴とする請求項１から１０までのいずれか一つによる処理方法。 １６． 前記信号を、ビデオ信号中での可視性を減少するために処理すること を特徴とする請求項１１から１３までのいずれか一つによる処理方法。 １７． 前記信号をスクランブルすることを特徴とする請求項１６による処理 方法。 １８． 前記スクランブルは、公知の疑似ランダムシーケンスを付加すること であることを特徴とする請求項１７による処理方法。 １９． 疑似ランダムシーケンスの核、あるいはシーケンス自体を前記信号と 共に送信することを特徴とする請求項１８による処理方法。 ２０． 前記スクランブルは、セルシンスクランブラを使用することを特徴と する請求項１７による処理方法。 ２１． 前記信号は、ダイナミック切り上機能あるいはエラーフィードバック といったノイズ形成アルゴリズムによって処理されることを特徴とする請求項１ ６による処理方法。 ２２． 前記信号は誤り訂正されることを特徴とする前述の請求項のいずれか による処理方法。