JP2004007719A

JP2004007719A - インタレース走査ディジタルビデオ信号の符号化装置

Info

Publication number: JP2004007719A
Application number: JP2003157931A
Authority: JP
Inventors: Fui You Wai Lucas; ルーカス，フイ　ヨウ　ワイ
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-03
Filing date: 2003-06-03
Publication date: 2004-01-08

Abstract

【課題】インタレース走査ビデオシーケンスの効率的符号化を行う。
【解決手段】入力画像（１）が画素データの小ブロックに区分され（２）、それぞれのブロック内の２フィールドが相関について検査される（３）。ブロック内の２フィールド間の差が小さければ（相関が高ければ）、そのブロックは、ブロック内の全ての線が順次走査されるフレーム符号化方法により、従って効率的に設計されるインタフレーム動き補償方法および色データのイントラフレーム・サブサンプリング方法を用いて、符号化される（６）。一方、ブロック内の２フィールド間の差が大きければ（すなわち相関が低ければ）、そのブロックは、それぞれのフィールド内の（イントラフィールド）相関およびそれぞれのフィールドとその隣接フィールドとの（インタフィールド）相関の調査が強化されるフィールド符号化プロセスによって符号化される（５）。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタルストレージメディアまたは伝送メディアのための、インタレース走査ディジタルビデオシーケンスの効率的情報符号化に関する。
【０００２】
【従来の技術】
ビデオ信号のためのディジタル符号化方法の標準化の努力の成果は、今日活発に進歩しつつある。このような標準化の努力には、異なったビットレートにおけるさまざまなビデオ信号フォーマットのディジタル符号化の研究が含まれる。ビデオシーケンスがどのようにして記録装置により捕捉され、また表示装置上にリフレッシュされるかを定める走査技術により、ビデオシーケンスは２つの型に分類される。すなわち順次走査ビデオシーケンスと、インタレース走査ビデオシーケンスとである。順次走査ビデオシーケンスにおいては、シーケンス内のフレームは、フレームの頂部から底部まで線毎に順次捕捉されリフレッシュされる。インタレース走査ビデオシーケンスのフレームは２フィールドから成り、偶数フィールドはフレームの偶数線から形成され、奇数フィールドはフレームの奇数線から形成される。捕捉およびリフレッシュは、まず偶数フィールドにおいてフィールドの頂部から底部まで順次行われ、続いて奇数フィールドにおいて同様に行われる。現在多数の信号源はインタレース走査フォーマットのものである（例えばＮＴＳＣ、ＰＡＬ）ので、多くの研究努力はインタレース走査ビデオシーケンスの効率的符号化に対して向けられてきた。
【０００３】
従来の研究結果は３種類に分類される。すなわちフレーム符号化プロセスと、フィールド符号化プロセスと、補間フィールド符号化プロセスと、である。フレーム符号化プロセスにおいては、ビデオシーケンスは基本的にはフレーム毎に符号化され、その場合偶数フィールドはインタレース的に合成される（諸フレームは順次的であるかのようにして処理される）（例えば、非特許文献１参照）。フレーム符号化プロセスにおいては、それぞれのフレームを画素データのブロックに区分し、その後それらを、動き補償（ＭＣ）のある、またはない、離散コサイン変換（ＤＣＴ）のようなブロック符号化方法により処理することができる（例えば、非特許文献２参照）。もし、フレームが、シーケンス内の他フレームと無関係に、かつ偶奇フィールドに対して異なった処理を行うことなく、符号化されるならば、そのプロセスは、イントラフレーム符号化プロセスと呼ばれる。もし、フレームが、シーケンス内の他フレームを用いた動き補償のもとに符号化されるならば、そのプロセスはインタフレーム符号化プロセスと呼ばれる。要するに、フレーム符号化プロセスは、ビデオシーケンスが、イントラフレーム符号化プロセスのみによって、またはイントラフレームおよびインタフレーム符号化プロセスの組合せによって、符号化されるプロセスである。
【０００４】
フィールド符号化プロセスにおいては、ビデオシーケンスはまず、偶数フィールドシーケンスと奇数フィールドシーケンスとの２シーケンスに分割され、偶奇フィールドシーケンスのそれぞれは同じ符号化プロセスを受ける（例えば、非特許文献３参照）。フィールド符号化プロセスにおける動き補償または動き補間は、偶奇フィールドシーケンスのそれぞれとは無関係に、または非特許文献３に示されているように２シーケンスに相互依存して、行われうる。従って、フィールド符号化プロセスは、正にイントラフィールド符号化プロセスであるか、またはイントラフィールドおよびインタフィールド符号化プロセスの組合せである。
【０００５】
補間フィールド符号化プロセスの場合は、一方のフィールドシーケンスのみが符号化され、他方のフィールドシーケンスは符号化されたフィールドシーケンスに基づく予測または補間プロセスによって再生される（例えば、非特許文献４参照）。
【０００６】
【非特許文献１】
Ｋａｚｕｔｏ　ＫａｍｉｋｕｒａおよびＴａｉｋｕｎ　Ｌｉ著「Ｃｏｎｓｉｄｅｒａｔｉｏｎ　　ｏｆ　Ｂｉｔ　Ａｌｌｏｃａｔｉｏｎ　ａｎｄ　Ｄｉｓｔｒｉｂｕｔｉｏｎ　ｏｆ　Ｍｏｖｉｎｇ　Ｉｍａｇｅ　Ｃｏｄｉｎｇ　ｆｏｒ　Ｓｔｏｒａｇｅ　　Ｍｅｄｉａ」，ＤＡＰＡ　Ｍｅｅｔｉｎｇ　　Ｒｅｐｏｒｔ，Ｆｏｕｒｔｈ　Ｔｅｌｅｍａｔｉｃ　Ｓｙｍｐｏｓｉｕｍ，Ｔｏｋｙｏ，Ｆｅｂｒｕａｒｙ　１９９１
【非特許文献２】
ＭＰＥＧ　Ｖｉｄｅｏ　　Ｓｉｍｕｌａｔｉｏｎ　Ｍｏｄｅｌ　　Ｔｈｒｅｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ　　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　Ｐｉｃｔｕｒｅ　ａｎｄ　Ａｕｄｉｏ　　Ｉｎｆｏｒｍａｔｉｏｎ，１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８　ＭＰＥＧ９０／０４１
【非特許文献３】
Ｉｃｈｉｒｏ　Ａｎｄｏｈ，Ｙ．Ｙａｍａｄａ外著の論文「Ｓｏｍｅ　Ｃｏｎｓｉｄｅｒａｔｉｏｎｓ　ａｎｄ　　Ｅｘｐｅｒｉｍｅｎｔｓ　ｏｆ　Ｉｎｔｅｒｌａｃｅｄ　Ｍｏｖｉｎｇ　Ｉｍａｇｅ　　Ｃｏｄｉｎｇ」，ＤＡＰＡ　Ｍｅｅｔｉｎｇ　　Ｒｅｐｏｒｔ，Ｆｏｕｒｔｈ　Ｔｅｌｅｍａｔｉｃ　Ｓｙｍｐｏｓｉｕｍ，Ｔｏｋｙｏ，Ｆｅｂｒｕａｒｙ　１９９１
【非特許文献４】
Ｆｅｎｇ−Ｍｉｎｇ　ＷａｎｇおよびＤｉｍｉｔｒｉｓ　Ａｎａｓｔａｓｓｉｏｕ著の論文「Ｈｉｇｈ−Ｑｕａｌｉｔｙ　　Ｃｏｄｉｎｇ　ｏｆ　ｔｈｅ　Ｅｖｅｎ　Ｆｉｅｌｄｓ　Ｂａｓｅｄ　　ｏｎ　　ｔｈｅ　Ｏｄｄ　Ｆｉｅｌｄｓ　ｏｆ　ｔｈｅ　　Ｉｎｔｅｒｌａｃｅｄ　Ｖｉｄｅｏ　　Ｓｅｑｕｅｎｃｅｓ」，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎ　　ｏｎ　　Ｃｉｒｃｕｉｔｓ　ａｎｄ　　Ｓｙｓｔｅｍｓ，Ｊａｎｕａｒｙ　　１９９１，およびＭＰＥＧ　Ｖｉｄｅｏ　　Ｓｉｍｕｌａｔｉｏｎ　Ｍｏｄｅｌ　　Ｔｈｒｅｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ　　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　Ｐｉｃｔｕｒｅ　ａｎｄ　Ａｕｄｉｏ　　Ｉｎｆｏｒｍａｔｉｏｎ，１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８　ＭＰＥＧ９０／０４１
【０００７】
【発明が解決しようとする課題】
インタレース走査ビデオシーケンス内の対象物が静止を続ける時には、毎ライン上のおよび相互隣接ライン上の、隣接画素間の相関は高いので、通常の離散コサイン変換符号化方法のような一般に知られた画像圧縮方法により、フレーム符号化プロセスにおいて（線間の高相関を利用して）、フィールドまたは補間フィールド符号化プロセスと比較して、高圧縮比を達成することができる。この場合、インタフレーム動き補償も、より良い効率で行われうる。しかし、もしシーケンス内の対象物が動き始めれば、フィールド間の相関は低下し、従って、例えばＤＣＴ法の効率は、フィールド符号化プロセスが用いられた時の方がよくなる。さらに、この状況に動き補償が関与する時は、それぞれのフィールドに対し個々に動き補償を行うインタフィールド符号化プロセスは、シーケンス内の対象物の動きのより良い予測を行う利点を有する。一般に、フレーム符号化、フィールド符号化、および補間フィールド符号化のプロセスは、シーケンス内の対象物の動きが極めてダイナミックでありうる場合には、効率に関しては準最適でしかない。ビデオ符号化方式の効率の改善は、高ビットレート低減符号化方式においては特に重要である。
【０００８】
【課題を解決するための手段】
（イントラ／インタ）フレーム符号化および（イントラ／インタ）フィールド符号化プロセスを利用するためには、フレームおよびフィールド符号化プロセスのいずれを使用すべきかを判断するためにフレームのそれぞれの領域を適応的に検査する方法が考案されうる。そのようにして、フレーム内の静止領域は、フレーム内の高い空間的相関を利用して、フレーム符号化プロセスを効率的に用いることにより符号化される。また、シーケンス内の動く対象物に対応するフレーム内の領域は、それぞれのフィールド内においてこれらの領域内により良い相関が見出されるので、フィールド符号化プロセスを用いて符号化される。
【０００９】
この方法は、まず入力インタレース走査ビデオ信号のそれぞれのフレームを画素データの小ブロックに区分し、それぞれのブロック内の２フィールド間の画素値の差を決定し、もし前記ブロック内の２フィールド間の誤差が小さいと決定されたならば前記ブロックをしてフレーム符号化プロセスを受けしめ、そうでない場合は前記ブロックをしてフィールド符号化プロセスを受けしめることによって行われうる。
【００１０】
上述の方法によれば、フィールド間における動きを有する、すなわち相関の低いフィールドを有するブロックを、フィールド間において高い空間的相関を有するブロックから分離することができ、これら２種類のブロックにおいて最良の結果を達成するためにフィールド符号化プロセスまたはフレーム符号化プロセスが最適に適用されうる。そのフレーム符号化プロセスの場合には、前記ブロックは、ＤＣＴ法のような通常のブロック符号化技術を用いてイントラフレーム符号化されるか、またはインタフレーム動き補償を伴うブロック符号化技術を用いてインタフレーム符号化されうる。フィールド符号化プロセスの場合におけるように、前記ブロック内の２フィールドは、サブブロックに分けられ、通常のブロック符号化方法を用いてイントラフィールド符号化されるか、またはインタフィールド動き補償を伴ってインタフィールド符号化される。
【００１１】
【発明の実施の形態】
従来技術の動き補償（例えば、ＭＰＥＧ　Ｖｉｄｅｏ　ＳｉｍｕｌａｔｉｏｎＭｏｄｅｌ　Ｔｈｒｅｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆＰｉｃｔｕｒｅ　ａｎｄＡｕｄｉｏ　Ｉｎｆｏｒｍａｔｉｏｎ，１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８　ＭＰＥＧ９０／０４１参照）においては、インタレース走査ビデオシーケンス内の、画像とも呼ばれうるフレームは３通りに分類されうる。すなわち、（１）イントラ符号化フレーム（すなわちＩフレーム）−それぞれのフレームはそれ自身からのみの情報を用いて符号化される；（２）予測符号化フレーム（すなわちＰフレーム）−それぞれのフレームは過去のＩまたはＰフレームからの動き補償された予測を用いて符号化される；（３）２方向予測符号化フレーム（すなわちＢフレーム）−それぞれのフレームは過去および／または未来のＩまたはＰフレームからの動き補償された予測を用いて符号化される；である。図５には、シーケンス内における３種類のフレームの配置例が示されている。Ｉフレーム間にあるＰフレームの数およびＩまたはＰフレーム間にあるＢフレームの数は、必ずしもそれぞれ４および２である必要はない。シーケンスの符号化には、他の適切な数が用いられうる。例えばＢフレームはなくてもよく、あるいはＢおよびＰフレームが全くなくてもよい。
【００１２】
図１は、本発明の１実施の形態の方法を用いるインタレース走査ビデオ信号符号化装置のブロック図である。シーケンスの入力フレーム１はまずブロック区分プロセス２により画素データのブロックに区分され、それぞれの該ブロックは、ブロック内の２フィールドからの画素データ間の差を検査するインタフィールド差検出プロセス３を受ける。該インタフィールド差検出プロセス３の一例においては、ブロック輝度領域の偶奇線対間の２乗誤差が計算され、その計算された結果が、同じ領域の連続する奇数線対および連続する偶数線対間において計算された２乗誤差と比較される。もし、連続する奇数線対および偶数線対間の２乗誤差に対する偶奇線対間の２乗誤差の比が、あらかじめ定められたスレッショルド値より大ならば、前記ブロック４はフィールド符号化プロセス５によって符号化され、そうでない場合は、該ブロックはフレーム符号化プロセス６によって符号化される。２つの計算された２乗誤差の比は、ブロックの活動性による多くのスレッショルドと比較されて、より良い検出が行われるようにされうる。１６×１６画素のブロックサイズ用の「Ｃ」プログラムプロシージャとして構成されたインタフィールド差検出プロセスの例は、次のように与えられる。
【００１３】
【表１】

【００１４】
上記「Ｃ」プログラムの例におけるブロックサイズ、スレッショルド値の１２、１８、３０、および活動値の８０００、１０００００は、もし必要ならば、他の適切な値に調節または拡張されうる。このインタフィールド差検出プロセスの結果７は、サイド情報として符号化される。
【００１５】
図２には、フレーム符号化プロセス６およびフィールド符号化プロセス５を行う装置の実施の形態が示されている。フレーム符号化プロセス６においては、入力ブロックは、もし入力フレームがＩフレームであれば、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフレーム符号化プロセスを受け、もし入力フレームがＩフレームでなければ、インタフレーム動き補償プロセス２０、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフレーム符号化プロセスを受ける。同様にして、フィールド符号化プロセス５においては、入力ブロックは、もし入力フレームがＩフレームであれば、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフィールド符号化プロセスを受け、そうでない場合は、インタフィールド動き補償プロセス２６、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフィールド符号化プロセスを受ける。フレームメモリ２８は、ブロック復号化プロセス２３の結果から再構成されたフレームを記憶し、それは符号化されるべき次のフレームからの入力ブロックの、インタフレームまたはインタフィールド動き補償プロセス２０、２６において用いられる。
【００１６】
図３はインタフレーム動き補償プロセスの１実施の形態の装置のブロック図である。インタフレーム動き補償プロセスへの入力ブロック２７は、入力フレームの型により１つの動き補償プロセスを、すなわち、もし入力フレームがＰフレームであればインタフレーム動き予測プロセスを、またもし入力フレームがＢフレームであればインタフレーム動き補間プロセスを、受ける。インタフレーム動き予測プロセスにおいては、入力ブロックは、前動きベクトル４４を評価するためのインタフレーム前動きベクトル検出プロセス４１を受ける。該動きベクトルの検出においては、通常のブロック比較技術が用いられうる。次に、前動き予測プロセス４２が行われるが、これは基本的に、検出された前動きベクトルを用いて以前に符号化されたフレームから前動き変位ブロックを得るものである。最後に、前動き予測プロセス４２の結果が、動き補償モード選択プロセス４３において入力ブロック２７と比較され、２ブロックのいずれが符号化されるべきかが判断される。そのわけは、動き補償は、特にビデオシーケンス内において極めて速い変化が行われる領域内では、必ずしも成功しないからである。もし入力ブロックが符号化されるべきであると判断されれば、入力ブロックの実際の値が符号化される。そうでない場合は、入力ブロックと前動き変位ブロックとの差、すなわち前動き補償されたブロックが符号化される。動き補償モード選択プロセスのＣ言語によるプロシージャの例は次の通りである。
【００１７】
【表２】

【００１８】
インタフレーム動き補間プロセスは、インタフレーム前動きベクトル検出４１、インタフレーム後動きベクトル検出４６、前動き予測４２、前／後動き補間４７、後動き予測４８、および動き補間モード選択４９の諸プロセスを含む。過去および未来のＩまたはＰフレーム（符号化された、またはされないフレームが使用されうる）を参照して、インタフレーム前および後動きベクトル検出プロセス４１および４６は、通常のブロック比較技術を用いることにより前動きベクトルおよび後動きベクトルを評価する。２つの評価された動きベクトルを用い、前述と同様にして、前および後動き予測プロセス４２および４８により、前動き変位ブロックおよび後動き変位ブロックが見出される。前／後動き補間プロセス４７においては、前および後動き変位ブロックを平均することにより、前／後動き補間ブロックが計算される。前および後動き変位ブロックを平均する時は、フレーム距離に基づく加重が用いられ、あるいは用いられない。上述の３つの動き変位および補間ブロックは入力ブロック２７と共に、動き補間モード選択プロセス４９において比較され、いずれのブロックが符号化されるべきかが決定される。いずれのブロックが符号化されるべきかを決定する１つの方法は、ＭＰＥＧ　Ｖｉｄｅｏ　ＳｉｍｕｌａｔｉｏｎＭｏｄｅｌ　Ｔｈｒｅｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆＰｉｃｔｕｒｅ　ａｎｄＡｕｄｉｏ　Ｉｎｆｏｒｍａｔｉｏｎ，１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８　ＭＰＥＧ９０／０４１に説明されている平均２乗誤差の比較による。もし決定されたブロックが入力ブロックでなければ、決定されたブロックと入力ブロックとの差が符号化される。
【００１９】
フィールド符号化プロセス５への入力ブロック２９内の２フィールドのデータは、一般に相関がなく、あるいはインタフィールド差検出プロセス３によって選択された動きを含むので、２フィールドからのデータに基づいて独立して動き補償を行うインタフィールド動き補償が選択される。しかし、図４に示されているインタフィールド動き補償プロセスの実施の形態は、動きベクトル検出プロセスおよび動き変位ブロックの構成を除外すると、インタフレーム動き補償プロセス（図３）に極めて類似している。インタフィールド前／後動きベクトル検出プロセス６１および６２においては、１つの動きベクトルが、入力ブロック３０内のそれぞれのフィールドに対して、かつ前および後方向において評価され、従って、前動きベクトル１および２と、後動きベクトル１および２とが評価される。評価された動きベクトル１および２に基づき、以前に符号化された画像からブロックの２つの動き変位フィールドが得られ、それによって動き変位ブロックおよびさらに動き補間ブロックが、プロセス６３、６４、６５において形成される。動き補償モード選択プロセス４３および４９は、インタフレーム動き補償プロセス２０において用いられたものと同じプロセスである。前動きベクトル１および２または後動きベクトル１および２の符号化に関しては、入力ブロック内の２フィールドにおける動きの差および以前の隣接符号化ブロック間の動きの差は大きいものとは考えられないので、効率的な符号化の方法は、１フィールドの（前および／または後）動きベクトルを、以前の符号化ブロック、および入力ブロック内の２フィールドの動きのデルタ差を参照して、デルタ符号化することである。
【００２０】
入力ブロック４またはインタフレーム動き補償プロセス２０の出力は、フレーム再構成プロセス２１を受け、そこでそれは、例えばＤＣＴ（離散コサイン変換）法に基づくブロック符号化プロセスに適するさらに小さいサブブロックに空間的に区分される。図６（ａ）は、４つのさらに小さい８×８サブブロックに区分された、輝度データ（Ｙ）の１６×１６ブロックの例を示す。フレーム再構成プロセス２１においてインタレースフィールドは、ブロック符号化プロセス２２がフィールド間の相関を利用しうるようにするために、分離されない。フレーム再構成プロセス２１は、さらに、色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフレーム・サブサンプリングプロセスを含みうる。図６（ｂ）においては、（４：２：２源における１６×１６輝度ブロックと同位置にある）８×１６色ブロックの例が、その色ブロックのそれぞれの偶奇線対を平均することによって、８×８色サブブロックにイントラフレーム・サブサンプリングされている。色信号のこのようなサブサンプリングは、可視的な差を発生せしめることなく符号化される必要のある情報量を減少させるために行われる。
【００２１】
フィールド再構成プロセス２５は、インタフィールド動き補償プロセス２６または入力ブロック４から結果を受ける。該プロセスは、入力の輝度データ（Ｙ）を、２フィールドが分離されたさらに小さいサブブロックに区分する。図７（ａ）は、１６×１６入力輝度ブロックを、４つの８×８サブブロックであってその２つが偶数フィールドデータを含み、他の２つが奇数フィールドデータを含む該４つの８×８サブブロックに区分する、そのようなプロセスを示す。これは、ブロック符号化プロセス２２が、それぞれのサブブロックにおけるフィールド内の高相関を利用するように行われる。フィールド再構成プロセスは、さらに、それぞれのフィールドにおける色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフィールド・サブサンプリングプロセスを含む。図７（ｂ）において、８×１６色ブロックの例は、それぞれのフィールドの全ての連続する２線を別々に平均することによって、８×８色サブブロックにイントラフィールド・サブサンプリングされている。これらの平均された線は、２フィールドが出力サブブロックにおいて分離されているように再配置される。これらの平均された線はまた、出力サブブロックにおいてはインタレース状に配列されるが、得られる符号化効率は前述の方法ほど良くない。
【００２２】
フレームまたはフィールド再構成プロセスによって発生せしめられるそれぞれのサブブロックは、サブブロック内の相関を調査することにより、データ圧縮のためのブロック符号化プロセス２２を受けしめられる。図８に示されているブロック符号化装置の実施の形態は、サブブロックを離散コサイン変換（ＤＣＴ）係数に離散コサイン変換（ＤＣＴ）８０し、ＤＣＴ係数を出力情報８５の量を監視するレート制御装置８４に基づいて量子化８１し、量子化されたＤＣＴ係数をジグザグ走査８２し、ジグザグ走査８２の結果およびサブブロックを記述するのに必要な全てのサイド情報を可変長符号化（ＶＬＣ）８３して、ディジタルストレージメディアまたは伝送メディアのための出力情報８５を発生するための手段を含む。図８に示されているブロック符号化プロセスの装置化の例の詳細は、ＭＰＥＧ　Ｖｉｄｅｏ　ＳｉｍｕｌａｔｉｏｎＭｏｄｅｌ　Ｔｈｒｅｅ，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆＰｉｃｔｕｒｅ　ａｎｄＡｕｄｉｏ　Ｉｎｆｏｒｍａｔｉｏｎ，１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８　ＭＰＥＧ９０／０４１（非特許文献２）に見出される。
【００２３】
ブロック復号化プロセス２３は、ブロック符号化プロセス２２の出力を復号化し、フレームを再構成する。ブロック復号化プロセスにより再構成されたフレームは、フレームメモリ２８内に記憶されて、インタフレーム／インタフィールド動き補償プロセス２０および２６によって使用される。該ブロック復号化プロセス２３はまた、前記ブロック符号化プロセス２２および／または前記インタフレーム／インタフィールド動き補償プロセス２０および２６によって作られた、ディジタルストレージメディアまたは伝送メディアからの符号化情報を復号化するのにも用いられる。図９は、図８に示されたブロック符号化プロセスに対応するブロック復号化装置の実施の形態を示し、これは、符号化情報を多重分離／ＶＬＣ復号化９０してジグザグ走査されたサブブロックおよび含まれていたサイド情報を再生し、該サブブロックを逆ジグザグ走査９１した後逆量子化９２してＤＣＴ係数を再生し、該係数を逆ＤＣＴ９３し、この逆ＤＣＴの結果をして、符号化画像型（Ｉ、Ｐ、またはＢフレーム）およびインタフィールド差検出プロセス３の符号化結果に従って、インタフレームまたはインタフィールド動き補償プロセス（図３および図４）の逆９４および９５を受けしめることにより再構成サブブロック９６を再生し、インタフィールド差検出プロセスの符号化結果に従ってフレーム／フィールド再構成プロセスの逆９７および９８を行って再構成ブロック１００を再生し、これが次にフレームメモリ１０１内に記憶せしめられて逆インタフレーム／インタフィールド動き補償プロセス９４または９５に、あるいはモニタスクリーン上への表示に用いられるようにする手段を含む。もしブロック復号化プロセスがビデオ信号符号器内においてブロック符号化プロセスと共に用いられるべき場合は、逆量子化器への入力および他のサイド情報はブロック符号化プロセスにおける対応する諸プロセスから直接得られるので、多重分離器／ＶＬＣ復号器９０および逆ジグザグ走査９１は省略されうる。
【００２４】
【発明の効果】
以上説明したように、入力フレームは画素データの小ブロックに区分され、それぞれのブロック内の２フィールドは相関について検査される。もしブロック内の２フィールド間の差が小さければ（すなわち相関が高ければ）、そのブロックは、ブロック内の全ての線が順次走査されるフレーム符号化プロセスにより、従って効率的に設計されるインタフレーム動き補償プロセスおよび色データのイントラフレーム・サブサンプリングプロセスを用いて、符号化される。一方、もしブロック内の２フィールド間の差が大きければ（すなわち相関が低ければ）、そのブロックは、それぞれのフィールド内の（イントラフィールド）相関およびそれぞれのフィールドとその隣接フィールドとの（インタフィールド）相関の調査が強化されるフィールド符号化プロセスによって符号化され、さらに、このようなブロックにおいては、色データのイントラフィールド・サブサンプリングはより良く行われる。一般のビデオシーケンスにおいては、それぞれの画像フレーム内における相関レベルは、静止情景または対象物を含む領域と、動く情景または対象物を含む領域との間では相異なる。従って、本発明は、これら２つの型の領域を、それぞれの領域の型により適する方法によって、より効率的に、または適応的に符号化する効果を提供する。固定ビットレートのビデオ符号化システムにおいては、本発明は、より良い再構成画像品質を与える効果を提供する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るインタレース走査ビデオ符号化方法のブロック図
【図２】本発明の該実施の形態の一部を示す、フレーム符号化プロセスおよびフィールド符号化プロセスのブロック図
【図３】本発明の前記実施の形態の一部を示す、インタフレーム動き補償プロセスのブロック図
【図４】本発明の前記実施の形態の一部を示す、インタフィールド動き補償プロセスのブロック図
【図５】Ｉ画像、Ｐ画像、およびＢ画像の配置および関係の例の説明図
【図６】（ａ）フレーム再構成プロセスの効果例の説明図
（ｂ）色データに対するイントラフレーム・サブサンプリングプロセスの例を示す説明図
【図７】（ａ）フィールド再構成の効果例を示す説明図
（ｂ）色データに対するイントラフィールド・サブサンプリングプロセスの例を示す説明図
【図８】本発明の一実施の形態の一部に係るブロック符号化プロセスのブロック図
【図９】本発明の一実施の形態におけるブロック復号化プロセスのブロック図
【符号の説明】
２　ブロック区分プロセス
３　インタフィールド差検出プロセス
５　フィールド符号化プロセス
６　フレーム符号化プロセス
２０　インタフレーム動き補償プロセス
２１　フレーム再構成プロセス
２２　ブロック符号化プロセス
２３　ブロック復号化プロセス
２５　フィールド再構成プロセス
２６　インタフィールド動き補償プロセス

Claims

インタレース走査ディジタルビデオ信号の時間的に隣接する２つのフィールド画像から構成されるフレーム画像を、フレーム単位で符号化する装置であって、
前記フレーム画像を画素データのブロックに区分する手段と、
前記ブロック内の２つのフィールドの画素値の相関に基づいて、前記ブロックをフィールド符号化処理するかフレーム符号化処理する符号化手段とを有し、
前記符号化手段は、動き補償する前記ブロックに対しては、前動きベクトルを用いたインタフィールド動き補償処理をするか、後ろ動きベクトルを用いたインタフィールド動き補償処理をするか、双方の動きベクトルを用いたインタフィールド動き補償処理をするか、もしくは、前動きベクトルを用いたインタフレーム動き補償処理をするか、後ろ動きベクトルを用いたインタフレーム動き補償処理をするか、双方の動きベクトルを用いたインタフレーム動き補償処理をするか、のいずれかを行う動き補償処理を行ない、
前記ブロックのビデオ信号を前記フィールド符号化処理したか前記フレーム符号化処理したかを示す第１のサイド情報と、前記フィールド符号化処理及び前記フレーム符号化処理の夫々において、前動きベクトルを用いて動き補償処理をしたか、後ろ動きベクトルを用いて動き補償処理をしたか、又は、前及び後ろの双方の動きベクトルを用いて動き補償処理をしたかを示す第２のサイド情報と、符号化された前記ブロックのビデオ信号を出力することを特徴とするインタレース走査ディジタルビデオ信号の符号化装置。
前記符号化手段は更に、前記インタフィールド動き補償処理をしたブロックに対してはフィールド再構成処理を行い、前記インタフレーム動き補償処理をしたブロックに対してはフレーム再構成処理を行う、ブロック再構成処理を含み、該ブロック再構成処理により再構成された再構成ブロックをＤＣＴ符号化処理することを特徴とする請求項１記載のインタレース走査ディジタルビデオ信号の符号化装置。
前記ブロック再構成処理におけるフィールド再構成処理は、輝度信号に対しては、前記インタフィールド動き補償処理された前記ブロックを偶数線からなる２個のサブブロックおよび奇数線からなる２個のサブブロックに分離するものであることを特徴とする請求項２記載のインタレース走査ディジタルビデオ信号の符号化装置。
動き補償をしない前記ブロックに対しては、前記ブロックをフィールド再構成処理を行うか、フレーム再構成処理を行うかのブロック再構成処理を行い、そのどちらのブロック再構成処理をしたかを示す第３のサイド情報とともに出力し、該ブロック再構成処理された再構成ブロックをブロック符号化するものであることを特徴とする請求項１記載のインタレース走査ディジタルビデオ信号の符号化装置。