JP2006287973A - フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法 - Google Patents

Abstract

【課題】２つのピクチャを参照する予測符号化を用いた場合であっても最適なフィルタリング強度を決定することができるフィルタリング強度の決定方法、動画像符号化方法および動画像復号化方法を提供する。
【解決手段】動画像符号化装置は、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪みを除去する、それぞれフィルタリング強度が異なるフィルタＡ１１４ａ、フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、およびフィルタＤ１１４ｄを有する画素間フィルタ１１４と、この画素間フィルタ１１４のフィルタリング強度を決定するフィルタ処理制御部１１０を備える。
【選択図】図１

Description

本発明は、ブロック間の符号化歪みを除去するフィルタリングの強度を決定するフィルタリング強度の決定方法、決定されたフィルタリングの強度によりフィルタリングして動画像の符号化または復号化を行う動画像符号化方法および動画像復号化方法に関する。

フィルタは、画質を改善すると共に圧縮率を改善するために通常ビデオ圧縮方法で用いられる。ブロッキーアーテファクトは、量子化ノイズ並びに動き補償により低ビットレートのビデオ圧縮の復号化ピクチャで通常発生する。フィルタのタスクの一つは、これらのブロッキーアーテファクトが縮小又は除去されるように復号化ピクチャにおけるブロックの境界を平滑にすることである。

例えば、現在規格を策定中のＩＳＯ／ＩＥＣ １４４９６−２ Ｐａｒｔ １０の委員会草案（Ｃｏｍｉｔｔｅｅ Ｄｒａｆｔ）のようなビデオ圧縮方法では、動画像の圧縮を改良するためにループフィルタを用いている（例えば、非特許文献１参照）。このループフィルタは、復号化されたピクチャの画質を改善するために参照および非参照ピクチャの両方に適用される。

図１３は、用いられるフィルタの強度を選択するためにＩＳＯ／ＩＥＣ １４４９６−２ Ｐａｒｔ １０標準の委員会草稿で用いられた判定アルゴリズムを示す図である。

用いられるフィルタの強度を選択するための判定は、二つの隣接するブロックｐ及びブロックｑのブロック境界で実行される。これらのブロックｐまたはブロックｑが、ピクチャ内（Ｉｎｔｒａ）符号化されているか否かの判定を行う（ステップＳ１０２）。ここで、ブロックｐ及びブロックｑの一つがイントラ符号化されている場合（ステップＳ１０２でＹｅｓ）には、ブロック境界がマクロブロック境界になるか否かの判定を行う（ステップＳ１０３）。この判定の結果、ブロック境界がマクロブロック境界になる場合、すなわち二つのブロックが同じマクロブロックに含まれない場合には、最も強いフィルタの強度（Ｂｓ＝４）が選択される（ステップＳ１０３でＹｅｓ）。一方、ブロック境界がマクロブロック境界にならない場合、すなわちこれら二つのブロックが同じマクロブロックに含まれる場合には、二番目の強度（Ｂｓ＝３）が選択される（ステップＳ１０３でＮｏ）。

上記判定（ステップＳ１０２）の結果、ブロックｐ及びブロックｑの両方がイントラ符号化されていない場合（ステップＳ１０２でＮｏ）には、次いでこの二つのブロックのいずれかが直交変換後の空間周波数成分を示す係数を含むか否かの判定を行う（ステップＳ１０４）。ここで、二つのブロックのいずれかが係数を含む場合（ステップＳ１０４でＹｅｓ）には、三番目に強いフィルタの強度（Ｂｓ＝２）が選択される。一方、二つのブロックの両方とも係数を含まない、すなわちブロックｐ及びブロックｑの両方で係数が符号化されない場合（ステップＳ１０４でＮｏ）には、フィルタリングがスキップされるか否かを選択するために次の判定を行う（ステップＳ１０５）。

ブロックｐ及びブロックｑの両方の参照ピクチャのインデックス番号Ｒｅｆ（ｐ）及びＲｅｆ（ｑ）が同じであるか否かの判定を行う。また、二つのブロックの垂直（Ｖ（ｐ，ｙ）及びＶ（ｑ，ｙ））及び水平（Ｖ（ｐ，ｘ）及びＶ（ｑ、ｘ））動きベクトルを互いに比較し、一画素よりも少ない差が存在するか否かの判定を行う。この２つの判定の結果、二つのブロックの参照ピクチャのインデックス番号が同じであり、かつそれらの垂直及び水平動きベクトルが一画素よりも離れていない場合（ステップＳ１０５でＮｏ）にだけ、これら二つのブロックの間の境界のフィルタリングがスキップされる。その他の全ての場合（ステップＳ１０５でＹｅｓ）において、弱いフィルタリング（Ｂｓ＝１）がブロック境界で実行される。
Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10、JVT-C167 9.5 Deblocking Filter

従来のフィルタの強度を選択するための判定アルゴリズムは、２つのピクチャを参照する予測符号化ピクチャにおけるブロックに対して全ての可能な場合を十分に網羅していない。この理由は、２つのピクチャを参照する予測符号化ピクチャのマクロブロックでは、ダイレクト、順方向、逆方向及び２つのピクチャを参照するモードを用いて予測することができるからである。これらの予測モードは、従来の判定アルゴリズムにおいて考慮されていない。同様に、一方のブロックがダイレクトモードを用い、かつ他方のブロックが２つのピクチャを参照する予測モードを用いる場合において、比較に用いられる動きベクトルは、従来技術において十分に説明されていない。

そこで、本発明は上記の事情に鑑みてなされたものであり、２つのピクチャを参照する予測符号化を用いた場合であっても最適なフィルタリング強度を決定することができるフィルタリング強度の決定方法、動画像符号化方法および動画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係るフィルタリング強度の決定方法は、ピクチャを構成するブロック間の符号化歪みを除去するフィルタリングの強度を決定するフィルタリング強度の決定方法であって、符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化済みの隣接ブロックの符号化時の情報であるパラメータを取得するパラメータ取得ステップと、前記対象ブロックおよび前記隣接ブロックを含むピクチャが２つのピクチャを参照するピクチャ間予測符号化を行うピクチャである場合、前記対象ブロックおよび前記隣接ブロックの前記パラメータを比較する比較ステップと、前記比較ステップによる比較結果に基づいてフィルタリングの強度を決定する決定ステップとを含むことを特徴とする。

ここで、前記パラメータは、ブロックの符号化モードを含み、前記比較ステップには、前記対象ブロックおよび前記隣接ブロックそれぞれの前記符号化モードに基づいて、前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャの数が同じであるか否かを判定するピクチャ数判定ステップを含み、前記決定ステップでは、前記ピクチャ数判定ステップでの判定結果に応じて、異なるフィルタリングの強度を決定してもよい。

また、前記パラメータは、さらに参照ピクチャを一意に識別するための参照インデックスを含み、前記比較ステップには、さらに、前記対象ブロックおよび前記隣接ブロックそれぞれの前記参照インデックスに基づいて、前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャが同じであるか否かを判定する参照ピクチャ判定ステップを含み、前記決定ステップでは、前記参照ピクチャ判定ステップでの判定結果に応じて、異なるフィルタリングの強度を決定してもよい。

また、前記パラメータは、参照ピクチャに対する動きベクトルを含み、前記比較ステップには、さらに、前記対象ブロックおよび前記隣接ブロックに含まれる前記動きベクトルに基づいて、前記対象ブロックの任意の動きベクトルの水平成分と、前記隣接ブロックの任意の動きベクトルの水平成分との差、または前記対象ブロックの任意の動きベクトルの垂直成分と、前記隣接ブロックの任意の動きベクトルの垂直成分との差の少なくとも１つが、所定値以上であるか否かを判定する動きベクトル判定ステップを含み、前記決定ステップでは、前記動きベクトル判定ステップでの判定結果に応じて、異なるフィルタリングの強度を決定してもよい。

これによって、２つのピクチャを参照する予測符号化ピクチャにおけるブロックに対して可能な全ての場合を網羅することができ、２つのピクチャを参照する予測符号化を用いた場合であっても、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪み（ブロック間の符号化歪み）を除去するフィルタのフィルタリング強度を最適に決定することができる。また、このフィルタリング強度の決定方法は、動画像符号化装置および動画像復号化装置の両方に適用することができる。

また、本発明に係るフィルタリング強度の決定方法は、ピクチャを構成するブロック間の符号化歪みを除去するフィルタリングの強度を決定するフィルタリング強度の決定方法であって、符号化済みの対象ブロックおよびこの対象ブロックに隣接する符号化済みの隣接ブロックを含むピクチャのピクチャタイプを取得するパラメータ取得ステップと、前記パラメータ取得ステップにより取得されたピクチャタイプが２つのピクチャを参照するピクチャ間予測符号化を示している場合には、１つのピクチャを参照するピクチャ間予測符号化を示している場合より強くフィルタリングの強度を決定する決定ステップとを含むことを特徴とする。

これによって、上記同様に２つのピクチャを参照する予測符号化を用いた場合であっても、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪み（ブロック間の符号化歪み）を除去するフィルタのフィルタリング強度を最適に決定することができる。また、このフィルタリング強度の決定方法は、動画像符号化装置および動画像復号化装置の両方に適用することができる。

また、本発明に係る動画像符号化方法は、動画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法であって、本発明に係るフィルタリング強度の決定方法により決定されたフィルタリング強度により、前記対象ブロックおよび前記隣接ブロック間にフィルタリングを行うフィルタリングステップを含むことを特徴とする。

また、本発明に係る動画像復号化方法は、動画像を構成する各ピクチャがブロック単位で符号化された動画像符号化データを復号化する動画像復号化方法であって、本発明に係るフィルタリング強度の決定方法により決定されたフィルタリング強度により、前記対象ブロックおよび前記隣接ブロック間にフィルタリングを行うフィルタリングステップを含むことを特徴とする。

なお、本発明は、このようなフィルタリング強度の決定方法、動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このようなフィルタリング強度の決定方法、動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備えるフィルタリング強度の決定装置、動画像符号化装置および動画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係るフィルタリング強度の決定方法よれば、２つのピクチャを参照する予測符号化を用いた場合であっても、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪みを除去するフィルタのフィルタリング強度を最適に決定することができる。よって、復号化される動画像の画質を改善するように動画像を符号化することができる。また、本発明に係るフィルタリング強度の決定方法は、動画像符号化装置および動画像復号化装置の両方に適用することができ、その実用的価値は大きい。

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
図１は、本発明に係るフィルタリング強度の決定方法を用いた動画像符号化装置の構成を示すブロック図である。

動画像符号化装置は、入力される動画像を圧縮符号化して符号列として出力する装置であり、図１に示すようにピクチャメモリ１０１、差分演算部１０２、予測残差符号化部１０３、符号列生成部１０４、予測残差復号化部１０５、加算演算部１０６、動きベクトル検出部１０７、動きベクトル記憶部１０８、動き補償符号化部１０９、フィルタ処理制御部１１０、ピクチャメモリ１１１、スイッチ１１２、１１３、および画素間フィルタ１１４を備えている。

ピクチャメモリ１０１は、表示時間順にピクチャ単位で入力された動画像を格納する。ここでピクチャとは、フレームおよびフィールドの両者を包含する画面という１つの符号化の単位を意味する。動きベクトル検出部１０７は、符号化済みの復号化画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルの検出を行う。また、動きベクトル検出部１０７は、検出した動きベクトルを動き補償符号化部１０９および動きベクトル記憶部１０８に通知する。

動き補償符号化部１０９は、動きベクトル検出部１０７で検出された動きベクトルを用いてブロックの符号化モードを決定し、この符号化モードに基づいて予測画像データを生成する。この符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものであり、非イントラ符号化（動き補償符号化）であるかイントラ符号化であるか等を示す。例えば、ピクチャ間の相関が低く、動き予測を行うよりもイントラ符号化の方が好ましい場合には、イントラ符号化を選択する。この符号化モードはフィルタ制御部１１０に通知される。また、動きベクトルと符号化モードは動き補償符号化部１０９から符号列生成部１０４に通知される。動きベクトル記憶部１０８は、動きベクトル検出部１０７で検出された動きベクトルを記憶する。

差分演算部１０２は、ピクチャメモリ１０１より読み出された画像データと、動き補償符号化部１０９より入力された予測画像データとの差分を演算し、予測残差画像データを生成する。予測残差符号化部１０３は、入力された予測残差画像データに対して直交変換や量子化等の符号化処理を行い、符号化データを生成する。符号列生成部１０４は、予測残差符号化部１０３で生成した符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１０９から入力された動きベクトルの情報、および符号化モードの情報等を付加することにより符号列を生成する。

予測残差復号化部１０５は、入力された符号化データに対して逆量子化や逆直交変換等の復号化処理を行い、復号化差分画像データを生成する。加算演算部１０６は、予測残差復号化部１０５より入力された復号化差分画像データと、動き補償符号化部１０９より入力された予測画像データとを加算し、復号化画像データを生成する。ピクチャメモリ１１１は、フィルタリングされた復号化画像データを格納する。

フィルタ処理制御部１１０は入力された動きベクトルや符号化モードに応じて、画素間フィルタ１１４のフィルタリング強度、すなわちフィルタＡ１１４ａ、フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、フィルタＤ１１４ｄ、およびフィルタリングを行わない（ｓｋｉｐ）の中のどれを用いるかを選択し、スイッチ１１２およびスイッチ１１３を制御する。スイッチ１１２およびスイッチ１１３は、それぞれ、フィルタ処理制御部１１０の制御により、端子“１”〜端子“５”のいずれかを選択的に接続するスイッチである。スイッチ１１３は、加算演算部１０６の出力端子と、画素間フィルタ１１４の入力端子との間に設けられている。また、スイッチ１１２は、ピクチャメモリ１１１の入力端子と、画素間フィルタ１１４の出力端子との間に設けられている。

画素間フィルタ１１４は、例えば、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪みを除去するデブロック・フィルタであり、それぞれフィルタリング強度が異なるフィルタＡ１１４ａ、フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、およびフィルタＤ１１４ｄを備えている。このフィルタＡ１１４ａ、フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、およびフィルタＤ１１４ｄは、フィルタＡ１１４ａが最もフィルタリング強度が強く、以下フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、フィルタＤ１１４ｄと順にフィルタリング強度が弱くなり、フィルタＤ１１４ｄが最もフィルタリング強度が弱い。また、フィルタリング強度に対応して、フィルタリングのための演算処理量が異なる。なお、スイッチ１１２やスイッチ１１３等、図示する構成はハードウェアとして実装しても、ソフトウェアとして実装してもどちらでもよい。

図２は、ピクチャメモリ１０１におけるピクチャの順序を示す説明図であり、(a) 入力された順序、(b) 並び替えられた順序を示す説明図である。ここで、縦線はピクチャを示し、各ピクチャの右下に示す記号は１文字目のアルファベットがピクチャタイプ（Ｉ、Ｐ、またはＢ）を、２文字目以降の数字が表示時間順のピクチャ番号を示している。また、Ｐピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャを参照ピクチャとし、Ｂピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャと、表示時間順で後方にある近傍１枚のＩピクチャまたはＰピクチャとを参照ピクチャとして用いるものとしている。

図３はピクチャと参照インデックスの説明図である。参照インデックスは、ピクチャメモリ１１１に格納された参照ピクチャを一意に識別するために用いられ、図３に示すように各ピクチャに対応付けられている番号である。また、参照インデックスは、ブロックをピクチャ間予測により符号化する際に使用する参照ピクチャを指示するために使用される。

第１参照インデックスの値には、まず、表示順序を示す情報において、符号化対象ピクチャより前の参照ピクチャに対し、符号化対象ピクチャに近い順より「０」から始まる値が割り当てられる。符号化対象より前の参照ピクチャ全てに対し「０」から始まる値が割り当てられたら、次に符号化対象ピクチャより後の参照ピクチャに対し、符号化対象ピクチャに近い順から続きの値が割り当てられる。

第２参照インデックスの値には、まず、表示順序を示す情報において、符号化対象ピクチャより後の参照ピクチャに対し、符号化対象ピクチャに近い順より「０」から始まる値が割り当てられる。符号化対象より後の参照ピクチャ全てに対し「０」から始まる値が割り当てられたら、次に符号化対象ピクチャより前の参照ピクチャに対し、符号化対象ピクチャに近い順から続きの値が割り当てられる。

例えば、図３ において第１参照インデックスRidx1が「０」で第２参照インデックスRidx2が「１」である場合、前方向参照ピクチャはピクチャ番号７のＢピクチャであり、後方向参照ピクチャはピクチャ番号９のＰピクチャである。ここでピクチャ番号は、表示順を示す番号である。なお、図３に示すのは参照インデックスの割り当て方の一例であり、割り当て方はこの図３の例にとらわれない。

次に、上記のように構成された動画像符号化装置の動作について説明する。

入力画像は、例えば図２(a) に示すように表示時間順にピクチャ単位でピクチャメモリ１０１に入力される。ピクチャメモリ１０１に入力された各ピクチャは、符号化するピクチャタイプが決定されると、例えば図２(b) に示すように符号化が行われる順に並び替えられる。この符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替えられる。なお、ピクチャタイプの決定は、例えば周期的にピクチャタイプを割り当てる方法が一般的に用いられている。

ピクチャメモリ１０１で並び替えが行われた各ピクチャは、例えば水平１６×垂直１６画素のグループに分割されたマクロブロック単位で読み出される。また、動き補償および動きベクトルの抽出は、例えば水平８×垂直８画素のグループに分割されたブロック単位で行っている。

ピクチャメモリ１０１より読み出された対象マクロブロックは、動きベクトル検出部１０７および差分演算部１０２に入力される。

動きベクトル検出部１０７は、ピクチャメモリ１１１に格納された復号化画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して動きベクトルの検出を行う。そして、動きベクトル検出部１０７は、検出した動きベクトルおよびその参照ピクチャを示す参照インデックスを動き補償符号化部１０９に対して出力する。

動き補償符号化部１０９は、動きベクトル検出部１０７で検出された動きベクトルと参照インデックスを用いて、マクロブロックの符号化モードを決定する。ここで、符号化モードは、例えばＢピクチャの場合には、ピクチャ内符号化、前方動きベクトルを用いたピクチャ間予測符号化、後方動きベクトルを用いたピクチャ間予測符号化、２つの動きベクトルを用いたピクチャ間予測符号化、ダイレクトモードの中から、いずれの方法で符号化するかを選択することができるものとする。

ここで、ダイレクトモードにおけるピクチャ間予測方法を、図４を用いて説明する。図４はダイレクトモードにおける動きベクトルを示す説明図であり、ピクチャＢ８のブロックａをダイレクトモードで符号化する場合を示している。この場合、ピクチャＢ８の後方にある参照ピクチャであるピクチャＰ９中の、ブロックａと同じ位置にあるブロックｂを有する動きベクトルｃを利用する。この動きベクトルｃは、ブロックｂが符号化された際に用いられた動きベクトルであり、ピクチャＰ５を参照している。ブロックａは、動きベクトルｃをスケーリング処理することによって得られる前方向参照ピクチャであるピクチャＰ５に対する動きベクトルｄ、後方向参照ピクチャであるピクチャＰ９に対する動きベクトルｅを用いて、ピクチャＰ５とピクチャＰ９とから動き補償が行われる。

動き補償符号化部１０９は、決定した符号化モードに基づいて予測画像データを生成し、この予測画像データを差分演算部１０２と加算演算部１０６とに出力する。なお、動き補償符号化部１０９がダイレクトモードを選択した場合には、上記のように後方参照ピクチャの中の、対象ブロックと同じ位置にあるブロックの動きベクトルを参照動きベクトルとして利用するので、動き補償符号化部１０９は、この参照動きベクトルと参照インデックスとを動きベクトル記憶部１０８より読み出す。また、動き補償符号化部１０９がピクチャ内符号化を選択した場合には、予測画像データは出力しない。また、動き補償符号化部１０９は、決定した符号化モードと動きベクトルと参照インデックスの情報をフィルタ処理制御部１１０および符号列生成部１０４に対して、参照ピクチャを示す参照インデックスの値をフィルタ処理制御部１１０に対して出力する。

動き補償符号化部１０９より予測画像データが入力された差分演算部１０２は、この予測画像データと、ピクチャメモリ１０１より読み出されたピクチャＢ１１のマクロブロックの画像データとの差分を演算し、予測残差画像データを生成して予測残差符号化部１０３へ出力する。

予測残差画像データが入力された予測残差符号化部１０３は、この予測残差画像データに対して直交変換や量子化等の符号化処理を行い、符号化データを生成して符号列生成部１０４および予測残差復号化部１０５へ出力する。符号化データが入力された符号列生成部１０４は、この符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１０９から入力された動きベクトルの情報、符号化モードの情報等を付加することにより符号列を生成し、出力する。なお、ダイレクトモードで符号化されたマクロブロックについては、動きベクトルの情報は符号化列には付加しない。

一方、予測残差復号化部１０５は、入力された符号化データに対して、逆量子化や逆直交変換等の復号化処理を施し、復号化差分画像データを生成して加算演算部１０６へ出力する。加算演算部１０６は、復号化差分画像データと、動き補償符号化部１０９より入力された予測画像データとを加算することにより、復号化画像データを生成し、スイッチ１１３を介して画素間フィルタ１１４へ出力する。

復号化画像データが入力された画素間フィルタ１１４は、復号化画像データをスイッチ１１２、１１３により選択されたフィルタＡ１１４ａ、フィルタＢ１１４ｂ、フィルタＣ１１４ｃ、またはフィルタＤ１１４ｄのいずれかによりフィルタリングする、またはフィルタリングを行わず（ｓｋｉｐ）、スイッチ１１２を介してピクチャメモリ１１１へ格納する。このとき、スイッチ１１２およびスイッチ１１３の各端子“１”〜端子“５”を切り換える制御は、フィルタ処理制御部１１０により以下のように行われる。

図５は、フィルタ処理制御部１１０におけるフィルタリング強度の決定方法を示すフロー図である。

フィルタ処理制御部１１０は、復号化画像データにおける垂直及び水平方向の両方のブロック境界に必要なフィルタリングの強度を決定する。このフィルタリングに用いるフィルタの強度を選択するための判定は、図１３に示す従来の場合と同様に二つの隣接するブロックｐ及びブロックｑのブロック境界で実行する（ステップＳ２０１）。まず、フィルタ処理制御部１１０は、動き補償符号化部１０９から出力された各マクロブロックの符号化モードに基づいて、これらのブロックｐまたはブロックｑがピクチャ内（イントラ）符号化されているか否かの判定を行う（ステップＳ２０２）。ここで、ブロックｐまたはブロックｑの一つがイントラ符号化されている場合（ステップＳ２０２でＹｅｓ）には、フィルタ処理制御部１１０は、ブロック境界がマクロブロック境界になるか否かの判定を行う（ステップＳ２０３）。

この判定の結果、ブロック境界がマクロブロック境界になる場合、すなわち二つのブロックが同じマクロブロックに含まれない場合には、フィルタ処理制御部１１０は、最も強いフィルタリング強度のフィルタＡ１１４ａ（Ｂｓ＝４）を選択する（ステップＳ２０３でＹｅｓ）。すなわち、フィルタ処理制御部１１０は、スイッチ１１２およびスイッチ１１３の各端子を“１”に切り換える制御を行う。一方、ブロック境界がマクロブロック境界にならない場合、すなわちこれら二つのブロックが同じマクロブロックに含まれる場合には、フィルタ処理制御部１１０は、二番目の強度のフィルタＢ１１４ｂ（Ｂｓ≧３）を選択する（ステップＳ２０３でＮｏ）。すなわち、フィルタ処理制御部１１０は、スイッチ１１２およびスイッチ１１３の各端子を“２”に切り換える制御を行う。なお、ここでＢｓ≧３はＢｓが少なくともこのフローチャートで示す条件で３以上の値であることを示し、Ｂｓ＝３であるかＢｓが３より大きい値であるかはここで開示していない他の条件で決定される。以後、この不等号を含む式は本発明で開示していない条件で決定しうる範囲を示している。

上記判定（ステップＳ２０２）の結果、ブロックｐ及びブロックｑの両方がイントラ符号化されていない場合（ステップＳ２０２でＮｏ）には、フィルタ処理制御部１１０は、このブロックｐまたはブロックｑのいずれかが直交変換後の空間周波数成分を示す係数を含むか否かの判定を行う（ステップＳ２０４）。ここで、二つのブロックのいずれかが係数を含む場合（ステップＳ２０４でＹｅｓ）には、フィルタ処理制御部１１０は、三番目に強いフィルタリングの強度のフィルタＣ１１４ｃ（Ｂｓ≧２）を選択する。すなわち、フィルタ処理制御部１１０は、スイッチ１１２およびスイッチ１１３の各端子を“３”に切り換える制御を行う。

一方、二つのブロックの両方とも係数を含まない、すなわちブロックｐ及びブロックｑの両方で係数が符号化されない場合（ステップＳ２０４でＮｏ）には、フィルタ処理制御部１１０は、ブロックｐ及びブロックｑを含むピクチャがＰピクチャであるかＢピクチャであるかの判定を行う（ステップＳ２０５）。ここで、ブロックｐ及びブロックｑを含むピクチャがＰピクチャである場合には、フィルタ処理制御部１１０は、動き補償符号化部１０９より入力された参照インデックスの値および動きベクトル記憶部１０８より入力された動きベクトルに基づいて、ブロックｐ及びブロックｑが参照する参照ピクチャが同じであり、かつブロックｐ及びブロックｑの動きベクトルの垂直成分（Ｖ（ｐ，ｙ）及びＶ（ｑ，ｙ））及び水平成分（Ｖ（ｐ，ｘ）及びＶ（ｑ，ｘ））のそれぞれ差が、一画素よりも少ないか否かの判定を行う（ステップＳ２０８）。すなわち、次の式（Ａ）、（Ｂ）、（Ｃ）をすべて満たすか否かである。

ここで、Ｒｅｆ（ｐ）およびＲｅｆ（ｑ）は、それぞれブロックｐ及びブロックｑが参照する参照ピクチャを示している。

この判定の結果、ブロックｐ及びブロックｑが参照する参照ピクチャが同じであり、かつブロックｐ及びブロックｑの垂直及び水平動きベクトルのそれぞれ差が一画素よりも少ない場合（ステップＳ２０８でＹｅｓ）には、フィルタ処理制御部１１０は、フィルタリングを行わない（Ｂｓ＝０）を選択する。すなわち、フィルタ処理制御部１１０は、スイッチ１１２およびスイッチ１１３の各端子を“５”に切り換える制御を行う。一方、その他の場合（ステップＳ２０８でＮｏ）には、フィルタ処理制御部１１０は、最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）を選択する。すなわち、フィルタ処理制御部１１０は、スイッチ１１２およびスイッチ１１３の各端子を“４”に切り換える制御を行う。

上記判定（ステップＳ２０５）の結果、ブロックｐ及びブロックｑを含むピクチャがＢピクチャである場合には、マクロブロックの符号化モードは、前方動きベクトルを用いたピクチャ間予測符号化、後方動きベクトルを用いたピクチャ間予測符号化、２つの動きベクトルを用いたピクチャ間予測符号化、ダイレクトモードのいずれかである。例えば、ブロックｐが前方向予測だけを用い、ブロックｑが２つのピクチャを参照する予測を用いる場合には、ブロックｐの参照ピクチャの数は「１」であり、かつブロックｑの参照ピクチャの数は「２」である。よって、フィルタ処理制御部１１０は、ブロックｐ及びブロックｑが参照する参照ピクチャの数が同じであるか否かの判定を行う（ステップＳ２０６）。この結果、ブロックｐ及びブロックｑが参照する参照ピクチャの数が異なる場合（ステップＳ２０６でＮｏ）には、フィルタ処理制御部１１０は、最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）を選択する。

一方、ブロックｐ及びブロックｑが参照する参照ピクチャの数が同じ場合（ステップＳ２０６でＹｅｓ）には、フィルタ処理制御部１１０は、動き補償符号化部１０９より入力された参照インデックスの値に基づいて、ブロックｐ及びブロックｑが参照する参照ピクチャが全く同じであるか否かの判定を行う（ステップＳ２０７）。この結果、ブロックｐ及びブロックｑが参照する参照ピクチャが１つでも異なる場合（ステップＳ２０７でＮｏ）には、フィルタ処理制御部１１０は、最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）を選択する。

一方、ブロックｐ及びブロックｑが参照する参照ピクチャが全く同じ場合（ステップＳ２０７でＹｅｓ）には、フィルタ処理制御部１１０は、ブロックｐ及びブロックｑでの重み付け予測の重み付け（ＡＢＰ）係数が同じであるか否かの判定を行う（ステップＳ２０９）。この結果、ブロックｐ及びブロックｑの重み付け係数が異なる場合（ステップＳ２０９でＮｏ）には、フィルタ処理制御部１１０は、最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）を選択する。ここで重み付け予測とは、ピクチャ間予測において、参照画像の画素値に第１の重み係数αを乗算して更に第２の重み係数βを加算した値を、予測した画素値とする予測方式のことである。

一方、ブロックｐ及びブロックｑの重み付け係数が同じ場合（ステップＳ２０９でＹｅｓ）には、フィルタ処理制御部１１０は、ブロックｐ及びブロックｑのすべての動きベクトルに対する垂直及び水平動きベクトルのそれぞれ差が、一画素よりも少ないか否かの判定を行う（ステップＳ２１０）。すなわち、次の式（Ｄ）〜（Ｇ）をすべて満たすか否かである。

ここで、Ｖｆ、Ｖｂはブロックｐ及びブロックｑそれぞれにおける動きベクトルを示しており、例えば参照ピクチャが１枚である場合には１つしか有さない。

この判定の結果、ブロックｐ及びブロックｑのすべての動きベクトルに対する垂直及び水平動きベクトルのそれぞれ差が一画素よりも少ない場合（ステップＳ２１０でＹｅｓ）には、フィルタ処理制御部１１０は、フィルタリングを行わない（Ｂｓ＝０）を選択する。一方、その他の場合（ステップＳ２１０でＮｏ）には、フィルタ処理制御部１１０は、最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）を選択する。

なお、上記のようにＢピクチャのマクロブロックは、ダイレクトモードを用いて予測することができる。ダイレクトモードが用いられるときには、対象ブロックの動きベクトルは、第２参照インデックスRidx2が「０」である参照ピクチャにおける、対象ブロックと同じ位置に対応するブロックの有する動きベクトルから導き出される。この場合、対象ブロックの前方向参照ピクチャは、対応するブロックの動きベクトルが参照する参照ピクチャであり、対象ブロックの後方向参照ピクチャは第２参照インデックスRidx2が「０」である参照ピクチャである。よって、フィルタ処理制御部１１０は、導き出された動きベクトルおよび参照ピクチャをフィルタリングの強度を決定するために用いる。

以上のように、ブロックｐ及びブロックｑを含むピクチャがＢピクチャである場合に、ブロックｐ及びブロックｑが参照する参照ピクチャの数が同じであるか否か、参照する参照ピクチャが全く同じであるか否かの判定を行っているので、２つのピクチャを参照する予測符号化を用いた場合であっても最適なフィルタリング強度を決定することができる。よって、復号化される動画像の画質を改善するように動画像を符号化することができる。

図６は、本発明に係るフィルタリング強度の決定方法を用いた動画像復号化装置の構成を示すブロック図である。

動画像復号化装置は、動画像符号化装置が符号化した符号列を復号化する装置であり、図６に示すように符号列解析部２０１、予測残差復号化部２０２、動き補償復号化部２０３、動きベクトル記憶部２０４、フィルタ処理制御部２０５、ピクチャメモリ２０６、加算演算部２０７、スイッチ２０８、２０９、および画素間フィルタ２１０を備えている。

符号列解析部２０１は、入力された符号列より符号化モードの情報、および符号化時に用いられた動きベクトルの情報等の各種データの抽出を行う。予測残差復号化部２０２は、入力された予測残差符号化データの復号化を行い、予測残差画像データを生成する。動き補償復号化部２０３は、符号化時の符号化モードの情報、および動きベクトルの情報等に基づいて、ピクチャメモリ２０６に格納された参照ピクチャから画像データを取得し、動き補償画像データを生成する。動きベクトル記憶部２０４は、符号列解析部２０１により抽出された動きベクトルを記憶する。加算演算部２０７は、予測残差復号化部２０２より入力された予測残差画像データと、動き補償復号化部２０３より入力された動き補償画像データとを加算し、復号化画像データを生成する。ピクチャメモリ２０６は、フィルタリングされた復号化画像データを格納する。

フィルタ処理制御部２０５は、画素間フィルタ２１０のフィルタリング強度、すなわちフィルタＡ２１０ａ、フィルタＢ２１０ｂ、フィルタＣ２１０ｃ、フィルタＤ２１０ｄ、およびフィルタリングを行わない（ｓｋｉｐ）の中のどれを用いるかを選択し、スイッチ２０８およびスイッチ２０９を制御する。スイッチ２０８およびスイッチ２０９は、それぞれ、フィルタ処理制御部２０５の制御により、端子“１”〜端子“５”のいずれかを選択的に接続するスイッチである。スイッチ２０９は、加算演算部２０７の出力端子と、画素間フィルタ２１０の入力端子との間に設けられている。また、スイッチ２０８は、ピクチャメモリ２０６の入力端子と、画素間フィルタ２１０の出力端子との間に設けられている。

画素間フィルタ２１０は、例えば、復号化画像データをフィルタリングしてブロック間の境界付近における高周波ノイズであるブロック歪みを除去するデブロック・フィルタであり、それぞれフィルタリング強度が異なるフィルタＡ２１０ａ、フィルタＢ２１０ｂ、フィルタＣ２１０ｃ、およびフィルタＤ２１０ｄを備えている。このフィルタＡ２１０ａ、フィルタＢ２１０ｂ、フィルタＣ２１０ｃ、およびフィルタＤ２１０ｄは、フィルタＡ２１０ａが最もフィルタリング強度が強く、以下フィルタＢ２１０ｂ、フィルタＣ２１０ｃ、フィルタＤ２１０ｄと順にフィルタリング強度が弱くなり、フィルタＤ２１０ｄが最もフィルタリング強度が弱い。また、フィルタリング強度に対応して、フィルタリングのための演算処理量が異なる。

次に、上記のように構成された動画像復号化装置の動作について説明する。

符号列解析部２０１は、入力された符号列より符号化モードの情報、および動きベクトルの情報等の各種データの抽出を行う。符号列解析部２０１は、抽出した符号化モードの情報を動き補償復号化部２０３およびフィルタ処理制御部２０５へ、動きベクトルの情報と参照インデックスとを動きベクトル記憶部２０４へ出力する。また、符号列解析部２０１は、抽出した予測残差符号化データを予測残差復号化部２０２へ出力する。予測残差符号化データが入力された予測残差復号化部２０２は、この予測残差符号化データの復号化を行い、予測残差画像データを生成し、加算演算部２０７へ出力する。

一方、動き補償復号化部２０３は、符号列解析部２０１より入力された符号化モードの情報と参照インデックスの値、および動きベクトル記憶部２０４より読み出した動きベクトルの情報に基づいて、ピクチャメモリ２０６に格納された参照ピクチャを参照し、動き補償画像データを生成する。次に、動き補償復号化部２０３は、生成した動き補償画像データを加算演算部２０７へ出力し、参照ピクチャを示す参照インデックスの値をフィルタ処理制御部２０５へ出力する。加算演算部２０７は、動き補償画像データと、予測残差復号化部２０２より入力された予測残差画像データとを加算して復号化画像データを生成し、スイッチ２０９を介して画素間フィルタ２１０へ出力する。

復号化画像データが入力された画素間フィルタ２１０は、復号化画像データをスイッチ２０８、２０９により選択されたフィルタＡ２１０ａ、フィルタＢ２１０ｂ、フィルタＣ２１０ｃ、またはフィルタＤ２１０ｄのいずれかによりフィルタリングする、またはフィルタリングを行わず（ｓｋｉｐ）、スイッチ２０８を介してピクチャメモリ２０６へ格納する。このとき、スイッチ２０８およびスイッチ２０９の各端子“１”〜端子“５”を切り換える制御は、フィルタ処理制御部２０５により上記動画像符号化装置のフィルタ処理制御部１１０の動作と同様に行われる。

以上のように、ブロックｐ及びブロックｑを含むピクチャがＢピクチャである場合に、ブロックｐ及びブロックｑが参照する参照ピクチャの数が同じであるか否か、参照する参照ピクチャが全く同じであるか否かの判定を行っているので、２つのピクチャを参照する予測符号化を用いた場合であっても最適なフィルタリング強度を決定することができる。よって、動画像の画質を改善して復号化を行うことができる。

（実施の形態２）
本実施の形態では、上記実施の形態１で説明したフィルタ処理制御部１１０におけるフィルタリング強度の決定方法が一部相違する。なお、構成については実施の形態１と同様であり、詳細な説明を省略する。また、フィルタ処理制御部１１０におけるフィルタリング強度の決定についても実施の形態１と同様の部分については、説明を省略する。また、動画像復号化装置の場合は、フィルタ処理制御部２０５おけるフィルタリング強度の決定方法である。

図７は、実施の形態２におけるフィルタリング強度の決定方法を示すフロー図である。

フィルタ処理制御部１１０が行った、ブロックｐまたはブロックｑのいずれかが直交変換後の空間周波数成分を示す係数を含むか否かの判定（ステップＳ３０４）の結果、二つのブロックのいずれかが係数を含む場合（ステップＳ３０４でＹｅｓ）に、以下の処理を行っている。

フィルタ処理制御部１１０は、ブロックｐ及びブロックｑを含むピクチャがＰピクチャであるかＢピクチャであるかの判定を行う（ステップＳ３１１）。ここで、ブロックｐ及びブロックｑを含むピクチャがＰピクチャである場合には、フィルタ処理制御部１１０は、三番目に強いフィルタリングの強度のフィルタＣ１１４ｃ（Ｂｓ（ｐ）≧２）を選択する。一方、ブロックｐ及びブロックｑを含むピクチャがＢピクチャである場合には、フィルタ処理制御部１１０は、Ｐピクチャである場合のＢｓ（ｐ）よりもフィルタリング強度の強いＢｓ（ｂ）（Ｂｓ（ｂ）＞Ｂｓ（ｐ））を選択する。

以上のように、ブロックｐまたはブロックｑのいずれかが直交変換後の空間周波数成分を示す係数を含む場合に、ブロックｐ及びブロックｑを含むピクチャがＰピクチャであるかＢピクチャであるかの判定を行っているので、２つのピクチャを参照する予測符号化を用いた場合であっても最適なフィルタリング強度を決定することができる。よって、復号化される動画像の画質を改善するように動画像を符号化することができる。

なお、上記各実施の形態において、フィルタ処理制御部１１０がフィルタリングを行わない（Ｂｓ＝０）を選択した場合に、フィルタリングを行わない（ｓｋｉｐ）のではなく、例えば最もフィルタリング強度が弱いフィルタＤ１１４ｄ（Ｂｓ≧１）よりフィルタリング強度が弱いフィルタを用いても構わない。

また、上記各実施の形態において、フィルタ処理制御部１１０は、図５または図８のフローチャートで示した全てのステップを実行する必要は無く、一部のステップの処理を省略しても構わない。例えば、ステップＳ２０７（Ｓ３０７）における判定の結果、ブロックｐ及びブロックｑが参照する参照ピクチャが全く同じ場合（ステップＳ２０７（Ｓ３０７）でＹｅｓ）に、ステップＳ２０９（Ｓ３０９）の判定処理を行っているが、この処理を行わずにステップＳ２１０（Ｓ３１０）の判定処理を行っても構わない。また、各ステップの実行順序が入れ替わっていても構わない。

また、上記各実施の形態では、符号化の単位としてピクチャを用いて説明したが、フィールドまたはフレームであっても構わない。

（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図８は、各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図８（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図８（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。

また、図８（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図９は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図９のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図１０は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１１を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１２に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１１に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明に係る動画像符号化装置の構成を示すブロック図である。 ピクチャメモリにおけるピクチャの順序を示す説明図であり、(a) 入力された順序、(b) 並び替えられた順序を示す説明図である。 ピクチャと参照インデックスの説明図である。 ダイレクトモードにおける動きベクトルを示す説明図である。 実施の形態１でのフィルタ処理制御部におけるフィルタリング強度の決定方法を示すフロー図である。 本発明に係る動画像復号化装置の構成を示すブロック図である。 実施の形態２でのフィルタ処理制御部におけるフィルタリング強度の決定方法を示すフロー図である。 各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の例を示す概略図である。 携帯電話の構成を示すブロック図である。 ディジタル放送用システムの例を示す図である。 従来のフィルタリング強度の決定方法を示すフロー図である。

符号の説明

１０１、１１１、２０６ ピクチャメモリ
１０２ 差分演算部
１０３ 予測残差符号化部
１０４ 符号列生成部
１０５、２０２ 予測残差復号化部
１０６、２０７ 加算演算部
１０７ 動きベクトル検出部
１０８、２０４ 動きベクトル記憶部
１０９ 動き補償符号化部
１１０、２０５ フィルタ処理制御部
１１２、１１３、２０８、２０９ スイッチ
１１４、２１０ 画素間フィルタ
２０１ 符号列解析部
２０３ 動き補償復号化部

Claims (5)

1. ピクチャを構成するブロック間の符号化歪みを除去するフィルタリングの強度を決定するフィルタリング強度の決定方法であって、
   対象ブロックおよびこの対象ブロックに隣接する隣接ブロックがいずれも１つまたは２つのピクチャを参照するピクチャ間予測符号化されている場合に、
   前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャの数が同じであるか否かを判定するピクチャ数判定ステップと、
   前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャが同じであるか否かを判定する参照ピクチャ判定ステップと、
   前記対象ブロックおよび前記隣接ブロックに含まれる前記動きベクトルに基づいて、前記対象ブロックの任意の動きベクトルの水平成分と、前記隣接ブロックの任意の動きベクトルの水平成分との差、または前記対象ブロックの任意の動きベクトルの垂直成分と、前記隣接ブロックの任意の動きベクトルの垂直成分との差の少なくとも１つが、所定値以上であるか否かを判定する動きベクトル判定ステップと、
   前記ピクチャ数判定ステップ、前記参照ピクチャ判定ステップ、および前記動きベクトル判定ステップによる判定結果に基づいて異なるフィルタリングの強度を決定する決定ステップと、
   を含むフィルタリング強度の決定方法。
2. 前記参照ピクチャ判定ステップでは、参照ピクチャを一意に識別する参照インデックスに基づいて、前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャが同じであるか否かを判定することを特徴とする請求項１記載のフィルタリング強度の決定方法。
3. 前記動きベクトル判定ステップは、前記参照ピクチャ判定ステップでの判定の結果、前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャが同じである場合に行われることを特徴とする請求項１記載のフィルタリング強度の決定方法。
4. ピクチャを構成するブロック間の符号化歪みを除去するフィルタリングの強度を決定するフィルタリング強度の決定方法であって、
   対象ブロックおよびこの対象ブロックに隣接する隣接ブロックが２つのピクチャを参照するピクチャ間予測符号化されている場合に、
   前記対象ブロックおよび前記隣接ブロックに含まれる動きベクトルに基づいて、前記対象ブロックの動きベクトルの水平成分と、前記隣接ブロックの動きベクトルの水平成分との差、または前記対象ブロックの動きベクトルの垂直成分と、前記隣接ブロックの動きベクトルの垂直成分との差の少なくとも１つが、所定値以上であるか否かを判定する動きベクトル判定ステップと、
   前記動きベクトル判定ステップでの判定結果に応じて、異なるフィルタリングの強度を決定する決定ステップと、
   を含むフィルタリング強度の決定方法。
5. 前記動きベクトル判定ステップでは、前記対象ブロックおよび前記隣接ブロックそれぞれが参照する参照ピクチャの数が同じで、かつ前記対象ブロックの参照インデックスで示す参照ピクチャと前記前記隣接ブロックの参照インデックスで示す参照ピクチャが同じである場合に、前記対象ブロックおよび前記隣接ブロックの動きベクトルのそれぞれの差が、所定値以上であるか否かを判定することを特徴とする請求項４記載のフィルタリング強度の決定方法。

Images