JP2005210503A - 映像信号符号化装置 - Google Patents

Abstract

【課題】 階層サーチ方式では、大容量のメモリが必要であり、メモリ容量節約のため、フレームとフィールドで共通の縮小画像を使用した場合、ライン間隔が均等にならず、縮小画像上でライン間隔を均等にする場合、縮小画像生成回路の回路規模が拡大する。
【解決手段】 縮小画像生成回路１３及び１５の各々は、フレーム単位でサブサンプリングを行い縮小画像を生成する第１の縮小画像生成手段と、フィールド単位でサブサンプリングを行い縮小画像を生成する第２の縮小画像生成手段を持つ。制御回路１１は、特徴量抽出回路１２から輝度値の総和を管理し、隣接する２フレームの第１フィールド同士の輝度値の総和の差分値と、第２フィールド同士の輝度値の総和の差分値が、共に予め決められた値よりも小さいときには、静止画部分が多いと判断し、第１の縮小画像生成手段を選択し、それ以外の時は動画部分が多いと判断して、第２の縮小画像生成手段を選択する。
【選択図】 図２

Description

本発明は映像信号符号化装置に係り、特にインターレース方式の符号化されるべき映像信号とローカルデコードされたリファレンス画像信号との差分を符号化すると共に、符号化するときに用いる動きベクトルを階層型動きベクトル検出方法により検出する映像信号符号化装置に関する。

従来より、動画像信号などの映像信号を符号化して伝送する場合、伝送する符号量をできるだけ少なくして効率的に伝送するための符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の各種の高能率圧縮符号化方式が知られている。これらの高能率圧縮符号化方式では、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）や動き補償フレーム間予測等の処理を含んでいる。しかし、更に効率良く圧縮率を高め、画質を向上させ、特に低ビットレートで画質向上をするために、映像信号をブロックに分割し、各ブロックをパターンマッチングによってパターンが最も類似している別のブロック内の画像部分を探索し、それらの位置のオフセット量を示す動きベクトルを検出して動きベクトルに基づき符号化することが行われる。

この動きベクトルは、サーチ範囲内の全ての候補ベクトルに対応する誤差評価関数を用いて最小の誤差評価関数の候補ベクトルを最適な動きベクトルとするフルサーチにより正確に検出することができるが、計算量が多くハードウェアの規模が大きくなってしまうため、演算量を減らしたサーチ方式が従来よりいくつか知られている（例えば、特許文献１参照）。

この演算量を減らしたサーチ方式の一つとして階層サーチと呼ばれる方式がある。この階層サーチでは、現在のフレームの画像と探索フレームの画像をそれぞれ第１の階層とし、現在のフレームの画像と探索フレームの画像からそれぞれ縮小画像を生成してそれらを第２の階層とし、現在のフレームの縮小画像のブロックについて探索フレームの縮小画像とのブロックマッチングを行って、差分の絶対値和を求め最適な候補ベクトルを求める。続いて、縮小画像上での最適な候補ベクトルを水平及び垂直方向に拡大して得られた第１の階層の候補ベクトルが示す点を中心とし、その周辺についてブロックマッチングを行って差分絶対値和を最小にするベクトルを最適な動きベクトルとして検出する。

特開平９−１８２０８０号公報

しかるに、インターレース画像においては、フレーム単位、フィールド単位の動きベクトルを求め比較することにより、より精度の高い動きベクトルを求めることができるが、上記の階層サーチ方式の場合は、以下の３つの課題がある。

第一に、フレーム用とフィールド用の縮小画像をそれぞれ用意しなければならないため、大容量のメモリを必要とする。第二に、メモリ容量節約のため、フレームとフィールドで共通の縮小画像を使用した場合、メモリの消費は減るがライン間隔が均等にならない。例えば、フィールドベースの縮小画像を用いてフレーム予測を行うこととなり、ライン間隔が均等にならない。第三に、縮小画像上でライン間隔を均等にする場合、ローパスフィルタ等が必要になり、縮小画像生成回路の回路規模が拡大する。

また、上記の特許文献１記載の階層サーチ方式の場合は、ＦＩＲフィルタを使用して縮小画像を生成しているが、ＭＰＥＧ２のようにマクロブロック単位でエンコード／ローカルデコードするシステムでは、縮小画像を生成するのに必要なデータがマクロブロックの境界をまたぐため、回路内部でデータを保持するか（回路規模増大）、一旦メモリにローカルデコードしたデータを記憶した後もう一回読み出してＦＩＲフィルタをかける（メモリアクセス増大）ことが必要となる。

本発明は以上の点に鑑みてなされたもので、少ないメモリ容量のメモリを用いて、階層サーチ方式により検出した動きベクトルを用いて、入力映像信号を符号化し得る映像信号符号化装置を提供することを目的とする。

また、本発明の他の目的は、階層サーチ方式により検出した動きベクトルを用いて入力映像信号を符号化するに際し、回路規模の増大を抑制し得る映像信号符号化装置を提供することにある。

本発明は上記の目的を達成するため、インターレース方式の符号化されるべき映像信号とローカルデコードされたリファレンス画像信号とが供給され、階層型動きベクトル検出法により複数の異なる階層の動きベクトルを検出し、その検出された動きベクトルを用いて符号化されるべき映像信号を動き補償した後、所定の符号化を行うと共に、符号化された映像信号をローカルデコードする映像信号符号化装置であって、動きベクトルの検出にあたり、符号化されるべき映像信号の特徴量を抽出する特徴量抽出手段と、符号化されるべき映像信号の縮小画像を、複数の画像生成方法の中から選択された一の画像生成方法に基づき生成する第１の縮小画像生成手段と、リファレンス画像信号の縮小画像を、複数の画像生成方法の中から選択された一の画像生成方法に基づき生成する第２の縮小画像生成手段と、特徴量に応じて符号化されるべき映像信号の動きの大きさを判定し、その判定結果に基づき、第１及び第２の縮小画像生成手段の複数の画像生成方法のうちの一の画像生成方法を選択する制御手段とを有し、第１及び第２の縮小画像生成手段により動きベクトル検出のための縮小画像を生成することを特徴とする。

この発明では、インターレース方式の映像信号から階層型動きベクトル検出方法で検出した動きベクトルと、符号化された映像信号をローカルデコードして得られたリファレンス画像信号とを用いて映像信号を符号化するに際し、上記の動きベクトル検出のために、上記のインターレース方式の映像信号とリファレンス画像信号のそれぞれの縮小画像を生成するときに、符号化されるべき映像信号の動きの大きさの判定結果に基づき、第１及び第２の縮小画像生成手段の複数の画像生成方法のうちの一の画像生成方法を選択するようにしたため、符号化されるべき映像信号の動きの大きさに応じた最適な画像生成方法による縮小画像を生成することができる。

本発明によれば、階層型動きベクトル検出方法で必要な縮小画像を、符号化されるべき映像信号の動きの大きさに応じた最適な画像生成方法により生成することで、動きベクトルの精度を向上でき、また、縮小画像をフレーム、フィールドで共通の縮小画像を用いることにより、動きベクトル検出のために縮小画像の記憶などに使用するメモリの容量を削減でき、その結果、装置全体のコストを削減できる。

また、本発明によれば、フレーム単位のサブサンプリングによる画像生成方法を選択して縮小画像を生成したときには、フレーム予測による符号化を行い、フィールド単位のサブサンプリングによる画像生成方法を選択して縮小画像を生成したときには、フィールド予測による符号化を行うことにより、フレーム、フィールドで共通の縮小画像を用いたときのライン間隔が均等にならない現象を低減でき、更に、サブサンプリングによりマクロブロック内のデータだけで縮小画像が生成できるため、メモリのアクセス回数の低減や回路規模の増大を抑制できる。

次に、本発明を実施するための最良の形態について、図面と共に説明する。図１は本発明になる映像信号符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態は、入力映像信号から階層サーチ方式（階層型動きベクトル検出法）により、複数の異なる階層の動きベクトルを検出する動きベクトル検出回路１と、検出された動きベクトルが格納され、また読み出される複数フレーム分の容量のメモリ２と、動きベクトルに基づき動き補償を行う動き補償回路３と、動き補償回路３の出力信号に対して離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を行うＤＣＴ回路４と、ＤＣＴ回路４により得られた変換係数を量子化する量子化回路５と、量子化回路５の出力信号に対して量子化と逆の動作を行う逆量子化回路６と、逆量子化回路６から出力された信号に対してＤＣＴ回路４と逆の変換動作を施して局部復号された映像信号を出力する逆ＤＣＴ回路７と、量子化回路５の出力信号に対して可変長符号化を行う可変長符号化回路８とから構成されている。

なお、ＭＰＥＧ２については、ＩＴＵ−ＴＨ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは概略のみ説明する。図１において、インターレース方式の符号化されるべき映像信号は動きベクトル検出回路１に入力される。動きベクトル検出回路１においては、入力された映像信号から特徴量を抽出すると共に、映像信号をメモリ２に書き込む。また、ローカルデコード（局部復号）された信号を、後述する逆ＤＣＴ回路７から受け取りメモリ２に書き込む。

また、動きベクトル検出回路１は、メモリ２から映像信号とローカルデコードされた再生映像信号とが供給されて、階層サーチ方式（階層型動きベクトル検出法）により、複数の異なる階層のフレーム間予測の動きベクトルを検出する。メモリ２には動きベクトル検出回路１を経由した複数フレームの映像信号が動きベクトルと共に記憶される。メモリ２に記憶された映像信号は輝度信号が１６×１６画素、色信号（Ｃｂ／Ｃｒ）はそれぞれ８×８画素のブロックとして処理される。

動き補償回路３においては、メモリ２に記憶されている入力映像信号と、動きベクトル検出回路１で検出された動きベクトル及び逆ＤＣＴ回路７から動きベクトル検出回路１を経由した再生映像信号（リファレンス画像）とが、それぞれメモリ２から読み出されて供給され、動き補償を行う。動き補償回路３においては、更に動き補償された再生映像信号（リファレンス画像）と入力映像信号とを減算して差分映像信号を得、その差分映像信号を、供給された動きベクトル及び予測モードと共に出力する。

ＤＣＴ回路４では、上記の差分映像信号が供給されて、離散コサイン変換（ＤＣＴ）を行い、それにより得られたＤＣＴ係数を量子化回路５に出力する。量子化回路５では、ＤＣＴ係数を入力として量子化を行い、それにより得られた量子化信号を可変長符号化回路８及び逆量子化回路６に出力する。

可変長符号化（ＶＬＣ）回路６では、量子化回路５よりの量子化信号及び動き補償回路３よりの動きベクトル、予測モードが供給されて、これらを可変長符号化して映像符号化信号（ビットストリーム）を出力する。また、量子化回路５の出力信号のうち、ＩピクチャとＰピクチャは、後で動き補償予測の参照信号として用いる再生映像（画像）が必要なため、逆量子化回路６で逆量子化された後、逆ＤＣＴ回路７で逆ＤＣＴされてローカルデコード（局部復号）が行われる。

逆量子化回路６は量子化信号を入力とし、逆量子化を行い、ＤＣＴ係数を出力する。逆ＤＣＴ回路７は、ＤＣＴ係数を入力とし、逆ＤＣＴを行い、ローカルデコードされた再生映像（画像）信号を出力する。逆ＤＣＴ回路７から出力された局部復号された映像信号は、動きベクトル検出回路１へ出力される。

次に、本発明の映像信号符号化装置の要部である動きベクトル検出回路１の構成及び動きベクトル検出方法について詳細に説明する。動きベクトル検出方法は、従来より各種検討されており、その中で実時間処理に適した方法として階層型動きベクトル検出方法（階層サーチ方式）がある。この階層型動きベクトル検出方法は、動き補償を行う入力画像と比較画像を階層毎に水平及び垂直両方向にサブサンプリングを行って、上位階層程小さな縮小画像を作成するものである。

そして、下位階層で縮小画像に対し、広い範囲の大きい動きベクトルを粗く求め、上位階層では、下位階層で求められた動きベクトルを上位階層のレンジに正規化し、この動きベクトルで示された位置を中心として、更に探索を行い動きベクトルを求める方法である。この方法により、動きベクトルを広い探索範囲で効率良く検出することができる。

図２はこの階層型動きベクトル検出法を応用した、図１の映像信号符号化装置に適用する動きベクトル検出回路１の一実施の形態のブロック図を示す。図２に示すように、動きベクトル検出回路１は、検出回路内の各部を制御する制御回路１１と、特徴量抽出回路１２と、第１の縮小画像生成回路１３と、ブロックマッチング回路１４と、第２の縮小画像生成回路１５とよりなり、メモリ２（図１のメモリ２に相当）に接続されている。

特徴量抽出回路１２は、入力映像信号より特徴量を抽出する。本実施の形態では図示していないが、特徴量としては１フィールド分の輝度値の総和を用いている。第１の縮小画像生成回路１３は、メモリ２に書き込まれた入力映像信号より階層型動きベクトル検出法により使用する縮小画像を生成する。

すなわち、縮小画像生成回路１３は、図３（Ａ）に示すように、階層０（１／１原画像）の横２Ｘ、縦２Ｙ画素の入力映像信号から、同図（Ｂ）に示すように、階層１（１／２原画像）の横Ｘ、縦Ｙ画素の縮小画像を生成する。また、縮小画像生成回路１３は、必要に応じて、入力画像に対して縦横１／４ずつの階層２（１／４原画像）、縦横１／８ずつの階層３（１／８原画像）を生成する。

第２の縮小画像生成回路１５は、図１の逆ＤＣＴ回路７から供給されるローカルデコードして得られた再生映像信号（リファレンス画像）から縮小画像を生成する。ローカルデコードされたデータはマクロブロック（１６×１６画素）単位である。縮小画像生成回路１３及び１５で生成された縮小画像はメモリ２に一旦格納される。なお、縮小画像生成回路１３及び１５は、符号化するフレームに応じて同時に動作するときもあれば、一方だけが動作することもある。

縮小画像生成回路１３及び１５の各々は、２つの縮小画像生成手段を持つ。ここで、２階層の場合、階層０（１／１原画像）の映像信号の（ｘ，ｙ）座標上の各画素値をＰＯ（ｘ，ｙ）で表し、階層１（１／２原画像）の縮小画像の（ｘ，ｙ）座標上の各画素値をＰ１（ｘ，ｙ）で表すものとすると、第１の縮小画像生成手段は、次式
Ｐ１（ｘ，ｙ）＝｛Ｐ０（２ｘ，２ｙ）＋Ｐ０（２ｘ＋１，２ｙ）
＋Ｐ０（２ｘ，２ｙ＋１）＋Ｐ０（２ｘ＋１，２ｙ＋１）｝／４
に基づき、フレーム単位でサブサンプリングを行い縮小画像を生成する。もう一つの第２の縮小画像生成手段は、次式
Ｐ１（ｘ，ｙ）＝｛Ｐ０（２ｘ，２ｙ）＋Ｐ０（２ｘ＋１，２ｙ）
＋Ｐ０（２ｘ，２ｙ＋２）＋Ｐ０（２ｘ＋１，２ｙ＋２）｝／４
（ｙ＝０，２，４，・・・，２ｋ）
Ｐ１（ｘ，ｙ）＝｛Ｐ０（２ｘ，２ｙ−１）＋Ｐ０（２ｘ＋１，２ｙ−１）
＋Ｐ０（２ｘ，２ｙ＋１）＋Ｐ０（２ｘ＋１，２ｙ＋１）｝／４
（ｙ＝１，３，５，・・・，２ｋ＋１）
に基づき、フィールド単位でサブサンプリングを行い縮小画像を生成する。

４階層の場合は、階層０（１／１原画像）の画像Ｐ０から階層１（１／２原画像）の画像Ｐ１を作成し、更に階層２の画像Ｐ２，階層３の画像Ｐ３を生成する。ローカルデコードして得られた映像信号は、１６×１６画素単位であるため、フィルタによる縮小画像の生成には大きなメモリを必要とし、一度フレームメモリに蓄えてから再度読み出して縮小画像を作る場合にはメモリへのアクセスが増え、回路規模の増大を招く。そのため、簡単なサブサンプルが好ましい。

また、この２つの縮小画像生成回路１３及び１５は制御回路１１によって制御される。すなわち、制御回路１１は、特徴量抽出回路１２から輝度値の総和を管理し、前フレームの同一パリティ同士の値の差分値を計算する。ここで、インターレース画像の場合は、周知のように、１フレームは第１フィールド（トップフィールド又は偶数フィールド）と第２フィールド（ボトムフィールド又は奇数フィールド）とからなるが、特徴量抽出回路１２は各フィールド毎に輝度値の総和を求める。

制御回路１１は、上記の輝度値の総和を入力として受け、前のフレームの第１フィールドと現フレームの第１フィールドで求められた輝度値の総和の差分を求め、続いて、前のフレームの第２フィールドと現フレームの第２フィールドで求められた輝度値の差分を求める。ここで、完全な静止画であれば、差分値はゼロになるが、動画部分あるいはノイズがあるときには差分値はゼロにはならない。

そこで、制御回路１１は、隣接する２フレームの第１フィールド同士の輝度値の総和の差分値と、第２フィールド同士の輝度値の総和の差分値が、共に予め決められた値よりも小さいときには、静止画部分が多いと判断し、縮小画像生成回路１３及び１５においてフレーム単位で縮小しているため静止画部分での縮小手段として有効な前記第１の縮小画像生成手段を選択し、それ以外の時は動画部分が多いと判断して、フィールド単位で縮小しているため動画部分での縮小手段として有効な前記第２の縮小画像生成手段を選択する。こうすることによって、第１の縮小画像生成手段だけ、あるいは第２の縮小画像生成手段だけで縮小画像を生成して動き予測をするときよりも精度をあげることができる。

ブロックマッチング回路１４は、上位階層から階層０（原画像）の順で動きベクトルを検出する。その際に、フレームベクトル、フィールドベクトルをそれぞれ検出するが、同一の画像を使用してブロックマッチングを行い、メモリ２のメモリ使用量の削減を行っている。ここで、ＭＰＥＧ２に代表される画像圧縮方法では、インターレース画像を圧縮する場合、動きベクトルのタイプとしてフレームベースとフィールドベースが存在する。これは、動き補償する際のリファレンス画像がフレームを構成しているかフィールドを構成しているかを表す。動きベクトル検出手段としては、フレームベースとフィールドベースそれぞれで動きベクトルを求め、どちらかを選択する。

縮小画像を使用した動きベクトル検出では、フレームベース用、フィールドベース用の縮小画像を別々に生成して動きベクトルを検出するのが一般的である。しかし、本実施の形態では、フレームベース用とフィールドベース用の縮小画像は同一のものを使用するようにしているため、ブロックマッチング回路１４では同一の画像を使用してブロックマッチングを行い、メモリ２のメモリ使用量の削減を行っている。なお、ブロックマッチング回路１４は、４階層のときはＰ３→Ｐ２→Ｐ１→Ｐ０の順番で最上位階層から最下位階層へ向かって順番にブロックマッチングを行い、動きベクトルを検出していく。

このようにして、本実施の形態によれば、メモリ２のメモリ使用量の削減を実現でき、これによりメモリ２として従来よりも小容量の安価なメモリを使用でき、このことから装置全体をコストを低減できると共に、メモリ２のアクセス回数の低減により回路規模の増大を抑制できる。なお、本実施の形態では、静止画像部分が多い映像信号に対しては、フレーム単位の縮小画像を選択してフレーム予測を行い、そうでない映像信号に対しては、フィールド単位の縮小画像を選択してフィールド予測を行うようにしており、ライン間隔ができるだけ均等になるようにしている。

なお、本発明は上記の実施の形態に限定されるものではなく、その他の変形例も包含するものである。例えば、上記の実施の形態では入力画像の縮小画像を生成するときには縮小画像生成回路１３を使用し、リファレンス画像から縮小画像を生成するときには縮小画像生成回路１５を使用するようにしており、フレーム毎にフレーム単位の縮小画像かフィールド単位の縮小画像かのどちらかを選択するようにしているため、縮小画像の生成手段が切り替わる度に、動きベクトルの検出精度に影響を与える。

そこで、本発明の変形例として、切り替わるタイミングをＭＰＥＧ方式で定められているグループ・オブ・ピクチャ（ＧＯＰ）毎にし、ＧＯＰ内の画像が他のＧＯＰから独立再生可能であることを示す情報であるクローズドＧＯＰ（ｃｌｏｓｅｄＧＯＰ）を用い、そのＧＯＰ内では同一の縮小画像生成手段を使用するようにしてもよい。

本発明の一実施の形態のブロック図である。 図１中の動きベクトル検出回路の一実施の形態のブロック図である。 階層型動きベクトル検出により使用する縮小画像の説明図である。

符号の説明

１ 動きベクトル検出回路
２ メモリ
３ 動き補償回路
４ ＤＣＴ回路
５ 量子化回路
６ 逆量子化回路
７ 逆ＤＣＴ回路
８ 可変長符号化回路
１１ 制御回路
１２ 特徴量抽出回路
１３、１５ 縮小画像生成回路
１４ ブロックマッチング回路

Claims (1)

1. インターレース方式の符号化されるべき映像信号とローカルデコードされたリファレンス画像信号とが供給され、階層型動きベクトル検出法により複数の異なる階層の動きベクトルを検出し、その検出された動きベクトルを用いて前記符号化されるべき映像信号を動き補償した後、所定の符号化を行うと共に、符号化された映像信号を前記ローカルデコードする映像信号符号化装置であって、
   前記動きベクトルの検出にあたり、前記符号化されるべき映像信号の特徴量を抽出する特徴量抽出手段と、
   前記符号化されるべき映像信号の縮小画像を、複数の画像生成方法の中から選択された一の画像生成方法に基づき生成する第１の縮小画像生成手段と、
   前記リファレンス画像信号の縮小画像を、前記複数の画像生成方法の中から選択された一の画像生成方法に基づき生成する第２の縮小画像生成手段と、
   前記特徴量に応じて前記符号化されるべき映像信号の動きの大きさを判定し、その判定結果に基づき、前記第１及び第２の縮小画像生成手段の前記複数の画像生成方法のうちの一の画像生成方法を選択する制御手段と
   を有し、前記第１及び第２の縮小画像生成手段により前記動きベクトル検出のための縮小画像を生成することを特徴とする映像信号符号化装置。
   
   

Images