JP2009296443A - ベクトル探索範囲制限装置および動画像符号化装置 - Google Patents

Abstract

【課題】 同程度の類似度の低い参照ブロックの候補が広い範囲に存在するとき、演算量が増大し、またブロック間の距離が離れた長いベクトルを選択してしまうことで、画像の符号量が減り、画質が低下するという問題点があった。
【解決手段】 入力画像と参照画像を入力し、所定の探索範囲における動きベクトルと該動きベクトルの評価値を算出する動きベクトル探索部と、この動き探索部が算出した評価値と所定の評価閾値に基づいて、前記動きベクトル探索部が算出した動きベクトルが有効ベクトルか否かを判定し、有効と判定した動きベクトルの大きさごとの分布を測定するベクトル分布測定部と、このベクトル分布測定部が測定した前記有効ベクトルの大きさごとの分布に基づいて、制限された動きベクトル探索範囲を判定する探索範囲判定部とを備えた。
【選択図】 図１

Description

この発明は、ベクトル探索範囲制限装置および動画像符号化装置に関するものである。

映像のデジタルに伴い、ＭＰＥＧ、Ｈ．２６４などのように動き探索予測を用いた映像圧縮が広く普及している。動き探索予測は、映像の連続性を使用した圧縮方式で、圧縮対象のピクチャ（画像）とその前後の参照ピクチャ（画像）において、圧縮対象のピクチャ上の符号化ブロックに対して同一のブロックサイズの類似した参照ブロックを探索して参照ピクチャを参照するベクトルを設定し、符号化ブロックと参照ブロックとの画素の差分値を符号化することで圧縮を行うものである。一般の映像では、類似する参照ブロックの画像が見つかることが多いため、動き探索予測により圧縮効率が格段に上昇する。

一般に、動き探索予測では、単位演算値、例えば単位演算として符号化ブロックと予測としての参照ブロックとの探索点として対応する画素の差分絶対値演算あるいは差分２乗演算を用い、そのブロック内の各演算値の累積和、すなわち差分絶対値和あるいは差分２乗和を評価値として類似度を測って評価する。このとき、演算量がブロックサイズと探索範囲の積となるため、ブロック内の探索点数が一定であれば、類似する参照ブロックを見つけることができる程度に参照ピクチャの探索範囲を狭めることで、探索に伴う演算負荷を減少させることができる。また、探索範囲の縮小に伴い、符号化ブロックと参照ブロックの位置関係が近くなることで、そのベクトルの符号長も短くなるため、符号化効率の向上を図ることができる。

このため、符号化ブロックに類似する参照ブロックを見つけられる程度の狭い範囲に探索範囲を設定する方法が検討されている。例えば、まず設定可能な最大の探索範囲の動き探索を行い、この結果を統計処理したベクトルの分布を元に探索範囲を決定するものがある（例えば、特許文献１）。

特開２００３−２１９４２８号公報

従来のベクトル探索範囲制限装置および動画像符号化装置では、背景技術で説明したように、符号化ブロックに類似する参照ブロックを見つけて動き探索予測により圧縮するが、例えば、図１６の映像例に示すように、細かく動く水しぶきの水滴のような被写体の画像では、時々刻々と被写体の画像が変形しているため、連続したシーンであるにも関わらず、類似の参照ブロックを探索してみても、類似する参照ブロックが広く分布して絞りにくい状況の場合には、広い範囲の動き探索を行う結果、演算量が増大するという問題点がある。

また、従来のベクトル探索範囲制限装置および動画像符号化装置では、雨や散水の映像に見られる水しぶきのような被写体では、周辺の水しぶきも、ある程度似ているため、同程度の類似した参照ブロックの候補が広い範囲に存在することになる結果、類似度が微妙な差にも関わらず、ブロック間の距離が離れた長いベクトルを選択してしまい、ベクトルに費やす符号量が大きくなって、画像の符号量を抑えなければならず、画質が低下するという問題点がある。

この発明は、上述のような課題を解決するためになされたもので、事前の動き探索予測で動きベクトルを分析して探索範囲を制限することで、動き探索の演算量を軽減することを目的とする。

また、この発明は、符号化するブロックと参照ブロックとの類似度が微差であれば、長さが短い動きベクトルを選ぶことで、ベクトルの符号量を小さくし、画質の低下を抑えることを目的とする。

この発明に係るベクトル探索範囲制限装置は、入力画像と参照画像を入力し、所定の探索範囲における動きベクトルと該動きベクトルの評価値を算出する動き探索部と、この動き探索部が算出した評価値と所定の評価閾値に基づいて、前記動き探索部が算出した動きベクトルが有効ベクトルか否かを判定し、有効と判定した動きベクトルの大きさごとの分布を測定するベクトル分布測定部と、このベクトル分布測定部が測定した前記有効ベクトルの大きさごとの分布に基づいて、制限された動きベクトル探索範囲を判定する探索範囲判定部とを備えたものである。

また、この発明に係る動画像符号化装置は、上述のベクトル探索範囲制限装置を備え、このベクトル探索範囲制限装置が前記入力画像と前記参照画像として前記入力画像より前に処理した画像に基づいて動きベクトルの探索範囲を制限し、この制限された動きベクトルの探索範囲を動きベクトル探索して既に符号化して復号された画像データから予測画像データを生成し、この予測画像データと前記入力画像との誤差を符号化するものである。

この発明によれば、動き探索予測で動きベクトルを分析して探索範囲を制限するので、動き探索の演算量を軽減することができる効果がある。

また、この発明によれば、符号化するブロックと参照ブロックとの類似度が微差であれば長さが短い動きベクトルを選ぶので、符号量を小さくし、画質の低下を抑えることができる効果がある。

この発明に係るベクトル探索範囲制限装置および動画像符号化装置において、動き探索予測を適用して映像を符号化する構成及び方法について説明する。ベクトル探索範囲制限装置と動画像符号化装置の関係は、ベクトル探索範囲制限装置が動画像符号化装置の前段部に備えられ、動画像符号化装置の後段部の符号化で適用するベクトル探索範囲を制限する。

実施の形態１．
この発明の実施の形態１では、動き探索予測を適用して映像を符号化する動画像符号化装置の一例について説明する。以下、映像（動画像）を構成する各ピクチャを画像と称する。

図１は、この発明の実施の形態１におけるベクトル探索範囲制限装置および動画像符号化装置に係る構成の一例を示すブロック図である。図１において、１Ｂ〜４は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。

図１において、ベクトル探索範囲制限装置は、動画像符号化装置の後段の符号化過程で適用するベクトル探索範囲を判定して指定するものである。このベクトル探索範囲制限装置の動きベクトル探索部（動き探索部）１Ａは、入力画像（入力ピクチャ）と参照画像（参照ピクチャ）を入力し、所定の探索範囲における動きベクトルＭＶと該動きベクトルの評価値Ｅを算出する。ベクトル分布測定部２Ａは、この動きベクトル探索部１Ａが算出した評価値と所定の評価閾値に基づいて、動きベクトル探索部１Ａが算出した動きベクトルが有効ベクトルか否かを判定し、判定された有効ベクトルの分布を測定する。探索範囲判定部３は、このベクトル分布測定部２Ａが測定した有効ベクトルの分布に基づいて、所定の探索範囲を越えない大きさの動きベクトルの探索範囲を判定する。遅延メモリ４は、入力画像データを蓄積し、動きベクトル探索部１Ａに参照画像として１フレーム遅延させた画像を出力する。

また、図１における動画像符号化装置において、この動画像符号化装置の一部として前段に備えられた上述のベクトル探索範囲制限装置が判定した制限された動きベクトル探索範囲を適用して、次の１０１〜１０６が、入力画像を符号化する。動きベクトル探索部（動き探索部）１０１は、探索範囲判定部３が判定した探索範囲において、遅延メモリ４が出力した１フレーム遅延した入力画像と入力画像より前に符号化して復号された画像（復号画像）に基づいて動き探索して得た動きベクトルに基づく予測画像（予測画素）を出力する。減算器１０２は、遅延メモリ４が出力した１フレーム遅延した入力画像（原画素値）と動きベクトル探索部１０１が出力する予測画像（予測画素値）との差分値を出力する。符号化部１０３は、減算器１０２が出力する差分値を符号化して符号化データを出力する。局所復号部１０４は、符号化部１０３が符号化する差分値を復号値に復号する。加算器１０５は、局所復号部１０４が復号した復号値と動きベクトル探索部１０１が出力する予測画素値との加算値を出力する。フレームメモリ１０６は、加算器１０５が出力した加算値を復号画像（局所復号画像）として蓄積し、動きベクトル探索部１０１に出力する。

このように、この発明の実施の形態１における動画像符号化装置においては、前段の動きベクトル探索部１Ａと後段の動きベクトル探索部１０１において、それぞれ動きベクトルの探索が行われる。この２つの動きベクトル探索部の構成および動作の違いは、全体の動作の流れの中で説明する。

動きベクトル探索部１Ａは、対応する最大の探索範囲を探索して動きベクトルＭＶとそのベクトルの評価値Ｅを求める。ここで、ベクトルの評価値Ｅは、符号化する画像と参照画像の類似度を示し、例えばベクトルの示す参照ブロックの予測画素と対応する符号化ブロックの原画素との差分絶対値和あるいは差分２乗和を用いることができる。

図２に、動きベクトル探索部１Ａの詳細構成例を示す。評価算出部１１Ａは、装置に入力される画像データを符号化画像、遅延メモリ４から出力される画像データを参照画像として、これら２つの画像の関係を示す情報である動きベクトルとその評価値を出力する。ベクトル選択部１２は、評価算出部１１Ａが出力した動きベクトルの示す位置が最大探索範囲の内部にあるかを判定し、動きベクトルと評価値をベクトル分布測定部２Ａへ出力する。このとき、動きベクトルの示す位置が最大探索範囲の内部にあれば、動きベクトルと評価値をそのまま出力し、動きベクトルの示す位置が最大探索範囲の内部になければ、例えばベクトル分布測定部２Ａがこの動きベクトルを後述の有効ベクトルと扱わないような値に置き換えた評価値を出力して無効であることを示してもよい。あるいは、ベクトル分布測定部２Ａがこの動きベクトルが後述の有効ベクトルと扱われる場合でも、最大探索範囲外に置き換えた動きベクトルを出力することで、無効であることを示してもよい。また、動きベクトルとその評価値を変更せず、並行してベクトル分布測定部２Ａに有効ベクトルの判定対象か否かを通知するようにしてもよい。この動きベクトル探索部１Ａのベクトル選択部１２がここに示したいずれの方法を採るとしても、採用された方法に後述のベクトル分布測定部２Ａを対応させるようにすればよい。なお、最大探索範囲を評価値算出部１１Ａに入力し、ベクトル選択部１２のベクトル選択機能を評価算出部１１Ａが行うことで、ベクトル選択部１２を省略するようにしてもよい。また、最大探索範囲が固定範囲で扱われる場合には、評価算出部１１Ａの探索可能な範囲を最大探索範囲として、外部から指定不要としてもよい。

図３に、ベクトル分布測定部２Ａの詳細構成例を示す。有効ベクトル判定部２１Ａは、動きベクトル探索部１Ａから受け取った動きベクトルの評価値が有効か否かを閾値Ｔ（評価閾値）で判定する。以下、有効ベクトル判定部２１Ａで有効と判定された動きベクトルを有効ベクトルという。次に、有効ベクトル分類部２２は、有効ベクトルをその大きさに対する複数の閾値Ｃでカテゴリに分類し、カテゴリごとのベクトル分布として出力する。このベクトル分布測定部２Ａの有効ベクトル判定およびカテゴリ分類の一例について、次に説明する。

ベクトル分布測定部２Ａでは、ピクチャｎ（ｎはピクチャ番号とする。）におけるベクトル分布の閾値Ｔ（ｎ）をあらかじめ決めておき、動きベクトル探索部１Ａが求めたベクトルの評価値がベクトル分布の閾値Ｔ（ｎ）より小さいベクトルを有効ベクトルとするとともに、各有効ベクトルの大きさに基づいてカテゴリに分類する。

図４および図５は、この発明の実施の形態１における動画像符号化装置に係る水平成分および垂直成分に基づく有効ベクトル分布測定の一例を示す説明図である。横軸がベクトルの水平成分（図４）または垂直成分（図５）の絶対値のカテゴリ、縦軸が各カテゴリに分類された有効ベクトル数を示している。有効ベクトル分布は、図４および図５のように、有効ベクトルをそれぞれ水平成分ＭＶｘと垂直成分ＭＶｙに分けて、各ベクトルのカテゴリごとにカウンタを設けて、カテゴリの条件を満たす有効ベクトルをカウントする。

すなわち、図４および図５の例では、最大の探索範囲を正負各方向に縦６４、横６４として、カテゴリの閾値Ｃ（ｍ）を小さい方から８、１６、３２、６４（ｍ＝１〜４）とし、図４は水平ベクトルＭＶｘに基づき｜ＭＶｘ｜＜Ｃ（ｍ）となる各カテゴリの有効ベクトルのカウント、図５は垂直ベクトルＭＶｙに基づき｜ＭＶｙ｜＜Ｃ（ｍ）となる各カテゴリの有効ベクトルのカウントによるベクトル分布を示している。ここでは、カテゴリｍの有効ベクトルのカウントは、カテゴリ１〜（ｍ−１）の有効ベクトルのカウントまで包含した累積値として示している。

なお、ベクトルの最大探索範囲は、６４に限るものではなく、また水平方向、垂直方向で同一としなくてもよい。また、ベクトル分布の閾値は、ベクトルの最大探索範囲内で、水平方向、垂直方向で同一値とせず、また方向ごとに異なる閾値、異なるカテゴリ数を設定しても構わない。

ここで、ベクトル分布測定部２Ａは、ベクトル分布の閾値Ｔ（ｎ）をあらかじめ決めておくと説明したが、ベクトル分布の閾値Ｔ（ｎ）を変数として更新していってもよい。例えば、各カテゴリで有効ベクトルの評価値Ｅを累算し、ピクチャｎの１ピクチャ分のベクトルが入力されると、有効ベクトルの評価値平均Ａｖｅ＿Ｅ（ｎ）を算出し、次のピクチャ（ｎ＋１）におけるベクトル分布の閾値Ｔ（ｎ＋１）を更新する。ここで、ベクトル分布の閾値Ｔ（ｎ＋１）更新値は、Ｔ（ｎ＋１）＝Ａｖｅ＿Ｅ（ｎ）＋Ｂとして更新する。ここで、Ｂは、定数として、例えば２０００などの固定の数値としてもよいし、変数として、有効ベクトルの評価値平均Ａｖｅ＿Ｅ（ｎ）、Ａｖｅ＿Ｅ（ｎ）の差分値に基づいて調整してもよい。また、ベクトル分布の閾値Ｔ（ｎ＋１）を例えばＡｖｅ＿Ｅ（ｎ）のＳ倍（Ｓは実数）として更新してもよいし、さらに前の履歴を含めて得られる傾向を反映させてもよい。

探索範囲判定部３では、ベクトル分布測定部２Ａによるベクトル分布から、カウントされた有効ベクトルの総数は、図４および図５の例において最大閾値を適用された｜ＭＶｘ｜＜６４、｜ＭＶｙ｜＜６４の条件を満たす有効ベクトルのカウント数として得られる。探索範囲判定部３は、有効ベクトルの総数に基づいて、水平、垂直の各方向について、所定の割合のベクトル数を有するカテゴリまでの範囲を、後段の動きベクトル探索部１０１の探索範囲として設定する。例えば、所定の割合が全体の９０％を満たすベクトルとすれば、図４および図５の例では、有効ベクトルの総数が９２であるため、その９０％は８３となる。よって、この例の水平探索範囲は、図４において｜ＭＶｘ｜＜３２が８３を超える最も狭い範囲となるため、−３２から３２までの範囲とする。また、この例の垂直探索範囲は、図５において｜ＭＶｘ｜＜１６が８３を超える最も狭い範囲となるため、−１６から１６までの範囲とする。このように、探索範囲判定部３では、最大探索範囲を越えない、同一範囲の領域または内部の部分領域が探索範囲として設定される。

次に、遅延メモリ４は、１ピクチャ前の入力画像を蓄積する。この遅延メモリ４に蓄積された画像は、前段の動きベクトル探索部１Ａにおいては、参照画像となり、後段の動きベクトル探索部１０１においては、入力画像となる。

動きベクトル探索部１０１は、遅延メモリ４が保持する原画像と、後述のフレームメモリ１０６が蓄積した局所復号画像とから、探索範囲判定部３が決定した探索範囲についてベクトル探索を行い、予測画像を出力する。ここで、この動きベクトル探索部１０１は、先に説明した前段の動きベクトル探索部１Ａのように最大の探索範囲のベクトル探索を常に行うということはなく、探索範囲判定部３が決定した探索範囲についてベクトル探索を行う点で異なり、さらに探索した動きベクトルの評価値を外部へ出力するのではなく、内部で各評価値を比較しながら最小の評価値をとる動きベクトルあるいはその予測画像を記憶して、その最小の評価値をとった動きベクトルに対する予測画像を出力する。動きベクトルを記憶する場合には、全探索範囲を動き探索して最終的に記憶された動きベクトルに対する予測画像を生成し、出力することになる。

図６に、動きベクトル探索部１０１の詳細構成例を示す。評価算出部１１Ｂは、遅延メモリ４から出力される画像データを符号化画像、フレームメモリ１０６から出力される画像データを参照画像として、評価算出部１１Ａと同様に、これら２つの画像の関係を示す情報である動きベクトルとその評価値を出力するとともに、参照画像から抽出した予測画像を出力する。最適ベクトル選択部１０１２は、評価算出部１１Ａが出力した動きベクトルの示す位置が探索範囲判定部３から指定された探索範囲の内部にあるかを判定し、動きベクトルの示す位置が探索範囲の内部にあり、かつ評価値が探索範囲内の最小値であるとき、予測画像を記憶するように通知する。予測画像記憶部１０１３は、最適ベクトル選択部１０１２から予測画像を記憶するように通知されたとき、評価算出部１１Ｂが出力した予測画像を記憶し、全探索範囲を探索後、記憶した予測画像を出力する。なお、探索範囲を評価値算出部１１Ｂに入力し、最適ベクトル選択部１０１２の予測画像を記憶させる通知機能を評価算出部１１Ｂが行うことで、最適ベクトル選択部１０１２を省略するようにしてもよい。

減算器１０３は、遅延メモリ４が保持する原画像と、動きベクトル探索部１０１が出力する予測画像の差分をとって差分画像を出力する。符号化部１０３は、減算器１０３が出力した差分画像を入力として、その内部において、例えば図７に示すように、直交変換部１０３１が直交変換し、量子化部１０３２が量子化し、可変長符号化部１０３３が可変長符号化して、符号化データを出力する。局所復号部１０４は、符号化部１０３が量子化したデータを入力として、その内部において、例えば図７に示すように、逆量子化部１０４１が逆量子化し、逆直交変換部１０４２が逆直交変換して、局所復号差分画像を出力する。なお、局所復号部１０４は、符号化部１０３の可変長符号化部１０３３が可変長符号化した符号化データを入力として、可変長復号部（図示せず）を設けて可変長復号してから、逆量子化、逆直交変換の順に行うようにしてもよい。

加算器１０５は、局所復号部１０４が出力した局所復号差分画像と動きベクトル探索部１０１が出力した予測画像を加算して局所復号画像を出力する。フレームメモリ１０６は、加算器１０６が出力する局所復号画像を蓄積する。

なお、本実施の形態では、動きベクトル探索部１Ａは、フレームメモリ１０６上の復号画像を使用して探索処理を行うものであったが、入力された画像データを遅延メモリ４上に数ピクチャ分蓄えておき、予測画像として用いるピクチャの原画像を予測画像として探索処理を行うようにしてもよい。

また、本実施の形態では、ベクトルの評価値は予測画素と原画素の差分絶対値和または差分２乗和としたが、ブロックにおけるパラメータや、差分画素を直交変換および可変長符号化等を適用して、ブロック単位の符号長を求め、この符号長を評価値として用いることも可能である。また、例えばＭＰＥＧ−２符号化方式であれば、マクロブロックにおけるパラメータや、差分画素をＤＣＴ変換および可変長符号化等を適用して、マクロブロック符号長を求め、この符号長を評価値として用いることも可能である。

また、ベクトルの評価値に符号長を用いる代わりに、例えば周辺ブロックのベクトルによって決定する予測ベクトルＰＭＶとベクトルＶの差分ベクトルＭＶＤ（式１参照）のベクトル長｜ＭＶＤ｜（水平成分ＭＶＤｘの大きさと垂直成分ＭＶＤｙの大きさを加算した値。式２参照）に固定値Ａを乗じた値を、参照ブロックの予測画素と符号化ブロックの原画素の差分絶対値和（ＳＡＤ）に加えて評価値Ｍ（式３参照）としてもよい。

以上説明したような構成をとることで、図１６に示したような水しぶき部分に多数発生している類似度の低い領域を指す動きベクトルは、評価値がカテゴリの中で最大の閾値（図４および図５の例では６４）より大きくなり、有効ベクトルに判定されないため、探索範囲を定めるための分布から外すことができる。その結果、有効ベクトルに判定された動きベクトルを用いることで、類似度の低い領域の影響を受けないように、類似度の高い人物や背景などの動きを予測できる範囲に限定することができる。例えば、図１６に示されるように、類似度の低い水しぶきのような背景の前面に、人物がいる場合などでも、その人物の動作についていける動きベクトルの探索範囲が確保されるようになる。

このように、この発明の実施の形態１における動画像符号化装置の一例においては、事前の動き探索予測で動きベクトルを分析して探索範囲を制限することで、動き探索の演算量を軽減することができる効果がある。

また、この発明の実施の形態１における動画像符号化装置の一例においては、符号化するブロックと参照ブロックとの類似度が微差であれば、長さが短い動きベクトルを選ぶことで、ベクトルの符号量を小さくし、画像の符号量を増やせるため、画質の低下を抑えることができる効果がある。

実施の形態２．
図８は、この発明の実施の形態２におけるベクトル探索範囲制限装置および動画像符号化装置に係る構成の一例を示すブロック図である。図８において、１Ａ〜３は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。実施の形態１の図１と同じブロックには同一符号を付し、その説明を省略する。

この発明の実施の形態２の構成では、実施の形態１の構成例（図１）と異なり、遅延メモリ４がない構成としたため、遅延メモリ４で遅延された画像の代わりに、フレームメモリ１０６に蓄積された画像を動きベクトル探索部（動き探索部）１Ａ、すなわち図２の評価値算出部１１Ａに参照画像として入力する。ここでは、動きベクトル探索部１Ａは、図１の動きベクトル探索部１Ａと入力される参照画像は異なるが、符号化画像、参照画像に対して同一の処理を行うものである。

同様に、遅延メモリ４がない構成としたため、遅延メモリ４で遅延された画像の代わりに、装置に入力される画像データを動きベクトル探索部（動き探索部）１０１、すなわち図６の評価値算出部１１Ｂに符号化画像として入力する。ここでは、動きベクトル探索部１０１は、図１の動きベクトル探索部１０１と入力される符号化画像は異なるが、符号化画像、参照画像に対して同一の処理を行うものである。

このような構成では、探索範囲判定部３で探索範囲を判定する画像（ピクチャ）を同時に符号化していくことになり、探索範囲判定部３が判定した探索範囲は、次の画像（一つ後の画像）の符号化に適用する。このように一つ前の画像で判定された探索範囲で、入力される画像を符号化しても、映像（動画像）を構成する連続する画像（ピクチャ）間の相関は高いため、符号化効率への影響は少ないものである。

このように、この発明の実施の形態２における動画像符号化装置の一例においては、以上説明したような構成をとることで、この発明の実施の形態１と同様の効果を得ることができる。

また、この発明の実施の形態２における動画像符号化装置の一例においては、遅延メモリを設けないことで、装置のハードウェア規模を小さくできる。

実施の形態３．
図９は、この発明の実施の形態３におけるベクトル探索範囲制限装置および動画像符号化装置に係る構成の一例を示すブロック図である。図９において、１Ｂ〜３は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。実施の形態１および２と同じブロックには同一符号を付し、その説明を省略する。

動きベクトル探索部（動き探索部）１Ｂは、実施の形態２における図８の動きベクトル探索部（動き探索部）１Ａと動きベクトル探索部（動き探索部）１０１を併せた機能動作を行う。図１０に、動きベクトル探索部１Ｂの詳細構成例を示す。ここで、動きベクトル探索部１Ｂ内部の評価算出部１１Ｂは、実施の形態２において説明した評価算出部１１Ｂと同一の処理を行うものである。動きベクトル探索部１Ｂ内部のベクトル選択部１２、最適ベクトル選択部１０１２、予測画像記憶部１０１３は、実施の形態１における図３において説明したベクトル選択部１２、図６において説明した最適ベクトル選択部１０１２、予測画像記憶部１０１３と、それぞれ同一の処理を行うものである。なお、最大探索範囲を評価値算出部１１Ｂに入力し、ベクトル選択部１２のベクトル選択機能を評価算出部１１Ｂが行うことで、ベクトル選択部１２を省略するようにしてもよい。

このように、この発明の実施の形態３における動画像符号化装置の一例においては、以上説明したような構成をとることで、この発明の実施の形態２と同様の効果を得ることができる。

また、この発明の実施の形態３における動画像符号化装置の一例においては、動きベクトル探索部１Ｂの評価算出部１１Ｂを共用することで、この発明の実施の形態２における動画像符号化装置の動きベクトル探索部１Ａと動きベクトル探索部１０１のように独立に設けないため、装置のハードウェア規模を小さくできる。

実施の形態４．
図１１は、この発明の実施の形態４におけるベクトル探索範囲制限装置および動画像符号化装置に係る構成の一例を示すブロック図である。図１１において、１Ａ〜５は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。実施の形態１の図１と同じブロックには同一符号を付し、その説明を省略する。

図１２に、ベクトル分布測定部２Ｂの詳細構成例を示す。有効ベクトル判定部２１Ｂは、実施の形態１の図３における有効ベクトル判定部２１Ａに対して、後述の評価値分布判定部５に評価値を出力して評価閾値を得る。有効ベクトル分類部２２は、図３における有効ベクトル分類部２２と同一の処理を行うものである。

評価値分布判定部５は、ベクトル毎の評価値をカテゴリ分類して測定し、その分類結果に基づいて評価閾値を判定する。

図１３は、この発明の実施の形態４における動画像符号化装置に係る評価値分布判定部５の評価値分布判定の一例を示す説明図である。横軸がベクトルの評価値のカテゴリ、縦軸がカテゴリに分類されたベクトル数を示す。この例では、評価値分布判定部５で、ベクトル分布測定部２Ｂから受け取った評価値（あるいは動きベクトル探索部１Ｂから直接受け取った評価値）に基づいて、例えば各評価値が１０００刻みのカテゴリに入る数をカウントしておく。ここで、カウント値が最大となっているのは、１０００〜２０００のカテゴリに評価値が集中しているため、例えば、このカテゴリの上限の２０００を代表値として、その２倍である４０００をベクトル分布測定部２Ｂにおいて有効ベクトルを評価する閾値Ｔ（ｎ＋１）として出力する。

また、閾値決定の変形例として、評価値分布判定部５で、ピクチャ内のベクトル数に対するカテゴリのベクトル数の累積値が、所定の割合を占めた時点のカテゴリの代表値に基づいて評価閾値を決定してもよい。なお、カテゴリの代表値は、カテゴリ内の数値から設定すればよく、例えば上限値、下限値、平均値、中央値、最頻値などとすればよい。また、評価閾値を評価値の集中したカテゴリの代表値の２倍としたが、２倍に限るものではなく、また整数倍でなくてもよい。

このように、この発明の実施の形態４における動画像符号化装置の一例においては、以上説明したような構成をとることで、この発明の実施の形態１と同様の効果を得ることができる。

また、この発明の実施の形態４における動画像符号化装置の一例においては、以上説明したような構成をとることで、ベクトル分布測定部２Ｂにおいて有効ベクトルを評価する閾値を更新し、ベクトルの評価値分布に基づいた有効ベクトルの判定精度を向上する効果を得ることができる。

実施の形態５．
図１４は、この発明の実施の形態５における動画像符号化装置に係る構成の一例を示すブロック図である。図１４において、１Ｂ〜３、５は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。実施の形態２の図８と同じブロックには同一符号を付し、その説明を省略する。

ベクトル分布測定部２Ｂ、評価値分布判定部５は、実施の形態４の図１１におけるベクトル分布測定部２Ｂ、評価値分布判定部５と同一の処理を行うものである。

このように、この発明の実施の形態５における動画像符号化装置の一例においては、以上説明したような構成をとることで、この発明の実施の形態２と同様の効果を得ることができる。

また、この発明の実施の形態５における動画像符号化装置の一例においては、以上説明したような構成をとることで、ベクトル分布測定部２Ｂにおいて有効ベクトルを評価する閾値を更新し、ベクトルの評価値分布に基づいた有効ベクトルの判定精度を向上する効果を得ることができる。

実施の形態６．
図１５は、この発明の実施の形態６における動画像符号化装置に係る構成の一例を示すブロック図である。図１５において、１Ｂ〜３、５は、動画像符号化装置のうち、その一部を構成するベクトル探索範囲制限装置を示す。実施の形態３の図９と同じブロックには同一符号を付し、その説明を省略する。

ベクトル分布測定部２Ｂ、評価値分布判定部５は、実施の形態４の図１１または実施の形態５の図１４におけるベクトル分布測定部２Ｂ、評価値分布判定部５と同一の処理を行うものである。

このように、この発明の実施の形態６における動画像符号化装置の一例においては、以上説明したような構成をとることで、この発明の実施の形態３と同様の効果を得ることができる。

また、この発明の実施の形態６における動画像符号化装置の一例においては、以上説明したような構成をとることで、ベクトル分布測定部２Ｂにおいて有効ベクトルを評価する閾値を更新し、ベクトルの評価値分布に基づいた有効ベクトルの判定精度を向上する効果を得ることができる。

この発明の実施の形態１における動画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態１における動画像符号化装置に係る動きベクトル探索部の詳細構成を示す説明図である。 この発明の実施の形態１における動画像符号化装置に係るベクトル分布測定部の詳細構成を示す説明図である。 この発明の実施の形態１における動画像符号化装置に係るベクトル分布測定部の水平成分に基づくベクトル分布測定の一例を示す説明図である。 この発明の実施の形態１における動画像符号化装置に係るベクトル分布測定部の垂直成分に基づくベクトル分布測定の一例を示す説明図である。 この発明の実施の形態１における動画像符号化装置に係る動きベクトル探索部（動き探索部）の詳細構成を示す説明図である。 この発明の実施の形態１における動画像符号化装置に係る符号化部と局所復号部の詳細構成を示す説明図である。 この発明の実施の形態２における動画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態３における動画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態３における動画像符号化装置に係る動きベクトル探索部（動き探索部）の詳細構成を示す説明図である。 この発明の実施の形態４における動画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態４における動画像符号化装置に係るベクトル分布測定部の詳細構成を示す説明図である。 この発明の実施の形態４における動画像符号化装置に係る評価値分布判定部の評価値分布判定の一例を示す説明図である。 この発明の実施の形態５における動画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態６における動画像符号化装置に係る構成の一例を示すブロック図である。 動画像符号化装置が符号化対象とする映像の一例を示す説明図である。

符号の説明

１Ａ、１Ｂ 動きベクトル探索部（動き探索部）
２Ａ、２Ｂ ベクトル分布測定部
３ 探索範囲判定部
４ 遅延メモリ
５ 評価値分布判定部
１１Ａ、１１Ｂ 評価値算出部
１２ ベクトル選択部
２１Ａ、２１Ｂ 有効ベクトル判定部
２２ 有効ベクトル分類部
１０１ 動きベクトル探索部
１０２ 減算器
１０３ 符号化部
１０４ 局所復号部
１０５ 加算器
１０６ フレームメモリ
１０１２ 最適ベクトル選択部
１０１３ 予測画像記憶部
１０３１ 直交変換部
１０３２ 量子化部
１０３３ 可変長符号化部
１０４１ 逆量子化部
１０４２ 逆直交変換部

Claims (9)

1. 入力画像と参照画像を入力し、所定の探索範囲における動きベクトルと該動きベクトルの評価値を算出する動き探索部と、
   この動き探索部が算出した評価値と所定の評価閾値に基づいて、前記動き探索部が算出した動きベクトルが有効ベクトルか否かを判定し、有効と判定した動きベクトルの大きさごとの分布を測定するベクトル分布測定部と、
   このベクトル分布測定部が測定した前記有効ベクトルの大きさごとの分布に基づいて、制限された動きベクトル探索範囲を判定する探索範囲判定部と
   を備えたベクトル探索範囲制限装置。
2. 前記動き探索部は、前記入力画像を当該動きベクトルで評価される参照画像に基づいて符号化した符号長を評価値とする
   ことを特徴とする請求項１記載のベクトル探索範囲制限装置。
3. 前記動き探索部は、当該動きベクトルと予測ベクトルとの差分値と、前記入力画像と当該動きベクトルで評価される参照画像との対応画素の差分絶対値和または差分自乗和のいずれかに基づいて評価値を算出する
   ことを特徴とする請求項１記載のベクトル探索範囲制限装置。
4. 前記ベクトル分布測定部は、有効と判定した動きベクトルを当該動きベクトルの大きさに基づいてカテゴリに分類して分布を測定し、
   前記探索範囲判定部は、有効と判定した動きベクトルの総数に対して、分類した各カテゴリのベクトル数の累積が所定の割合に達するカテゴリに対応する動きベクトルの大きさまでを動きベクトルの大きさの上限として探索範囲を判定する
   ことを特徴とする請求項１記載のベクトル探索範囲制限装置。
5. 前記ベクトル分布測定部が有効と判定した動きベクトルの評価値の分布に基づいて、前記ベクトル分布測定部が用いる所定の評価閾値を変更する評価値分布判定部
   を備えた請求項１記載のベクトル探索範囲制限装置。
6. 前記評価値分布判定部は、測定した有効ベクトルの評価値をカテゴリ分けして分布を測定し、有効ベクトルの評価値が最も集中したカテゴリの代表値に基づいて、前記ベクトル分布測定部の前記所定の評価閾値を変更する
   ことを特徴とする請求項５記載のベクトル探索範囲制限装置。
7. 前記入力画像を蓄積して遅延させる遅延メモリ
   を備え、
   前記動き探索部は、前記遅延メモリが蓄積して遅延させた画像を前記参照画像とする
   ことを特徴とする請求項１ないし請求項６のいずれかに記載のベクトル探索範囲制限装置。
8. 請求項１ないし請求項６のいずれかに記載のベクトル探索範囲制限装置
   を備え、
   このベクトル探索範囲制限装置が前記入力画像と前記参照画像として前記入力画像より前に処理した画像に基づいて動きベクトルの探索範囲を制限し、この制限された動きベクトルの探索範囲を動きベクトル探索して既に符号化して復号された画像データから予測画像データを生成し、この予測画像データと前記入力画像との誤差を符号化する動画像符号化装置。
9. 請求項７記載のベクトル探索範囲制限装置
   を備え、
   このベクトル探索範囲制限装置が前記入力画像と前記参照画像として前記遅延メモリにより遅延された画像に基づいて動きベクトルの探索範囲を制限し、この制限された動きベクトルの探索範囲を動きベクトル探索して既に符号化して復号された画像データから予測画像データを生成し、この予測画像データと前記遅延メモリにより遅延された画像との誤差を符号化する動画像符号化装置。

Images