JP2010011150A

JP2010011150A - 動きベクトル検出装置および動画像符号化装置

Info

Publication number: JP2010011150A
Application number: JP2008168839A
Authority: JP
Inventors: Nobuaki Motoyama; 信明本山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2010-01-14
Anticipated expiration: 2028-06-27
Also published as: JP4935771B2

Abstract

【課題】ベクトル検出器を均等に並列化すると装置の小型化や低消費電力化が難しかった。
【解決手段】符号化ブロックのデータを抽出する符号化画像メモリ制御部と、参照画像の探索領域を所定数の探索点と所定数未満の探索点を含む大きさの部分探索領域に分割する探索領域分割部と、所定数の探索点を含む大きさの各部分探索領域の参照ブロックのデータを抽出する第１の部分探索領域群メモリ制御部と、所定数未満の探索点を含む大きさの部分探索領域を組み合わせて再編成する部分探索領域再編成部と、再編成した各部分探索領域の参照ブロックのデータを抽出する第２の部分探索領域群メモリ制御部と、参照ブロックと符号化ブロックの評価値と動きベクトルを算出する動きベクトル検出器と、各動きベクトル検出器が出力する評価値に基づいて判定して、最終判定された評価値に対応する動きベクトルを出力する動きベクトル判定部とを備えた。
【選択図】図１

Description

この発明は、動きベクトル検出装置および動画像符号化装置に関するものである。

デジタル動画像の情報圧縮を行う動画像符号化は、膨大なデジタル動画像データを狭帯域の通信回線で伝送する必要性から発展をはじめ、現在ではＭＰＥＧ、Ｈ．２６４をはじめ種々の動画像の符号化方法が提案されている。動画像の符号化は、予測・変換処理を行った後、量子化レベルの縮退などを行って信号に含まれる時間的・空間的な冗長度を除去し、さらに冗長度が除去された符号化情報の長さをできるだけ短くするために、エントロピー符号化を行って圧縮する。一般に、動画像信号には空間方向、時間方向ともに近傍画素間に高い相関があるため、この相関を利用して画素間で予測を行い、その差分情報だけを符号化すべき情報量として削減するとともに、エントロピー符号化して送ることで効率的に圧縮できる。このような相関を利用した予測には、符号化済みの画像を用いて時間方向の予測を行うフレーム間予測と、同一画像上の近傍画素を用いて予測を行うフレーム内予測がある。

動画像符号化処理において、フレーム間予測を行う際は、適切な動きベクトルを求められるか否かが、画質に大きな影響を与える一因となる。一方、このフレーム間予測において、より適切な動きベクトルを求める処理が、動画像符号化の中でも最も演算量を必要とする処理である。そのため、演算量を削減する方式が数多く提案されており、ハードウェアで処理する場合は、特に回路規模の削減や消費電力の削減が共通した課題として挙げられる。

符号化処理時間が限られるリアルタイムの条件下で動画像を符号化処理するためには、１クロックに１探索点の評価値（相関値）を算出し、符号化済みの画像である参照画像を垂直方向にシフトする動きベクトル検出器を適用し、例えば次のような方法をとる。一つの方法として、動きベクトル検出器の動作周波数を上げることで、同一期間内に動作クロックを増やして処理可能な探索点数を増やす方法がある。また、別の方法として、動きベクトル検出器の動作クロックは変えずに、同一期間に処理可能な探索点数以下となるように探索範囲を垂直方向に均等に分割し、分割数と同数の動きベクトル検出器を備えた構成を上下並列に動作させる方法がある。例えば、ベクトル探索処理の能力が６００探索点の動きベクトル検出器を適用して、垂直方向に８００探索点の探索を行いたい場合、垂直方向の探索範囲を４００探索点ずつ探索するように均等分割し、動きベクトル検出器を水平方向に必要な分だけ備えた構成を上半分、下半分を対象として２つ並列動作させる参照画像を均等に割り当てる構成が提案されている(例えば、特許文献１)。

特開平５−１４８７０号公報

このように、動画像符号化処理において、多くの演算量を必要とするフレーム間予測は、例えば上記特許文献１のように、動きベクトル検出器を並列動作させることで対応すれば、６００クロックの演算期間に対して４００クロックで探索が完了するため、要求された処理性能は満たしているが、２００クロック分の演算期間が余ってしまい、装置の小型化という面で効率的ではないという問題点がある。一方、動作周波数を上げることで、同一期間内に処理可能な探索点数を増やすことで対応すれば、回路規模は増えないが、消費電力が増すという問題点がある。

この発明は上記のような問題点を解決するためになされたもので、動きベクトル検出器がすべて同じ並列度の構成のものを並列動作させるのではなく、動きベクトル検出器の並列度と制御が異なる構成のものを一部に設けて並列動作させることで、回路規模の増大を最小限に抑えるとともに、動作周波数はそのままでも要求された処理性能を得ることで、装置の小型化や低消費電力化を実現することを目的とする。

この発明に係る動きベクトル検出装置は、符号化画像における符号化ブロックのデータに対して、参照画像に設けられたベクトル探索領域における複数のベクトル探索点に基づくそれぞれの参照ブロックのデータの評価値に基づいて判定された参照ブロックに対応する動きベクトルを出力する動きベクトル検出装置において、符号化画像における符号化ブロックのデータを抽出して出力する符号化画像メモリ制御部と、参照画像に設けられたベクトル探索領域を所定数のベクトル探索点を含む大きさの複数の部分探索領域と前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域に分割する探索領域分割部と、この探索領域分割部が分割した参照画像における前記所定数のベクトル探索点を含む大きさの複数の部分探索領域を第１の部分探索領域群とし、この第１の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを前記参照画像から抽出して出力する第１の部分探索領域群メモリ制御部と、前記探索領域分割部が分割した参照画像における前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を、ベクトル探索点の数の合計が前記所定数を超えないように組み合わせて複数の部分探索領域を再編成する部分探索領域再編成部と、この部分探索領域再編成部が前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を組み合わせて再編成した複数の部分探索領域を第２の部分探索領域群とし、この第２の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを前記参照画像から抽出して出力する第２の部分探索領域群メモリ制御部と、前記第１の部分探索領域群メモリ制御部および前記第２の部分探索領域群メモリ制御部が出力する各部分探索領域に含まれるベクトル探索点に基づく参照ブロックのデータについて、前記符号化画像メモリ制御部が出力する符号化ブロックのデータに対する相関を示す評価値と動きベクトルの組を算出する、前記第１の部分探索領域群メモリ制御部および前記第２の部分探索領域群メモリ制御部の部分探索領域ごとに割り当てる複数の動きベクトル検出器を有する動きベクトル検出部と、この動きベクトル検出部の各動きベクトル検出器が出力する評価値によって示される相関の高さに基づいて、前記参照画像に設けられた探索領域が含む各ベクトル探索点における参照ブロックの評価値を判定して、最終判定された評価値に対応する動きベクトルを出力する動きベクトル判定部と、前記符号化画像メモリ制御部と前記探索領域分割部と前記第１の部分探索領域群メモリ制御部と前記第２の部分探索領域群メモリ制御部と前記動きベクトル検出部と動きベクトル判定部の処理を制御する動きベクトル検出制御部とを備えたとを備えたものである。

また、この発明に係る動画像符号化装置は、上記の動きベクトル検出装置を備え、現符号化画像より以前に符号化された符号化画像の符号データを復号した復号画像を参照画像として、この参照画像と前記現符号化画像に対して前記ベクトル検出装置が出力した動きベクトルに基づいて予測画像を生成し、この予測画像と前記現符号化画像との差分を符号化するものである。

この発明によれば、参照画像のベクトル探索領域を部分ベクトル探索領域に分割し、所定数の探索点を含む部分ベクトル探索領域には、動きベクトル検出器を並列に動作させ、所定数未満の探索点を含む部分ベクトル探索領域は、組み合わせて所定数以下の探索点を含む部分ベクトル探索領域に再編成する制御をして別途並列に動作させることで、装置の小型化や低消費電力化を実現することができる効果がある。

実施の形態１．
この発明の実施形態１では、参照領域に設定されたベクトル探索領域を部分ベクトル探索領域に分割し、後述する所定数未満のベクトル探索点を含む部分探索領域を再編成した第２の部分探索領域群の部分探索領域が、隣接しない部分探索領域の集合である場合について説明する。

図１は、この発明の実施形態１における動きベクトル検出装置の構成の一例を示すブロック図である。図において、動きベクトル検出装置１０は、符号化画像における符号化ブロックのデータに対して、参照画像に設けられたベクトル探索領域における複数のベクトル探索点に基づくそれぞれの参照ブロックのデータの評価値に基づいて判定された参照ブロックに対応する動きベクトルを出力するものである。符号化画像メモリ１１は、符号化画像のデータを蓄積している。参照画像メモリ１２は、参照画像のデータを蓄積している。

動きベクトル検出装置１０は、次のように構成される。符号化画像メモリ制御部１０１は、符号化画像メモリ１１に蓄積された符号化画像における符号化ブロックのデータを抽出して出力する。参照画像メモリ制御部１０２は、参照画像メモリ１２に蓄積された参照画像における参照ブロックのデータを抽出して出力する。より具体的には、参照画像メモリ制御部１０２は、次の探索領域分割部１０２１、第１の部分探索領域群メモリ制御部１０２２、部分探索領域再編成部１０２３、第２の部分探索領域群メモリ制御部１０２４から構成される。探索領域分割部１０２１は、参照画像に設けられたベクトル探索領域を所定数のベクトル探索点を含む大きさの複数の部分探索領域と所定数未満のベクトル探索点を含む大きさの複数の部分探索領域に分割する。第１の部分探索領域群メモリ制御部１０２２は、探索領域分割部１０２１が分割した参照画像における所定数のベクトル探索点を含む大きさの複数の部分探索領域を第１の部分探索領域群とし、第１の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを参照画像から抽出して出力する。部分探索領域再編成部１０２３は、探索領域分割部１０２１が分割した参照画像における所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を、ベクトル探索点の数の合計が所定数を超えないように組み合わせて複数の部分探索領域を再編成する。第２の部分探索領域群メモリ制御部１０２４は、部分探索領域再編成部１０２３が所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を組み合わせて再編成した複数の部分探索領域を第２の部分探索領域群とし、第２の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを参照画像から抽出して出力する。動きベクトル検出部１０３は、第１の部分探索領域群メモリ制御部１０２２および第２の部分探索領域群メモリ制御部１０２４の部分探索領域ごとに割り当てる複数の動きベクトル検出器１０３１を有し、第１の部分探索領域群メモリ制御部１０２２および第２の部分探索領域群メモリ制御部１０２４が出力する各部分探索領域に含まれるベクトル探索点に基づく参照ブロックのデータについて、符号化画像メモリ制御部１０１が出力する符号化ブロックのデータに対する相関を示す評価値と動きベクトルの組を算出する。動きベクトル判定部１０４は、動きベクトル検出部１０３の各動きベクトル検出器１０３１が出力する評価値によって示される相関の高さに基づいて、参照画像に設けられたベクトル探索領域が含む各ベクトル探索点における参照ブロックの評価値を判定して、最終判定された評価値に対応する動きベクトルを出力する。動きベクトル検出制御部１０５は、符号化画像メモリ制御部１０１と探索領域分割部１０２１と第１の部分探索領域群メモリ制御部１０２２と第２の部分探索領域群メモリ制御部１０２４と動きベクトル検出部１０３と動きベクトル判定部１０４の処理を制御する。

なお、図１中の動きベクトル検出部１０３には、動きベクトル検出器１０３１として＃１Ａ〜＃４Ａおよび＃１Ｂ、＃２Ｂを一例として記載したが、第１の部分探索領域群メモリ制御部１０２２の第１の部分探索領域群の部分探索領域数（Ｎ１）と、第２の部分探索領域群メモリ制御部１０２４の第２の部分探索領域群の部分探索領域数（Ｎ２）、すなわち部分探索領域再編成部が所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を１つまたは複数まとめて再編成した後の部分探索領域数（Ｎ２）を合わせた数（Ｎ１＋Ｎ２）の動きベクトル検出器１０３１が少なくとも設けられるものとする。

また、第１の部分探索領域群の部分探索領域と第２の部分探索領域群の部分探索領域に割り当てられる各動きベクトル検出器１０３１は、ともに共通仕様の入出力データを扱うので、必ずしも第１、第２の部分探索領域群ごとに独立に用意することなく、一括して用意しておき、第１、第２の部分探索領域群の部分探索領域にそれぞれ必要数割り当てるようにすることができる。動きベクトル検出器１０３１の数は、参照画像に設けられたベクトル探索領域の大きさ、ベクトル探索点数、ベクトル探索点の密度、ベクトル探索領域の分割方法（形状など）および動きベクトル検出器１０３１のベクトル探索能力、すなわち所定時間に処理できるベクトル探索点数などにより見積もることができる。

この発明の動きベクトル検出装置１０の動作を説明する前に、参照画像に設けられたベクトル探索領域を複数の部分探索領域に分割する処理について説明する。参照画像に設けられたベクトル探索領域を複数の部分探索領域に分割する処理は、参照画像メモリ制御部１０２で行われる。図２は、参照画像メモリ制御部１０２がベクトル探索領域を分割して複数の部分探索領域を構成する一例を示す説明図である。ここでは、後段の動きベクトル検出部１０３において、ここで説明する部分探索領域のベクトル探索を行う各動きベクトル検出器１０３１の単位時間のベクトル探索点（以下、単に探索点ともいう。）の処理能力を６００探索点（所定数）とすれば、部分探索領域が含むベクトル探索点数を６００探索点以下に分割しておくことで、単位時間内に各部分探索領域のベクトル探索を終了できる。なお、部分探索領域が含むすべての画素が、参照ブロックの基準とするベクトル探索点であるとは限らない。

参照画像メモリ制御部１０２において、探索領域分割部１０２１は、ベクトル探索領域を所定数、すなわち６００探索点を含む大きさの部分探索領域に分割するが、最初にベクトル探索領域を、８００探索点を含む大きさの部分探索領域に短冊状に分割し、次に８００探索点を含む大きさの各部分探索領域を、６００探索点を含む大きさの部分探索領域とその残りの２００探索点を含む大きさの部分探索領域に分割する２段階で行うことができる。特に、各分割段階で分割対象のベクトル探索領域または部分探索領域をそれぞれ同一形状・大きさの部分探索領域に分割することで、効率的に分割できる。この時点で、ベクトル探索領域は、１２個の６００探索点を含む同一形状・大きさの部分探索領域、１２個の２００探索点を含む同一形状・大きさの部分探索領域に分割される。この１２個の６００探索点を含む大きさの部分探索領域（第１の部分探索領域群）のそれぞれに動きベクトル検出器１０３１（＃１Ａ〜＃１２Ａ）を割り当てて並列にベクトル探索を行う。

部分探索領域再編成部１０２３は、探索領域分割部１０２１が６００探索点を含む部分探索領域を分割したときに発生した６００未満の探索点を含む大きさの部分探索領域を１つまたは複数を組み合わせて、６００以下の探索点数を含む大きさの部分探索領域に再編成する。ここでは、２００探索点を含む大きさの部分探索領域を３つずつ組み合わせて、４個の６００探索点を含む部分探索領域に再編成するものとする。図２では、２００探索点を含む同一形状・大きさの部分探索領域を３つおきに組み合わせた４組の集合をそれぞれ部分探索領域（第２の部分探索領域群）として再編成する例を示している。この４個の部分探索領域のそれぞれに動きベクトル検出器１０３１（＃１Ｂ〜＃４Ｂ）を割り当てて並列にベクトル探索を行う。なお、この再編成された部分探索領域において、組み合わされた６００未満の探索点を含む大きさの部分探索領域は、実際の画像上は連続する領域とは限らないため、組み合わされた各部分探索領域を単位に時分割で画像データを適宜参照する。

ここに示した図２のベクトル探索領域の部分探索領域の分割および再編成の例では、第１、第２の部分探索領域群に対応する各部分探索領域をそれぞれ同数のベクトル探索点を含む同一形状・大きさとしたため、各部分探索領域の画像データへのアドレス生成を容易にして、効率的にアクセスすることができる。このように、第１、第２の部分探索領域群に対応する各部分探索領域で、それぞれ並列にベクトル探索を行いやすい構成をとることができるようになり、ベクトル探索領域を単一・均等に分割して部分探索領域を設ける場合よりも装置の小型化や省消費電力化の効果が得られる。

次に、動きベクトル検出制御部１０５による各部の制御と、制御される各部の動作の一例について説明する。ここでは、図２で説明したように、ベクトル探索領域が部分探索領域に分割および再編成されるものとして説明する。

まず、動きベクトル検出制御部１０５は、参照画像メモリ制御部１０２の探索領域分割部１０２１に参照画像に設けられたベクトル探索領域の分割を指示する（ベクトル探索領域分割指示）。探索領域分割部１０２１は、ベクトル探索領域分割指示を受けると、ベクトル探索領域を複数の部分探索領域に分割する。すなわち、探索領域分割部１０２１は、図２のように、ベクトル探索領域を６００探索点を含む大きさの部分探索領域１２個と２００探索点を含む大きさの部分探索領域１２個に分割し、その後６００探索点を含む大きさの部分探索領域１２個の情報を第１の部分探索領域群として第１の部分探索領域群メモリ制御部１０２２に、また２００探索点を含む大きさの部分探索領域１２個の情報を部分探索領域再編成部１０２３に通知する。

部分探索領域再編成部１０２３は、２００探索点を含む大きさの部分探索領域１２個の情報を探索領域分割部１０２１から通知されると、部分探索領域の１つまたは複数を組み合わせて、図２のように、２００探索点を含む大きさの部分探索領域を３つずつ組み合わせて６００探索点の部分探索領域４個に再編成する。この再編成された６００探索点を含む大きさの部分探索領域４個の情報を第２の部分探索領域群として第２の部分探索領域群メモリ制御部１０２４に通知する。

次に、動きベクトル検出制御部１０５は、符号化画像メモリ制御部１０１に符号化画像メモリ１１から符号化ブロックのデータの読み出しを指示する（符号化ブロック読み出し指示）。符号化画像メモリ制御部１０１は、符号化ブロック読み出し指示を受けると、符号化画像メモリ１１から符号化ブロックのデータを読み出すことで抽出し、動きベクトル検出部１０３の複数の動きベクトル検出器１０３１（＃１Ａ〜＃１２Ａ、＃１Ｂ〜＃４Ｂ）のそれぞれへ出力する。

また、動きベクトル検出制御部１０５は、参照画像メモリ制御部１０２の第１の部分探索領域群メモリ制御部１０２２に参照画像メモリ１２から参照ブロックのデータの読み出しを指示する（参照ブロック読み出し指示）。第１の部分探索領域群メモリ制御部１０２２は、参照ブロック読み出し指示を受けると、図２のように、水平方向に隣接する１２個の部分探索領域における各参照ブロックのデータを参照画像メモリ１２から読み出して、動きベクトル検出部１０３の１２個の動きベクトル検出器１０３１（＃１Ａ〜＃１２Ａ）のそれぞれへ出力する。

最初の参照ブロック読み出し指示で参照画像メモリ１２から読み出される参照ブロックのデータは、符号化画像メモリ１１から読み出される符号化ブロックのデータと同じ画素数分のデータとなる。例えば、符号化ブロックが１６×１６画素で、部分探索領域が１６×６００画素だった場合、参照ブロック読み出し指示では、１６×６００画素中の一番上から１６行分の１６×１６画素の参照ブロックのデータを読み出す。２回目以降の参照ブロック読み出し指示では、参照ブロックを垂直（上）方向に１ラインシフトして、次のラインの１６画素分の参照ブロックのデータを読み出して一番下のラインに組み入れ、部分探索領域の最後のラインに達するまで１ラインずつ更新させる。

同様に、動きベクトル検出制御部１０５は、参照画像メモリ制御部１０２の第２の部分探索領域群メモリ制御部１０２４に参照画像メモリ１２から参照ブロックのデータの読み出しを指示する（参照ブロック時分割読み出し指示）。第２の部分探索領域群メモリ制御部１０２４は、参照ブロック時分割読み出し指示を受けると、図２のように、水平方向に隣接する４個の部分探索領域における各参照ブロックのデータを参照画像メモリ１２から読み出すことで抽出して、動きベクトル検出部１０３の４個の動きベクトル検出器１０３１（＃１Ｂ〜＃４Ｂ）のそれぞれへ出力する。

最初の参照ブロック時分割読み出し指示で参照画像メモリ１２から読み出される参照ブロックのデータは、最初の参照ブロック読み出し指示と同様に、符号化画像メモリ１１から読み出される符号化ブロックのデータと同じ画素数分のデータとなる。例えば、符号化ブロックが１６×１６画素で、部分探索領域が１６×２００画素だった場合、参照ブロック時分割読み出し指示では、１６×２００画素中の一番上から１６行分の１６×１６画素の参照ブロックのデータを読み出す。２回目以降の参照ブロック時分割読み出し指示では、参照ブロックを垂直（上）方向に１ラインシフトして、次のラインの１６画素分の参照ブロックのデータを読み出して一番下のラインに組み入れ、部分探索領域の最後のラインに達するまで１ラインずつ更新させる。ただし、図２のように、複数、すなわち３つの１６×２００画素の部分探索領域の集合を１つの部分探索領域に再編成しているような場合、１つの１６×２００画素の部分探索領域を読み出し終わるごとに、次の１６×２００画素の部分探索領域があれば、その最初では最初の参照ブロック時分割読み出し指示を受けたときと同様に、その一番上から１６行分の１６×１６画素の参照ブロックのデータを読み出すことを繰り返す。

また、動きベクトル検出制御部１０５は、参照ブロック読み出し指示に対応した部分探索領域に割り当てられた動きベクトル検出部１０３の各動きベクトル検出器１０３１に、参照画像を更新するように指示する（参照ブロック更新指示）。各動きベクトル検出器１０３１は、参照ブロック更新指示を受けると、符号化ブロックのデータに対する参照ブロックのデータの評価値と動きベクトルを算出して出力するとともに、参照ブロックを１ライン垂直方向にシフトさせて、その２ライン目以降のデータに参照ブロック読み出し指示で第１の部分探索領域群メモリ制御部１０２２から出力された参照ブロックの次のラインのデータを組み入れて参照ブロックのデータを更新する。

同様に、動きベクトル検出制御部１０５は、参照ブロック時分割読み出し指示に対応した部分探索領域に割り当てられた動きベクトル検出部１０３の各動きベクトル検出器１０３１に、参照画像を更新するように指示する（参照画像時分割更新指示）。各動きベクトル検出器１０３１は、参照ブロック更新指示を受けると、符号化ブロックのデータに対する参照ブロックのデータの評価値と動きベクトルを算出して出力するとともに、参照ブロックを１ライン垂直方向にシフトさせて、その２ライン目以降のデータに参照ブロック時分割読み出し指示で第２の部分探索領域群メモリ制御部１０２４から出力された参照ブロックの次のラインのデータを組み入れて参照ブロックのデータを更新する。

ここで、動きベクトル検出部１０３の各動きベクトル検出器１０３１が算出する符号化ブロックのデータに対する参照ブロックのデータの評価値は、例えばこれら２つのブロック間の対応する画素の差分絶対値和や差分自乗和などを評価演算に適用することができ、この場合、小さい評価値をとる方が２ブロック間の相関が高いものと判断される。

さらに、動きベクトル検出制御部１０５は、動きベクトル判定部１０４に、参照ブロック更新指示および参照ブロック時分割更新指示で各動きベクトル検出器１０３１から出力された評価値と動きベクトルを判定するよう指示する（動きベクトル判定指示、時分割動きベクトル判定指示）。動きベクトル判定部１０４は、動きベクトル判定指示および時分割動きベクトル判定指示を受けると、評価値の示す相関の高さを判定し、ベクトル探索領域で最も相関の高い評価値に対応する動きベクトルを出力する。

図３は、動きベクトル判定部１０４の詳細構成の一例を示すブロック図である。図において、セレクタ１０４１は、動きベクトル検出部１０３の複数の動きベクトル検出器１０３１のそれぞれから出力される動きベクトルと評価値を、動きベクトル判定指示および時分割動きベクトル判定指示により順次１組ずつ選択して出力する。比較器１０４２は、セレクタ１０４１が出力する評価値とこれまでに最高の相関を示した評価値がそれぞれ示す相関の高さを比較した判定結果を出力する。評価値メモリ１０４３は、ベクトル探索領域内で過去に最高の相関を示した評価値を記憶し、記憶された評価値の相関の高さよりセレクタ１０４１が出力する評価値の相関の高さが高いと比較器１０４２が判定したとき、最高の相関を示した評価値をセレクタ１０４１が出力する評価値に更新して記憶する。動きベクトルメモリ１０４４は、これまでに最高の相関を示した評価値に対応する動きベクトルを記憶し、評価値メモリ１０４３が記憶する評価値を更新するとき、その更新される評価値に対応する動きベクトルに更新して記憶する。このように、動きベクトル判定部１０４は、符号化画像の符号化ブロックに対して、参照画像に設けられたベクトル探索領域のすべての探索点の参照ブロックの評価値を判定することで、最も相関の高い参照ブロックに対応する動きベクトルを出力する。

なお、ここでは、動きベクトル判定部１０４において、動きベクトル判定指示および時分割動きベクトル判定指示により動きベクトルと評価値を１組ずつセレクタ１０４１が選択して出力すると説明したが、図３の構成を２組用意し、第１の部分探索領域群の動きベクトル判定指示および第２の部分探索領域群の時分割動きベクトル判定指示により動きベクトルと評価値をそれぞれ判定し、第１、第２の部分探索領域群において最高の相関を示した評価値を最終比較する比較器と、より高い相関を示した評価値に対応する動きベクトルを最後に選択するセレクタを追加してもよい。

また、動きベクトル検出制御部１０５からの動きベクトル判定指示および時分割動きベクトル判定指示が重なってしまうことがあれば、セレクタ１０４１の入力前に動きベクトルと評価値を一時記憶して読み出しが重ならないように制御してもよい。

このような手順で、参照画像に設けられたベクトル探索領域から、符号化ブロックに対して相関の高い参照ブロックに対応する動きベクトルを検出して出力すると、動きベクトル検出制御部１０５は、再び符号化画像メモリ制御部１０１に符号化画像メモリ１１から符号化ブロックのデータの読み出しを符号化ブロック読み出し指示により指示し、符号化ブロックのデータを更新させる。更新された符号化ブロックに対して、一連の動きベクトルの検出処理を最後の符号化ブロックに対する動きベクトルを検出するまで繰り返し実行する。

この発明の実施の形態１では、参照ブロック読み出し指示および参照ブロック時分割読み出し指示による参照ブロックを読み出すデータ単位、また、そのデータの読み出しに伴う参照ブロック更新指示および参照ブロック時分割更新指示による参照ブロックを更新するデータ単位は、１ラインとして説明したが、ベクトル探索領域内のベクトル探索点の密度次第では、１ラインに限らず、例えば２ラインなど複数ラインずつを更新しても構わない。

また、この発明の実施の形態１では、図２のように、例えばベクトル探索領域を参照ブロックの幅である１６画素の幅で短冊状に分割するものとして説明したが、ベクトル探索点の水平間隔が１６画素より大きければ、部分探索領域は接した配置にならないこともありうる。また、逆に、ベクトル探索点の水平間隔が１６画素より小さければ、隣接する部分探索領域が重なる配置になることもある。ここで、部分探索領域の幅を参照ブロックの幅として、垂直方向のみにシフトして更新する構成としたため、部分探索領域に水平方向および水平方向の２次元にベクトル探索点が配置される場合に比較して回路を単純にできる。

以上のように、この発明の実施の形態１によれば、参照画像に設けられたベクトル探索領域を部分探索領域に分割し、所定数の探索点を含む第１の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を並列に動作させ、所定数未満の探索点を含む部分探索領域は、１つまたは複数の部分探索領域を組み合わせで所定数以下の探索点を含む部分探索領域の集合に再編成した第２の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を別途並列に動作させることで、動作周波数はそのままで、回路規模の増大を最小限に抑えて求める性能を得ることができ、装置の小型化や低消費電力化を実現することができる効果がある。

また、この発明の実施の形態１によれば、特に動きベクトル検出部の動きベクトル検出器で参照ブロックを垂直方向または水平方向の一方向のみにシフトさせる構成とすることで、より簡易な構成でベクトル探索を行うことができる。

実施の形態２．
この発明の実施の形態１では、図２のように、参照領域に設定されたベクトル探索領域を部分探索領域に分割し、所定数未満のベクトル探索点を含む部分探索領域を再編成した第２の部分探索領域群の部分探索領域が、隣接しない部分探索領域の集合である場合について説明した。

この発明の実施形態２では、再編成した第２の部分探索領域群の部分探索領域が、隣接する部分探索領域の集合である場合について説明する。

この発明の実施形態２における動きベクトル検出装置の構成の一例を示すブロック図は、この発明の実施の形態１と同様に図１で説明される。

図４は、参照画像メモリ制御部１０２がベクトル探索領域を分割して複数の部分探索領域を構成する一例を示す説明図である。図において、参照領域に設定されたベクトル探索領域を部分探索領域に分割し、所定数、すなわち６００探索点未満のベクトル探索点を含む部分探索領域を再編成した第２の部分探索領域群の部分探索領域が、隣接する部分探索領域の集合となる場合を示している。

ここに示した図４のベクトル探索領域の部分探索領域の分割および再編成の例では、図２の例における部分探索領域の再編成の手法は異なるが、第１、第２の部分探索領域群に対応する各部分探索領域をそれぞれ同数のベクトル探索点を含む同一形状・大きさとしたため、各部分探索領域の画像データへのアドレス生成を容易にして、効率的にアクセスすることができる。このように、第１、第２の部分探索領域群に対応する各部分探索領域で、それぞれ並列にベクトル探索を行いやすい構成をとることができるようになり、ベクトル探索領域を単一・均等に分割して部分探索領域を設ける場合よりも装置の小型化や省消費電力化の効果が得られる。

動きベクトル検出制御部１０５による各部の制御と、制御される各部の動作の一例について説明する。ここでは、図４で説明したように、ベクトル探索領域が部分探索領域に分割および再編成されるものとして説明する。

動きベクトル検出制御部１０５によるベクトル探索領域分割指示、符号化ブロック読み出し指示、参照ブロック読み出し指示、参照ブロック更新指示、動きベクトル判定指示および時分割動きベクトル判定指示に伴う各部の制御は、この発明の実施の形態１において説明した動作と同様である。

部分探索領域再編成部１０２３は、探索領域分割部１０２１が６００探索点を含む部分探索領域を分割したときに発生した６００未満の探索点を含む大きさの部分探索領域を１つまたは複数を組み合わせて、６００以下の探索点数を含む大きさの部分探索領域に再編成する。ここでは、２００探索点を含む大きさの部分探索領域を３つずつ組み合わせて、４個の６００探索点を含む部分探索領域に再編成するものとする。図４では、隣り合う３つの２００探索点を含む同一形状・大きさの部分探索領域を組み合わせた４組の集合をそれぞれ部分探索領域として再編成する例を示している。この４個の部分探索領域のそれぞれに動きベクトル検出器１０３１（＃１Ｂ〜＃４Ｂ）を割り当ててベクトル探索を行う。

ここでは、第２のベクトル探索領域群の部分探索領域は４８×２００画素となるが、再編成して集合とした１６×２００画素の部分探索領域ごとに３回処理するものとすれば、参照ブロック時分割読み出し指示、参照ブロック時分割更新指示に伴う各部の制御は、この発明の実施の形態１において説明した動作と同様に説明できる。

以上のように、この発明の実施の形態２によれば、実施の形態１と同様に、参照画像に設けられたベクトル探索領域を部分探索領域に分割し、所定数の探索点を含む第１の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を並列に動作させ、所定数未満の探索点を含む部分探索領域は、１つまたは複数の部分探索領域を組み合わせで所定数以下の探索点を含む部分探索領域の集合に再編成した第２の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を別途並列に動作させることで、動作周波数はそのままで、回路規模の増大を最小限に抑えて求める性能を得ることができ、装置の小型化や低消費電力化を実現することができる効果がある。

また、この発明の実施の形態２によれば、実施の形態１と同様に、特に動きベクトル検出部の動きベクトル検出器で参照ブロックを垂直方向または水平方向の一方向のみにシフトさせる構成とすることで、より簡易な構成でベクトル探索を行うことができる。

実施の形態３．
この発明の実施の形態１および実施の形態２では、部分探索領域のベクトル探索点に基づく参照ブロックを垂直方向にライン単位で更新していく例について説明した。

この発明の実施の形態３では、部分探索領域において、ベクトル探索点がより密に配置されて水平方向にも並ぶ場合について説明する。

単純には、水平方向に並ぶベクトル探索点を独立に扱い、垂直方向にのみ並べた部分探索領域を設定することもできる。この場合、この発明の実施の形態１および実施の形態２のように、動きベクトル検出制御部１０５は、
参照ブロックを垂直方向に更新させたときに必要になるラインデータを第１の部分探索領域群メモリ制御部１０２２、第２の部分探索領域群メモリ制御部１０２４に読み出させる参照ブロック読み出し指示、参照ブロック時分割読み出し指示、動きベクトル検出部１０３の動きベクトル検出器１０３１に参照ブロックを垂直方向にシフトさせるための参照ブロック更新指示、参照ブロック時分割更新指示により、ベクトル探索点の垂直方向の間隔のライン数の単位でシフトして垂直方向に更新するだけとなるが、動きベクトル検出器１０３１の実装数が増え、回路規模は増大してしまう。よって、ベクトル探索点に対応する参照ブロックを水平方向にシフトして移動させることで対応することも有効である。

部分探索領域内の同一ラインのベクトル探索点を処理する際に、動きベクトル検出制御部１０５は、参照ブロックを水平方向に右シフトさせたときに必要になるカラムデータを第１の部分探索領域群メモリ制御部１０２２、第２の部分探索領域群メモリ制御部１０２４に読み出させる参照ブロック列読み出し指示、参照ブロック列時分割読み出し指示、動きベクトル検出部１０３の動きベクトル検出器１０３１に参照ブロックを水平方向にシフトさせるための参照ブロック列更新指示、参照ブロック列時分割更新指示を出力して指示する。また、動きベクトル検出制御部１０５は、部分探索領域が含むベクトル探索点数を数えながら、参照ブロックが部分探索領域で参照する最終カラムまで右シフトし終わると、部分探索領域の左側に参照ブロックの再設定を指示するとともに、参照ブロック読み出し指示、参照ブロック時分割読み出し指示、および参照ブロック更新指示、参照ブロック時分割更新指示を出力して参照ブロックの更新を指示する。このように、参照ブロックを垂直方向に更新するとともに、その間に右シフトして水平方向に更新しながら部分探索領域内のベクトル探索点を探索することを繰り返す。

この発明の実施の形態３では、参照ブロック列読み出し指示および参照ブロック列時分割読み出し指示による参照ブロックを読み出すデータ単位、また、そのデータの読み出しに伴う参照ブロック列更新指示および参照ブロック列時分割更新指示による参照ブロックを更新するデータ単位は、ベクトル探索領域内のベクトル探索点の密度次第では、１カラムに限らず、例えば２カラムなど複数カラムずつを更新しても構わない。

以上のように、この発明の実施の形態３によれば、実施の形態１および実施の形態２と同様に、参照画像に設けられたベクトル探索領域を部分探索領域に分割し、所定数の探索点を含む第１の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を並列に動作させ、所定数未満の探索点を含む部分探索領域は、１つまたは複数の部分探索領域を組み合わせで所定数以下の探索点を含む部分探索領域の集合に再編成した第２の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を別途並列に動作させることで、動作周波数はそのままで、回路規模の増大を最小限に抑えて求める性能を得ることができ、装置の小型化や低消費電力化を実現することができる効果がある。

また、この発明の実施の形態３によれば、動きベクトル検出部の動きベクトル検出器で参照ブロックを水平方向および垂直方向にシフトさせる構成とすることで、部分探索領域に様々な密度の異なるベクトル探索点を設定された場合でもベクトル探索に対応できる。部分探索領域が含むベクトル探索点の密度を高くすることで、より相関の高い動きベクトル検出が可能となり、例えば動きベクトルを利用した予測符号化された画像を復号した際に画質の向上を図ることができる。

実施の形態４．
この発明の実施の形態１では、動きベクトル判定部１０４は、動きベクトル判定指示および時分割動きベクトル判定指示を受けると、各動きベクトル検出器１０３１から出力される評価値の示す相関の高さを判定し、ベクトル探索領域で最も相関の高い評価値に対応する動きベクトルを出力する場合について説明した。

この発明の実施形態４では、動きベクトル判定部１０４は、動きベクトル判定指示および時分割動きベクトル判定指示を受けると、各動きベクトル検出器１０３１から出力され、判定オフセットを反映させた評価値の示す相関の高さを判定し、ベクトル探索領域で最も相関の高い評価値に対応する動きベクトルを出力する場合について説明する。

図５は、動きベクトル判定部１０４の詳細構成の一例を示すブロック図である。図において、セレクタ１０４１は、動きベクトル検出部１０３の複数の動きベクトル検出器１０３１のそれぞれから出力される動きベクトルと評価値を、動きベクトル判定指示および時分割動きベクトル判定指示により１組ずつ選択して出力する。オフセットメモリ１０４５は、動きベクトルに基づく判定オフセットを記憶する。演算器１０４６は、セレクタ１０４１が出力した評価値に、その評価値に対応してセレクタ１０４１が出力した動きベクトルに基づきオフセットメモリ１０４５が出力した判定オフセットを反映させた評価値を出力する。比較器１０４２は、演算器１０４６が判定オフセットを反映させた評価値とこれまでに最高の相関を示した評価値がそれぞれ示す相関の高さを比較した判定結果を出力する。評価値メモリ１０４３は、ベクトル探索領域内で過去に最高の相関を示した評価値を記憶し、記憶された評価値の相関の高さより演算器１０４６が判定オフセットを反映させた評価値の相関の高さが高いと比較器１０４２が判定したとき、最高の相関を示した評価値を演算器１０４６が判定オフセットを反映させた評価値に更新して記憶する。動きベクトルメモリ１０４４は、これまでに最高の相関を示した評価値に対応する動きベクトルを記憶し、評価値メモリ１０４３が記憶する評価値を更新するとき、その更新される演算器１０４６が判定オフセットを反映させた評価値に対応する動きベクトルに更新して記憶する。

オフセットメモリ１０４５が記憶する判定オフセットは、例えば、動きベクトル長または動きベクトルの符号長に基づいて評価値に反映させる値が設定される。判定オフセットは、判定オフセットを評価値に加減したり、判定オフセットを重みとして乗じたりすることで評価値に反映させる。例えば、動きベクトル長に基づいて判定オフセットを選択する場合には、動きベクトルが長いとき、符号化ブロックと参照ブロックの位置関係は遠いので、評価値に乗じる重みが小さくなるようにし、位置関係の近い参照ブロックが選ばれやすくすることで、動きベクトルの符号長が短くなることが期待できる。また、動きベクトルの符号長に基づいて判定オフセットを選択する場合には、動きベクトルの符号長が長くなるとき、評価値に乗じる重みが小さくなるようにすることで、動きベクトルの符号長が短い参照ブロックが選ばれやすくなることが期待できる。このように、短い符号長の動きベクトルが選ばれることで付加情報に費やすビットレートを少なくし、符号化する差分情報に配分するビットレートを高くすることで画質を向上させることができる。評価値に判定オフセットを加減する場合にも、同様な効果を得ることができる。

以上のように、この発明の実施の形態４によれば、実施の形態１ないし実施の形態３と同様に、参照画像に設けられたベクトル探索領域を部分探索領域に分割し、所定数の探索点を含む第１の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を並列に動作させ、所定数未満の探索点を含む部分探索領域は、１つまたは複数の部分探索領域を組み合わせで所定数以下の探索点を含む部分探索領域の集合に再編成した第２の部分探索領域群の部分探索領域に割り当てた動きベクトル検出器を別途並列に動作させることで、動作周波数はそのままで、回路規模の増大を最小限に抑えて求める性能を得ることができ、装置の小型化や低消費電力化を実現することができる効果がある。

また、この発明の実施の形態４によれば、符号化ブロックに対する参照ブロックの評価値に動きベクトルに基づく判定オフセットを反映させることで、動きベクトル選択の制御をすることができ、例えば、動きベクトルを利用した予測符号化された画像を復号した際に画質の向上を図ることができる。

実施の形態５．
この発明の実施の形態５では、先に説明したこの発明の実施の形態１ないし実施の形態４のいずれかの動きベクトル検出装置を備えた動画像符号化装置について説明する。

図６は、この発明の実施の形態５における動画像符号化装置に係る構成の一例を示すブロック図である。図において、動きベクトル検出装置１０、符号化画像メモリ１１、参照画像メモリ１２は、この発明の実施の形態１に係る図１で説明したものと同一のものである。予測画像生成部１３は、動きベクトル検出装置が検出した動きベクトルに基づいて、参照画像の参照ブロックのデータを予測画像データとして生成する。減算器１４は、符号化画像の符号化ブロックのデータと予測画像データの差分画像データを演算する。直交変換・量子化部１５は、差分画像データを直交変換し、変換係数を量子化する。符号化部１６は、量子化された変換係数を符号化する。逆量子化・逆直交変換部１７は、量子化された変換係数を逆量子化し、逆直交変換して復号差分画像データとする。加算器１８は、復号差分データと予測画像生成部１３が生成した予測画像データを加算して復号画像データを演算する。この復号画像データは、参照画像メモリ１２に蓄積される。

なお、直交変換・量子化部１５と逆量子化・逆直交変換部１７の対は、量子化部と逆量子化部の対、または直交変換部と逆直交変換部の対のみに置き換えてもよい。動きベクトル検出装置１０は、この発明の実施の形態１ないし実施の形態４に係る動きベクトル検出装置１０のいずれを適用しても構わない。

以上のように、この発明の実施の形態５によれば、実施の形態１ないし実施の形態４のいずれかに係る動きベクトル検出装置を適用することで、動画像を符号化する際に、動作周波数はそのままで、回路規模の増大を最小限に抑えて求める性能を得ることができ、装置の小型化や低消費電力化を実現する動画像符号化装置を得る効果がある。

また、この発明の実施の形態５によれば、実施の形態４に係る動きベクトル検出装置を適用することで、符号化ブロックに対する参照ブロックの評価値に動きベクトルの長さや符号長に基づく判定オフセットを反映させることで、動きベクトルの選択を制御して、より相関の高い動きベクトルを検出することで、動画像をより良好な画質を保って符号化する動画像符号化装置を得る効果がある。

この発明の実施の形態１における動きベクトル検出装置に係る構成の一例を示すブロック図である。この発明の実施の形態１における参照画像メモリ制御部によるベクトル探索領域の分割の一例を示すブロック図である。この発明の実施の形態１における動きベクトル判定部に係る構成の一例を示すブロック図である。この発明の実施の形態２における参照画像メモリ制御部によるベクトル探索領域の分割の一例を示すブロック図である。この発明の実施の形態４における動きベクトル判定部に係る構成の一例を示すブロック図である。この発明の実施の形態５における動画像符号化装置に係る構成の一例を示すブロック図である。

符号の説明

１０動きベクトル検出装置
１１符号化画像メモリ
１２参照画像メモリ
１３予測画像生成部
１４減算器
１５直交変換・量子化部
１６符号化部
１７逆量子化・逆直交変換部
１８加算器
１０１符号化画像メモリ制御部
１０２参照画像メモリ制御部
１０３動きベクトル検出部
１０４動きベクトル判定部
１０５動きベクトル検出制御部
１０２１探索領域分割部
１０２２第１の部分探索領域群メモリ制御部
１０２３部分探索領域再編成部
１０２４第２の部分探索領域群メモリ制御部
１０３１動きベクトル検出器
１０４１セレクタ
１０４２比較器
１０４３評価値メモリ
１０４４動きベクトルメモリ
１０４５オフセットメモリ
１０４６演算器

Claims

符号化画像における符号化ブロックのデータを抽出して出力する符号化画像メモリ制御部と、
参照画像に設けられたベクトル探索領域を所定数のベクトル探索点を含む大きさの複数の部分探索領域と前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域に分割する探索領域分割部と、
この探索領域分割部が分割した参照画像における前記所定数のベクトル探索点を含む大きさの複数の部分探索領域を第１の部分探索領域群とし、この第１の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを前記参照画像から抽出して出力する第１の部分探索領域群メモリ制御部と、
前記探索領域分割部が分割した参照画像における前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を、ベクトル探索点の数の合計が前記所定数を超えないように組み合わせて複数の部分探索領域を再編成する部分探索領域再編成部と、
この部分探索領域再編成部が前記所定数未満のベクトル探索点を含む大きさの複数の部分探索領域を組み合わせて再編成した複数の部分探索領域を第２の部分探索領域群とし、この第２の部分探索領域群の各部分探索領域が含むベクトル探索点に基づく参照ブロックのデータを前記参照画像から抽出して出力する第２の部分探索領域群メモリ制御部と、
前記第１の部分探索領域群メモリ制御部および前記第２の部分探索領域群メモリ制御部が出力する各部分探索領域に含まれるベクトル探索点に基づく参照ブロックのデータについて、前記符号化画像メモリ制御部が出力する符号化ブロックのデータに対する相関を示す評価値と動きベクトルの組を算出する、前記第１の部分探索領域群メモリ制御部および前記第２の部分探索領域群メモリ制御部の部分探索領域ごとに割り当てる複数の動きベクトル検出器を有する動きベクトル検出部と、
この動きベクトル検出部の各動きベクトル検出器が出力する評価値によって示される相関の高さに基づいて、前記参照画像に設けられた探索領域が含む各ベクトル探索点における参照ブロックの評価値を判定して、最終判定された評価値に対応する動きベクトルを出力する動きベクトル判定部と、
前記符号化画像メモリ制御部と前記探索領域分割部と前記第１の部分探索領域群メモリ制御部と前記第２の部分探索領域群メモリ制御部と前記動きベクトル検出部と動きベクトル判定部の処理を制御する動きベクトル検出制御部と
を備えた動きベクトル検出装置。
前記動きベクトル判定部は、前記動きベクトル検出部が出力する動きベクトルの長さに基づくオフセットを該動きベクトルに対応する評価値に加減して、オフセットを加減された各評価値を判定することを特徴とする請求項１記載のベクトル検出装置。
前記動きベクトル判定部は、前記動きベクトル検出部が出力する動きベクトルの長さに基づくオフセットを重みとして該動きベクトルに対応する評価値に乗算して、オフセットを乗算された各評価値を判定することを特徴とする請求項１記載のベクトル検出装置。
前記動きベクトル判定部は、前記動きベクトル検出部が出力する動きベクトルの符号長に基づくオフセットを該動きベクトルに対応する評価値に加減して、オフセットを加減された各評価値を判定することを特徴とする請求項１記載のベクトル検出装置。
前記動きベクトル判定部は、前記動きベクトル検出部が出力する動きベクトルの符号長に基づくオフセットを重みとして該動きベクトルに対応する評価値に乗算して、オフセットを乗算された各評価値を判定することを特徴とする請求項１記載のベクトル検出装置。
請求項１ないし請求項４記載のいずれかのベクトル検出装置
を備え、
現符号化画像より以前に符号化された符号化画像の符号データを復号した復号画像を参照画像として、この参照画像と前記現符号化画像に対して前記ベクトル検出装置が出力した動きベクトルに基づいて予測画像を生成し、この予測画像と前記現符号化画像との差分を符号化する動画像符号化装置。