JP2019070974A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】画像の領域同士の相対角度を少ない計算量で算出する技術を提供する。【解決手段】画像処理装置は、第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように前記近似用関数の係数を算出して該係数を第１係数とし、第２領域に含まれる画素の輝度値を前記近似用関数で近似するように前記近似用関数の係数を算出して該係数を第２係数とする決定部と、前記第１係数を用いて前記近似用関数の方向を示す第１回転角度を求め、前記第２係数を用いて前記近似用関数の方向を示す第２回転角度を求め、前記第１回転角度と前記第２回転角度との相対角度を算出する算出部と、を有する。【選択図】図１

Description

本発明は画像処理技術に関する。

動画像を圧縮する重要な技術の一つとしてフレーム間予測符号化がある。フレーム間予測符号化では、符号化するフレーム（以下「対象フレーム」という）とは異なる時刻の符号化処理済のフレーム（以下「参照フレーム」という）を基に対象フレームの画像を予測し、対象フレームの実際の画像と予測した画像の差分を符号化する。対象フレームの符号化処理済のフレームとの差分を符号化することによりフレームのデータ量を削減することができる。

フレーム間予測符号化では、フレームを複数に分割したブロック単位で以下の（１）〜（３）の処理が行われる。

（１）対象フレーム内のブロック（以下「対象ブロック」という）に類似するブロック（以下「参照ブロック」という）を参照フレーム内から画像マッチング技術を用いて探索する。

（２）対象ブロックと探索で得られた参照ブロックとの差分画像を求める。

（３）探索で得られた参照ブロックから対象ブロックへの動きを示す動きベクトルを求める。

このようにして圧縮された動画像のフレームを復号するとき、参照ブロックと差分画像と動きベクトルから対象ブロックの画像を復元することができる。

上述したように上記（１）では、対象ブロックと類似する参照ブロックを探索する際に画像マッチング技術が用いられる。画像マッチング技術として特徴ベースマッチングや領域ベースマッチングといった様々な方式が知られている。動画像内での物体の動きには移動や伸縮（スケール変化）の他に回転が含まれる。上記（１）にて、動画像内で回転する物体が存在するブロック同士を互いに類似すると判断するために、対象ブロックと参照ブロックの相対角度を算出することが求められる。また、上述したように、上記（３）にて算出する参照ブロックから対象ブロックへの動きには、移動、伸縮、および回転が含まれる。そのため対象ブロックと参照ブロックの相対角度を算出する必要がある。

特許文献１には動画像圧縮における動きを算出する技術が開示されている。画像平面上の現フレ−ムの既知の領域の３点とこれらの３点について探索された３つの平行移動ベクトルを用いて前フレ−ムの領域の３点の座標を求める。さらに、現フレ−ムおよび前フレ−ムの領域の６点の位置座標より各々のベクトルの水平と垂直成分を算出し、それらのベクトルのｘ、ｙ成分より、水平と垂直方向の回転角度、伸縮倍率、平行移動量の６個のアフィン変換パラメータを算出する。

また、非特許文献１には、画像のスケール変化や回転に関連する技術が開示されている。画像ブロックに含まれる画素の勾配に関するヒストグラムを作成し、ヒストグラムの最大値となるピークをキーポイントのオリエンテーションとして割り当てる。そして、キーポイントのオリエンテーション方向に画像を回転する。

特開平９−９８４２４号公報

Gradientベースの特徴抽出-SIFTとHOG- 藤吉弘亘 情報処理学会 研究報告CVIM 160, pp. 211-224, September, 2007.

特許文献１に開示された技術および非特許文献１に開示された技術では、対象ブロックと参照ブロックとの相対角度を求める処理は複雑な演算を伴い、処理負荷が大きいという問題があった。

本発明の目的は、画像の領域同士の相対角度を少ない計算量で算出する技術を提供することである。

本発明の一つの態様による画像処理装置は、第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように前記近似用関数の係数を算出して該係数を第１係数とし、第２領域に含まれる画素の輝度値を前記近似用関数で近似するように前記近似用関数の係数を算出して該係数を第２係数とする決定部と、前記第１係数を用いて前記近似用関数の方向を示す第１回転角度を求め、前記第２係数を用いて前記近似用関数の方向を示す第２回転角度を求め、前記第１回転角度と前記第２回転角度との相対角度を算出する算出部と、
を有する。

本発明によれば、相対角度を算出する対象の領域をそれぞれ曲面で近似し、２つの近似曲面の方向（第１回転角度および第２回転角度）の相対角度を第１領域と第２領域の相対角度とするので、複雑な演算を必要とせず、少ない計算量で領域間の相対角度を算出することができる。

実施例１による画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 探索処理の一実施例を説明するための図である。 実施例１における対象領域の抽出処理について説明するための図である。 回転処理の一実施例を説明する図である。 実施例１によるブロックマッチング処理を示すフローチャートである。 実施例１の変形例２における対象領域の抽出処理について説明するための図である。 実施例１の変形例３によるブロックマッチング処理を示すフローチャートである。 実施例２による画像処理装置の機能構成を示すブロック図である。 実施例２によるブロックマッチング処理を示すフローチャートである。 実施例２によるブロックマッチング処理を示すフローチャートである。 実施例３による符号化装置の機能構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

実施例１の画像処理装置１はブロックマッチングを行うブロックマッチング装置である。ブロックマッチングは、２つのフレームのそれぞれに存在する互いに類似するブロックを探索する処理である。ここで類似するとは、例えば、画像の類似度が所定値以上であることをいう。

ブロックマッチング装置は、例えば、動画像のフレーム間予測符号化に利用可能である。符号化の対象フレームと符号化済の参照フレームとに存在しうる互いに類似するブロックを探索するのに利用することができる。また、ブロックマッチング装置は、ある静止画フレーム（対象フレーム）に映り込んでいる物体を他の静止画フレーム（参照フレーム）の画像から見つけ出すのに利用することができる。

図１は、実施例１による画像処理装置の機能構成を示すブロック図である。図２は、画像処理装置のハードウェア構成を示すブロック図である。

図１を参照すると、画像処理装置１は、制御部１０と、記憶部２０とを備える。記憶部２０には、フレーム情報２１と、類似度情報２２とが格納される。フレーム情報２１は、動画を構成する各フレームの画像データである。類似度情報２２は、後述するブロックマッチングの処理で算出された、領域間の類似度を示す情報である。制御部１０は、記憶部２０に格納されたフレーム情報２１を用いてブロックマッチングを行い、その処理で算出した類似度を類似度情報２２として記憶部２０に記録する。

図２を参照すると、画像処理装置１のハードウェアは一例としてコンピュータ装置４００である。コンピュータ装置４００は、制御回路４０１と、記憶装置４０２と、読書装置４０３と、記録媒体４０４と、通信インターフェイス４０５と、入出力インターフェイス４０６と、入力装置４０７と、表示装置４０８とを有している。制御回路４０１、記憶装置４０２、読書装置４０３、通信インターフェイス４０５、入出力インターフェイス４０６、および表示装置４０８はバス４１０により互いに接続される。記録媒体４０４は読書装置４０３に接続される。入力装置４０７は入出力インターフェイス４０６に接続される。また通信インターフェイス４０５はネットワーク４０９と接続される。

制御回路４０１は、コンピュータ装置４００全体を制御する。制御回路４０１は一例としてプロセッサである。制御回路４０１は、記憶装置４０２に記録された不図示の画像処理プログラムを実行することにより、図１に示した制御部１０として動作する。

記憶装置４０２は、制御回路４０１を制御部１０として機能させる画像処理プログラムを記憶する。また、記憶装置４０２は、制御回路４０１が動作するための各種データを記憶する。また、記憶装置４０２は、図１における記憶部２０として機能する。

読書装置４０３は、着脱可能な記録媒体４０４からデータを読み出し、また記録媒体４０４へデータを書き込む。

記録媒体４０４は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤＣｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ：登録商標）、およびフラッシュメモリなどの非一時的記録媒体である。記録媒体４０４は、例えば、コンピュータ装置４００に与えるデータ、コンピュータ装置４００で生成されたデータ、およびコンピュータ装置４００で取得されたデータを格納する。また、記録媒体４０４は、図１に示した記憶部２０内の情報を記憶してもよい。

通信インターフェイス４０５は、ネットワーク４０９を介してコンピュータ装置４００と不図示の他の装置とを通信可能に接続する。

入出力インターフェイス４０６は、入力装置４０７等の各種入出力装置と接続するインターフェイスである。入出力インターフェイス４０６は、入力装置４０７から入力された信号を、バス４１０を介して制御回路４０１に出力する。また、入出力インターフェイス４０６は、制御回路４０１から出力された信号を、バス４１０を介して入出力装置に出力する。入力装置４０７は入出力装置の例である。

入力装置４０７は、キーボード、マウス等の入力装置である。入力装置４０７は、ユーザによる情報の入力操作を受け付け、入力された情報に対応する信号を入出力インターフェイス４０６に出力する。例えば、ユーザが入力装置４０７にブロックマッチングの開始の指示を入力すると、入力装置４０７は指示を示す信号を入出力インターフェイス４０６に出力する。

表示装置４０８は、制御回路４０１からの制御により各種情報を画面に表示する。

ネットワーク４０９は、コンピュータ装置４００と他の装置を通信可能に接続する。

以下、図１の制御部１０の詳細について説明する。

図１を参照すると、制御部１０は、探索部１１と、抽出部１２と、決定部１３と、算出部１４と、回転部１５とを含む。

探索部１１は、探索処理を行う。探索処理は、対象フレーム内の対象ブロックと類似度を判定する参照ブロックを、参照フレーム内で所定量ずつスライドさせながら切り替えていき、対象ブロックと類似する参照ブロックを探索する処理である。

図３は、探索処理の一実施例を説明するための図である。探索部１１は、フレーム情報２１を参照し、対象フレーム１００（第１画像）に含まれる１つの矩形のブロックを類似度判定の対象ブロック１０１（第１ブロック）として選択する。例えば、探索部１１は、対象ブロック１０１として、対象フレーム１００内を左から右へ上から下へ順次選択していくことにしてもよい。

次に、探索部１１は、対象ブロック１０１との類似度を判定する参照ブロック２０１を参照フレーム２００（第２画像）の探索領域２０２内で設定する。探索部１１は、探索領域２０２上で矢印２０４の方向にスライドさせながら参照ブロック２０１を順次切り替えていく。本実施例では、探索領域２０２、すなわち参照ブロック２０１を設定する領域を、対象ブロック１０１の周辺の所定範囲にある探索領域１０２に相当する範囲に限定している。これにより、移動量が過度となるブロックを対象ブロック１０１との類似度を算出する候補から除外し、探索処理の処理量を抑制することができる。本実施例では対象ブロック１０１の周囲の所定範囲を探索領域１０２とする。参照フレーム２００には、探索領域１０２と同じ大きさでかつ対応する座標に位置する探索領域２０２が設定される。探索領域１０２、２０２は、ブロックマッチング処理の対象となる領域であり、任意の大きさに設定することができる。

次に、探索部１１は、後述する回転部１５が対象領域１０３（第１領域）と参照領域２０３（第２領域）とを相対的に回転させる回転処理の結果を用いて、後述する算出部１４により算出される対象領域１０３と参照領域２０３との類似度に基づき、対象領域１０３と類似する参照領域２０３に対応する参照ブロック２０１を決定する。例えば、探索部１１は、探索領域２０２の全体にわたる参照ブロック２０１が順次選択されていき、探索領域２０２に含まれる全ての参照ブロック２０１について対象ブロック１０１との類似度が類似度情報２２に保存されると、保存された類似度の中から最も高い類似度と、その最も高い類似度に対応する参照領域２０３とを抽出すればよい。抽出された参照領域２０３に対応する参照ブロック２０１が探索部１１による探索結果である。なお、探索部１１は、算出部１４により１以上の類似度が算出され、求められた類似度の中で所定値以上の類似度があるとき、その類似度に対応する参照領域２０３を抽出してもよい。また、探索部１１は、所定値以上の類似度が複数あるとき、その中で最も高い類似度に対応する参照領域２０３を抽出してもよい。

抽出部１２は、探索部１１が対象ブロック１０１との類似度を判定する参照ブロック２０１を参照フレーム２００の探索領域２０２内で設定すると、矩形である対象ブロック１０１の重心を中心とし、対象ブロック１０１に内包される最大の円を画素で表現する領域を対象領域１０３として抽出し、対象ブロック１０１と同じサイズの矩形である参照ブロック２０１の重心を中心とし、参照ブロック２０１に内包される最大の円を画素で表現する領域を参照領域２０３として抽出する。対象領域１０３と参照領域２０３とは同じ略円形状である。

図４は、実施例１における対象領域の抽出処理について説明するための図である。ここでは、対象ブロック１０１から対象領域１０３を抽出する例について説明するが、それと同様の方法で、参照ブロック２０１から参照領域２０３を抽出することもできる。

図４を参照すると、本実施例では、対象ブロック１０１は８×８の画素を含んでいる。抽出部１２は、対象ブロック１０１の重心を中心とし、対象ブロック１０１に内包される最大の円を画素で表現する領域を対象領域１０３として抽出する。図４において、対象領域１０３に含まれる画素はハッチングされている。

本実施例では、対象領域１０３と参照領域２０３が同じ大きさの円形状としているため、後述する決定部１３により近似用関数の係数を決定する決定処理において、対象領域１０３と参照領域２０３とを相対的に回転したときの矩形の各領域の角部分の影響を低減することができる。後述する決定部１３は、近似用関数の係数を決定する処理において、回転角の影響が少ない円形に近い形状の近似曲面を得ることができ、精度よく係数を決定することができる。

決定部１３は、近似用関数として所定の関数の情報を予め保持している。ここでは近似用関数は係数を含み、画像内の画素の輝度値で表される画像曲面を近似するように係数の値を決めることができる。決定部１３は、対象領域１０３に含まれる複数の画素の輝度値を近似用関数により近似するように、近似用関数の係数値（以下「第１係数」という）を決定する。このとき近似には例えば最小二乗法を用いればよい。第１係数が設定された近似用関数は、円形の閉平面上の対象領域１０３の各画素の輝度値を近似する近似曲面（平面である場合を含む。以下同様）を示す。

また、決定部１３は、参照領域２０３の各画素の輝度値を近似用関数により近似するように、近似用関数の係数値（以下「第２係数」という）を決定する。このとき近似には例えば最小二乗法を用いればよい。第２係数が設定された近似用関数は、円形の閉平面上の参照領域２０３の各画素の輝度値を近似する近似曲面を示す。

同じ円形の閉平面（閉円盤）上の対象領域１０３と参照領域２０３の近似曲面が得られる。

算出部１４は、第１係数を用いて近似用関数の方向（以下「第１回転角度」という）を求め、第２係数を用いて近似用関数の方向（以下「第２回転角度」という）を求め、第１回転角度と第２回転角度との相対角度を算出する。

式（１）は、近似用関数の一例である２変数二次関数を示している。式（１）の２変数二次関数には、ａ、ｂ、ｃという変更可能な係数が含まれている。式（１）の２変数二次関数は、式（２）に示す座標変換により、回転角θを含まない式（３）に示すような標準形の２変数二次関数に変換することができる。対象領域１０３および参照領域２０３は後述する回転部１５による回転処理を行っても、回転角θを含まない式（３）の係数α、βが変化しない。

仮に、閉円盤Ｄ上の２つの画像曲面が合同であり、ある相対角度Δθをもっている場合、各々の画像曲面を式（１）で最小二乗近似し、式（３）の標準形に変換すると、各々の画像曲面についての回転角を求めることができる。それらの回転角をθ、θ´とすると、回転角θ、θ´は各画像曲面の方向を示す特徴量といえる。そして、２つの画像曲面の相対角度Δθは式（４）により表すことができる。

算出部１４は、これを利用することにより、対象領域１０３と参照領域２０３のそれぞれの方向を示す回転角θ、θ´を算出し、さらに相対角度Δθを算出することができる。

更に、算出部１４は、後述する回転部１５による回転処理後の対象領域１０３と参照領域２０３の類似度を算出し、類似度情報２２に記録する。

図５は、回転処理の一実施例を説明する図である。

以下の説明では、回転処理において、参照領域のみを回転するものとして説明するが、対象領域を回転してもよいし、対象領域および参照領域を回転してもよい。

回転部１５は、相対角度Δθが小さくなるように参照領域２０３を回転させる。好ましくは、回転部１５は、相対角度Δθがゼロとなるように参照領域２０３を回転させる。対象領域１０３と参照領域２０３とが同じ円形状であるため、回転部１５が参照領域２０３を回転させたとき、対象領域１０３に含まれる複数の画素に対応する位置の参照領域２０３における輝度値は、参照領域２０３に含まれる複数の画素の輝度値から算出することができる。例えば、輝度値を算出したい位置の周辺の画素の輝度値の加重平均値を当該位置の輝度値としてもよい。

図６は、実施例１によるブロックマッチング処理を示すフローチャートである。

探索部１１は、フレーム情報２１から対象フレーム１００と参照フレーム２００とを取得し、対象フレーム１００内に対象ブロック１０１を決定する（ステップＳ１０１）。

探索部１１は、探索領域２０２内で１つの参照ブロック２０１を決定する（ステップＳ１０２）。一例として、対象ブロック１０１の位置と同じ位置を基準位置とし、基準位置の所定範囲内にて参照ブロック２０１を順次所定幅ずつスライドさせるものとする。前回の参照ブロック２０１から所定幅だけスライドした位置に今回の参照ブロック２０１を決定する。

抽出部１２は、対象ブロック１０１に対応する円形の対象領域１０３と、参照ブロック２０１に対応する円形の参照領域２０３とを抽出する（ステップＳ１０３）。本実施例において対象ブロック１０１に対応する対象領域１０３は、矩形の対象ブロック１０１の重心を中心とし、対象ブロック１０１に内包される最大の円に相当する領域である。同様に、参照ブロック２０１に対応する参照領域２０３は、矩形の参照ブロック２０１の重心を中心とし、参照ブロック２０１に内包される最大の円に相当する領域である。対象ブロック１０１と参照ブロック２０１は同じサイズであり、対象領域１０３と参照領域２０３は同じサイズである。

決定部１３は、２変数二次関数で表される二次曲面により対象領域１０３の輝度値を近似するように２変数二次関数の係数を決定し、その係数を第１係数とし、２変数二次関数で表される二次曲面により参照領域２０３の輝度値を近似するように２変数二次変数の係数を決定し、その係数を第２係数とする（ステップＳ１０４）。

算出部１４は、２変数二次関数に対して第１係数および第２係数を用い、対象領域１０３を近似する二次曲面と、参照領域２０３を近似する二次曲面との相対角度Δθを算出する（ステップＳ１０５）。

回転部１５は、相対角度Δθを用いて、対象領域１０３を近似する二次曲面と参照領域２０３を近似する二次曲面との相対角度が小さくなるように参照領域２０３を回転する（ステップＳ１０６）。好ましくは、対象領域１０３を近似する二次曲面と参照領域２０３を近似する二次曲面との相対角度がゼロとなるように参照領域２０３を回転する。

算出部１４は、ステップＳ１０６の回転処理後の対象領域１０３と参照領域２０３との類似度を算出し、類似度情報２２に保存する（ステップＳ１０７）。

探索部１１は、探索領域２０２の全域に参照ブロック２０１をスライドさせて探索を行ったか否かを判定する（ステップＳ１０８）。

探索部１１は、探索領域２０２の全体を探索していないとき（ステップＳ１０８にてＮｏ）、ステップＳ１０２に戻る。一方、探索部１１は、探索領域２０２の全体を探索し終えたときには（ステップＳ１０８にてＹｅｓ）、類似度情報２２を参照して、最も類似度の高い参照ブロック２０１を、対象ブロック１０１にマッチした参照ブロック２０１とする（ステップＳ１０９）。これで画像処理装置１はブロックマッチング処理を終了する。

以上説明したように、本実施例によれば、決定部１３は、第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように近似用関数の係数を算出してその係数を第１係数とし、第２領域に含まれる画素の輝度値を近似用関数で近似するように近似用関数の係数を算出してその係数を第２係数とする。算出部１４は、第１係数を用いて近似用関数の方向を示す第１回転角度を求め、第２係数を用いて近似用関数の方向を示す第２回転角度を求め、第１回転角度と第２回転角度との相対角度を算出する。相対角度を算出する対象の領域をそれぞれ曲面で近似し、２つの近似曲面の方向（第１回転角度および第２回転角度）の相対角度を第１領域と第２領域の相対角度とするので、複雑な演算を必要とせず、少ない計算量で領域間の相対角度を算出することができる。

また、本実施例によれば、抽出部１２は、矩形の第１ブロックの少なくとも一部の画素を含む円形の第１領域と、矩形の第２ブロックの少なくとも一部の画素を含む円形の第２領域とを抽出する。回転部１５は、相対角度が小さくなるように、第１領域と第２領域の少なくとも一方を回転させる回転処理を実行する。算出部１４は、回転処理後の第１領域と第２領域の類似度を更に算出する。各矩形のブロックに対応する円形を抽出し、その円形の領域を回転させて類似度を算出するので、回転前後の画像同士の類似度を良好に算出することができる。

また、本実施例によれば、抽出部１２は、第１領域の中心点を第１ブロックの重心点と一致させ、第２領域の中心点を第２ブロックの重心点と一致させる。矩形のブロックの重心点を中心点とする円形の領域により回転処理を行い、類似度を算出するので、領域同士の類似度により、ブロック間の良好な類似度を得ることができる。

また、本実施例によれば、抽出部１２は、第１ブロックに内包される円を画素で表現する領域を第１領域とし、第２ブロックに内包される円を画素で表現する領域を第２領域とする。ブロックに包含される円形の領域により類似度を算出するので、ブロックの外部の画素値の影響を受けない類似度を得ることができる。

また、本実施例によれば、探索部１１は、画像のフレーム上で第２ブロックを移動させながら、回転部１５による回転処理後に算出部１４で算出される第１領域と第２領域の類似度に基づいて、第１領域に最も類似する第２領域に対応する第２ブロックを探索する。これにより、少ない計算量で領域間の相対角度を算出することが可能な回転処理を用いることにより、少ない計算量でブロックマッチングを行うことができる。

（変形例１）
なお、本実施例では、近似用関数の例として、式（１）のような２変数二次関数を用いたが、実施形態がこれに限定されることはない。変形例として２変数一次関数を用いることも可能である。

式（５）は、近似用関数の他の例である２変数一次関数を示している。式（５）の２変数一次関数には、ａ_０、ｂ_０という変更可能な係数が含まれている。式（５）の２変数一次関数は、座標変換により、回転角を含まない式（６）に示すような標準形の２変数一次関数に変換することができる。対象領域１０３および参照領域２０３は回転部１５による回転処理を行っても、回転角φを含まない式（６）の係数γが変化しない。

仮に、閉円盤Ｄ上の２つの画像曲面が合同であり、ある相対角度Δφをもっている場合、各々の画像曲面を式（５）で最小二乗近似し、式（６）の標準形に変換すると、各々の画像曲面についての回転角を求めることができる。それらの回転角をφ、φ´とすると、回転角φ、φ´は各画像曲面の方向を示す特徴量といえる。そして、２つの画像曲面の相対角度Δφは式（７）により表すことができる。

算出部１４は、これを利用することにより、対象領域１０３と参照領域２０３のそれぞれの方向を示す回転角φ、φ´を算出し、さらに相対角度Δφを算出することができる。

（変形例２）
また、本実施例では、矩形の対象ブロック１０１の重心を中心とし、対象ブロック１０１に内包される最大の円に相当する領域を対象領域１０３とし、対象ブロック１０１と同じサイズの矩形である参照ブロック２０１の重心を中心とし、参照ブロック２０１に内包される最大の円に相当する領域を参照領域２０３とする例を示した。しかしながら、本発明の実施形態がこれに限定されることはない。変形例として、対象ブロック１０１の全ての画素を含む領域を対象領域１０３とし、参照ブロック２０１の全ての画素を含む領域を参照領域２０３とすることも可能である。

図７は、実施例１の変形例２における対象領域の抽出処理について説明するための図である。図７の変形例では、対象ブロック１０１の全ての画素を含む画素で最小の円を表現する領域を対象領域１０３とし、参照ブロック２０１の全ての画素を含む画素で最小の円を表現する領域を参照領域２０３とする。

以上説明したように、本変形例によれば、抽出部１２は、第１ブロックの全ての画素を含む円を画素で表現する領域を第１領域とし、第２ブロックの全ての画素を含む円を画素で表現する領域を第２領域とする。ブロックを包含する円形の領域により類似度を算出するので、ブロックの全画素を考慮した類似度を得ることができる。

（変形例３）
本実施例では、参照ブロック２０１をスライドさせながら、対象領域１０３と参照領域２０３の相対角度を算出して回転処理を行い、回転処理後の対象領域１０３と参照領域２０３の類似度を算出し、最も高い類似度が得られる参照ブロック２０１を見つけるという手順でブロックマッチングを行った。しかしながら、本発明の実施形態がこれに限定されることはない。他の例として、まず対象ブロックとのマッチング候補となる参照ブロックを絞り込み、絞り込まれた参照ブロックについて回転処理と回転処理後の類似度算出を行い、回転処理後の類似度に基づいて対象ブロックとマッチングする参照ブロックを見つけることにしてもよい。回転処理の実行回数を削減し、計算量を低減することができる。

図８は、実施例１の変形例３によるブロックマッチング処理を示すフローチャートである。図８を参照すると、ステップＳ１０１は図６に示した実施例１の処理と同じである。

ステップＳ１０１の後、ステップＳ３０１では、算出部１４が、対象ブロック１０１と探索領域２０２上の全ての参照ブロック２０１との類似度を算出し、探索部１１が、算出された類似度に基づいてマッチング候補となる１つ以上の参照ブロック２０１を選択する。マッチング候補は、対象ブロック１０１との回転処理を伴うブロックマッチング処理の対象となる参照ブロック２０１である。例えば、対象ブロック１０１との類似度が所定値以上の参照ブロック２０１をマッチング候補としてもよい。あるいは、対象ブロック１０１との類似度が上位所定個の参照ブロック２０１をマッチング候補としてもよい。なお、探索部１１は、算出部１４が、対象ブロック１０１と探索領域２０２上の一部、または全ての参照ブロック２０１との類似度を算出し、類似度が所定値以上である所定数の参照ブロック２０１が見つかったとき、所定数の参照ブロック２０１をマッチング候補としてもよい。

探索部１１は、マッチング候補の中から１つの参照ブロック２０１を決定する（ステップＳ３０２）。更に図６に示したステップＳ１０３〜ステップＳ１０７を行った後、探索部１１は、マッチング候補の全ての参照ブロック２０１の探索を行ったか否かを判定する（ステップＳ３０３）。全てのマッチング候補の探索を終えていないとき（ステップＳ３０３にてＮｏ）、探索部１１は、ステップＳ３０２に戻る。一方、全てのマッチング候補を探索し終えたときには（ステップＳ３０３にてＹｅｓ）、探索部１１は、類似度情報２２を参照して、最も類似度の高い参照ブロック２０１を、対象ブロック１０１にマッチした参照ブロック２０１とする（ステップＳ１０９）。これで画像処理装置１はブロックマッチング処理を終了する。

以上説明したように、本変形例によれば、予め、算出部１４が第１ブロックとフレーム全体にわたる第２ブロックのそれぞれとの類似度を算出し、探索部１１が、第１ブロックとの類似度に基づいて、フレーム全体にわたる第２ブロックの中からマッチング候補を選択しておく。そして、探索部１１は、マッチング候補の第２ブロックを順次選択しながら、第１領域に最も類似する第２領域に対応する第２ブロックを探索する。回転処理をせずに予めマッチング候補の第２ブロックを絞り込み、そのマッチング候補について回転処理を行うので、回転処理の実行回数を削減し、ブロックマッチングの処理量を低減することができる。

実施例１では、１つの近似用関数による近似曲面を用いて対象領域１０３と参照領域２０３の相対角度を算出する例を示した。しかしながら、本発明の実施形態がこれに限定されることはない。実施例２では、複数の近似用関数による近似曲面を用いて対象領域１０３と参照領域２０３の相対角度を算出する例について説明する。

実施例２では、実施例１と同様のブロックマッチングを行う画像処理装置を例示する。

図９は、実施例２による画像処理装置の機能構成を示すブロック図である。実施例２による画像処理装置１のハードウェア構成も図２に示した実施例１のものと同様である。

図９を参照すると、実施例２による画像処理装置１は基本的な構成として選択部１６を更に有する点で図１に示した実施例１のものと異なる。また、実施例２の画像処理装置１は実行するブロックマッチング処理が実施例１のものとは異なる。実施例２のブロックマッチング処理は、２つの近似用関数を用いる点で実施例１のものと異なる。画像処理装置１は、２つの近似用関数を用いてそれぞれ回転処理を行い、それぞれについて類似度を算出した後、より高い類似度が得られた方の相対角度を選択する。

以下、実施例２の各部の動作および処理フローについて実施例１との差異を中心に説明する。

実施例２の決定部１３は、２つの近似用関数の情報を予め保持している。ここでは、２つの近似用関数はいずれも２つの変数を有する関数である。また２つの近似用関数は互いに次数の異なる関数である。具体的には、一方が二次関数であり、他方が一次関数である。以下、２つの近似用関数をそれぞれ第１の近似用関数と第２の近似用関数と称することにする。第１の近似用関数として、実施例１で用いた２変数二次関数（式（１））を用い、第２の近似用関数として、実施例１の変形例で用いた２変数一次関数（式（５））を用いるものとする。

そして、決定部１３は、対象領域１０３に含まれる複数の画素の輝度値を第１の近似用関数によって近似するように、第１の近似用関数の第１係数を決定する。第１係数が設定された第１の近似用関数は、円形の閉平面上の対象領域１０３の各画素の輝度値を近似する近似曲面を示す。また、決定部１３は、参照領域２０３に含まれる複数の画素の輝度値を第１の近似用関数によって近似するように、第１の近似用関数の第２係数を決定する。第２係数が設定された第２の近似用関数も、円形の閉平面上の参照領域２０３の各画素の輝度値を近似する近似曲面を示す。

また、決定部１３は、第２の近似用関数を用いて上記と同様の処理を行う。すなわち、決定部１３は、対象領域１０３に含まれる複数の画素の輝度値を第２の近似用関数によって近似するように、第２の近似用関数の第１係数を決定する。第１係数が設定された第２の近似用関数は、円形の閉平面上の対象領域１０３の各画素の輝度値を近似する近似曲面を示す。また、決定部１３は、参照領域２０３に含まれる複数の画素の輝度値を第２の近似用関数によって近似するように、第２の近似用関数の第２係数を決定する。第２係数が設定された第２の近似用関数も、円形の閉平面上の参照領域２０３の各画素の輝度値を近似する近似曲面を示す。

実施例２の算出部１４は、第１の近似用関数を用いた場合と第２の近似用関数を用いた場合のそれぞれについて、第１係数を用いて近似用関数の方向（第１回転角度）を求め、第２係数を用いて近似用関数の方向（第２回転角度）を求め、第１回転角度と第２回転角度との相対角度を算出する。その結果、対象領域１０３と参照領域２０３について２つの相対角度が算出される。

第１の近似用関数を用いた場合には、上述したように、式（１）に示した第１の近似用関数（二次関数）には、ａ、ｂ、ｃという変更可能な係数が含まれている。式（１）の第１の近似用関数は、式（２）に示す座標変換により、回転角θを含まない式（３）に示すような標準形の２変数二次関数に変換することができる。対象領域１０３の画像を近似した近似曲面の回転角をθとし、参照領域２０３の画像を近似した近似曲面の回転角をθ´とすることができる。対象領域１０３の近似曲面と参照領域２０３の近似曲面の相対角度Δθは式（４）により表すことができる。

第２の近似用関数を用いた場合には、上述したように、式（５）に示した第２の近似用関数（一次関数）には、ａ_０、ｂ_０という変更可能な係数が含まれている。式（５）の第２の近似用関数は、式（２）に示す座標変換により、回転角φを含まない式（６）に示すような標準形の２変数一次関数に変換することができる。対象領域１０３の画像を近似した近似曲面の回転角をφとし、参照領域２０３の画像を近似した近似曲面の回転角をφ´とすることができる。対象領域１０３の近似曲面と参照領域２０３の近似曲面の相対角度Δφは式（７）により表すことができる。

図４に示したように、対象領域１０３に相当する円Ｄの中心を原点とする直交座標系を設定し、中心が円の内部にある画素は対象領域１０３に含むものとする。式（１）および式（５）に定数項ｄを加えた多項式（式（８）に示す）を目的関数とし、その最小二乗解（式（９）に示す）を求めることで、第１の近似用関数および第２の近似用関数の係数を算出することができる。

式（３）の係数α、βは、算出された係数ａ、ｂ、ｃから、式（１０）を用いて算出される。式（６）の係数γは、算出された係数ａ_０、ｂ_０により、式（１１）で算出される。更に、回転角θは式（１２）で算出され、回転角φは式（１３）で算出される。なお、θおよびφはｘ軸を基準に反時計回りの角度とする。

算出部１４は、参照領域２０３についても、上記対象領域１０３と同様に計算することで、回転角θ´、φ´を算出する。更に、算出部１４は、式（４）により相対角度Δθを算出し、式（７）により相対角度Δφを算出する。

更に、算出部１４は、第１の近似用関数および第２の近似用関数について回転部１５による回転処理後の対象領域１０３と参照領域２０３の類似度（第１類似度および第２類似度）を算出し、第１類似度および第２類似度のうち、より高い値を示した方（より類似している方）の類似度を類似度情報２２に記録する。

回転部１５は、相対角度Δθが小さくなるように、好ましくは相対角度Δθがゼロとなるように、参照領域２０３を回転させる。また、回転部１５は、相対角度Δφが小さくなるように、好ましくは相対角度Δφがゼロとなるように、参照領域２０３を回転させる。ここでは、回転処理において、参照領域のみを回転するものとして説明するが、対象領域を回転してもよいし、対象領域および参照領域を回転してもよい。

選択部１６は、相対角度Δθと相対角度Δφのいずれを用いた方が回転処理後の類似度が高いかを判定し、類似度が高い方を対象領域１０３と参照領域２０３の相対角度と決定し、類似度情報２２に記録する。

図１０、図１１は、実施例２によるブロックマッチング処理を示すフローチャートである。

図１０を参照すると、ステップＳ１０１〜ステップＳ１０３は図６に示した実施例１の処理と同じである。ステップＳ１０３の後、決定部１３は、第１の近似用関数および第２の近似用関数のそれぞれについて、当該近似用関数で表される曲面および平面により対象領域１０３の輝度値を近似するように近似用関数の係数を決定し、その係数を第１係数とする。さらに、決定部１３は、第１の近似用関数および第２の近似用関数のそれぞれについて、当該近似用関数で表される曲面および平面により参照領域２０３の輝度値を近似するように近似用関数の係数を決定し、その係数を第２係数とする（ステップＳ２０１）。

算出部１４は、第１の近似用関数および第２の近似用関数のそれぞれについて、それぞれの第１係数および第２係数を用い、対象領域１０３を近似する曲面と、参照領域２０３を近似する曲面との相対角度Δθおよび相対角度Δφを算出する（ステップＳ２０２）。第１の近似用関数は二次関数であるので、第１の近似用関数を用いた場合、対象領域１０３および参照領域２０３の各画像曲面は二次曲面で近似される。第２の近似用関数は一次関数であるので、第２の近似用関数を用いた場合、対象領域１０３および参照領域２０３の各画像曲面は一次平面で近似される。第１の近似用関数を用いて算出される相対角度がΔθであり、第２の近似用関数を用いて算出される相対角度がΔφである。

ステップＳ１０６にて回転部１５が、実施例１と同様に、相対角度Δθを用いて対象領域１０３を近似する二次曲面と参照領域２０３を近似する二次曲面との相対角度が小さくなるように参照領域２０３を回転すると、算出部１４は、ステップＳ１０６の回転処理後の対象領域１０３と参照領域２０３との類似度を第１類似度として算出する（ステップＳ２０３）。ここで算出される第１類似度はまだ類似度情報２２に記録されない点で実施例２のステップＳ２０３は実施例１のステップＳ１０７と異なる。

続いて、ステップＳ１０６〜Ｓ２０３にて相対角度Δθを用いて実行された処理と同様の処理が相対角度Δφを用いて実行される。

すなわち、ステップＳ２０４にて、回転部１５が、相対角度Δφを用いて対象領域１０３を近似する一次平面と参照領域２０３を近似する一次平面との相対角度が小さくなるように参照領域２０３を回転する。ステップＳ２０５では、算出部１４は、ステップＳ２０４の回転処理後の対象領域１０３と参照領域２０３との類似度を第２類似度として算出する（ステップＳ２０５）。ここで算出される第２類似度もまだ類似度情報２２に記録されない。

図１１を参照すると、選択部１６は、第１類似度が第２類似度以上であるか否か判定する（ステップＳ２０６）。すなわち、選択部１６は、対象領域１０３と参照領域２０３を相対的に回転させる回転処理の結果を用いて、対象領域１０３と参照領域２０３とがより類似する相対角度は、ΔθであるかΔφであるかを判定する。

第１類似度が第２類似度以上であれば、選択部１６は、第１類似度を類似度情報２２に記録する（ステップＳ２０７）。第１類似度が第２類似度以上でなければ、選択部１６は、第２類似度を類似度情報２２に記録する（ステップＳ２０８）。すなわち、選択部１６は、類似度が高くなる方の相対角度で参照領域２０３を回転して求めた、対象領域１０３と参照領域２０３との類似度を類似度情報２２に保存する。

ステップＳ１０８〜ステップＳ１０９は図６に示した実施例１の処理と同じである。これで画像処理装置１はブロックマッチング処理を終了する。

以上説明したように、本実施例によれば、決定部１３は、次数の異なる複数の２変数関数を用いて、各２変数関数の第１係数および第２係数を決定する。算出部１４は、２変数関数のそれぞれに対して第１係数および第２係数を用いて各相対角度を算出する。回転部１５は、各相対角度のそれぞれに対して回転処理を行う。選択部１６は、各相対角度のうち、回転処理後に第１領域と第２領域とがより類似する相対角度を選択する。次数の異なる複数の関数を用いた近似で求めた相対角度から、より類似する相対角度を選択するので、相対角度の精度を向上させることができる。

上述したように実施例１に例示した画像処理はフレーム間予測符号化による動画像圧縮に利用することができる。本実施例は映像をフレーム間予測符号化する符号化装置を例示する。以下、実施例３の符号化装置について、主に実施例１による画像処理装置１との差異について説明する。

図１２は、実施例３による符号化装置の機能構成を示すブロック図である。

符号化装置２は、フレーム情報２１に格納された動画をフレーム間予測符号化方式で符号化し、符号化後のフレームを符号化フレーム情報２３に記録する。動画像は時系列のフレームで構成されている。フレーム間予測では、符号化の対象フレームの画像を、それと異なる時刻の符号化処理済の参照フレームを基に予測し、対象フレームの実際の画像と予測した画像の差分を符号化することにより動画像のデータを圧縮するものである。

符号化装置２は、フレームを複数に分割したブロック単位で処理する。ブロック単位の処理にて、符号化装置２は、対象フレーム内の対象ブロックに類似する参照ブロックを参照フレームから探し出し、探索された参照ブロックと対象ブロックとの差分画像を求める。符号化装置２は、さらに、対象ブロックと参照ブロックとの相対位置を示す動きベクトルを求める。そして、符号化装置２は、これら差分画像と動きベクトルとを符号化フレーム情報２３に記録する。

図１２に示すように、実施例３の符号化装置２は、符号化部１７を更に有する点で、実施例１による画像処理装置１と異なる。

本符号化装置２における探索部１１の処理について図３を参照して説明する。動画をフレーム間符号化するため、探索部１１は、動画の符号化処理済の参照フレーム２００上で、より具体的には探索領域２０２内で、参照ブロック２０１をスライドさせながら、回転部１５による回転処理後に算出される対象領域１０３と参照領域２０３の類似度に基づいて、対象領域１０３に類似する参照領域２０３が抽出される参照ブロック２０１を探索する。

また、本符号化装置２における算出部１４は、対象ブロック１０１と参照ブロック２０１の類似度とともに、その類似度を算出したときの対象領域１０３と参照領域２０３の相対角度Δθの情報も記憶部２０に記録する。

符号化部１７は、フレーム情報２１の各フレームに対してフレーム間予測符号化処理を行い、各フレーム内のブロックに対して差分画像と動きベクトルを生成し、符号化フレーム情報２３に記録する。生成される差分画像は、対象ブロック１０１と、対象領域１０３に類似する参照領域２０３に対応する参照ブロック２０１との差分画像である。生成される動きベクトルは、対象ブロック１０１と参照ブロック２０１の相対位置を示すベクトル情報である。対象ブロック１０１と参照ブロック２０１との相対位置には回転角度と平行移動量が含まれる。符号化部１７は、算出部１４により算出され、記憶部２０に記録された相対角度Δθを、対象ブロック１０１と参照ブロック２０１の回転角度とする。

以上説明したように、本実施例によれば、探索部１１は、動画の符号化処理済の参照フレーム上で第２ブロックを移動させながら、回転処理後に算出される第１領域と第２領域の類似度に基づいて、第１領域に類似する第２領域が抽出される第２ブロックを探索する。符号化部１７は、第１ブロックと第１領域に類似する第２領域に対応する第２ブロックとの差分画像、および第１ブロックと第２ブロックの相対的な位置関係を示す相対位置情報（動きベクトル）を生成する。少ない計算量で領域間の相対角度を算出することが可能な回転処理を用いることにより、少ない計算量で動画像をフレーム間予測符号化方式で符号化することができる。

また、本実施例によれば、相対位置情報（動きベクトル）には第２ブロックと第１ブロックの相対角度が含まれ、符号化部１７は、第１領域と第１領域に類似する第２領域との相対角度を、第１ブロックと第２ブロックの相対角度とする。フレーム間予測符号化において、ブロックマッチングにて少ない計算量で算出した相対角度を符号化結果に含まれるブロック間の相対角度として利用するので、少ない計算量でフレーム間符号化を行うことができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。上記各実施例の装置は、ソフトウェアプログラムをプロセッサで実行することにより実現されるものとして例示したが、これに限定されることはない。制御部１０の一部または全部の機能をハードウェアで実現するものであってもよい。また、制御部１０の一部または全部の機能を専用プロセッサで実現するものであってもよい。

１…画像処理装置、２…符号化装置、１０…制御部、１１…探索部、１２…抽出部、１３…決定部、１４…算出部、１５…回転部、１６…選択部、１７…符号化部、２０…記憶部、２１…フレーム情報、２２…類似度情報、２３…符号化フレーム情報、１００…対象フレーム、１０１…対象ブロック、１０２…探索領域、１０３…対象領域、２００…参照フレーム、２０１…参照ブロック、２０２…探索領域、２０３…参照領域、２０４…矢印、４００…コンピュータ装置、４０１…制御回路、４０２…記憶装置、４０３…読書装置、４０４…記録媒体、４０５…通信インターフェイス、４０６…入出力インターフェイス、４０７…入力装置、４０８…表示装置、４０９…ネットワーク、４１０…バス

Claims (8)

1. 第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように前記近似用関数の係数を算出して該係数を第１係数とし、第２領域に含まれる画素の輝度値を前記近似用関数で近似するように前記近似用関数の係数を算出して該係数を第２係数とする決定部と、
   前記第１係数を用いて前記近似用関数の方向を示す第１回転角度を求め、前記第２係数を用いて前記近似用関数の方向を示す第２回転角度を求め、前記第１回転角度と前記第２回転角度との相対角度を算出する算出部と、
   を有する画像処理装置。
2. 矩形の第１ブロックの少なくとも一部の画素を含む円形の前記第１領域と、矩形の第２ブロックの少なくとも一部の画素を含む円形の前記第２領域とを抽出する抽出部と、
   前記相対角度が小さくなるように、前記第１領域と前記第２領域の少なくとも一方を回転させる回転処理を実行する回転部と、を更に有し、
   前記算出部は、前記回転処理後の前記第１領域と前記第２領域の類似度を更に算出する、
   請求項１に記載の画像処理装置。
3. 前記決定部は、次数の異なる複数の２変数関数を用いて、前記各２変数関数の前記第１係数および前記第２係数を決定し、
   前記算出部は、前記２変数関数のそれぞれに対して前記第１係数および前記第２係数を用いて前記各相対角度を算出し、
   前記回転部は、前記各相対角度のそれぞれに対して前記回転処理を行い、
   前記画像処理装置は、前記各相対角度のうち、前記回転処理後に前記第１領域と前記第２領域とがより類似する相対角度を選択する選択部、を更に有する、
   請求項２に記載の画像処理装置。
4. 画像のフレーム上で前記第２ブロックを移動させながら、前記回転部による前記回転処理後に前記算出部で算出される前記第１領域と前記第２領域の類似度に基づいて、前記第１領域に最も類似する前記第２領域に対応する第２ブロックを探索する探索部、を更に有する、
   請求項２または３に記載の画像処理装置。
5. 予め、前記算出部が前記第１ブロックと、該第１ブロックの前記フレーム上の位置に基づいて定まる前記フレーム上の探索領域にわたる前記第２ブロックのそれぞれとの類似度を算出し、前記探索部が、前記第１ブロックとの類似度に基づいて、前記フレーム全体にわたる前記第２ブロックの中からマッチング候補を選択しておき、
   前記探索部は、前記マッチング候補の第２ブロックを順次選択しながら、前記第１領域に最も類似する前記第２領域に対応する第２ブロックを探索する、
   請求項４に記載の画像処理装置。
6. 前記画像処理装置は、フレーム間予測符号化で動画を符号化する符号化装置であり、
   前記探索部は、前記動画の符号化処理済の参照フレーム上で前記第２ブロックを移動させながら、前記回転処理後に算出される前記第１領域と前記第２領域の類似度に基づいて、前記第１領域に類似する前記第２領域が抽出される第２ブロックを探索し、
   前記画像処理装置は、
   前記第１ブロックと前記第１領域に類似する前記第２領域に対応する第２ブロックとの差分画像、および前記第１ブロックと前記第２ブロックの相対的な位置関係を示す相対位置情報を生成する符号化部、
   を更に有する、請求項４または５に記載の画像処理装置。
7. 決定部が、第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように前記近似用関数の係数を算出して該係数を第１係数とし、第２領域に含まれる画素の輝度値を前記近似用関数で近似するように前記近似用関数の係数を算出して該係数を第２係数とし、
   算出部が、前記第１係数を用いて前記近似用関数の方向を示す第１回転角度を求め、前記第２係数を用いて前記近似用関数の方向を示す第２回転角度を求め、前記第１回転角度と前記第２回転角度との相対角度を算出する、
   画像処理方法。
8. コンピュータが備えるプロセッサに実行させるためのソフトウェアプログラムであって、
   前記プロセッサが実行することにより、前記コンピュータを、
   第１領域に含まれる画素の輝度値を所定の近似用関数による曲面で近似するように前記近似用関数の係数を算出して該係数を第１係数とし、第２領域に含まれる画素の輝度値を前記近似用関数で近似するように前記近似用関数の係数を算出して該係数を第２係数とする決定部と、
   前記第１係数を用いて前記近似用関数の方向を示す第１回転角度を求め、前記第２係数を用いて前記近似用関数の方向を示す第２回転角度を求め、前記第１回転角度と前記第２回転角度との相対角度を算出する算出部と、
   として動作させるための画像処理プログラム。

Images