JP2004078862A - Image processor and image processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor and an image processing method for calculating a motion vector by a little calculation quantity. <P>SOLUTION: This image processor is provided with a frame memory for storing first and second image data, a memory 2 including a plurality of elements 20 and a control part. The elements 20 are provided with a picture element 21-1 for storing a first picture element value of a first picture element of the first image data; a picture element 21-2 for storing a second picture element value of a second picture element of the second image data; a minimum picture element difference storage part 22 for storing a first difference value; a motion vector storage part 23 for storing phase information; a comparing-renewing part 26 for outputting renewal information according to renewal by renewing a second difference value as the first difference value according to a comparing result, by comparing the first difference value stored in the minimum picture element difference storage part 22 with the second difference value of a difference between the first picture element and the second picture element; and a renewing part 27 for renewing the phase information according to the renewal information. <P>COPYRIGHT: (C)2004,JPO

Description

【００１４】
差分絶対値総和Ｓは、参照ブロックｂｒの内の画素の画素値ｋ_ｓと、対応する位相ブロックｂｐの内の画素の画素値ｋ_ｐを用いて、例えば、数式（１）により計算される（ＳＴ５）。
【００１５】
次に、その差分絶対値総和Ｓを、評価テーブルに記憶させる（ＳＴ６）。
具体的には、図１のように、その差分絶対値総和Ｓを評価テーブルメモリｍｖに記憶する。評価テーブルでは、読み出される位相ブロックに対応した位相ごとに、差分絶対値総和Ｓが記憶される。
【００１６】
一般的な画像処理装置１ｓは、図３に示したように、例えば位相１から位相２にシフトした場合に、そのシフトに応じて評価テーブルに記憶させる位置もシフトする。
【００１７】
探索範囲内の全ての、位相ブロックｂｐの読み出しから評価テーブルへの記録が終了すると（ＳＴ７）、最小値探索部ｐｓでは、評価テーブル内の最小値を探索する（ＳＴ８）。
【００１８】
一方、ステップＳＴ７において、すべての位相の評価値テーブルが記録していないと判別されると、ステップＳＴ３の処理に戻る。
それは、参照ブロックｂｒと最も近い探索範囲内のブロックを探索していることになる。
【００１９】
上述したように、評価テーブルでは読み出される位相ブロックｂｐに対応した位相ごとに差分絶対値総和Ｓが記録されている。したがって、評価テーブル内で最小値が分かれば、探索範囲の内の参照ブロックｂｒに対応するブロックの位相が分かる。その位相の情報を動きベクトルとして出力する。
【００２０】
【発明が解決しようとする課題】
上述した一般的な画像処理装置の問題点として、以下の３点が挙げられる。
１．位相ブロック、評価テーブルの値を一旦、格納する手順が必要である。そのためのメモリを回路の中に用意しなければならないので、回路のレイアウトが複雑になる。また、例えば、１フレーム内で多数の位置において動きベクトルを算出したい場合、その位置ごとに順を追って動きベクトルを探索する必要があり時間的なロスが生じる。
２．評価テーブル内の全ての値が記録されてはじめて、最小値の探索が始まる。そのため、各位相ブロックの読み出しと、最小値探索の２回分位相の更新をする必要がある。
３．この場合の出力は動きベクトルであり、例えば、動きベクトルから抽出される画素を読み出す処理を行う場合、動きベクトルからその画素を抽出するという別の手順が必要になる。
【００２１】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、少ない計算量で動きベクトルを算出可能な画像処理装置および画像処理方法を提供することである。
【００２２】
【課題を解決するための手段】
前記目的を達成するために、第１の発明の画像処理装置は、第１の画像データおよび第２の画像データのマッチングを行う画像処理装置であって、マッチングデータを含む画像素子を少なくとも１つ有し、前記画像素子は、前記第１の画像データの内の参照用の第１の画素を記憶する第１の画素記憶手段と、前記第１の画素に応じて、前記第２の画像データの所定の探索範囲の内の第２の画素を記憶する第２の画素記憶手段と、更新可能な第１の差分値を記憶する差分値記憶手段と、更新可能な、第１の画素と第２の画素との位相に関する位相情報を記憶する位相情報記憶手段と、前記第１の画素記憶手段に記憶されている第１の画素と前記第２の画素記憶手段に記憶されている第２の画素との第２の差分値と、前記差分値記憶手段に記憶されている第１の差分値とを比較し、前記比較の結果に応じて、前記差分値記憶手段に記憶されている第１の差分値を更新する差分値更新手段とを有する。
【００２３】
第１の発明の画像処理装置によれば、第１の画像データおよび第２の画像データのマッチングを行い、マッチングデータを含む画像素子を少なくとも１つ有する。
画像素子において、第１の画素記憶手段では、前記第１の画像データの内の参照用の第１の画素が記憶される。
第２の画素記憶手段では、前記第１の画素に応じて、前記第２の画像データの所定の探索範囲の内の第２の画素が記憶される。
差分値記憶手段では、更新可能な第１の差分値が記憶される。
位相情報記憶手段では、更新可能な、第１の画素と第２の画素との位相に関する位相情報が記憶される。
差分値更新手段では、前記第１の画素記憶手段に記憶されている第１の画素と前記第２の画素記憶手段に記憶されている第２の画素との第２の差分値と、前記差分値記憶手段に記憶されている第１の差分値とを比較し、前記比較の結果に応じて、前記差分値記憶手段に記憶されている第１の差分値が更新される。
【００２４】
さらに、前記目的を達成するために、第２の発明の画像処理装置は、第１の画像データおよび第２の画像データのマッチングを行う画像処理装置であって、マッチングデータを含む複数の画像素子を有し、前記画像素子は、前記第１の画像データの内の参照用の第１の画素を記憶する第１の画素記憶手段と、前記第１の画素に応じて、前記第２の画像データの所定の探索範囲の内の第２の画素を記憶する第２の画素記憶手段と、前記第１の画素と前記第２の画素の差分値を記憶する差分値記憶手段と、更新可能な、隣接する他の画像素子の差分値と前記差分値記憶手段に記憶されている差分値との総和である第１の総和差分値を記憶する総和差分値記憶手段と、更新可能な、第１の画素と第２の画素との位相に関する位相情報を記憶する位相情報記憶手段と、前記差分値記憶手段に記憶されている差分値と、前記隣接する他の画像素子に記憶されている差分値とを加算し第２の総和差分値を出力する加算手段と、前記総和差分値記憶手段に記憶されている第１の総和差分値と、前記加算手段から出力された第２の総和差分値とを比較し、前記比較の結果に応じて、前記総和差分値記憶手段に記憶して第１の総和差分値を更新する総和差分値更新手段とを有する。
【００２５】
さらに、前記目的を達成するために、第３の発明の画像処理装置は、時間的に異なる複数の画像データのマッチングを行う画像処理装置であって、マッチングデータを含む複数の画像素子を有し、前記画像素子は、前記時間的に異なる前記画像データそれぞれの画素を記憶する複数の第１の画素記憶手段と、要求に応じて更新可能な、前記第１の画素値記憶手段に記憶されている前記画素それぞれを記憶する複数の第２の画素記憶手段と、前記複数の第１の画素記憶手段に記憶されている前記画素の差分値の総和である時間総和差分値を記憶する時間総和差分値記憶手段と、前記時間総和差分値と、隣接する他の素子の時間総和差分値との総和である第１の総和差分値を記憶する総和差分値記憶手段と、前記時間総和差分値記憶手段と、前記所定の領域の内の他の画像素子の時間総和差分値記憶手段とに記憶されている時間総和差分値を加算し第２の総和差分値を出力する加算手段と、前記総和差分値記憶手段に記憶されている第１の総和差分値と、前記加算手段から出力された第２の総和差分値とを比較し、前記比較の結果に応じて、前記総和差分値記憶手段に記憶されている第１の総和差分値を更新する総和差分値更新手段とを有する。
【００２６】
さらに、前記目的を達成するために、第４の発明の画像処理方法は、第１の画像データおよび第２の画像データのマッチングを行い、マッチングデータを含む少なくとも１つの画像素子を有する画像処理装置の画像処理方法であって、前記画像素子は、前記第１の画像データの内の参照用の第１の画素を記憶し、前記第１の画素に応じて、前記第２の画像データの所定の探索範囲の内の第２の画素を記憶し、更新可能な、第１の画素と第２の画素との位相に関する位相情報を記憶し、前記記憶している第１の画素と前記第２の画素との第２の差分値と、所定の第１の差分値とを比較し、前記比較の結果に応じて、前記第１の差分値を更新する。
【００２７】
さらに、前記目的を達成するために、第５の発明の画像処理方法は、第１の画像データおよび第２の画像データのマッチングを行い、マッチングデータを含む複数の画像素子を有する画像処理装置の画像処理方法であって、前記画像素子は、前記第１の画像データの内の参照用の第１の画素を記憶し、前記第１の画素に応じて、前記第２の画像データの所定の探索範囲の内の第２の画素を記憶し、更新可能な第１の差分値を記憶し、更新可能な、隣接する他の画像素子の差分値と前記記憶している差分値との総和である第１の総和差分値を記憶し、更新可能な、第１の画素と第２の画素との位相に関する位相情報を記憶し、前記記憶している第１の差分値と、前記隣接する他の画像素子に記憶されている差分値とを加算し第２の総和差分値を生成し、前記記憶している第１の総和差分値と、前記生成された第２の総和差分値とを比較し、前記比較の結果に応じて、前記記憶して第１の総和差分値を更新する。
【００２８】
さらに、前記目的を達成するために、第６の発明の画像処理方法は、時間的に異なる複数の画像データのマッチングを行い、マッチングデータを含む複数の画像素子を有する画像処理装置の画像処理方法であって、前記画像素子は、前記時間的に異なる前記画像データそれぞれの第１の画素を記憶し、要求に応じて更新可能な、前記第１の画素に対応する第２の画素を記憶し、前記記憶している前記画素の差分値の総和である時間総和差分値を記憶し、前記時間総和差分値と、隣接する他の素子の時間総和差分値との総和である第１の総和差分値を記憶し、前記記憶している時間総和差分値と、前記所定の領域の内の他の画像素子の時間総和差分値を加算し第２の総和差分値を生成し、前記記憶している第１の総和差分値と、前記生成された第２の総和差分値とを比較し、前記比較の結果に応じて、前記記憶している第１の総和差分値を更新する。
【００２９】
【発明の実施の形態】
第１実施の形態
本実施の形態に係る画像処理装置１は、複数のフレームを有する動画像のフレーム間の動きベクトルの検出を行う。
【００３０】
画素マッチング
図４は、本発明に係る画像処理装置の第１の実施の形態の機能ブロック図である。
図５（ａ）は第１の実施の形態に係る画像処理装置のメモリを示す図である。図５（ｂ）は図５（ａ）に示した画像処理装置のメモリの内の素子の機能ブロック図である。
【００３１】
本実施の形態に係る画像処理装置１は、図４に示すように、メモリ２、複数のフレームメモリ３、読出部４、および制御部１００を有する。
【００３２】
メモリ２は、後述するように、フレームメモリ３からの所定のデータ、例えば、画素の画素値および位相（位相情報とも言う）に基づいて、動きベクトルを生成および記憶する。
【００３３】
フレームメモリ３は、例えば複数のフレームメモリ３、具体的にはフレームメモリ３−Ｔ、フレームメモリ３−Ｔ−１を有する。
フレームメモリ３−Ｔは、入力された時刻Ｔの画像データ（単に画像とも言う）を記憶する。
フレームメモリ３−Ｔ−１は、時刻Ｔ−１の画像データを記憶する。
また、所定の時間後には、フレームメモリ３−Ｔに記憶された画像データがフレームメモリ３−Ｔ−１に記憶され、フレームメモリ３−Ｔには新たに画像データが記憶される。
【００３４】
読出部４は、メモリ２に記憶された動きベクトルを素子２０毎に読み出す。
制御部１００は、メモリ２、フレームメモリ３、および読出部４を、所定の処理に応じた制御を行う。
制御部１００は、例えば、フレームメモリ３に画像を記憶させる。
制御部１００は、例えば、フレームメモリ３から所定の探索範囲ｓｐおよび参照範囲の内の画素、および探索範囲ｓｐの内の探索領域ｔｐと、参照領域ｔｒとの位相をメモリ２に出力する。
【００３５】
各構成要素について詳細に説明する。
本実施の形態に係る画像処理装置１のメモリ２は、例えば、図５（ａ）に示すように、格子状に複数の素子２０を有する。
簡単のために、メモリ２の内に３×３の素子（画素）２０−１〜９を設ける。素子２０それぞれは接続されている。
【００３６】
各素子（画素）２０ごとに一遍にマッチングを行う場合を説明する。
素子２０は、図５（ｂ）に示すように、複数の画素２１、例えば画素２１−１，２、最小画素差分記憶部２２、動きベクトル記憶部２３、減算器２４、絶対値生成部２５、比較更新部２６、および更新部２７とを有する。
【００３７】
素子２０は、具体的には、単に１画素を記憶する（格納するとも言う）だけでなく例えば２画素分の画素値を格納し、それらの差分絶対値を演算し、その結果である差分絶対値を格納する。
マッチングデータは、例えば、画素値や、差分絶対値や、所定の演算結果を示すデータ等の所定のマッチング処理に係るデータである。
【００３８】
画素２１は、複数の画素、例えば画素２１−１および画素２１−２を有する。
画素２１−１は、例えば、フレームメモリ３−Ｔの内の探索範囲ｓｐの内の画素の画素値が入力される。
画素２１−２は、例えば、フレームメモリ３−Ｔ−１の参照領域ｔｒの内の画素の画素値が入力される。
【００３９】
最小画素差分記憶部２２は、差分絶対値を記憶する。
最小画素差分記憶部２２は、比較更新部２６により、記憶している差分絶対値の更新が行われる。
【００４０】
動きベクトル記憶部２３は、後述するように、動きベクトルを記憶する。
動きベクトル記憶部２３は、更新部２７により、動きベクトルの更新が行われる。
【００４１】
減算器２４は、画素２１−１に記憶された画素値と、画素２１−２に記憶された画素値とに応じて、それらの画素値の差分値を絶対値生成部２５に出力する。
【００４２】
絶対値生成部２５は、減算器２４から出力された、画素２１−１の画素値と画素２１−２の画素値との差分値に基づいて、その差分値の絶対値（差分絶対値とも言う）を比較更新部２６に出力する。
【００４３】
比較更新部２６は、絶対値生成部２５から出力された差分絶対値と、最小画素差分記憶部２２に記憶されている差分絶対値とを比較する。
【００４４】
比較更新部２６は、その比較の結果、絶対値生成部２５から出力された差分絶対値が小さい場合には、この小さい方の差分絶対値を最小画素記憶部２２に記憶させることで、差分絶対値を更新する。
比較更新部２６は、上述の比較の結果、最小画素差分記憶部２２の差分絶対値の更新を行う場合に、更新部２７に差分絶対値が更新されたことを示す更新情報を出力する。
【００４５】
更新部２７は、比較更新部２６から出力された更新情報、および位相情報に基づいて、動きベクトル記憶部２３に記憶されている動きベクトルを更新する。
具体的には、更新部２７は、比較更新部２６から差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の探索領域ｔｐと参照領域ｔｒとの位相情報（位相）を動きベクトルとして、動きベクトル記憶部２３に記憶させ、動きベクトルを更新する。
【００４６】
上述したように、メモリ２は、画素値以外の動きベクトルや差分絶対値といった情報を付加情報として記憶する。
【００４７】
図６は、図４に示した画像処理装置の画素マッチングにおける位相の更新と、探索領域ｔｐの読み出しを説明するための図である。図６（ａ）は、探索範囲内の位相を示す図である。図６（ｂ）は位相と探索領域ｔｐの関係を示す図である。
【００４８】
位相（位相情報）は、例えば探索範囲ｓｐの中心と、探索領域ｔｐの中心とのずれである。例えば、図６（ａ）に示すように位相を定義する。
具体的には、図６（ａ）に示すように、探索範囲ｓｐ（５×５）の中心と、探索領域ｔｐ（３×３）の中心とが一致している場合には、位相（０，０）である。
【００４９】
例えば、探索範囲ｓｐ（５×５）の中心と、探索領域ｔｐ（３×３）の中心が、図に向かって右に１単位ずれた場合には、位相（１，０）である。
その他の位相も探索範囲ｓｐの中心と探索領域ｔｐの中心とのずれを、位相の座標とする。
【００５０】
図６（ｂ）は、位相の更新と探索領域ｔｐの読出しを示す図である。
例えば、制御部１００は、図６（ｂ）に示すように、位相を順に（−１，−１）、（０，−１）、（１、−１）、（−１，０）、（０，０）、（０，１）、（−１，１）、（０，１）、（１，１）と更新して、それに応じて探索領域ｔｐの内の画素を読み出し、メモリ２の内の対応する素子２０に出力する。
後述するように、差分絶対値が最小の場合の位相を、真の動きベクトルとする。
【００５１】
また、制御部１００の、画素の読み出す順番、および位相の順番は、この形態に限られるものではない。全ての画素を読み出すことができれば順番は、上述の形態に限られるものではない。
ここで図５においては、各素子の保有する画素２１−１に、探索領域ｔｐの内の１画素を格納する。
【００５２】
図７は、図１に示した画像処理装置１の動作を説明するためのフローチャートである。画像処理装置１の動作、特に、動きベクトルを生成する動作を、図７を参照しながら説明する。
【００５３】
例えば制御部１００は、フレームメモリ３−Ｔ−１から、任意の３×３の参照領域ｔｒの各画素を、メモリ２０内の対応する各素子２０ごとに格納する（ＳＴ１１）。
具体的には、図４に示すように、各素子２０の画素２１−２に参照領域ｔｒの１画素を格納する。
【００５４】
制御部１００は、フレームメモリ３−Ｔにおいて、探索範囲ｓｐの内で位相を更新（シフト）しながら（ＳＴ１２）、探索領域ｔｐ（３×３）の内の画素を読み出し、対応するメモリ２の内の各素子２０ごとに格納する（ＳＴ１３）。
具体的には、図４に示すように制御部１００は、各素子２０の画素２１−１に探索領域ｔｐの内の、対応する１画素を格納する。
【００５５】
制御部１００では、探索領域ｔｐの位相の更新と、探索領域ｔｐの内の画素の読み出しは、例えば、図６に示すように、（−１，−１）〜（１，１）の範囲で１画素ずつ位相をずらして計９回行われ、９回終わると終了する。
【００５６】
各素子２０の減算器２４および絶対値生成部２５で、画素２１−１に格納された画素値と画素２１−２に格納された画素値の差分絶対値が演算される。これを例えば差分絶対値ａとする（ＳＴ１４）。
比較更新部２６では、メモリ２の内の素子２０の最小画素差分記憶部２２に記憶されている差分絶対値（例えば差分絶対値ｂと言う）と、差分絶対値ａとが比較される（ＳＴ１５）。
【００５７】
ステップＳＴ１５の比較の結果、比較更新部２６では、差分絶対値ａが小さい場合、最小画素差分記憶部２２に差分絶対値ａを記憶し、差分絶対値を更新する（ＳＴ１６，ＳＴ１７）。
一方、比較更新部２６では、差分絶対値ａが大きい場合は更新を行わず（ＳＴ１６）、次の探索領域ｔｐの位相の更新および探索領域ｔｐの内の画素の読み出し処理へ移行する。
ところで、初期状態では素子２０の最小画素差分記憶部２２には、差分絶対値が格納されていない。その場合は、最小画素差分記憶部２２には、無条件に最初の差分絶対値が格納される。
【００５８】
ステップＳＴ１７において、比較更新部２６では、差分絶対値が更新された場合のみ、差分絶対値が更新されたことを示す更新情報が更新部２７に出力される。
更新部２７では、比較更新部２６から差分絶対値が更新されたことを示す更新情報が出力された場合には、その時の探索領域ｔｐの位相を、動きベクトル記憶部２３に記憶させて、動きベクトルが更新される（ＳＴ１８）。
【００５９】
そして、全ての位相の更新が終了した時点で（ＳＴ１９）、各素子２０におい、最小画素差分記憶部２１−２には、探索範囲ｓｐにおける画素差分絶対値の最小値が記憶され、それが更新されたときの位相（動きベクトル）が動きベクトル記憶部２３に記憶されている。
【００６０】
一方、ステップＳＴ１９において、全ての位相の更新が終了していない場合には、ステップＳＴ１２の処理に戻る。
【００６１】
この各動きベクトルは、参照領域ｔｒの各画素２０が時刻Ｔに探索範囲ｓｐの内のどの位置に移動したかを、画素２０間の差分絶対値に基づいて求めたものである。最終的に、読出部４は、各素子２０から、これらの動きベクトルを読出し出力する。
【００６２】
以上、説明したように、画像データを記憶する複数のフレームメモリ３と、フレームメモリ３からのデータに応じて、動きベクトルを生成および記憶するメモリ２と、メモリから素子毎の動きベクトルを読出す読出部４と、それらを制御する制御部１００とを設ける。そして、メモリ２には格子状に複数の素子２０を設ける。
【００６３】
素子２０には、異なるフレームメモリの所定の画素の画素値を記憶する画素２１−１〜２と、画素２１−１〜２の画素値の差分値を出力する減算器２４と、減算器２４から出力された差分値の絶対値（差分絶対値）を出力する絶対値生成部２５と、差分絶対値を記憶する最小画素差分記憶部２２と、差分絶対値と、最小画素差分記憶部２２に記憶されている差分絶対値を比較し、比較の結果、最小画素記憶部２２の差分絶対値を更新し、更新したことを示す更新情報を出力する比較更新部２６と、比較更新部２６から差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の位相座標を動きベクトルとして、動きベクトル記憶部２３に記憶させて、動きベクトルを更新する更新部２７とを設けたので、少ない計算量で動きベクトルを算出することができる。
【００６４】
また、探索範囲ｓｐ内のすべての位相における評価テーブルの演算および最小値の探索という２段階の位相の更新を、一括して行うことができる。
【００６５】
また、差分絶対値の最小値のみを更新していくので、例えば最小値の探索のための評価テーブルを別のメモリ上に生成する必要がないので、メモリを縮小することができる。
【００６６】
本実施の形態に係る画像処理装置１では、３×３のサイズのメモリ２を用いて説明したが、これに限定されるものではない。
例えば、１フレームの全画素数分の素子２０を有するメモリ２を設けた場合には、１フレーム分の全画素ごとの動きベクトルが、位相の更新を終了させた時点で１度に求めることができる。
【００６７】
第２の実施の形態
ブロックマッチング
図８は、本発明に係る画像処理装置１ａの第２の実施の形態の機能ブロック図である。
図９（ａ）は図８に示した画像処理装置１ａのメモリを示す図である。図９（ｂ）は図８に示したメモリの構成の一具体例を示す図である。図９（ｃ）は図８に示した画像処理装置１ａの動きベクトルが格納されるメモリの構成を示す図である。
【００６８】
本実施の形態に係る画像処理装置１ａは、図８に示すように、メモリ２ａ、複数のフレームメモリ３ａ、例えばフレームメモリ３ａ−Ｔ，Ｔ−１、読出部４、および制御部１００ａを有する。
【００６９】
第１の実施の形態に係る画像処理装置１において、例えば、３×３のブロックマッチングでは、３×３の素子で、ある注目画素の動きベクトルを求めた。
第２の実施の形態の画像処理装置１ａでは、隣接する３×３の画素の動きベクトルを１度に求める。
【００７０】
メモリ２ａは、第１の実施の形態に係る画像処理装置１のメモリ２と同様に、単に１画素を格納するだけでなく２画素分格納でき、それらの差分絶対値を演算する。また、その結果である差分絶対値を格納する。
【００７１】
画素マッチングを応用したブロックマッチングの一具体例を説明する。
画像処理装置１ａと、第１の実施の形態に係る画像処理装置１との大きな相違点は、メモリの構成が異なる点である。相違点のみ説明する。
【００７２】
本実施の形態に係る画像処理装置１ａのメモリ２ａは、例えば図９に示すように、格子状に複数の素子２０ａを有する。
簡単のために、メモリ２ａの内に５×５の素子２０ａ−１〜２５を設ける。各素子２０それぞれは接続されている。
各素子２０ごとに一遍にマッチングを行う場合を説明する。
ここで、素子２０ａ−１〜２５を区別しない場合には、単に素子（画素）２０ａという。探索範囲ｓｐを画素単位で（−１，−１）から（１，１）として説明する。
【００７３】
メモリ２ａは、素子２０ａ間の配線により、図９（ａ）に示すように、注目する素子（例えば素子２０ａ−５）の８近傍の素子（例えば素子２０ａ−１〜４および素子２０ａ−６〜９）に格納されている差分絶対値を注目する素子に送ることができる。
【００７４】
各素子２０ａには、それら９つの差分絶対値を受取り加算する処理を有する。そのため注目する素子２０ａでは、その差分絶対値の総和を求め、それを格納する。
【００７５】
但し、各素子２０ａは、予め保持されている差分絶対値の総和との比較を行い、小さい場合のみその値を更新する。その差分絶対値の総和が更新された場合、その時の動きベクトル（動きベクトル）も予め格納されているものから更新される。
以下、詳細に説明する。
【００７６】
素子２０ａは、図９（ｃ）に示すように、複数の画素２１ａ、例えば画素２１ａ−１〜２、画素差分記憶部２２ａ−１、差分総和記憶部２２ａ−２、動きベクトル記憶部２３、減算器２４、絶対値生成部２５ａ、比較更新部２６ａ、更新部２７、および加算部２８とを有する。
【００７７】
素子２０ａと、第１の実施の形態に係る素子２０との相違点は、画素差分記憶部２２ａ−１、差分総和記憶部２２ａ−２、絶対値生成部２５ａ、比較更新部２６ａ、加算部２８である。
【００７８】
画素差分記憶部２２ａ−１は、絶対値生成部２５ａから出力された、画素２１ａ−１と画素２１ａ−２の差分絶対値を記憶する。
画素差分記憶部２２ａ−１は、記憶している差分絶対値を加算部２８に出力する。
【００７９】
差分総和記憶部２２ａ−２は、差分絶対値総和を記憶する。この差分絶対値総和は、後述するように比較更新部２６ａにより所定の条件の場合に更新される。
【００８０】
絶対値生成部２５ａは、減算器２４から出力された、画素２１−１の画素値と画素２１−２の画素値との差分値に基づいて、その差分値の絶対値（差分絶対値とも言う）を画素差分記憶部２２ａ−１に出力する。
【００８１】
比較更新部２６ａは、加算部２８から出力された差分絶対値総和Ａと、差分総和記憶部２２ａ−２に記憶されている差分絶対値総和（差分絶対値総和Ｂと言う）とを比較して、比較の結果、差分絶対値総和Ａが小さい場合には、差分絶対値総和Ａを差分総和記憶部２２ａ−２に記憶させて、差分絶対値総和を更新する。
【００８２】
比較更新部２６ａは、上述した更新を行った場合には、更新を行ったことを示す更新情報を更新部２７に出力する。
比較更新部２６ａは、比較の結果、差分絶対値総和Ａが大きい場合には、差分総和記憶部２２ａ−２に記憶されている差分絶対値総和Ｂの更新を行わない。
【００８３】
加算部２８は、その画素の近傍の８つの素子２０ａ（８近傍の素子２０ａとも言う）それぞれから出力された差分絶対値ａ、および画素差分記憶部２２ａ−１から出力された差分絶対値ａに基づいて、それらを加算して、差分絶対値総和Ａを生成し、比較更新部２６ａに出力する。
【００８４】
図１０は図８に示した画像処理装置の動作、特に位相の更新と探索領域ｔｐの読み出しを行う動作について説明するための図である。図１０（ａ）は探索範囲ｓｐ内の位相を示す図である。図１０（ｂ）は位相と探索領域ｔｐの関係を示す図である。
【００８５】
図１０（ａ）に示すように、例えば、位相は探索範囲ｓｐの中心と探索領域ｔｐの中心とのずれを示す。例えば、図１０（ａ）に示すように位相の座標を定義する。
具体的には、図１０（ａ）に示すように、探索範囲ｓｐ（７×７）の中心と、探索領域ｔｐ（５×５）の中心とが一致した場合には、位相（０，０）である。
【００８６】
例えば、探索範囲ｓｐ（７×７）の中心と、探索領域ｔｐ（５×５）の中心が、向かって右に１単位ずれた場合には、位相（１，０）である。
その他の状態も探索範囲ｓｐの中心と探索領域ｔｐの中心とのずれを位相の座標とする。
【００８７】
例えば、制御部１００ａは、図１０（ｂ）に示すように、位相を順に（−１，−１）、（０，−１）、（１、−１）、（−１，０）、（０，０）、（０，１）、（−１，１）、（０，１）、（１，１）と更新して、それに応じて探索領域ｔｐの内の画素を読み出し、メモリ２ａの内の対応する素子２０ａに出力する。
また、制御部１００ａの読み出す順番は、この形態に限られるものではない。全ての画素を読み出すことができれば順番は、上述の形態に限られない。
【００８８】
図１１は、図８に示した画像処理装置１ａの動作を説明するためのフローチャートである。画像処理装置１の動作、特に動きベクトル検出の動作を、図１１を参照しながら説明する。
この場合では、注目素子とは、図９において、実際に動きベクトルが格納される素子２０ａの１つと想定する。ここで注目素子はメモリ２ａの端にある素子ではない。
【００８９】
例えば制御部１００ａは、フレームメモリ３ａ−Ｔ−１から、任意の５×５の参照領域ｔｒの各画素をメモリ２ａ内の各素子２０ａごとに格納する（ＳＴ２１）。ここで図８においては、各素子２０ａの保有する画素２１−２の部分に参照領域ｔｒの１画素を格納する。
【００９０】
制御部１００ａは、探索範囲ｓｐ内で位相を更新しながら（ＳＴ２２）、５×５の領域を読み出し、その領域内の各画素をメモリ２ａ内の各素子２０ａごとに格納する（ＳＴ２３）。この５×５の領域を「探索領域ｔｐ」と名付ける。ここで図８においては、各素子２０ａの保有する画素２１ａ−１の部分に探索領域ｔｐの１画素を格納することになる。
位相の更新と探索領域ｔｐの読み出しは、例えば、図１０に示すように（−１，−１）〜（１，１）の範囲で９回行われ、９回終わると終了する。
【００９１】
次に各素子２０ａ内で、画素２１ａ−１に格納された値と画素２１ａ−２に格納された値の差分絶対値ａを演算する（ＳＴ２４）。その結果を、各素子２０ａ内の画素差分記憶部２２ａ−１に格納する。
【００９２】
次に各注目素子において、加算部２８は、その８近傍の素子２０ａから差分絶対値ａを読み込み、画素差分記憶部２２ａ−１に記憶されている差分絶対値ａと加算し、差分絶対値総和Ａを求める（ＳＴ２５）。
【００９３】
次に各注目素子において、比較更新部２６ａは、差分総和記憶部２２ａ−２に予め格納されている差分絶対値総和（差分絶対値総和Ｂ）と、加算部２８から出力された差分絶対値総和Ａを比較して（ＳＴ２６，ＳＴ２７）、差分絶対値総和Ａが小さい場合には、差分総和記憶部２２ａ−２に格納する値を、差分絶対値総和Ｂから差分絶対値総和Ａに更新する（ＳＴ２８）。
【００９４】
一方、ステップＳＴ２７において、比較更新部２６ａでは、差分絶対値総和Ａが大きい場合には更新を行わない。制御部１００ａでは、次の位相の更新および探索領域ｔｐの読み出しへと移行する。ステップＳＴ２２に戻る。
【００９５】
ところで、初期状態では注目素子に差分絶対値総和は格納されていない。その場合は、無条件に最初の差分絶対値総和が格納される。
【００９６】
ステップＳＴ２９において、更新部２７では、ある注目素子の差分絶対値総和が更新された場合のみ、そのときの位相を真の動きベクトルとして、その注目素子の、動きベクトル記憶部２３に予め格納されている動きベクトルを更新する。
【００９７】
そして、位相の更新が終了した時点で（ＳＴ３０）、９つの各注目素子２０ａには探索範囲ｓｐにおける画素差分絶対値総和の最小値と、それが格納されたときの動きベクトルが格納されている。
一方、ステップＳＴ３０において、位相の更新が終了していないと判別した場合には、ステップＳＴ２２の処理に戻る。
【００９８】
図１２は、図８に示した画像処理装置のフレームの参照領域ｔｒから切り出されるブロックを示す図である。
この各動きベクトルは、図１２に示すように参照領域ｔｒ内から切り出される９個の３×３のブロックが、時刻Ｔに探索範囲ｓｐ内のどの位置に移ったかを、３×３のブロック間の差分絶対値総和に基づいて求めたものである。
最終的には読出部４は、各注目素子から、これらの動きベクトルを読み出し出力する。
【００９９】
以上、説明したように、画像処理装置１ａでは、注目素子とその隣接する素子（３×３の素子）の差分絶対値とを加算した差分総和値に基づいて、３×３の画素の動きベクトルを１度に生成することができる。
【０１００】
本実施の形態では、３×３のブロックサイズで探索範囲ｓｐを画素単位で（−１，−１）〜（１，１）の場合のブロックマッチングを実現するメモリを説明したが、この形態に限られるものではない。
例えば、各素子２０ａ間の配線を周辺の５×５の素子２０ａから注目素子に接続するように変更することで、５×５のさらに大きなブロックサイズでのマッチングも可能である。
【０１０１】
また、メモリ２ａ内の全素子数を５×５の場合で説明したが、例えばメモリ２ａに１フレーム内全画素数分の素子を設けた場合には、全画素ごとの動きベクトルが、位相の更新を終了させた時点で１度に求められる。
【０１０２】
また、動きベクトルを検出する機能を持つ素子２０ａを多数用いてメモリ２ａを構成することで、隣接する複数の画素ごとの動きベクトルを一括して求めることができる。
【０１０３】
第３の実施の形態
対応画素検出
上述した第２の実施の形態に係る画像処理装置１ａの画素マッチングでは、ブロックマッチングの最終的な結果として、動きベクトルがメモリ２ａ内に格納される。
【０１０４】
第３の実施の形態に係る画像処理装置１ｂは、注目するフレームとその前後のフレームで、「対応画素」そのものを直接格納し出力する。
ここで、「対応画素」とは、ある注目画素を含み、注目画素の前後のフレームにおいて、注目画素が動いても動きベクトルによって補正して同じ画素として対応させることができる画素を指す。このような格納される「対応画素」は、後述するクラス分類適応処理に利用可能である。
【０１０５】
図１３は、本発明の第３の実施の形態に係る画像処理装置の対応画素の摘出を説明するための概念図である。
横軸はｘ軸、縦軸はｙ軸、斜軸は時間軸である。
本実施の形態では、図１３に示すように、注目画素＋前後２フレーム分の画素、すなわち計５画素を対応画素として、メモリに抽出する場合を考える。
【０１０６】
簡単のために対応画素深索のためのブロックサイズを３×３画素、探索範囲ｓｐを画素単位で（−１，−１）〜（１，１）として説明する。注目画素とそれ以外の前後２フレーム間の対応画素では、等速であるという拘束条件をつけている。
【０１０７】
すなわち、フレームＴ−１において、例えば、（−１，−１）（図１３では、まる７）、の位置に対応画素がある場合、フレームＴ−２では（−２，−２）（図１３では、まる９）、フレームＴ＋１では、（１，１）（図１３では、まる１９）、フレームＴ＋２では（２，２）（図１３では、まる４１）に必ず対応画素が存在する。但し、注目画素の位置を（０，０）（図１３では、まる５）とした。
【０１０８】
本実施の形態に係る画像処理装置１ｂは、注目フレームＴにおける注目画素を中心とした３×３のブロックとそれ以外の各フレームの３×３のブロックとの差分絶対値をそれぞれ演算し、それらを全て足し合わせたものが最小となる動きベクトルを生成する。
最小となる位相において、図１３に示すような３×３のブロックの中心の画素を対応画素として、画像処理装置１ｂの内のメモリ２ｂに格納し出力する。
【０１０９】
図１４は、本発明に係る画像処理装置の第３の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置１ｂは、図１４に示すように、メモリ２ｂ、複数のフレームメモリ３ｂ、例えばフレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２、読出部４、および制御部１００ｂを有する。
画像処理装置１ｂと、第２の実施の形態に係る画像処理装置１ａとの大きな相違点は、メモリの構成が異なる点である。
【０１１０】
また、５つのフレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２を有するのに伴い、制御部の動作が異なる。相違点のみ説明する。
【０１１１】
制御部１００ｂは、フレームメモリ３ｂ−Ｔ＋２に、例えば入力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ３ｂ−Ｔ＋１に出力する。
【０１１２】
制御部１００ｂは、フレームメモリ３ｂ−Ｔ＋１に、フレームメモリ３ｂ−Ｔ＋２から出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ３ｂ−Ｔに出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔに、フレームメモリ３ｂ−Ｔ＋１から出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ３ｂ−Ｔ−１に出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ−１に、フレームメモリ３ｂ−Ｔから出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ３ｂ−Ｔ−２に出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ−２に、フレームメモリ３ｂ−Ｔ−１から出力された画像を記憶させる。
【０１１３】
制御部１００ｂは、フレームメモリ３ｂ−Ｔから所定の参照範囲（５×５）の内の画素の画素値をメモリ２ｂに出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ−２から、所定の探索範囲ｓｐＴ−２（９×９）の内の探索領域ｔｐＴ−２（５×５）の画素、およびその位相情報をメモリ２ｂに出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ−１から、所定の探索範囲ｓｐＴ−１（７×７）の内の探索領域ｔｐＴ−１（５×５）の画素、およびその位相情報をメモリ２ｂに出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ＋１から、所定の探索範囲ｓｐＴ＋１（７×７）の内の探索領域ｔｐＴ＋１（５×５）の画素、およびその位相情報をメモリ２ｂに出力する。
制御部１００ｂは、フレームメモリ３ｂ−Ｔ＋２から、所定の探索範囲ｓｐＴ＋２（９×９）の内の探索領域ｔｐＴ＋２（５×５）の画素、およびその位相情報をメモリ２ｂに出力する。
【０１１４】
上述した探索領域ｔｐ（５×５）の内の画素を読み出す場合には、制御部１００ｂは、フレームメモリ３ｂ−Ｔ−２，Ｔ−１，Ｔ＋１，Ｔ＋２それぞれの探索領域ｔｐの内の画素が、例えば図１４に示したように直線状になるように設定する。
【０１１５】
図１５（ａ）は図１４に示した画像処理装置１ｂのメモリ２ｂを示す図である。図１５（ｂ）は対応画素が格納されるメモリを示す図である。図１５（ｃ）は図１５（ａ）に示したメモリ２ｂの素子２０ｂの機能ブロック図である。
【０１１６】
本実施の形態に係る画像処理装置１ｂのメモリ２ｂは、例えば図１５に示すように、５×５の素子２０ｂ−１〜２５を有しており、各素子２０ｂそれぞれは接続されている。
【０１１７】
３×３のブロックマッチングでは、ある注目画素における対応画素を求めるには３×３の素子で十分であるが、本実施の形態に係る画像処理装置１ｂでは、図１４（ｂ）に示すように、隣接する３×３の画素の動きベクトルを１度に求める。
【０１１８】
メモリ２ｂは、図１５（ａ）に示すように、複数の素子２０ｂ、例えば格子状に形成された素子２０ｂ−１〜２５を有する。
【０１１９】
素子２０ｂは、図１５（ｃ）に示すように、複数の画素２１ｂ、例えば画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２、差分絶対値総和Ａ記憶部２２ｂ−１、差分絶対値総和Ｂ記憶部２２ｂ−２、複数の減算器２４ｂ、例えば減算器２４ｂ−１〜４、複数の絶対値生成部２５ｂ、例えば絶対値生成部２５ｂ−１〜４、加算器２５０、比較更新部２６ｂ、更新部２７ｂ、加算部２８ｂ、複数の対応画素２１０ｂ、例えば対応画素２１０ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２を有する。
【０１２０】
画素２１ｂ−Ｔは、フレームＴの注目する画素（注目画素とも言う）の画素値を記憶する。
画素２１ｂ−Ｔ＋２、画素２１ｂ−Ｔ＋１、画素２１ｂ−Ｔ−１、画素２１ｂ−Ｔ−２それぞれは、図１３に示すように、注目フレームの前後±２フレームにおいて、時空間で注目画素を通る直線上に存在する４つの画素の画素値を記憶する。
【０１２１】
差分絶対値総和Ａ記憶部２２ｂ−１は、格納している注目画素と４つの各画素間でそれぞれ差分絶対値を求めた合計（差分絶対値総和Ａとも言う）を記憶する。
【０１２２】
差分絶対値総和Ｂ記憶部２２ｂ−２は、注目素子の近傍の８つの素子（８近傍の素子とも言う）にある差分絶対値総和Ａの合計（差分絶対値総和Ｂとも言う）を記憶する。
【０１２３】
減算器２４ｂ−１は、画素３ｂ−Ｔ−２から出力された画素値と、画素３ｂ−Ｔから出力された画素値とを減算し絶対値生成部２５ｂ−１に出力する。
減算器２４ｂ−２は、画素３ｂ−Ｔ−１から出力された画素値と、画素３ｂ−Ｔから出力された画素値とを減算し絶対値生成部２５ｂ−２に出力する。
減算器２４ｂ−３は、画素３ｂ−Ｔ＋１から出力された画素値と、画素３ｂ−Ｔから出力された画素値とを減算し絶対値生成部２５ｂ−３に出力する。
減算器２４ｂ−４は、画素３ｂ−Ｔ＋２から出力された画素値と、画素３ｂ−Ｔから出力された画素値とを減算し絶対値生成部２５ｂ−４に出力する。
【０１２４】
絶対値生成部２５−１は、減算器２４ｂ−１から出力された差分値の絶対値（差分絶対値）を加算器２５０に出力する。
絶対値生成部２５−２は、減算器２４ｂ−２から出力された差分絶対値を加算器２５０に出力する。
絶対値生成部２５−３は、減算器２４ｂ−３から出力された差分絶対値を加算器２５０に出力する。
絶対値生成部２５−４は、減算器２４ｂ−４から出力された差分絶対値を加算器２５０に出力する。
【０１２５】
加算器２５０は、絶対値生成部２５−１〜４それぞれから出力された差分絶対値を加算し、差分絶対値和Ａ記憶部２２ｂ−１に出力する。
【０１２６】
比較更新部２６ｂは、加算部２８ｂから出力される差分絶対値Ｂと、差分絶対値総和Ｂ記憶部２２ｂ−２に記憶されている差分絶対値総和Ｂとを比較し、比較の結果、加算部２８ｂから出力された差分絶対値総和Ｂが小さい場合には、その小さい方の差分絶対値総和Ｂを差分絶対値総和Ｂ記憶部２２ｂ−２に記憶させて更新する。
また、比較更新部２６ｂは、上述した更新を行った場合には、差分絶対値総和Ｂ記憶部２２ｂ−２の差分絶対値総和Ｂを更新したことを示す更新情報を更新部２７ｂに出力する。
【０１２７】
更新部２７ｂは、比較更新部２６ｂから、差分絶対値和Ｂが更新されたことを示す更新情報が出力されると、画素２１ｂ−Ｔ−２，Ｔ−１，Ｔ，Ｔ＋１，Ｔ＋２それぞれから出力された画素値を、対応画素２１０Ｔ−２，Ｔ−１，Ｔ＋１，Ｔ＋２に記憶させて更新する。
【０１２８】
加算部２８ｂは、差分絶対値総和Ａ記憶部２２ｂ−１から出力された差分絶対値総和Ａ、および隣接する８つの各素子２０ｂそれぞれから出力された、差分絶対値総和Ａを加算し、比較更新部２６ｂに出力する。
【０１２９】
上述したように、素子２ｂは、注目画素２１ｂ−Ｔと格納された他の４画素（画素２１ｂ−Ｔ＋２、画素２１ｂ−Ｔ＋１、画素２１ｂ−Ｔ−１、画素２１ｂ−Ｔ−２）に対して、それぞれ差分絶対値を演算できる。また、それぞれの差分絶対値の合計を求める演算もできる。
【０１３０】
本実施の形態に係る画像処理装置１ｂのブロックマッチングでは、素子間の配線により、図１５（ａ）に示すように、注目する素子（例えば、図１５（ａ）の素子２０ｂ−５）の８近傍の素子（図１５（ａ）の素子２０ｂ−１〜４，６〜９）に格納されている差分絶対値総和Ａを、注目する素子２０ｂ−５に送ることができる。
【０１３１】
各素子２０ｂには、それら９つの差分絶対値総和Ａを受取り全て加算する処理を有している。そのため注目する素子では、その差分絶対値総和Ａの合計（差分絶対値総和Ｂ）を求め、それを格納できる。
【０１３２】
但し、予め保持されている差分絶対値総和との比較を行い、小さい場合のみ、その値を更新する。
その差分絶対値の総和が更新された場合、その時に格納されている５つの画素（画素２１ｂ−Ｔ、画素２１ｂ−Ｔ＋２、画素２１ｂ−Ｔ＋１、画素２１ｂ−Ｔ−１、画素２１ｂ−Ｔ−２に記憶されている画素）を、それぞれ対応画素２１０ｂ−Ｔ、対応画素２１０ｂ−Ｔ＋２、対応画素２１０ｂ−Ｔ＋１、対応画素２１０ｂ−Ｔ−１、対応画素２１０ｂ−Ｔ−２に予め格納されている画素から全て更新する。
【０１３３】
図１６（ａ）はフレームＴ＋２の探索範囲ｓｐＴ＋２（９×９）と、探索領域ｔｐＴ＋２の位相を示す図である。図１６（ｂ）はフレームＴ＋１の探索範囲ｓｐＴ＋１（７×７）と、探索領域ｔｐＴ＋１の位相を示す図である。図１６（ｃ）はフレームＴ−１の探索範囲ｓｐＴ−１（７×７）と、探索領域ｔｐＴ−１の位相を示す図である。図１６（ｄ）はフレームＴ−２の探索範囲ｓｐＴ−２（９×９）と、探索領域ｔｐＴ−２の位相を示す図である。図１６（ｅ）は図１４に示した画像処理装置１ｂの位相の更新と探索領域ｔｐの読み出しの処理を説明するための図である。
【０１３４】
制御部１００ｂは、図１６（ａ）〜（ｄ）に示すように、位相の座標を設定する。横軸はｘ軸、縦軸はｙ軸である。
制御部１００ｂは、図１６（ｅ）に示すように、例えば探索領域ｔｐＴ＋１の位相を基準として、順に（−１，−１）、（０，−１）、（１，−１）、（−１，０）、（０，０）、（０，１）、（−１，１）、（０，１）、（１，１）と更新して、それに応じて各フレームの探索範囲ｓｐの内の探索領域ｔｐを更新する。
【０１３５】
この場合には、動きベクトルは、この位相それぞれに対応して、（−１，−１）、（０，−１）、（１，−１）、（−１，０）、（０，０）、（０，１）、（−１，１）、（０，１）、（１，１）である。
【０１３６】
また、制御部１００ｂは、各素子２０ｂの画素２１ｂ−Ｔ＋２の部分に探索領域ｔｐＴ＋２の１画素を格納し、各素子２０ｂの画素２１ｂ−Ｔ＋１の部分に探索領域ｔｐＴ＋１の１画素を格納し、各素子２０ｂの画素２１ｂ−Ｔ−１の部分に探索領域ｔｐＴ−１の１画素を格納し、各素子２０ｂの画素２１ｂ−Ｔ−２の部分に探索領域ｔｐＴ−２の１画素を格納する。
【０１３７】
図１７は、図１４に示した画像処理装置の動作を説明するためのフローチャートである。この場合では、注目素子とは、図１５（ａ）において、実際に対応画素が格納される素子の１つと想定する。注目画素はメモリの端にある素子ではないとする。
【０１３８】
まず、注目画素が存在するフレームが存在すると想定するフレームメモリＴから、任意の５×５の参照領域ｔｒの各画素をメモリ２ｂ内の各素子２０ｂごとに格納する。ここで図１５（ｃ）においては、各素子２０ｂの画素２０ｂ−Ｔに参照領域ｔｒの１画素分を格納する（ＳＴ１０１）。
【０１３９】
次に、図１４に示す注目フレームと時間的に前後するフレームメモリ３ｂ−Ｔ＋２、フレームメモリ３ｂ−Ｔ＋１、フレームメモリ３ｂ−Ｔ−１、フレームメモリ３ｂ−Ｔ−２のそれぞれから、探索範囲ｓｐ内で位相を更新しながら、５×５の領域を読み出し、その領域内の各画素をメモリ２ｂ内の各素子２０ｂごとに格納する（ＳＴ１０２）。
【０１４０】
この５×５の領域を「探索領域ｔｐ」と名付ける。但し、上述したように各フレームメモリそれぞれから読み出される探索領域ｔｐの位相は、例えば図１３に示すように時空間で必ず直線上にある。
したがって、各フレームごとにそれぞれ位相を更新するのではなく、ある１つのフレームを基準として更新することで、その他の位相は一意に決まる。
【０１４１】
例えば、探索領域ｔｐＴ＋１の位相を基準とすると、探索領域ｔｐＴ＋１の空間的な位相が（１，１）の場合、フレームメモリＴ＋２から読み出される探索領域ｔｐＴ＋２の空間的な位相は（２，２）、フレームメモリＴ−１から読み出される探索領域ｔｐＴ−１の空間的な位相は（−１，−１）、フレームメモリＴ−２から読み出される探索領域ｔｐＴ−２の空間的な位相は（−２，−２）となる。
【０１４２】
制御部１００ｂは、位相の更新と探索領域ｔｐの読み出しは、例えば図１６に示すように探索領域ｔｐＴ＋１を基準として（−１，−１）〜（１，１）の範囲で９回行い、９回終わると終了する。
【０１４３】
各素子２０ｂの画素２１ｂ−Ｔ−１に探索領域ｔｐＴ−１の１画素を格納する（ＳＴ１０３）。各素子２０ｂの保有する画素２１ｂ−Ｔ−２に探索領域ｔｐＴ−２の１画素を格納する（ＳＴ１０４）。各素子２０ｂの保有する画素２１ｂ−Ｔ＋１に探索領域ｔｐＴ＋１の１画素を格納する（ＳＴ１０５）。各素子２０ｂの画素２１ｂ−Ｔ＋２に探索領域ｔｐＴ＋２の１画素を格納する（ＳＴ１０６）。
上述したステップＳＴ１０３〜１０６の順番は、この順番でなくともよい。
【０１４４】
次に各素子２０ｂ内で、減算器２４ｂ−２および絶対値生成部２５ｂ−２は、差分画素２１ｂ−Ｔに格納された値と画素２１ｂ−Ｔ−１に格納された値の差分絶対値ａを演算する（ＳＴ１０７）。同様に各素子２０ｂ内で、減算器２４ｂ−１および絶対値生成部２５ｂ−１は、画素２１ｂ−Ｔに格納された値と画素２１ｂ−Ｔ−２に格納された値の差分絶対値ｂを演算する（ＳＴ１０８）。同様に各素子２０ｂ内で、減算器２４ｂ−３および絶対値生成部２５ｂ−３は、画素２１ｂ−Ｔに格納された値と画素２１ｂ−Ｔ＋１に格納された値の差分絶対値ｃを演算する（ＳＴ１０９）。同様に各素子２０ｂ内で、減算器２４ｂ−４および絶対値生成部２５ｂ−４は、画素Ｔに格納された値と画素Ｔ＋２に格納された値の差分絶対値ｄを演算する（ＳＴ１１０）。
上述したステップＳＴ１０７〜１１０の順番は、この順番でなくともよい。
【０１４５】
次に、加算器２５０は、差分絶対値ａ、ｂ、ｃ、ｄの和を演算し、差分絶対値総和Ａを生成し、差分絶対値総和Ａ記憶部２２ｂ−１に格納する（ＳＴ１１１）。
次に、配線によって接続されている各注目素子の８近傍の素子、例えば注目素子を図１５に示した素子２０ｂ−５とすると、その素子２０ｂ−５の８近傍の素子２０ｂ−１〜９それぞれにおいて格納されている差分絶対値総和Ａを注目の素子２０ｂ−５が読み込む。
例えば注目の素子２０ｂ−５において、その内の加算部２８ｂは、それらの値と加算器２５０から出力された差分絶対値総和Ａを加算して合計を差分絶対値総和Ｂとして求め（ＳＴ１１２）、比較更新部２６ｂに出力する。
【０１４６】
次に各注目素子２０ｂにおいて、比較更新部２６ｂは、差分絶対値総和Ｂ記憶部２２ｂ−２に、予め格納されている差分絶対値総和（差分絶対値総和Ｃ）と差分絶対値総和Ｂを比較して（ＳＴ１１３）、差分絶対値総和Ｂが小さい場合には、格納する値を差分絶対値総和Ｃから差分絶対値総和Ｂに更新する（ＳＴ１１４，１１５）。逆に、差分絶対値総和Ｃが大きい場合は更新を行わず、次の位相の更新および探索領域ｔｐの読み出しへと移行する。ステップＳＴ１０２に戻る。初期状態では注目素子２０ｂに差分絶対値総和Ｃは格納されていない。その場合は、無条件に最初の差分絶対値総和Ｂが格納される。
【０１４７】
次に、ある注目素子２０ｂの更新部２７ｂでは、差分絶対値総和Ｂ記憶部２２ｂ−２に記憶されている差分絶対値総和が更新された場合のみ、画素２１ｂ−Ｔ、画素２１ｂ−Ｔ＋２、画素２１ｂ−Ｔ＋１、画素２１ｂ−Ｔ−１、画素２１ｂ−Ｔ−２に格納されている画素値を、それぞれ対応画素２１０ｂ−Ｔ、対応画素２１０ｂ−Ｔ＋２、対応画素２１０ｂ−Ｔ＋１、対応画素２１０ｂ−Ｔ−１、対応画素２１０ｂ−Ｔ−２へ改めて格納する。すなわち、真の対応画素として、その注目素子２０ｂに格納する対応画素が更新される（ＳＴ１１６）。
【０１４８】
以上、位相の更新が終了した時点で、９つの各注目素子２０ｂには探索範囲ｓｐにおける画素差分絶対値総和Ｂの最小値と、それが格納されたときに更新された対応画素が格納されている（ＳＴ１１７）。
一方、ステップＳＴ１１７において、位相の更新が終了されていないと判別された場合には、ステップＳＴ１０２の処理に戻る。
【０１４９】
この演算自体は、図１２に示すように、参照領域ｔｒ内から切り出される９個の３×３のブロックが時刻Ｔに探索範囲ｓｐ内のどの位置に移ったかを、３×３のブロック間の差分絶対値総和に基づいて求めたものである。
【０１５０】
この状態では、その点では、第２の実施の形態に係る画像処理装置１ａの「ブロックマッチング」の場合と同じであるが、第３の実施の形態に係る画像処理装置１ｂは、そのときのブロックの中央の画素を直接、注目画素の「対応画素」として格納および出力する。
また、２フレーム間でのブロックマッチングとは違って、５フレーム間での動きの等速性を仮定した演算により、画像にノイズがある場合でも「対応画素」の検出精度が向上するほか、後述するクラス分類適応処理によるノイズ除去とも親和性がよい。
【０１５１】
最終的には各注目素子から、例えば読出部４は、これらの５フレームにおける対応画素を読み出し出力する。例えば出力された結果は、後述するクラス分類適応処理などに利用される。
【０１５２】
上述した形態に限られるものではない。例えば、本実施の形態では、３×３のブロックサイズで、探索範囲ｓｐを画素単位で（−１，−１）〜（１，１）の場合の対応画素の抽出および出力を行うメモリを説明したが、これに限定されるものではない。
【０１５３】
例えば、各素子間の配線を周辺の５×５の素子から注目素子に接続するように変更することで、５×５のさらに大きなブロックサイズで処理することができる。
また、メモリ２ｂ内の全素子数を５×５の場合で説明したが、例えばメモリに１フレーム内全画素数分の素子を設けた場合には、全画素ごとの対応画素が、位相の更新を終了させた時点で１度に求められる。
【０１５４】
第４の実施の形態
対応画素検出を使ったクラス分類適応処理
図１８は、本発明に係る画像処理装置の第４の実施の形態の機能ブロック図である。
第４の実施の形態に係る画像処理装置１ｃは、第３の実施の形態に係る画像処理装置１ｂのメモリ２ｂを用いて、クラス分類適応処理によるノイズ除去を行う。
【０１５５】
クラス分類適応処理とは、高画質の原画像（教師画像とも言う）を劣化させて、低画質の劣化画像（生徒画像とも言う）を作成し、教師画像と生徒画像間で統計的な学習を行い、その学習したデータを利用して、劣化画像が入力された場合でも、高画質な画像に変換して出力する処理である。
【０１５６】
クラス分類適応処理およびそれによるノイズ除去は、既に出願番号４１０３０４０５８で詳細が述べられているが、本実施の形態に係る画像処理装置１ｃは、具体的に、メモリを用いて上述した処理を行う。
また、例としてＳＤ（Ｓｔａｎｄａｒｄ）フォーマットの入力画像の場合を想定するが、他のフォーマットでも同じ処理が可能である。
【０１５７】
学習
第４の実施の形態に係る画像処理装置１ｃは、図１８に示すように、メモリ２ｂ、複数のフレームメモリ３ｂ、例えばフレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２、読出部４ｃ、ノイズ付加部５、クラスコード生成部６、正規方程式加算部７、係数記憶部（ＲＡＭ）８、および制御部１００ｃを有する
【０１５８】
画像処理装置１ｃと、第３の実施の形態に係る画像処理装置１ｂとの大きな相違点は、ノイズ付加部５、クラスコード生成部６、正規方程式加算部７、および係数記憶部（ＲＡＭ）８をさらに有する点である。相違点のみ説明する。
【０１５９】
ノイズ付加部５は、入力画像に、ノイズ成分を付加する。例えば、ノイズ付加部５は、コンピュータシミュレーション的にランダムノイズを発生させ付加する。
【０１６０】
図１９は、図１８に示した画像処理装置１ｃのノイズ付加部の第１の具体例を示す機能ブロック図である。
第１の具体例に係るノイズ付加部５−１は、図１９に示すようにＲＦモジュレータ（ＲＦ　ＭＯＤＵＬＡＴＯＲ）５１、アテネータ減衰器５２、およびＲＦデモジュレータ（ＲＦ　ＤＥＭＯＤＵＬＡＴＯＲ）５３を有する。
【０１６１】
ノイズ付加部５−１において、ＲＦモジュレータ（ＲＦ　ＭＯＤＵＬＡＴＯＲ）５１では、入力画像、例えばＳＤ画像に応じてＲＦ変調処理し、アテネータ減衰器５２により減衰させ、ＲＦデモジュレータ（ＲＦ　ＤＥＭＯＤＵＬＡＴＯＲ）５３によりＲＦ復調処理を行い、ノイズを付加する。
【０１６２】
図２０は、図１８に示した画像処理装置１ｃのノイズ付加部の第２の具体例を示す機能ブロック図である。
第２の具体例に係るノイズ付加部５−２は、図２０に示すようにＲＦモジュレータ５１、アテネータ減衰器５２、ＲＦデモジュレータ５３、減算器５４、および加算器５５を有する。
【０１６３】
ノイズ付加部５−２において、ＲＦモジュレータ（ＲＦ　ＭＯＤＵＬＡＴＯＲ）５１では、背景が一様な画像（レベルが一様）をＲＦ変調処理し、アテネータ減衰器５２により減衰し、ＲＦデモジュレータ（ＲＦ　ＤＥＭＯＤＵＬＡＴＯＲ）５３によりＲＦ復調処理を行い、減算器５４により、もとの背景が一様な画像との差分処理が行われノイズ成分のみが加算器５５に出力され、加算器５５では、そのノイズ成分が入力画像（ＳＤ画像）に加算されて出力される。
【０１６４】
図２１は、図１８に示した画像処理装置１ｃのノイズ付加部の第３の具体例を示す機能ブロック図である。
第３の具体例に係るノイズ付加部５−３は、図２１に示すように、ＲＦモジュレータ（ＲＦ　ＭＯＤＵＬＡＴＯＲ）５１、アテネータ減衰器５２、ＲＦデモジュレータ（ＲＦ　ＤＥＭＯＤＵＬＡＴＯＲ）５３、減算器５４、加算器５５、およびフレーム加算器５６を有する。
【０１６５】
ノイズ付加部５−３において、ＲＦモジュレータ５１では、背景が一様な画像（レベルが一様）をＲＦ変調処理し、アテネータ減衰器５２により減衰し、ＲＦデモジュレータ５３によりＲＦ復調処理を行い、フレーム加算器５６および減算器５４によりノイズ除去を行った画像と原の画像間での差分をとり、ノイズ成分だけを抽出し、加算器５５により、このノイズ成分が入力画像（ＳＤ画像）に加算されて出力される。
【０１６６】
読出部４ｃは、素子ごとの対応画素を読み出し、クラスコード生成部６および正規方程式加算部７に出力する。
【０１６７】
クラスコード生成部６は、読出部４ｃから出力された素子ごとの対応画素の値に基づいて、ノイズ成分を検出して、クラスコードを生成し、正規方程式加算部７に出力する。
【０１６８】
図２２は、図１８に示した画像処理装置１ｃのクラスコード生成部のクラスコードを発生（ノイズ成分検出）させる原理を説明するための図である。
【０１６９】
クラスコード生成部６は、例えば図２２に示すように、メモリ２ｂから順次出力される対応画素それぞれに対し、ノイズ成分を検出し、それをクラスコードとして記述し発生させる。
メモリ２ｂにより抽出された１つの対応画素は、時刻Ｔ−２〜Ｔ＋２の５フレーム間で、基本的に動きに追従して押出した同じ画素とみなせるので、速い動きではぼけ等の劣化は見られる場合もあるが、基本的には時間的な変動はほとんどない。
【０１７０】
そのため、出力された対応画素内の値の変動がある場合、それはノイズであるとみなせる。したがって、そのノイズの変動をクラスコードとして記述することで、ノイズの変動に応じた後述する予測演算ができる。
【０１７１】
クラスコード生成部６は、対応画素内の５画素の最大値ｂ、最小値ａを求め、最大値ｂおよび最小値に応じたコード、例えば、平均値、具体的には、（最小値ａ＋最大値ｂ）／２より各対応画素のレベルが上ならば１、下ならば０であるような平均値コードを生成する。例えば、平均値コードは、図２２に示したような場合には、「１０１００」である。
【０１７２】
また、クラスコード生成部６は、対応画素内でのダイナミックレンジ（最大値ｂ−最小値ａ）を求め、それを２進数で表現し、ダイナミックレンジコードを生成する。
【０１７３】
例えば、ダイナミックレンジが１８の場合、ダイナミックレンジコードは、「１００１０」である。
クラスコード生成部６は、平均値コードおよびダイナミックレンジコードを合成して、クラスコードを生成する。
【０１７４】
例えば、上述した場合には、平均値コード「１０１００」と、ダイナミックレンジコード「１００１０」を合成して、クラスコード「１０１００１００１０」を生成する。
ここで、平均値コードは、ノイズの時間変動であり、ダイナミックレンジコードは、ノイズレベルの大きさを表現している。
画像処理装置１ｃは、このコードごとに分類することでノイズの変動やレベルに的確に対応した処理が行うことができる。
【０１７５】
正規方程式加算部７は、具体的には、クラスコード生成部６から出力されたクラスコードごとに、読出部４から出力された対応画素と教師画像の画素とに基づいて正規方程式を生成し、クラスコードごとの予測係数を生成する。
【０１７６】
具体的には、正規方程式加算部７は、対応画素をＸ_Ｔ＋２、Ｘ_Ｔ＋１、Ｘ_Ｔ、Ｘ_Ｔ−１、Ｘ_Ｔ−２として、フレームメモリＴの対応画素Ｘ_Ｔに対してノイズを付加する前の教師画像から同じ位置の画素をｙとして、数式（２）に示すような正規方程式を生成する。
【０１７７】
【数２】

【０１７８】
ここで、ａ_Ｔ＋２、ａ_Ｔ＋１、ａ_Ｔ、ａ_Ｔ−１、ａ_Ｔ−２は推定すべき予測係数である。
正規方程式加算部７は、クラスごとに対応画素と教師画像の画素を、数式（２）に代入して正規方程式を生成し、必要な数の正規方程式が求められたとき最小自乗推定によって、この予測係数を推定する。
【０１７９】
正規方程式加算部７は、クラスコードごとの予測係数を決定し、係数記憶部（ＲＡＭ）８に出力する。
係数記憶部（ＲＡＭ）８は、正規方程式加算部７から出力された、クラスコードごとの予測係数を記憶する。
【０１８０】
制御部１００ｃは、各フレームメモリＴ−２，Ｔ−１，Ｔ，Ｔ＋１，Ｔ＋２に保持されている画像から参照領域ｔｒを読み出し、メモリ２ｃに格納する。また、読み出された参照領域ｔｒに対応している探索範囲ｓｐを他のフレームメモリに設定し、位相を更新しながら探索領域ｔｐを読み出しメモリ２ｃに格納していく。
【０１８１】
制御部１００ｃは、読み出す参照領域ｔｒとして、例えばラスタスキャンのような順序で、フレームメモリＴ内で適当に位相をシフトしながら順次読み出していき、メモリ２ｃが最終的にフレームメモリ内の全画素の対応画素を出力できるようにする。
【０１８２】
図２３は、図１８に示した画像処理装置１ｃが、クラス分類適応処理のために、参照領域ｔｒのメモリに読み出すべき手順を説明するための図である。図２３（ａ）はシフト前の状態を示す図である。図２３（ｂ）は、シフト後の状態を示す図である。
【０１８３】
例えば、制御部１００ｃは、メモリ２ｂが５×５の場合、図２３（ａ），（ｂ）に示すように３×３画素ごとにシフトして参照領域ｔｒを切り出せば、対応画素がフレームメモリＴ内の全ての画素位置で得る。このため、フレームメモリＴの全ての画素を処理できる。この場合、１つの参照領域ｔｒの読み出しに対し、メモリ２ｃは位相の異なる９つの対応画素を得て、この９つの対応画素を順次出力する。
【０１８４】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
ノイズ付加部５では、入力画像にノイズ成分が付加される。
フレームメモリＴ−２，Ｔ−１，Ｔ，Ｔ＋１，Ｔ＋２では、ノイズ成分が付加された入力画像を順次、記憶する。
【０１８５】
制御部１００ｃでは、各フレームメモリから、所定の探索範囲ｓｐの内の探索領域ｔｐの画素の画素値、および位相情報が読み出され、メモリ２ｂに出力される。
読出部４ｃでは、メモリ２ｂの各素子２０ｂごとの対応画素が読み出され、クラスコード生成部６および正規方程式加算部７に出力される。
【０１８６】
クラスコード生成部６では、読出部４ｃから出力された素子ごとの対応画素の値に基づいて、ノイズ成分が検出され、上述した図２２に示すように所定の処理によりクラスコードが生成され、正規方程式加算部７に出力される。
【０１８７】
正規方程式加算部７では、クラスコードごとに、読出部４から出力された対応画素と教師画像の画素とに基づいて、上述した所定の処理により正規方程式が生成され、クラスコードごとの予測係数が生成され、係数記憶部（ＲＡＭ）８に記憶される。
【０１８８】
以上、説明したように、本実施の形態に係る画像処理装置１ｃでは、入力画像にノイズ成分を付加するノイズ付加部５と、フレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２と、メモリ２ｂと、メモリ２ｂの内の素子ごとに対応画素を読み出す読出部４ｃと、その対応画素に応じてクラスコードを生成するクラスコード生成部６と、クラスコード、対応画素および入力画素に応じて正規方程式を生成して予測係数を生成する正規方程式加算部７と、予測係数を記憶する係数記憶部（ＲＡＭ）８と、所定の制御を行う制御部１００ｃとを設けたので、所定の入力画像にノイズ成分が付加され、入力画像、およびノイズ成分が付加された画像に基づいて、クラスコードを生成して、学習を行うことができる。
この学習結果の情報は、例えば、第５の実施の形態に係る画像処理装置によりノイズ成分が付加された画像から元の高画質の画像を生成する際に用いられる。
【０１８９】
第５の実施の形態
予測
図２４は、本発明に係る画像処理装置の第５の実施の形態の機能ブロック示す図である。
本実施の形態に係る画像処理装置１ｄは、例えば第４の実施の形態に係る画像処理装置１ｃで説明したクラスコードを用いて、入力画像のノイズ成分を推定し、もとの高画質な画像を生成する。
【０１９０】
画像処理装置１ｄは、例えば図２４に示すように、メモリ２ｄ、複数のフレームメモリ３ｂ、例えばフレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２、読出部４ｃ、クラスコード生成部６、係数記憶部８ｄ、推定演算部９、および制御部１００ｄを有する
【０１９１】
本実施の形態に係る画像処理装置１ｄと、第４の実施の形態に係る画像処理装置１ｃとの、大きな相違点は、係数記憶部８ｄ、推定演算部９を有することである。
【０１９２】
画像処理装置１ｄの制御部１００ｄは、ノイズの予測処理を行う場合に、入力画像の５フレーム分（現フレームと前後２フレーム分）を、フレームメモリ３ｂ−Ｔ＋２〜Ｔ−２それぞれに保持する。
【０１９３】
制御部１００ｄは、各フレームメモリ３ｂＴに保持されている画像から参照領域ｔｒを読み出し、メモリ２ｄに格納する。
制御部１００ｄは、読み出された参照領域ｔｒに対応している探索範囲ｓｐを他のフレームメモリ３ｂ−Ｔ−２、Ｔ−１、Ｔ＋１、Ｔ＋２に設定し、位相を更新しながら探索領域ｔｐを読み出しメモリ２ｄに格納していく。
【０１９４】
制御部１００ｄは、読み出す参照領域ｔｒとしては、例えばラスタスキャンのような順序で、フレームメモリＴ内で所定の順番に位相をシフトしながら順次読み出していき、メモリ２ｄが最終的にフレームメモリ内の全画素の対応画素を出力する。
【０１９５】
例えば、制御部１００ｄは、メモリ３ｄが５×５の場合、図２３（ａ），（ｂ）に示すように３×３画素ごとにシフトして参照領域ｔｒを切り出せば、フレームメモリＴ内の全ての画素位置で対応画素を得る。このため、フレームメモリＴの全ての画素を処理できる。この場合、１つの参照領域ｔｒの読み出しに対し、メモリ２ｄは位相の異なる９つの対応画素を得て、この９つの対応画素を順次出力する。
【０１９６】
クラスコード生成部６は、メモリ２ｄから順次出力される対応画素それぞれに、画素のノイズ成分に基づいて、クラスコードを生成する。
【０１９７】
係数記憶部（ＲＯＭ）８ｄは、例えば、第４の実施の形態に係る画像処理装置１ｃで学習時に係数記憶部８に記憶されたクラスコードごとの予測係数を記憶する。
係数記憶部８ｄは、クラスコード生成部６から出力されたクラスコードに応じて、記憶されているクラスコードに応じた予測係数を出力する。
【０１９８】
推定演算部９は、係数記憶部８ｄから出力された予測係数および対応画素に応じて、予測値を推定し出力する。
具体的には、推定演算部９は、係数記憶部８ｄから出力された予測係数ａ_Ｔ＋２、ａ_Ｔ＋１、ａ_Ｔ、ａ_Ｔ−１、ａ_Ｔ−２と、対応画素Ｘ_Ｔ＋２、Ｘ_Ｔ＋１、Ｘ_Ｔ、Ｘ_Ｔ−１、Ｘ_Ｔ−２に応じて、例えば上述した数式（２）により予測値ｙを算出して出力する。この予想値ｙはノイズ成分が除去された画素値である。
【０１９９】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
制御部１００ｄは、フレームメモリＴ−２，Ｔ−１，Ｔ，Ｔ＋１，Ｔ＋２に、ノイズ成分が付加された入力画像を記憶する。
【０２００】
制御部１００ｄでは、各フレームメモリから、所定の探索範囲ｓｐの内の探索領域ｔｐの画素の画素値、および位相情報が読み出され、メモリ２ｄに出力される。
読出部４ｃでは、メモリ２ｄの各素子２０ｄごとの対応画素が読み出され、クラスコード生成部６および推定演算部９に出力される。
【０２０１】
クラスコード生成部６では、読出部４ｃから出力された素子ごとの対応画素の値に基づいて、ノイズ成分が検出され、上述した図２３に示すように所定の処理によりクラスコードが生成され、推定演算部９に出力される。
【０２０２】
推定演算部９では、係数記憶部（ＲＯＭ）８ｄから出力された予測係数および対応画素に応じて、上述した所定の処理を行い、予測値が推定され出力される。
【０２０３】
以上、説明したように、本実施の形態に係る画像処理装置１ｄでは、フレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２と、メモリ２ｄと、メモリ２ｄの内の素子ごとに対応画素を読み出す読出部４ｃと、その対応画素に応じてクラスコードを生成するクラスコード生成部６と、クラスコードに応じた係数を記憶する係数記憶部（ＲＯＭ）８ｄと、係数記憶部（ＲＯＭ）８ｄから出力された予測係数および対応画素に応じて、予想値を生成する推定演算部９と、所定の制御を行う制御部１００ｄとを設けたので、フレームメモリＴに保持されているノイズがある入力画像に対して、１画素単位でノイズ除去をした画素を出力することができる。
【０２０４】
また、上述した構成により、クラス分類適応処理に必要な画素などを直接に探索および出力できる。これにより、例えば、動きベクトル検出後に動きベクトルによる位相補正を行い、必要な画素抽出するような手順を簡略化することができる。
【０２０５】
第６の実施の形態
図２５は、本発明に係る画像処理装置の第６の実施の形態の機能ブロック図である。図２６（ａ）は図２５に示した画像処理装置のメモリの構成図、図２６（ｂ）は図２６（ａ）に示したメモリの予想画素が格納される素子を示す図、図２６（ｃ）は図２６（ａ）に示したメモリの素子の機能ブロック図である。
【０２０６】
本実施の形態に係る画像処理装置１ｅは、図２５に示すように、メモリ２ｅ、複数のフレームメモリ３ｂ、例えばフレームメモリ３ｂ−Ｔ＋２，Ｔ＋１，Ｔ，Ｔ−１，Ｔ−２、係数記憶部（ＲＯＭ）８ｅ、および制御部１００ｅを有する。
【０２０７】
画像処理装置１ｅは、メモリ２ｅの素子２０ｅそれぞれに、第５の実施の形態に係る画像処理装置１ｄのクラス分類適応処理機能を有することである。相違点のみ説明する。
【０２０８】
メモリ２ｅは、例えば図２６（ａ）に示すように、５×５の素子２０ｅ−１〜２５を有しており、各素子２０ｅが配線により接続されている。
【０２０９】
素子２０ｅは、図２６（ｃ）に示すように、複数の画素２１ｂ、例えば画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２、差分絶対値総和Ａ記憶部２２ｂ−１、差分絶対値総和Ｂ記憶部２２ｂ−２、複数の減算器２４ｂ、例えば減算器２４ｂ−１〜４、複数の絶対値生成部２５ｂ、例えば絶対値生成部２５ｂ−１〜４、加算器２５０、比較更新部２６ｅ、クラスコード生成部６ｅ、推定演算部９ｅ、および加算部２８ｂを有する。
【０２１０】
クラスコード生成部６ｅは、比較更新部２６ｅから、差分絶対値総和を更新したことを示す更新情報と、画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２から出力された画素値に応じて、クラスコードを生成し、係数記憶部（ＲＯＭ）８ｅに出力する。
【０２１１】
具体的には、クラスコード生成部６ｅは、比較更新部２６ｅから、差分絶対値総和を更新したことを示す更新情報が入力されると、画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２から出力された画素値に応じたクラスコードを生成し、係数記憶部（ＲＯＭ）８ｅに出力する。
【０２１２】
推定演算部９ｅは、係数記憶部（ＲＯＭ）８ｅから出力された予測係数、および画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２から出力された画素に基づいて、予測値を推定し出力する。
【０２１３】
以上説明した構成の画像処理装置１ｅの動作を、相違点のみ簡単に説明する。制御部１００ｅは、ノイズの予測処理を行う場合に、入力画像の５フレーム分（現フレームと前後２フレーム分）を、フレームメモリ３ｂ−Ｔ＋２〜Ｔ−２それぞれに保持する。
【０２１４】
制御部１００ｅは、各フレームメモリ３ｂＴに保持されている画像から参照領域ｔｒを読み出し、メモリ２ｅに格納する。
制御部１００ｅは、読み出された参照領域ｔｒに対応している探索範囲ｓｐを他のフレームメモリ３ｂ−Ｔ−２、Ｔ−１、Ｔ＋１、Ｔ＋２に設定し、位相を更新しながら探索領域ｔｐを読み出しメモリ２ｅに格納していく。
【０２１５】
制御部１００ｅは、読み出す参照領域ｔｒとしては、例えばラスタスキャンのような順序で、フレームメモリＴ内で所定の順番に位相をシフトしながら順次読み出していき、メモリ２ｅが最終的にフレームメモリ内の全画素の対応画素を出力できるようにする。
【０２１６】
メモリ２ｅの内の素子２０ｅにおいて、クラスコード生成部６ｅでは、比較更新部２６ｅから、差分絶対値総和を更新したことを示す更新情報が入力されると、画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２から出力された画素値に応じたクラスコードを生成し、係数記憶部（ＲＯＭ）８ｅに出力する。
【０２１７】
係数記憶部（ＲＯＭ）８ｅでは、クラスコード生成部６ｅから出力されたクラスコードに応じて、記憶している係数が推定演算部９ｅに出力される。
推定演算部９ｅでは、係数記憶部（ＲＯＭ）８ｅから出力された予測係数、および画素２１ｂ−Ｔ，Ｔ＋２，Ｔ＋１，Ｔ−１，Ｔ−２から出力された画素に基づいて、予測値が推定され出力される。
【０２１８】
推定演算部９では、係数記憶部（ＲＯＭ）８ｅから出力された予測係数および対応画素に応じて、上述した所定の処理を行い、予測値が推定され、例えばフレームメモリ等へ出力される。
【０２１９】
以上、説明したように、本実施の形態に係る画像処理装置１ｅでは、メモリ２ｅの各素子２０ｅごとに、クラスコード生成部６ｅ、推定演算部９ｅをさらに設けたことにより、クラス分類適応処理機能を持たせることができる。
【０２２０】
具体的には、差分絶対値総和が更新されるたびに、画素Ｔ、画素Ｔ＋１、画素Ｔ＋２、画素Ｔ−１、画素Ｔ−２に格納されている画素を使って、クラス分類適応処理によるノイズ除去がなされ、予測された画素がその都度出力される。画素の出力のたびに、別のフレームメモリなどに、その値がかき換えられるようにしておくと最終的にノイズ除去後の画像が得られる。
【０２２１】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、第４の実施の形態に係る画像処理装置１ｃと、第５の実施の形態に係る画像処理装置１ｄとをまとめてもよい。こうすることにより、ノイズ成分を学習してクラスコードを生成し、生成されたクラスコードに応じてノイズ成分を推定し高画質の画像を生成することができる。
【０２２２】
第７の実施の形態
プレーンマッチング
図２７は、本発明に係る画像処理装置に係る第７の実施の形態の動作を説明するための概念図である。
例えば、図２７（ａ）に示すように、入力画像の中に、時間の経過により移動するオブジェクトｏｂ１，ｏｂ２が存在し、所定の大きさの参照ブロックを設定した場合に、図２７（ｂ）に示すように、参照ブロック内に複数のオブジェクトが含まれてしまう場合がある。
【０２２３】
ブロックマッチングでは、ブロック全体の動きとして、動きベクトルを捉えるものであるため、参照ブロックの注目画素が本来持っている動き（オブジェクトｏｂ１）が別のオブジェクト（オブジェクトｏｂ２）の動きベクトルになってしまったり、両者のオブジェクトの中間の動きが求まってしまう場合がある。
【０２２４】
本実施の形態に係る画像処理装置では、後述するプレーンマッチングを行い、参照ブロック内に複数のオブジェクトが含まれている場合であっても、正確な動きベクトルを生成する。
【０２２５】
図２８は、本発明に係る画像処理装置の第７の実施の形態のプレーンマッチングの動作を説明するための概念図である。図２８を参照しながら、画像処理装置のプレーンマッチングの動作を説明する。
【０２２６】
プレーンマッチングは、例えば、図２８（ａ）に示すようにオブジェクトｏｂ１，２が存在する場合に、図２８（ｂ）に示すように参照ブロックを設定し、図２８（ｃ）に示すように参照ブロックの内から注目画素と同一のオブジェクトだけの画素を摘出し、抽出した画素に基づいてマッチングを行う。
画像中から、プレーンマッチングのために、同一のオブジェクトごとの画素を抽出することを「プレーン分離」と言う。
【０２２７】
図２９は、本発明に係る画像処理装置の第７の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置１ｆは、図２９に示すように、メモリ２ｆ、複数のフレームメモリ３ｆ、例えばフレームメモリ３ｆ−Ｔ，Ｔ−１、読出部４ｆ、制御部１００ｆ、およびプレーン分離部１１０を有する。相違点のみ説明する。
【０２２８】
メモリ２ｆは、例えば図２９に示すように、入力画像のサイズをｗ×ｂとすると、（ｗ−２）×（ｈ−２）のようにほぼ全画面の素子数を有する。
画像処理装置１ｆは、動きベクトルの探索を行うために、例えば予めフレームメモリ３ｆ−Ｔ−１の全画面にプレーン分離処理を行い、各画素のプレーン情報を、メモリ２ｆの内の全素子に格納する処理を行う。
【０２２９】
フレームメモリ３ｆ−Ｔは、時刻Ｔのフレームを記憶する。フレームメモリ３ｆ−Ｔは、例えば探索範囲ｓｐ（ｗ×ｈ）の大きさのフレームメモリであり、例えば制御部１００ｆにより、所定の探索領域ｔｐ（ｗ−２）×（ｈ−２）の内の画素が読出され、メモリ２ｆに出力される。
【０２３０】
フレームメモリ３ｆ−Ｔ−１は、時刻Ｔ−１のフレームを記憶する。フレームメモリ３ｆ−Ｔ−１は、例えばｗ×ｈの大きさのフレームメモリであり、例えば制御部１００ｆにより、所定の参照領域ｔｒ（ｗ−２）×（ｈ−２）の内の画素が読み出され、メモリ２ｆに出力される。
【０２３１】
読出部４ｆは、メモリ２ｆの各素子ごとに記憶されている動きベクトルを読み出して出力する。
プレーン分離部１１０は、フレームメモリ３ｆ−Ｔ−１に記憶されている画像データに基づいて、後述するプレーン分離処理を行い、処理の結果のプレーン情報をメモリ２ｆに出力する。
制御部１００ｆは、後述する所定の処理を行う。
【０２３２】
各構成要素について、以下、詳細に説明する。
メモリの構成
図３０（ａ）は図２９に示した画像処理装置のメモリを模式的に示す図である。図３０（ｂ）は図３０（ａ）の一部を拡大した図である。図３０（ｃ）は図３０（ｂ）に示したメモリの素子の機能ブロック図である。
【０２３３】
メモリ２ｆは、図３０（ａ），（ｂ）に示すように、複数の素子２０ｆを有する。
素子２０ｆは、図３０（ｃ）に示すように、画素２０−１、画素２０−２、画素差分記憶部２２ｆ−１、差分総和記憶部２２ｆ−２、動きベクトル記憶部２３、減算器２４、絶対値生成部２５、比較更新部２６ｆ、更新部２７、加算部２８ｆ、プレーン情報記憶部２９、およびスイッチ（Ｓｗｉｔｃｈ）３０を有する。
【０２３４】
メモリ２ｆは、素子２０ｆ間の配線により、例えば図１５に示すように、注目する素子（図１５では素子２０ｆ−５）の８近傍の素子（図１５では素子２０ｆ−１〜４，６〜９）に格納されている差分絶対値を、注目する素子に出力する。但し、各素子２０ｆごとに、出力するか否かの判定を、スイッチ（ｓｗｉｔｃｈ）３０が行う。
【０２３５】
また、メモリ２ｆは、第１の実施の形態に係るメモリ２ａと同様に、単に１画素を格納するだけでなく２画素分、格納でき、それらの差分絶対値を演算できる。また、その結果である差分絶対値を格納する。
また、本実施の形態に格納される画素に対応した「プレーン情報」が格納できる点が、第２の実施の形態に係る画像処理装置とは異なる。
以下、各構成要素の相違点のみ説明する。
【０２３６】
画素差分記憶部２２ｆ−１は、記憶している差分絶対値を加算部２８ｆへ出力する。
差分総和記憶部２２ｆ−２は、加算部２８ｆから出力されたデータと、差分総和記憶部２２ａ−２に記憶されている総和差分絶対値を総和に基づいて、更新を差分総和記憶部２２ａ−２に出力する。
【０２３７】
加算部２８ｆは、スイッチ３０から出力されたデータ、および画素差分記憶部２２ｆ−１に記憶されている総和差分絶対値に基づいて、それらを加算し、比較更新部２６ｆに出力する。
【０２３８】
比較更新部２６ｆは、加算部２８ｆから出力された差分絶対値総和Ａと、差分総和記憶部２２ａ−２に記憶されている差分絶対値総和（差分絶対値総和Ｂと言う）とを比較して、比較の結果、差分絶対値総和Ａが小さい場合には、差分絶対値総和Ａを差分総和記憶部２２ｆ−２に記憶させて、差分絶対値総和を更新する。
【０２３９】
比較更新部２６ｆは、上述した更新を行った場合には、更新を行ったことを示す更新情報を更新部２７に出力する。
比較更新部２６ｆは、比較の結果、差分絶対値総和Ａが大きい場合には、差分総和記憶部２２ａ−２に記憶されている差分絶対値総和Ｂの更新を行わない。
【０２４０】
更新部２７ｆは、比較更新部２６ｆから出力された更新情報、および位相情報に基づいて、動きベクトル記憶部２３に記憶されている動きベクトルを更新する。
具体的には、更新部２７ｆは、比較更新部２６ｆから差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の位相を動きベクトルとして、動きベクトル記憶部２３に記憶させることで、動きベクトルを更新する。
【０２４１】
加算部２８ｆは、画素差分記憶部２２ａ−１から出力された差分絶対値ａ、および、スイッチ３０から出力された、その画素の近傍の８つの素子２０ａ（８近傍の素子２０ａとも言う）それぞれの差分絶対値ａに基づいて、それらを加算して、差分絶対値総和Ａを生成し、比較更新部２６ｆに出力する。
プレーン情報記憶部２９は、後述するプレーン情報を記憶する。
【０２４２】
スイッチ３０は、プレーン情報の一致の判定を行い、各素子２０ｆの差分絶対値ａを加算部２８ｆに出力するゲートの役割を有する。
例えばスイッチ（Ｓｗｉｔｃｈ）３０は、注目する素子２０ｆのプレーン情報と、他の８近傍の素子２０ｆのプレーン情報に応じて、差分絶対値を加算部２８ｆに出力する。
【０２４３】
具体的には、スイッチ３０は、注目する素子２０ｆのプレーン情報記憶部２９に記憶されているプレーン情報と、他の８近傍の素子２０ｆそれぞれのプレーン情報記憶部２９に記憶されているプレーン情報とを比較し、一致している場合には、画素差分記憶部２２ｆ−１に記憶されている差分絶対値を加算部２８ｆに出力し、一致していない場合には８近傍の素子２０ｆそれぞれに記憶されている差分値絶対値を加算部２８ｆに出力しない。
【０２４４】
各素子２０１の総和が更新された場合、その時の動きベクトル（動きベクトル）も予め格納されているものから更新される。
【０２４５】
プレーン分離とプレーン情報
図３１は、図２９に示した画像処理装置のプレーン分離部の処理を説明するための図である。
入力画像中の背景やそれぞれのオブジェクトなどの各要素をプレーンと言う。また、それぞれのプレーンに分離することをプレーン分離と言う。
【０２４６】
プレーン分離部１１０は、例えば図３１に示すように「プレーン１にはＬＥＶＥＬ１を割り当てる」というようにプレーン分離された各プレーンに所定の値（ラベル）を割り当てる。画像中の各画素がどのプレーンに属しているかを表したものを、プレーン情報と言う。
以下、プレーン分離の手法の一具体例を説明する。
【０２４７】
図３２は、画像処理装置１ｆのプレーン分離部の一具体例を示す機能ブロックである。
例えばプレーン分離部１１０は、入力された画像を、画像中の同じオブジェクトや背景などでは、その内部の輝度や色は同じ様なレベルであるということを利用して、所定のプレーンに分離する。
【０２４８】
プレーン分離部１１０は、例えば図３２に示すように、ヒストグラム演算部１１１、ピーク検出部１１２、谷検出部１１３、消去部１１４、谷統合部１１５、およびラベリング部１１６を有する。
【０２４９】
ヒストグラム演算部１１１は、入力画像に応じて、レベル（輝度あるいは色）ごとのヒストグラム（度数分布）を生成し、保持する。
図３３は、図３２に示した画像処理装置１ｆのプレーン分離部のヒストグラム演算部１１１が生成するヒストグラムの一具体例を示す図である。横軸はレベル、縦軸はヒストグラム（度数）を示す。
【０２５０】
ヒストグラム演算部１１１は、入力画像に応じて、例えば図３３に示すようにヒストグラムを生成する。
ヒストグラム演算部１１１は、生成したヒストグラム（度数分布）を、ピーク検出部１１２に出力する。
【０２５１】
ピーク検出部１１２は、入力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル（ピーク）を検出し、谷検出部１１３に出力する。例えば、ピーク検出部１１２は、ヒストグラム演算部１１１から出力されたヒストグラム、または消去部１１４から出力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル（ピーク）を検出し、谷検出部１１３に出力する。
【０２５２】
谷検出部１１３は、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する。
例えば、谷検出部１１３は、ピーク検出部１１２から出力された、最大の度数のレベル（ピーク）に基づいてヒストグラムの、そのレベルピークの両脇の谷を２点それぞれ検出する。
【０２５３】
具体的には、谷検出部１１３は、ピークを中心とした所定の範囲内、例えば＋ａの内で最も度数の少ない点を右側の谷とし、所定の範囲内、例えば−ａの内で、最も度数の少ない点を左側の谷とする。
【０２５４】
消去部１１４は、例えば、所定のピークを含むオブジェクトの度数を消去する。
例えば、消去部１１４は、ヒストグラムのピークを中心として、左右の２点の谷に囲まれるレベルに対応する度数を、ヒストグラムの中から消去し、ピーク検出部１１２に出力する。
【０２５５】
図３４は、図３２に示した画像処理装置のプレーン分離部の消去部の動作を説明するためのヒストグラムの一具体例である。
消去部１１４は、例えば図３４に示すように、所定のピークを中心として、左右の２点の谷に囲まれるレベルに対応する度数を、ヒストグラムの中から消去し、ピーク検出部１１２に出力する。
【０２５６】
消去部１１４は、ヒストグラム中の全てのレベルに対する度数が０になったと判別した場合には、谷の度数を谷統合部１１５に出力する。
【０２５７】
谷統合部１１５は、消去部１１４から出力された各谷の度数に基づいて、レベルの近い谷を統合し、所定のラベリング部１１６に出力する。
具体的には、谷統合部１１５は、各谷に対してレベルの近い谷は統合する。
より具体的には、谷統合部１１５は、谷の検出された順を優先して、先に検出された谷の所定の範囲、例えば±ｂの範囲に含まれる他の谷を消去する。
【０２５８】
図３５は、図３２に示した画像処理装置の谷統合部により統合される前のヒストグラムの谷を説明するための図である。図３６は、図３２に示した画像処理装置の谷統合部により統合されたヒストグラムの谷を説明するための図である。
【０２５９】
谷統合部１１５では、具体的には、例えば図３５に示すように消去部１１４から出力された各谷の度数に基づいて、図３６に示すように、レベルの近い谷を統合する。
【０２６０】
ラベリング部１１６は、入力画像、および谷統合部１１５から出力された画像に応じて、プレーン分離された各プレーンに所定の値（ラベル）ラベルを割り当てる。具体的には、ラベリング部１１６は、入力画像の各画素に対して、各谷の間に存在する画素は同じプレーンとみなし、同じラベルを割り当てる。
【０２６１】
ラベリング部１１６は、より具体的には、各画素ごとにレベル（輝度あるいは色）がどの谷の内部にあるかを判定し、その谷の内部の画素ごとに同一ラベルを割り当てる。
【０２６２】
図３７は、図３２に示した画像処理装置のプレーン分離部の動作を説明するためのフローチャートである。
【０２６３】
ステップＳＴ２０１において、ヒストグラム演算部１１１では、値レベル（輝度あるいは色）ごとのヒストグラムが生成され保持される。
また、ヒストグラム演算部１１１では、生成されたヒストグラムが、ピーク検出部１１２に出力される。
【０２６４】
ステップＳＴ２０２において、ピーク検出部１１２では、入力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル（ピーク）が検出され、谷検出部１１３に出力される。
具体的には、ピーク検出部１１２では、ヒストグラム演算部１１１から出力されたヒストグラム、または消去部１１４から出力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル（ピーク）が検出され、谷検出部１１３に出力される。
【０２６５】
ステップＳＴ２０３において、谷検出部１１３では、ピークの両脇の谷が検出される。具体的には、谷検出部１１３では、ピークを中心とした＋ａの範囲内での最も度数の少ない点を右側の谷とする。また、谷検出部１１３では、−ａの範囲内での最も度数の少ない点を左側の谷とする。
【０２６６】
谷検出部１１３は、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する。
例えば、谷検出部１１３は、ピーク検出部１１２から出力された、最大の度数のレベル（ピーク）に基づいてヒストグラムの、そのレベルピークの両脇の谷を２点それぞれ検出する。
具体的には、谷検出部１１３は、ピークを中心とした所定の範囲内、例えば＋ａの内で最も度数の少ない点を右側の谷とし、所定の範囲内、例えば−ａの内で、最も度数の少ない点を左側の谷とする。
【０２６７】
ステップＳＴ２０５において、消去部１１４では、左右の２点の谷に囲まれるレベルに対応する度数がヒストグラム中から消去される。
また、消去部１１４では、ヒストグラムの中の全てのレベルに対する度数が０になったか否かが判別され、０になっていないと判別された場合には、ステップＳＴ２０２の処理に戻る。
【０２６８】
一方、ステップＳＴ２０５の判別において、消去部１１４では、ヒストグラム中の全てのレベルに対する度数が０になったと判別された場合には、谷の度数が谷統合部１１５に出力される。
【０２６９】
ステップＳＴ２０６において、谷統合部１１５では、消去部１１４から出力された各谷の度数に基づいて、レベルの近いものが統合され、所定のラベリング部１１６に出力される。具体的には、谷統合部１１５では、各谷に対してレベルの近いものが統合される。より具体的には、谷統合部１１５では、谷の検出された順を優先して、先に検出された谷の所定の範囲、例えば±ｂの範囲に含まれる他の谷が消去される。
【０２７０】
ステップＳＴ２０７において、ラベリング部１１６では、入力画像、および谷統合部１１５から出力された画像に応じて、プレーン分離された各プレーンに所定の値（ラベル）ラベルが割り当てられる。
【０２７１】
具体的には、ラベリング部１１６では、入力画像の各画素に対して、各谷の間に存在する画素は同じプレーンとみなし、同じラベルが割り当てられる。ラベリング部１１６では、より具体的には、各画素ごとにレベル（輝度あるいは色）がどの谷の内部にあるかが判定され、その谷の内部の画素ごとに同一ラベルが割り当てられる。
そして、一連のプレーン分離に関する動作を終了する。
【０２７２】
図３８は、図２９に示した画像処理装置の動作を説明するためのフローチャートである。画像処理装置１ｆの動作を、素子２０ｆを中心に図３８を参照しながら説明する。
【０２７３】
簡単のため、プレーンマッチングを行うメモリに関して、簡単のためにブロックサイズ３×３画素、探索範囲ｓｐを画素単位で（−１，−１）〜（１，１）として説明する。
【０２７４】
ここで、注目素子とは、図３０（ｂ）において、実際に動きベクトルが格納される素子の１つと想定する。メモリ２０ｆの端にある素子ではない。
簡単な説明のために画像のサイズをｗ×ｂとする。
【０２７５】
プレーン分離部１１０では、フレームメモリ３ｆ−Ｔ−１に記憶されている画像に基づいて、上述した所定のプレーン分離処理が行われ、処理の結果のプレーン情報がメモリ２ｆの内の各素子２０ｆごとに出力される。
素子２０ｆそれぞれは、プレーン分離部１１０から出力されたプレーン情報を記憶する。
具体的には、素子２０ｆのプレーン情報記憶部２９それぞれに、１画素分のプレーン情報が格納される（ＳＴ３０１）。
【０２７６】
フレームメモリ３ｆ−Ｔ−１から、図２９に示すように、（ｗ−２）×（ｈ−２）参照領域ｔｒの各画素が、メモリ２ｆの内の各素子２０ｆそれぞれに格納される。
具体的には、図３０（ｃ）に示すように、各素子２ｆの画素２０−２に参照領域ｔｒの１画素を格納することになる。
次に、探索範囲ｓｐ内で位相を更新しながら、（ｗ−２）×（ｈ−２）の領域を読み出し、その領域内の各画素をメモリ内の各素子ごとに格納する（ＳＴ３０２）。この（ｗ−２）×（ｈ−２）の領域を「探索領域ｔｐ」と言う。
【０２７７】
図３０（ｃ）に示すように、各素子２０ｆの画素２０−１の部分に探索領域ｔｐの１画素を格納することになる。
位相の更新と探索領域ｔｐの読み出しは、実際には探索領域ｔｐの画素数が違うだけで前述したブロックマッチングの場合と同様で（−１，−１）〜（１−１）の範囲で９回行われ、９回終わると終了する。
【０２７８】
各素子２０内で、減算器２４では、画素２０−１に格納された値と画素２０−２に格納された値の差分値が生成され、絶対値生成部２５では減算器２４から出力された差分値の絶対値（差分絶対値ａ）が生成され、画素差分記憶部２２ｆ−１では差分絶対値ａが格納される（ＳＴ３０５）。
【０２７９】
次に各注目素子において、その８近傍の素子からプレーン情報を読み出される。
具体的には、スイッチ３０では、注目素子２０ｆのプレーン情報記憶部２９に記憶されているプレーン情報と、他の８近傍の素子２０ｆのプレーン情報記憶部２９が記憶する各プレーン情報とが同じであるか否かの判定が行われる。
スイッチ３０では、同じであると判定された素子２０ｆの画素差分記憶部２２ｆ−１が記憶している差分絶対値ａが読み出されて加算される。
加算部２８ｆでは、スイッチ３０それぞれから出力された差分絶対値ａが加算され、差分絶対値総和Ａが求められる（ＳＴ３０６）。
【０２８０】
次に各注目素子において、比較更新部２６ｆでは、予め格納されている差分絶対値総和（差分絶対値総和Ｂ）と差分絶対値総和Ａが比較され（ＳＴ３０７）、差分絶対値総和Ａが小さい場合、差分総和記憶部２２ｆ−２に格納する値を差分絶対値総和Ｂから差分絶対値総和Ａに更新する（ＳＴ３０９）。
一方、比較更新部２６ｆでは、差分絶対値総和Ａが大きい場合は更新を行わず、次の位相の更新および探索領域ｔｐの読み出しへと移行する。
ところで、初期状態では注目素子に差分絶対値総和は格納されていない。その場合は、無条件に最初の差分絶対値総和が格納される。
【０２８１】
次に、ある注目素子の差分絶対値総和が更新された場合のみ、そのときの位相を真の動きベクトルとしてその注目素子に予め格納されている動きベクトルが更新される（ＳＴ３１０）。
以上より位相の更新が終了した時点で、９つの各注目素子には探索範囲ｓｐにおける画素差分絶対値総和の最小値と、それが格納されたときの動きベクトルが格納されている。
読出部４ｆでは、各注目素子から、これらの動きベクトルが読出され出力される。
【０２８２】
以上、説明したように本実施の形態に係る画像処理装置では、入力画像に応じてレベル（輝度あるいは色）ごとのヒストグラム（度数分布）を生成するヒストグラム演算部１１１と、そのヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル（ピーク）を検出するピーク検出部１１２と、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する谷検出部１１３と、所定のピークを含むオブジェクトの度数を消去する消去部１１４と、消去部１１４から出力された各谷の度数に基づいて、レベルの近い谷を統合する谷統合部１１５と、入力画像、および谷統合部１１５から出力された画像に応じて、プレーン分離された各プレーンに所定の値（ラベル）ラベルを割り当てるラベリング部１１６とを有するプレーン分離部１１０と、素子２０ｆそれぞれに、プレーン情報を記憶するプレーン情報記憶部２９と、プレーン情報の一致の判定を行い、各素子２０ｆの差分絶対値ａを加算部２８ｆに出力するスイッチ３０とを設けたので、例えば参照ブロックの内に複数のオブジェクトが含まれている場合であっても、正確な動きベクトルを生成することができる。
【０２８３】
第８の実施の形態
図３９は、本発明に係る画像処理装置の第８の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置１ｇは、図３９に示すように、メモリ２ｇ、複数のフレームメモリ３ｇ、例えばフレームメモリ３ｇ−Ｔ，Ｔ−１、読出部４ｇ、制御部１００ｇ、プレーン分離部１１０ｇ、プレーン情報バッファ１２０を有する。
【０２８４】
画像処理装置１ｇと、第７の実施の形態に係る画像処理装置１ｆの相違点は、メモリ２ｇ、複数のフレームメモリ３ｇ、例えばフレームメモリ３ｇ−Ｔ，Ｔ−１、読出部４ｇ、制御部１００ｇ、プレーン分離部１１０ｇ、およびプレーン情報バッファ１２０である。相違点のみ説明する。
【０２８５】
メモリ２ｇは、所定の数の素子２０ｆ、例えば５×５の素子２０ｆを有する。
プレーン分離部１１０ｇは、フレームメモリ３ｇ−Ｔ−１に記憶されている画像データの参照領域ｔｒ、例えば５×５の大きさの参照領域ｔｒごとに、その参照領域ｔｒの内の画素に基づいてプレーン分離処理を行い、処理の結果のプレーン情報をプレーン情報バッファ１２０に出力する。
【０２８６】
また、このプレーン分離部１１０ｇは、この形態に限られるものではない。プレーン分離部１１０ｇは、フレームメモリ３ｇ−Ｔ−１に記憶されている画像データに基づいて、フレームメモリＴ−１に記憶されている画像のプレーン分離処理を行い、処理の結果のプレーン情報をプレーン情報バッファ１２０に出力してもよい。
【０２８７】
プレーン情報バッファ１２０は、例えば、プレーン分離部１１０ｇから出力された全画面サイズの画素を記憶する。
プレーン情報バッファ１２０は、例えば、プレーン分離部１１０ｇから出力された５×５の参照領域ｔｒごとのプレーン情報を、所定の位置（アドレス）に格納してもよい。
プレーン情報バッファ１２０は、所定の位置（アドレス）のプレーン情報をメモリ２ｇに出力し、メモリ２ｇの対応する素子２０ｆのプレーン情報記憶部２９に記憶させる。
【０２８８】
制御部１００ｇは、例えば、上述した処理に応じて所定の処理を行う。
また、制御部１００ｇは、例えば上述した処理に応じて、フレームメモリ３ｇやメモリ２ｇ等に、所定のデータの書込み処理や読み込み処理等を行う。
【０２８９】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
プレーン分離部１１０ｇでは、フレームメモリ３ｇ−Ｔ−１に記憶されている画像データの参照領域ｔｒ、例えば５×５の大きさの参照領域ｔｒごとに、その参照領域ｔｒの内の画素に基づいてプレーン分離処理が行われ、処理の結果のプレーン情報がプレーン情報バッファ１２０に出力され、プレーン情報バッファ１２０では、そのプレーン情報が所定の位置（アドレス）に格納される。
【０２９０】
以降は、上述した第７の実施の形態と同様に、メモリ２ｇにおいて、画素２１−１に参照領域ｔｒの画素が記憶され、画素２１−２に探索領域ｔｐの画素が記憶される。
【０２９１】
減算器２４により画素２１−１に記憶されている画素と、画素２１−２に記憶されている探索領域ｔｐの画素の差分値が生成され、絶対値生成部２５によりその差分値の絶対値である差分絶対値が生成され、画素差分記憶部２２−１に記憶される。
【０２９２】
スイッチ３０では、プレーン情報記憶部２９に記憶されているプレーン情報と、注目素子の周辺の素子２０のプレーン情報記憶部２９に記憶されているプレーン情報とが比較され、一致している場合には、その周辺部の素子２０の画素差分記憶部２２ｆ−１に記憶されている差分絶対値が、注目画素の加算部２８ｆに出力される。
加算部２８ｆでは、スイッチ３０から出力された差分絶対値と、画素差分記憶部２２ｆ−１に記憶されている差分絶対値が加算され、比較更新部２６ｆに出力される。
【０２９３】
比較更新部２６ｆでは、差分総和記憶部２２ｆ−２に記憶されている差分総和値と、加算部２８ｆから出力された差分総和値とが比較され、加算部２８ｆから出力された差分総和値の方が小さい場合には、その小さい差分総和値が差分総和記憶部２２ｆ−２に出力される。差分総和記憶部２２ｆ−２では、その差分総和値が記憶されて、更新される。
【０２９４】
また、比較更新部２６ｆでは、画素差分記憶部２２ｆ−２に記憶されている差分総和値を更新した場合には、更新したことを示す更新情報を更新部２７が出力される。
更新部２７では、比較更新部２６ｆから、その更新したことを示す更新情報が出力されると、探索領域ｔｐと参照領域ｔｒとの位相情報が動きベクトル記憶部２３に記憶される。
探索範囲ｓｐの内の探索領域ｔｐの位相が更新されて、全ての探索範囲ｓｐの内の全ての位相の探索領域ｔｐと参照領域ｔｒとが比較され、動きベクトルが生成される。
【０２９５】
以上、説明したように、本実施の形態に係る画像処理装置１ｇは、第７の実施の形態に係る画像処理装置１ｆと比べて、フレームメモリ３ｇ−Ｔ−１に記憶されている画像データに基づいて、プレーン分離を行いプレーン情報を生成するプレーン分離部１１０ｇと、そのプレーン情報を記憶するプレーン情報記憶部２９とを設け、所定の大きさ、例えば５×５の素子２０ｆを含むメモリ２ｇに、所定の探索範囲ｓｐおよび参照領域ｔｒの内の画像とを入力し、周辺の素子２０ｆのプレーン情報と一致している場合にのみ、差分総和記憶部２２ｆ−２に記憶されている差分総和値を更新し、更新された場合にのみ動きベクトルを更新するので、参照領域ｔｒの内に複数のオブジェクトがある場合であっても、正確に動きベクトルを生成することができる。
また、プレーン情報バッファ１２０を設けたことにより、全画面サイズのプレーン情報を記憶して効率よく所定の処理を行うことができる。
【０２９６】
第９の実施の形態
プレーン情報を使った動きベクトルの補正
ブロックマッチングのブロックサイズやプレーンマッチングのプレーンの面積が小さい場合は、入力画像にノイズがのっていたりすると各画素の動きベクトル検出が誤る可能性が高くなる。
第９の実施の形態に係る画像処理装置１ｈのメモリ２ｈに格納されているプレーン情報を利用して、上述のような場合でも精度のよい動きベクトルを生成する。
【０２９７】
図４０は、本発明に係る画像処理装置の第９の実施の形態の機能ブロック図である。
画像処理装置１ｈは、プレーンマッチング、動きベクトル検出の結果と、プレーン情報が格納されるメモリの構造を利用して、動きベクトルの検出を行う。
【０２９８】
画像処理装置１ｈは、図４０に示すように、メモリ２ｆ、複数のフレームメモリ３ｆ、例えばフレームメモリ３ｆ−Ｔ，Ｔ−１、読出部４ｈ、制御部１００ｈ、プレーン分離部１１０ｈ、および動きベクトル補正部１３０とを有する。
【０２９９】
画像処理装置１ｈのメモリ２ｆは、第７の実施の形態に係る画像処理装置１ｆのメモリ２ｆと同じ構造である。
画像処理装置１ｈは、メモリ２ｆの内に、プレーン情報や動きベクトルを格納される処理や、プレーンマッチング処理も、第７の実施の形態に係る画像処理装置１ｆとほぼ同様である。
【０３００】
図４１は、図４０に示した画像処理装置の動きベクトル補正部の動作を説明するための図である。
画像処理装置１ｈは、上述した第７の実施の形態に係る画像処理装置１ｆのプレーンマッチングを出力するメモリ２ｆでの動きベクトル検出が終了した時点で、図４１に示すように、ある注目画素に対する動きベクトルを出力する。以下、詳細に説明する。
【０３０１】
動きベクトル補正部１３０は、注目素子を中心とした、例えばメモリ内の５×５の格子領域に対して注目素子と同じプレーン情報をもつ素子のみから、動きベクトルを読み出し、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【０３０２】
具体的には、動きベクトル補正部１３０は、例えば読出部４ｈから出力された、注目素子を中心とした、例えばメモリ内の５×５の格子領域に対して注目素子のプレーン情報記憶部２９に記憶されているプレーン情報と、同じプレーン情報をもつ素子のみから、動きベクトル記憶部２３に記憶されている動きベクトルを読み出し、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【０３０３】
以上説明した構成の動作を、簡単に説明する。
読出部４ｈから注目素子を中心とした、例えばメモリ内の５×５の格子領域に対して注目素子のプレーン情報記憶部２９に記憶されているプレーン情報と、同じプレーン情報をもつ素子のみから、動きベクトル記憶部２３に記憶されている動きベクトルが読み出される。
動きベクトル補正部１３０では、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【０３０４】
以上、説明したように、動きベクトル補正部１３０は、注目画素周辺の同一のプレーンの画素はほぼ同じ動きであると仮定して、通常のマッチングでは注目画素の動きベクトルが誤っている場合でも、その注目画素が本来持っている可能性が高い動きベクトルを算出し、それに置き換えることで動きベクトルの精度をあげることができる。
【０３０５】
また、各素子ごとにプレーン情報を格納できるメモリ２ｆを設けたので、動きベクトルを導出する際に、誤りやすい複数のオブジェクトの境界部分などにおいても、動きベクトルを正確に求めることができる。
【０３０６】
また、注目画素の周辺の領域で同一プレーンごとに最頻の動きベクトルを求め、その動きベクトルを用いて補正することで、例えばノイズなどによって動きベクトルが誤りやすい場合でも、正確に動きベクトルを求めることができる。
【０３０７】
【発明の効果】
本発明によれば、少ない計算量で動きベクトルを算出可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】一般的な画像処理装置を示す図である。
【図２】図１に示した一般的な画像処理装置の動作を示すフローチャートである。
【図３】位相シフトによる位相ブロック読み出しから、評価テーブルメモリへの記録までの動作の一具体例を説明するための図である。
【図４】本発明に係る画像処理装置の第１の実施の形態の機能ブロック図である。
【図５】（ａ）は第１の実施の形態に係る画像処理装置のメモリを示す図である。（ｂ）は（ａ）に示した画像処理装置のメモリの内の素子の機能ブロック図である。
【図６】図４に示した画像処理装置の画素マッチングにおける位相の更新と、探索領域ｔｐの読み出しを説明するための図である。（ａ）は、探索範囲内の位相を示す図である。（ｂ）は位相と探索領域ｔｐの関係を示す図である。
【図７】図１に示した画像処理装置１の動作を説明するためのフローチャートである。
【図８】本発明に係る画像処理装置の第２の実施の形態の機能ブロック図である。
【図９】（ａ）は図８に示した画像処理装置１ａのメモリを示す図である。（ｂ）は図８に示したメモリの構成の一具体例を示す図である。（ｃ）は図８に示した画像処理装置１ａの動きベクトルが格納されるメモリの構成を示す図である。
【図１０】図８に示した画像処理装置の動作、特に位相の更新と探索領域ｔｐの読み出しを行う動作について説明するための図である。（ａ）は探索範囲ｓｐ内の位相を示す図である。（ｂ）は位相と探索領域ｔｐの関係を示す図である。
【図１１】図８に示した画像処理装置１ａの動作を説明するためのフローチャートである。
【図１２】図８に示した画像処理装置のフレームの参照領域ｔｒから切り出されるブロックを示す図である。
【図１３】本発明の第３の実施の形態に係る画像処理装置の対応画素の摘出を説明するための概念図である。
【図１４】本発明に係る画像処理装置の第３の実施の形態の機能ブロック図である。
【図１５】（ａ）は図１４に示した画像処理装置１ｂのメモリ２ｂを示す図である。（ｂ）は対応画素が格納されるメモリを示す図である。（ｃ）は、（ａ）に示したメモリ２ｂの素子２０ｂの機能ブロック図である。
【図１６】（ａ）は、フレームＴ＋２の探索範囲ｓｐＴ＋２（９×９）と、探索領域ｔｐＴ＋２の位相を示す図である。（ｂ）は、フレームＴ＋１の探索範囲ｓｐＴ＋１（７×７）と、探索領域ｔｐＴ＋１の位相を示す図である。（ｃ）は、フレームＴ−１の探索範囲ｓｐＴ−１（７×７）と、探索領域ｔｐＴ−１の位相を示す図である。（ｄ）は、フレームＴ−２の探索範囲ｓｐＴ−２（９×９）と、探索領域ｔｐＴ−２の位相を示す図である。（ｅ）は、図１４に示した画像処理装置１ｂの位相の更新と探索領域ｔｐの読み出しの処理を説明するための図である。
【図１７】図１４に示した画像処理装置の動作を説明するためのフローチャートである。
【図１８】本発明に係る画像処理装置の第４の実施の形態の機能ブロック図である。
【図１９】図１８に示した画像処理装置１ｃのノイズ付加部の第１の具体例を示す機能ブロック図である。
【図２０】図１８に示した画像処理装置１ｃのノイズ付加部の第２の具体例を示す機能ブロック図である。
【図２１】図１８に示した画像処理装置１ｃのノイズ付加部の第３の具体例を示す機能ブロック図である。
【図２２】図１８に示した画像処理装置１ｃのクラスコード生成部のクラスコードを発生（ノイズ成分検出）させる原理を説明するための図である。
【図２３】図１８に示した画像処理装置１ｃが、クラス分類適応処理のために、参照領域ｔｒのメモリに読み出すべき手順を説明するための図である。（ａ）はシフト前の状態を示す図である。（ｂ）は、シフト後の状態を示す図である。
【図２４】本発明に係る画像処理装置の第５の実施の形態の機能ブロック示す図である。
【図２５】本発明に係る画像処理装置の第６の実施の形態の機能ブロック図である。
【図２６】（ａ）は図２５に示した画像処理装置のメモリの構成図、（ｂ）は（ａ）に示したメモリの予想画素が格納される素子を示す図、（ｃ）は（ａ）に示したメモリの素子の機能ブロック図である。
【図２７】本発明に係る画像処理装置に係る第７の実施の形態の動作を説明するための概念図である。
【図２８】本発明に係る画像処理装置の第７の実施の形態のプレーンマッチングの動作を説明するための概念図である。
【図２９】本発明に係る画像処理装置の第７の実施の形態の機能ブロック図である。
【図３０】（ａ）は図２９に示した画像処理装置のメモリを模式的に示す図である。（ｂ）は（ａ）の一部を拡大した図である。（ｃ）は（ｂ）に示したメモリの素子の機能ブロック図である。
【図３１】図２９に示した画像処理装置のプレーン分離部の処理を説明するための図である。
【図３２】画像処理装置１ｆのプレーン分離部の一具体例を示す機能ブロックである。
【図３３】図３２に示した画像処理装置１ｆのプレーン分離部のヒストグラム演算部が生成するヒストグラムの一具体例を示す図である。
【図３４】図３２に示した画像処理装置のプレーン分離部の消去部の動作を説明するためのヒストグラムの一具体例である。
【図３５】図３２に示した画像処理装置の谷統合部により統合される前のヒストグラムの谷を説明するための図である。
【図３６】図３２に示した画像処理装置の谷統合部により統合されるヒストグラムの谷を説明するための図である。
【図３７】図３２に示した画像処理装置のプレーン分離部の動作を説明するためのフローチャートである。
【図３８】図２９に示した画像処理装置の動作を説明するためのフローチャートである。
【図３９】本発明に係る画像処理装置の第８の実施の形態の機能ブロック図である。
【図４０】本発明に係る画像処理装置の第９の実施の形態の機能ブロック図である。
【図４１】図４０に示した画像処理装置の動きベクトル補正部の動作を説明するための図である。
【符号の説明】
１…画像処理装置、２…メモリ、３…フレームメモリ、４…読出部、５…ノイズ付加部、６…クラスコード生成部、７…正規方程式加算部、８…係数記憶部、９…推定演算部、２０…素子、２１…画素、２２…最小画素差分記憶部、２２ａ−１…画素差分記憶部、２２ａ−２…差分総和記憶部、２２ｂ−１…差分絶対値総和Ａ記憶部、２２ｂ−２…差分絶対値総和Ｂ記憶部、２３…動きベクトル記憶部、２４…減算器、２５…絶対値生成部、２６…比較更新部、２７…更新部、２８…加算器、２９…プレーン情報記憶部、５１…ＲＦモジュレータ（ＲＦ　ＭＯＤＵＬＡＴＯＲ）、５２…アテネータ減衰器、５３…ＲＦデモジュレータ（ＲＦＤＥＭＯＤＵＬＡＴＯＲ）、５４…減算器、５５…加算器、５６…フレーム加算器、１００…制御部、１１０…プレーン分離部、１１１…ヒストグラム演算部、１１２…ピーク検出部、１１３…谷検出部、１１４…消去部、１１５…谷統合部、１１６…ラベリング部、１２０…プレーン情報バッファ、１３０…動きベクトル補正部、２５０…加算器。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for generating a motion vector based on image data, for example.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, block matching has been known as a technique for detecting a motion vector between frames of an image.
[0003]
FIG. 1 is a diagram showing a general image processing apparatus. FIG. 2 is a flowchart showing the operation of the general image processing apparatus shown in FIG.
The block matching will be described with reference to FIGS.
[0004]
The block matching is to obtain a motion vector indicating where a certain block in the image at a certain time T-1 has moved at the next time T.
[0005]
For example, as shown in FIG. 1, the image processing device 1s includes a frame memory 3s-T, a frame memory 3s-T-1, a search range memory ms, a reference block memory mr, a phase block memory mp, a calculation unit pc, and an evaluation table. It has a memory mv and a minimum value search unit ps.
[0006]
The image processing device 1s sets a search range at time T, and within that range, performs matching between the reference block at time T-1 and pixels in the block at each phase (position) in the search range. A close phase is set as the position of the block at time T.
Therefore, a shift amount of a block between two frames is defined as a motion vector.
[0007]
The operation of the image processing device 1s will be described with reference to FIG.
A search range and a reference block br at a position where a motion vector is to be obtained are read from the frame memory T and the frame memory T-1 in which continuous input images are temporally stored (ST1, ST2).
They are stored in the search range memory ms and the reference block memory mr (ST3).
[0008]
Next, a block having the same shape and size as the reference block br is read from the search range memory ms for each phase. This is referred to as a phase block bp.
The phase is sequentially updated when the recording to the evaluation table described later is completed, and each time the phase block bp at that phase is read (ST4).
[0009]
The read phase block bp is stored in the phase block memory mp, for example, as shown in FIG.
[0010]
FIG. 3 is a diagram for explaining a specific example of an operation from reading of a phase block by phase shift to recording in the evaluation table memory mr. FIG. 3A is a diagram illustrating a state before the phase shift, and FIG. 3B is a diagram illustrating a state after the phase shift. The operation up to recording in the evaluation table memory will be described with reference to FIG.
The reference block size is 3 × 3 pixels, and the search range is 5 × 5 pixels.
[0011]
Here, the phase block bp read when shifting from phase 1 to phase 2 is at a position shifted by one pixel in the horizontal direction. For example, the amount of phase shift due to updating is one pixel.
[0012]
Next, the computing unit pc computes the difference absolute value of each corresponding pixel between the reference block br and the phase block bp, and obtains the difference absolute value sum S of those values.
[0013]
(Equation 1)

[0014]
The sum of absolute difference values S is a pixel value k of a pixel in the reference block br._sAnd the pixel value k of the pixel in the corresponding phase block bp_pIs calculated using, for example, Equation (1) (ST5).
[0015]
Next, the difference absolute value sum S is stored in the evaluation table (ST6).
Specifically, as shown in FIG. 1, the absolute difference sum S is stored in the evaluation table memory mv. In the evaluation table, the sum of absolute difference values S is stored for each phase corresponding to the phase block to be read.
[0016]
As shown in FIG. 3, in the general image processing apparatus 1 s, for example, when the phase shifts from phase 1 to phase 2, the position stored in the evaluation table shifts according to the shift.
[0017]
When reading of all the phase blocks bp in the search range and recording in the evaluation table are completed (ST7), the minimum value search unit ps searches for the minimum value in the evaluation table (ST8).
[0018]
On the other hand, if it is determined in step ST7 that the evaluation value tables for all phases are not recorded, the process returns to step ST3.
This means that a block within the search range closest to the reference block br is being searched.
[0019]
As described above, in the evaluation table, the absolute difference sum S is recorded for each phase corresponding to the phase block bp to be read. Therefore, if the minimum value is found in the evaluation table, the phase of the block corresponding to the reference block br within the search range can be known. The information on the phase is output as a motion vector.
[0020]
[Problems to be solved by the invention]
The following three points can be cited as problems of the general image processing apparatus described above.
1. A procedure for temporarily storing the values of the phase block and the evaluation table is required. Since a memory for that purpose must be prepared in the circuit, the layout of the circuit becomes complicated. Also, for example, when it is desired to calculate motion vectors at a large number of positions in one frame, it is necessary to search for the motion vectors in order for each position, and a time loss occurs.
2. Only after all the values in the evaluation table are recorded, the search for the minimum value starts. Therefore, it is necessary to read out each phase block and update the phase twice for the minimum value search.
3. The output in this case is a motion vector. For example, when processing for reading a pixel extracted from the motion vector is performed, another procedure of extracting the pixel from the motion vector is required.
[0021]
The present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus and an image processing method capable of calculating a motion vector with a small amount of calculation.
[0022]
[Means for Solving the Problems]
To achieve the above object, an image processing apparatus according to a first aspect of the present invention is an image processing apparatus that performs matching between first image data and second image data, and includes at least one image element including matching data. A first pixel storage unit that stores a first pixel for reference in the first image data; and the second image data according to the first pixel. A second pixel storage unit that stores a second pixel within a predetermined search range, a difference value storage unit that stores an updatable first difference value, and an updatable first pixel and an updatable first pixel. Phase information storage means for storing phase information relating to the phase with the second pixel; a first pixel stored in the first pixel storage means; and a second information stored in the second pixel storage means. A second difference value with respect to the pixel, and a difference value stored in the difference value storage means. The first compares the difference value is, according to the result of the comparison, and a difference value updating means for updating the first difference value stored in the difference value storage means.
[0023]
According to the image processing apparatus of the first invention, the first image data and the second image data are matched, and at least one image element including the matching data is provided.
In the image element, the first pixel storage means stores a first pixel for reference in the first image data.
In the second pixel storage means, a second pixel in a predetermined search range of the second image data is stored according to the first pixel.
In the difference value storage means, an updatable first difference value is stored.
The phase information storage means stores updatable phase information on the phases of the first pixel and the second pixel.
The difference value updating means includes: a second difference value between a first pixel stored in the first pixel storage means and a second pixel stored in the second pixel storage means; The first difference value stored in the value storage means is compared with the first difference value stored in the value storage means, and the first difference value stored in the difference value storage means is updated according to the result of the comparison.
[0024]
In order to achieve the above object, an image processing apparatus according to a second aspect of the present invention is an image processing apparatus that performs matching between first image data and second image data, and includes a plurality of image elements including matching data. A first pixel storage unit that stores a first pixel for reference in the first image data, and the second image according to the first pixel. A second pixel storage unit that stores a second pixel within a predetermined search range of data; a difference value storage unit that stores a difference value between the first pixel and the second pixel; A first sum total difference value storage unit that stores a first sum total difference value that is a total sum of a difference value of another adjacent image element and a difference value stored in the difference value storage unit; For storing phase information related to the phase between the pixel of interest and the second pixel Report storage means, and addition means for adding a difference value stored in the difference value storage means and a difference value stored in the adjacent other image element to output a second sum difference value, Comparing the first sum difference value stored in the sum difference value storage means with the second sum difference value output from the addition means, and storing the sum difference value according to a result of the comparison; Means for updating the first sum difference value stored in the means.
[0025]
Furthermore, in order to achieve the above object, an image processing apparatus according to a third aspect of the present invention is an image processing apparatus that performs matching of a plurality of temporally different image data, and includes a plurality of image elements including matching data. The image element is stored in a plurality of first pixel storage units that store pixels of the temporally different image data, and is stored in the first pixel value storage unit that can be updated as required. A plurality of second pixel storage means for storing each of the pixels, and a time sum difference for storing a time sum difference value which is a sum of difference values of the pixels stored in the plurality of first pixel storage means. Value storage means, total sum difference value storage means for storing a first total difference value which is the sum of the time total difference value and the time total difference value of another adjacent element, and the time total difference value storage means And the Adding means for adding a time total difference value stored in a time total difference value storage means of another image element in a fixed area and outputting a second total difference value; and The stored first sum difference value is compared with the second sum difference value output from the adding means, and the second sum difference value stored in the sum difference value storage means is determined according to the result of the comparison. A total sum difference value updating means for updating the total sum difference value of No. 1.
[0026]
Further, in order to achieve the above object, an image processing method according to a fourth aspect of the present invention is an image processing apparatus which performs matching between first image data and second image data and has at least one image element including the matching data. The image processing method according to claim 1, wherein the image element stores a first pixel for reference in the first image data, and determines a predetermined value of the second image data according to the first pixel. The second pixel within the search range is stored, and updatable phase information on the phase between the first pixel and the second pixel is stored, and the stored first pixel and the second pixel are stored. A second difference value between the pixel and the first pixel is compared with a predetermined first difference value, and the first difference value is updated according to the result of the comparison.
[0027]
Further, in order to achieve the above object, an image processing method according to a fifth aspect of the present invention provides a method of an image processing apparatus, comprising: An image processing method, wherein the image element stores a first pixel for reference in the first image data, and stores a predetermined pixel of the second image data in accordance with the first pixel. A second pixel in the search range is stored, an updatable first difference value is stored, and an updatable difference value of another adjacent image element is summed with the stored difference value. A first total sum difference value is stored, and updatable phase information on a phase between the first pixel and the second pixel is stored, and the stored first difference value and the adjacent other And the difference value stored in the image element of Comparing the stored first total difference value with the generated second total difference value, and storing and storing the first total difference value in accordance with the result of the comparison. Update.
[0028]
In order to achieve the above object, an image processing method according to a sixth aspect of the present invention is an image processing method for an image processing apparatus having a plurality of image elements including matching data by matching a plurality of temporally different image data. Wherein the image element stores a first pixel of each of the temporally different image data, and stores a second pixel corresponding to the first pixel, which can be updated on demand. A first sum total difference, which is a sum of the total sum of the difference values of the stored pixels, and a total sum of the total time difference value of the pixels and the total time difference value of another adjacent element. A second sum difference value by adding the stored sum total difference value and the sum total time difference value of the other image elements in the predetermined area, and storing the sum total difference value. A first sum difference value and the generated Comparing the second sum difference values, according to the result of the comparison, and updates the first sum difference value is the storage.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
First embodiment
The image processing apparatus 1 according to the present embodiment detects a motion vector between frames of a moving image having a plurality of frames.
[0030]
Pixel matching
FIG. 4 is a functional block diagram of the first embodiment of the image processing apparatus according to the present invention.
FIG. 5A is a diagram illustrating a memory of the image processing apparatus according to the first embodiment. FIG. 5B is a functional block diagram of elements in the memory of the image processing apparatus shown in FIG.
[0031]
The image processing apparatus 1 according to the present embodiment includes a memory 2, a plurality of frame memories 3, a reading unit 4, and a control unit 100, as shown in FIG.
[0032]
The memory 2 generates and stores a motion vector based on predetermined data from the frame memory 3, for example, a pixel value and a phase (also referred to as phase information) of the pixel, as described later.
[0033]
The frame memory 3 includes, for example, a plurality of frame memories 3, specifically, a frame memory 3-T and a frame memory 3-T-1.
The frame memory 3-T stores the input image data at the time T (also simply referred to as an image).
The frame memory 3-T-1 stores the image data at the time T-1.
After a predetermined time, the image data stored in the frame memory 3-T is stored in the frame memory 3-T-1, and new image data is stored in the frame memory 3-T.
[0034]
The reading unit 4 reads the motion vector stored in the memory 2 for each element 20.
The control unit 100 controls the memory 2, the frame memory 3, and the reading unit 4 according to predetermined processing.
The control unit 100 stores an image in the frame memory 3, for example.
The control unit 100 outputs, for example, the pixels in the predetermined search range sp and the reference range from the frame memory 3 and the phases of the search region tp in the search range sp and the reference region tr to the memory 2.
[0035]
Each component will be described in detail.
The memory 2 of the image processing apparatus 1 according to the present embodiment has, for example, a plurality of elements 20 in a grid pattern as shown in FIG.
For simplicity, 3 × 3 elements (pixels) 20-1 to 20-9 are provided in the memory 2. Each of the elements 20 is connected.
[0036]
A case where matching is performed uniformly for each element (pixel) 20 will be described.
As illustrated in FIG. 5B, the element 20 includes a plurality of pixels 21, for example, pixels 21-1 and 21-2, a minimum pixel difference storage unit 22, a motion vector storage unit 23, a subtractor 24, an absolute value generation unit 25, It has a comparison update unit 26 and an update unit 27.
[0037]
Specifically, the element 20 not only stores (also referred to as storing) one pixel, but also stores pixel values of, for example, two pixels, calculates the absolute value of the difference between them, and calculates the difference absolute value. Stores a value.
The matching data is data related to a predetermined matching process, such as a pixel value, an absolute difference value, or data indicating a predetermined calculation result.
[0038]
The pixel 21 has a plurality of pixels, for example, a pixel 21-1 and a pixel 21-2.
For example, the pixel value of the pixel in the search range sp in the frame memory 3-T is input to the pixel 21-1.
For example, the pixel value of the pixel in the reference area tr of the frame memory 3-T-1 is input to the pixel 21-2.
[0039]
The minimum pixel difference storage unit 22 stores a difference absolute value.
The minimum pixel difference storage unit 22 updates the stored difference absolute value by the comparison update unit 26.
[0040]
The motion vector storage unit 23 stores a motion vector as described later.
In the motion vector storage unit 23, the updating unit 27 updates the motion vector.
[0041]
The subtractor 24 outputs a difference value between the pixel values stored in the pixel 21-1 and the pixel value stored in the pixel 21-2 to the absolute value generation unit 25 according to the pixel value.
[0042]
The absolute value generation unit 25, based on the difference value between the pixel value of the pixel 21-1 and the pixel value of the pixel 21-2, output from the subtractor 24, calculates the absolute value of the difference value (also referred to as a difference absolute value). ) Is output to the comparison updating unit 26.
[0043]
The comparison update unit 26 compares the absolute difference value output from the absolute value generation unit 25 with the absolute difference value stored in the minimum pixel difference storage unit 22.
[0044]
When the result of the comparison indicates that the absolute value of the difference output from the absolute value generation unit 25 is small, the comparison / update unit 26 stores the smaller absolute value of the difference in the minimum pixel storage unit 22, thereby obtaining the absolute value of the difference. Update the value.
As a result of the above-described comparison, when the absolute difference value of the minimum pixel difference storage unit 22 is updated, the comparison updating unit 26 outputs update information indicating that the absolute difference value has been updated to the updating unit 27.
[0045]
The update unit 27 updates the motion vector stored in the motion vector storage unit 23 based on the update information output from the comparison update unit 26 and the phase information.
Specifically, when the update information indicating that the difference absolute value has been updated is output from the comparison update unit 26, the update unit 27 outputs the phase information (phase) between the search area tp and the reference area tr at that time. Is stored in the motion vector storage unit 23 as a motion vector, and the motion vector is updated.
[0046]
As described above, the memory 2 stores information such as a motion vector other than a pixel value and a difference absolute value as additional information.
[0047]
FIG. 6 is a diagram for explaining updating of the phase in the pixel matching of the image processing apparatus shown in FIG. 4 and reading of the search area tp. FIG. 6A is a diagram illustrating the phases within the search range. FIG. 6B is a diagram showing the relationship between the phase and the search area tp.
[0048]
The phase (phase information) is, for example, a shift between the center of the search range sp and the center of the search area tp. For example, a phase is defined as shown in FIG.
Specifically, as shown in FIG. 6A, when the center of the search range sp (5 × 5) coincides with the center of the search area tp (3 × 3), the phase (0 , 0).
[0049]
For example, when the center of the search range sp (5 × 5) and the center of the search area tp (3 × 3) are shifted by one unit to the right as viewed in the figure, the phase is (1,0).
For other phases, the deviation between the center of the search range sp and the center of the search area tp is defined as the coordinates of the phase.
[0050]
FIG. 6B is a diagram illustrating updating of the phase and reading of the search area tp.
For example, as illustrated in FIG. 6B, the control unit 100 sequentially sets the phases to (-1, -1), (0, -1), (1, -1), (-1, 0), ( (0,0), (0,1), (-1,1), (0,1), (1,1), and read out the pixels in the search area tp accordingly. Is output to the corresponding element 20 in.
As described later, the phase when the absolute value of the difference is the minimum is defined as a true motion vector.
[0051]
The order in which the control unit 100 reads out the pixels and the order of the phases is not limited to this mode. The order is not limited to the above-described embodiment as long as all the pixels can be read.
Here, in FIG. 5, one pixel in the search area tp is stored in the pixel 21-1 held by each element.
[0052]
FIG. 7 is a flowchart for explaining the operation of the image processing apparatus 1 shown in FIG. The operation of the image processing apparatus 1, particularly, the operation of generating a motion vector will be described with reference to FIG.
[0053]
For example, the control unit 100 stores each pixel of an arbitrary 3 × 3 reference area tr from the frame memory 3-T-1 for each corresponding element 20 in the memory 20 (ST11).
Specifically, as shown in FIG. 4, one pixel of the reference area tr is stored in the pixel 21-2 of each element 20.
[0054]
The control unit 100 reads the pixels in the search area tp (3 × 3) while updating (shifting) the phase within the search range sp in the frame memory 3-T (ST12), and reads out the pixels in the corresponding memory 2. Are stored for each element 20 (ST13).
Specifically, as shown in FIG. 4, the control unit 100 stores a corresponding one pixel in the search area tp in the pixel 21-1 of each element 20.
[0055]
In the control unit 100, the update of the phase of the search area tp and the readout of the pixels in the search area tp are performed, for example, in the range of (-1, -1) to (1, 1) as shown in FIG. The operation is performed a total of nine times with the phase shifted by one pixel, and ends when the nine times are completed.
[0056]
The subtractor 24 and the absolute value generator 25 of each element 20 calculate the absolute difference between the pixel value stored in the pixel 21-1 and the pixel value stored in the pixel 21-2. This is set as, for example, a difference absolute value a (ST14).
In the comparison updating unit 26, the difference absolute value (for example, referred to as a difference absolute value b) stored in the minimum pixel difference storage unit 22 of the element 20 in the memory 2 is compared with the difference absolute value a (ST15). ).
[0057]
As a result of the comparison in step ST15, when the difference absolute value a is small, the comparison update unit 26 stores the difference absolute value a in the minimum pixel difference storage unit 22, and updates the difference absolute value (ST16, ST17).
On the other hand, when the difference absolute value a is large, the comparison update unit 26 does not perform the update (ST16), and shifts to the process of updating the phase of the next search area tp and reading out the pixels in the search area tp.
By the way, in the initial state, the absolute difference value is not stored in the minimum pixel difference storage unit 22 of the element 20. In that case, the first difference absolute value is unconditionally stored in the minimum pixel difference storage unit 22.
[0058]
In step ST17, the comparison updating unit 26 outputs update information indicating that the difference absolute value has been updated to the updating unit 27 only when the difference absolute value has been updated.
When the update information indicating that the difference absolute value has been updated is output from the comparison update unit 26, the update unit 27 stores the phase of the search area tp at that time in the motion vector storage unit 23, and The vector is updated (ST18).
[0059]
When the update of all phases is completed (ST19), in each element 20, the minimum pixel difference absolute value in the search range sp is stored in the minimum pixel difference storage unit 21-2 and updated. The phase (motion vector) at the time of the execution is stored in the motion vector storage unit 23.
[0060]
On the other hand, in step ST19, if all phases have not been updated, the process returns to step ST12.
[0061]
Each of the motion vectors is obtained by determining to which position in the search range sp each pixel 20 of the reference area tr has moved at time T based on the absolute value of the difference between the pixels 20. Finally, the reading unit 4 reads and outputs these motion vectors from each element 20.
[0062]
As described above, a plurality of frame memories 3 for storing image data, a memory 2 for generating and storing a motion vector according to data from the frame memory 3, and reading a motion vector for each element from the memory A reading unit 4 and a control unit 100 for controlling them are provided. Then, the memory 2 is provided with a plurality of elements 20 in a lattice shape.
[0063]
The element 20 includes pixels 21-1 and 21-2 that store pixel values of predetermined pixels in different frame memories, a subtractor 24 that outputs a difference value between pixel values of the pixels 21-1 and 2, and a subtractor 24. An absolute value generation unit 25 that outputs the absolute value of the output difference value (a difference absolute value), a minimum pixel difference storage unit 22 that stores the difference absolute value, a difference absolute value, and a difference pixel stored in the minimum pixel difference storage unit 22 The comparison and update unit 26 compares the absolute values of the differences, and as a result of the comparison, updates the absolute value of the difference in the minimum pixel storage unit 22 and outputs update information indicating that the update has been performed. When update information indicating that the value has been updated is output, an update unit 27 that updates the motion vector by storing the phase coordinate at that time as a motion vector in the motion vector storage unit 23 is provided. Move with a small amount of calculation It is possible to calculate the torque.
[0064]
In addition, the two-stage phase update of calculating the evaluation table and searching for the minimum value in all phases within the search range sp can be collectively performed.
[0065]
Further, since only the minimum value of the absolute difference value is updated, it is not necessary to generate an evaluation table for searching for the minimum value on another memory, so that the memory can be reduced.
[0066]
Although the image processing apparatus 1 according to the present embodiment has been described using the memory 2 having a size of 3 × 3, the present invention is not limited to this.
For example, when the memory 2 having the elements 20 for the total number of pixels in one frame is provided, the motion vector for every pixel in one frame can be obtained at the time when the phase update is completed. it can.
[0067]
Second embodiment
Block matching
FIG. 8 is a functional block diagram of an image processing device 1a according to a second embodiment of the present invention.
FIG. 9A is a diagram showing a memory of the image processing apparatus 1a shown in FIG. FIG. 9B is a diagram showing a specific example of the configuration of the memory shown in FIG. FIG. 9C is a diagram showing a configuration of a memory for storing motion vectors of the image processing apparatus 1a shown in FIG.
[0068]
As shown in FIG. 8, the image processing device 1a according to the present embodiment includes a memory 2a, a plurality of frame memories 3a, for example, frame memories 3a-T and T-1, a reading unit 4, and a control unit 100a.
[0069]
In the image processing apparatus 1 according to the first embodiment, for example, in 3 × 3 block matching, a motion vector of a certain pixel of interest is obtained with 3 × 3 elements.
In the image processing device 1a according to the second embodiment, a motion vector of adjacent 3 × 3 pixels is obtained at one time.
[0070]
Similar to the memory 2 of the image processing apparatus 1 according to the first embodiment, the memory 2a can store not only one pixel but also two pixels, and calculates the absolute value of the difference. Further, the difference absolute value as the result is stored.
[0071]
A specific example of block matching using pixel matching will be described.
The major difference between the image processing apparatus 1a and the image processing apparatus 1 according to the first embodiment is that the configuration of the memory is different. Only the differences will be described.
[0072]
The memory 2a of the image processing apparatus 1a according to the present embodiment has a plurality of elements 20a in a grid pattern, for example, as shown in FIG.
For simplicity, 5 × 5 elements 20a-1 to 20a-25 are provided in the memory 2a. Each of the elements 20 is connected.
A case where matching is performed uniformly for each element 20 will be described.
Here, when the elements 20a-1 to 20a-25 are not distinguished, they are simply referred to as elements (pixels) 20a. The search range sp will be described as (−1, −1) to (1, 1) in pixel units.
[0073]
As shown in FIG. 9A, the memory 2a is connected to the elements (for example, the elements 20a-1 to 4 and the elements 20a-6 to 20) adjacent to the element of interest (for example, the element 20a-5) by wiring between the elements 20a. The absolute difference value stored in 9) can be sent to the element of interest.
[0074]
Each element 20a has a process of receiving and adding the nine absolute differences. Therefore, in the element 20a of interest, the sum of the absolute values of the differences is obtained and stored.
[0075]
However, each element 20a compares the value with the sum of the absolute values of the differences stored in advance, and updates the value only when the difference is small. When the sum of the absolute values of the differences is updated, the motion vector at that time (motion vector) is also updated from the previously stored one.
The details will be described below.
[0076]
As shown in FIG. 9C, the element 20a includes a plurality of pixels 21a, for example, pixels 21a-1 and 21a-2, a pixel difference storage unit 22a-1, a difference total storage unit 22a-2, a motion vector storage unit 23, and a subtraction unit. And a comparing / updating unit 26a, an updating unit 27, and an adding unit 28.
[0077]
The difference between the element 20a and the element 20 according to the first embodiment is that a pixel difference storage unit 22a-1, a difference total storage unit 22a-2, an absolute value generation unit 25a, a comparison update unit 26a, and an addition unit 28 It is.
[0078]
The pixel difference storage unit 22a-1 stores the absolute difference value between the pixel 21a-1 and the pixel 21a-2 output from the absolute value generation unit 25a.
The pixel difference storage unit 22a-1 outputs the stored absolute difference value to the addition unit 28.
[0079]
The difference sum storage unit 22a-2 stores the sum of absolute difference values. This sum of absolute difference values is updated by the comparing and updating unit 26a under a predetermined condition, as described later.
[0080]
The absolute value generation unit 25a, based on the difference value between the pixel value of the pixel 21-1 and the pixel value of the pixel 21-2, output from the subtractor 24, calculates the absolute value of the difference value (also referred to as a difference absolute value). ) Is output to the pixel difference storage unit 22a-1.
[0081]
The comparing / updating unit 26a compares the sum of absolute difference values A output from the adding unit 28 with the sum of absolute difference values (referred to as sum B of absolute difference values) stored in the sum total difference storage unit 22a-2. As a result of the comparison, if the sum of absolute differences A is small, the sum of absolute differences A is stored in the sum of differences storage unit 22a-2, and the sum of absolute differences is updated.
[0082]
When the above-described update is performed, the comparison update unit 26a outputs update information indicating that the update has been performed to the update unit 27.
If the comparison result indicates that the absolute difference sum A is large, the comparison updating unit 26a does not update the absolute difference sum B stored in the difference sum storage unit 22a-2.
[0083]
The adder 28 adds the difference absolute value a output from each of the eight elements 20a near the pixel (also referred to as the eight neighbors 20a) and the difference absolute value a output from the pixel difference storage 22a-1. Based on these, the sum is added to generate a sum of absolute difference values A, which is output to the comparison / update unit 26a.
[0084]
FIG. 10 is a diagram for explaining the operation of the image processing apparatus shown in FIG. 8, particularly the operation of updating the phase and reading the search area tp. FIG. 10A is a diagram showing the phases within the search range sp. FIG. 10B is a diagram showing the relationship between the phase and the search area tp.
[0085]
As shown in FIG. 10A, for example, the phase indicates a shift between the center of the search range sp and the center of the search area tp. For example, the coordinates of the phase are defined as shown in FIG.
Specifically, as shown in FIG. 10A, when the center of the search range sp (7 × 7) coincides with the center of the search area tp (5 × 5), the phase (0, 0) is set. ).
[0086]
For example, when the center of the search range sp (7 × 7) and the center of the search area tp (5 × 5) are shifted to the right by one unit, the phase is (1,0).
In other states, the deviation between the center of the search range sp and the center of the search area tp is defined as the phase coordinate.
[0087]
For example, as shown in FIG. 10B, the control unit 100a sequentially sets the phases to (-1, -1), (0, -1), (1, -1), (-1, 0), ( (0,0), (0,1), (-1,1), (0,1), (1,1), and read the pixels in the search area tp accordingly, To the corresponding element 20a.
Further, the order of reading by the control unit 100a is not limited to this mode. The order is not limited to the above-described embodiment as long as all the pixels can be read.
[0088]
FIG. 11 is a flowchart for explaining the operation of the image processing apparatus 1a shown in FIG. The operation of the image processing apparatus 1, particularly, the operation of motion vector detection will be described with reference to FIG.
In this case, it is assumed that the element of interest is one of the elements 20a in which a motion vector is actually stored in FIG. Here, the element of interest is not the element at the end of the memory 2a.
[0089]
For example, the control unit 100a stores, from the frame memory 3a-T-1, each pixel of an arbitrary 5 × 5 reference area tr for each element 20a in the memory 2a (ST21). Here, in FIG. 8, one pixel of the reference area tr is stored in the pixel 21-2 held by each element 20a.
[0090]
The control unit 100a reads a 5 × 5 area while updating the phase within the search range sp (ST22), and stores each pixel in the area for each element 20a in the memory 2a (ST23). This 5 × 5 area is named “search area tp”. Here, in FIG. 8, one pixel of the search area tp is stored in the pixel 21a-1 held by each element 20a.
Updating of the phase and reading of the search area tp are performed nine times in the range of (-1, -1) to (1, 1), for example, as shown in FIG.
[0091]
Next, in each element 20a, a difference absolute value a between a value stored in the pixel 21a-1 and a value stored in the pixel 21a-2 is calculated (ST24). The result is stored in the pixel difference storage unit 22a-1 in each element 20a.
[0092]
Next, in each element of interest, the addition unit 28 reads the absolute difference value a from the eight neighboring elements 20a, adds the absolute difference value a stored in the pixel difference storage unit 22a-1 to obtain the sum of absolute difference values. A is obtained (ST25).
[0093]
Next, in each element of interest, the comparison and update unit 26a calculates the sum of absolute difference values (sum of absolute difference values B) previously stored in the sum of difference storage unit 22a-2 and the sum of absolute difference values output from the addition unit 28. A is compared (ST26, ST27), and when the sum of absolute difference values A is smaller, the value stored in the sum of difference absolute value storage unit 22a-2 is updated from the sum of absolute difference value B to the sum of absolute difference value A ( ST28).
[0094]
On the other hand, in step ST27, the comparison / update unit 26a does not update when the sum of absolute difference values A is large. The control unit 100a shifts to updating the next phase and reading the search area tp. It returns to step ST22.
[0095]
By the way, in the initial state, the sum of absolute difference values is not stored in the element of interest. In that case, the first sum of absolute differences is unconditionally stored.
[0096]
In step ST29, the updating unit 27 stores the phase at that time as a true motion vector in the motion vector storage unit 23 of the element of interest only when the sum of absolute difference values of the element of interest is updated. Update the current motion vector.
[0097]
Then, when the phase update is completed (ST30), the minimum value of the sum of absolute pixel differences in the search range sp and the motion vector when the minimum value is stored are stored in each of the nine elements of interest 20a. .
On the other hand, if it is determined in step ST30 that the phase update has not been completed, the process returns to step ST22.
[0098]
FIG. 12 is a diagram illustrating blocks cut out from the reference area tr of the frame of the image processing apparatus illustrated in FIG.
As shown in FIG. 12, each of the motion vectors indicates to which position in the search range sp the nine 3 × 3 blocks cut out from the reference area tr have moved at time T between the 3 × 3 blocks. Is calculated based on the sum of the absolute values of the differences.
Finally, the reading unit 4 reads and outputs these motion vectors from each element of interest.
[0099]
As described above, in the image processing apparatus 1a, the motion vector of the 3 × 3 pixel is calculated based on the difference total value obtained by adding the difference absolute value of the element of interest and its adjacent element (3 × 3 element). Can be generated at once.
[0100]
In the present embodiment, a memory that realizes block matching when the search range sp is (−1, −1) to (1, 1) in pixel units with a 3 × 3 block size has been described. It is not limited.
For example, by changing the wiring between the elements 20a so that the peripheral 5 × 5 elements 20a are connected to the element of interest, matching with a larger 5 × 5 block size is also possible.
[0101]
Also, the case where the total number of elements in the memory 2a is 5 × 5 has been described. For example, when the memory 2a is provided with elements for the total number of pixels in one frame, the motion vector for every pixel is It is obtained once when the update is completed.
[0102]
Further, by configuring the memory 2a using a large number of elements 20a having a function of detecting a motion vector, it is possible to collectively obtain a motion vector for each of a plurality of adjacent pixels.
[0103]
Third embodiment
Corresponding pixel detection
In the pixel matching of the image processing device 1a according to the second embodiment described above, a motion vector is stored in the memory 2a as a final result of block matching.
[0104]
The image processing apparatus 1b according to the third embodiment directly stores and outputs “corresponding pixels” in a frame of interest and frames before and after the frame of interest.
Here, the “corresponding pixel” refers to a pixel that includes a certain pixel of interest, and in the frames before and after the pixel of interest, even if the pixel of interest moves, can be corrected by a motion vector and corresponded to the same pixel. Such stored “corresponding pixels” can be used for the classification adaptive processing described later.
[0105]
FIG. 13 is a conceptual diagram for describing extraction of corresponding pixels of the image processing device according to the third embodiment of the present invention.
The horizontal axis is the x axis, the vertical axis is the y axis, and the oblique axis is the time axis.
In the present embodiment, as shown in FIG. 13, a case is considered in which a pixel of interest + pixels of two frames before and after, that is, a total of five pixels are extracted as corresponding pixels in a memory.
[0106]
For simplicity, a description will be given assuming that the block size for the corresponding pixel deep search is 3 × 3 pixels and the search range sp is (−1, −1) to (1, 1) in pixel units. The constraint condition that the target pixel and the corresponding pixels between the other two frames before and after the target pixel are at a constant speed is set.
[0107]
That is, in the frame T-1, for example, when there is a corresponding pixel at the position of (-1, -1) (7 in FIG. 13), in the frame T-2, (-2, -2) (FIG. Then, the corresponding pixel always exists at (1, 1) (19 in FIG. 13) in the frame T + 1 and (2, 2) (41 in FIG. 13) in the frame T + 2. However, the position of the target pixel is (0, 0) (in FIG. 13, it is 5).
[0108]
The image processing apparatus 1b according to the present embodiment calculates the absolute difference between the 3 × 3 block around the pixel of interest in the frame of interest T and the 3 × 3 block in each of the other frames. Are generated to minimize the sum of the motion vectors.
In the minimum phase, the pixel at the center of the 3 × 3 block as shown in FIG. 13 is stored as a corresponding pixel in the memory 2b of the image processing apparatus 1b and output.
[0109]
FIG. 14 is a functional block diagram of the third embodiment of the image processing apparatus according to the present invention.
As shown in FIG. 14, the image processing apparatus 1b according to the present embodiment includes a memory 2b, a plurality of frame memories 3b, for example, frame memories 3b-T + 2, T + 1, T, T-1, T-2, and a reading unit 4. , And a control unit 100b.
A major difference between the image processing device 1b and the image processing device 1a according to the second embodiment is that the configuration of the memory is different.
[0110]
In addition, the operation of the control unit differs with the provision of the five frame memories 3b-T + 2, T + 1, T, T-1, and T-2. Only the differences will be described.
[0111]
The control unit 100b stores, for example, an input image in the frame memory 3b-T + 2, and outputs the image to the frame memory 3b-T + 1 at a predetermined timing.
[0112]
The control unit 100b stores the image output from the frame memory 3b-T + 2 in the frame memory 3b-T + 1, and outputs the image to the frame memory 3b-T at a predetermined timing.
The control unit 100b stores the image output from the frame memory 3b-T + 1 in the frame memory 3b-T, and outputs the image to the frame memory 3b-T-1 at a predetermined timing.
The control unit 100b stores the image output from the frame memory 3b-T in the frame memory 3b-T-1, and outputs the image to the frame memory 3b-T-2 at a predetermined timing.
The control unit 100b causes the frame memory 3b-T-2 to store the image output from the frame memory 3b-T-1.
[0113]
The control unit 100b outputs the pixel values of the pixels within a predetermined reference range (5 × 5) from the frame memory 3b-T to the memory 2b.
The control unit 100b stores the pixels of the search area tpT-2 (5 × 5) within the predetermined search range spT-2 (9 × 9) and the phase information thereof from the frame memory 3b-T-2 in the memory 2b. Output.
The control unit 100b stores the pixels of the search area tpT-1 (5 × 5) within the predetermined search range spT-1 (7 × 7) and the phase information thereof from the frame memory 3b-T-1 in the memory 2b. Output.
The control unit 100b outputs, from the frame memory 3b-T + 1, the pixels in the search area tpT + 1 (5 × 5) within the predetermined search range spT + 1 (7 × 7) and the phase information thereof to the memory 2b.
The control unit 100b outputs, from the frame memory 3b-T + 2, pixels in a search area tpT + 2 (5 × 5) within a predetermined search range spT + 2 (9 × 9) and phase information thereof to the memory 2b.
[0114]
When reading out the pixels in the search area tp (5 × 5) described above, the control unit 100b determines that the pixels in the search area tp of each of the frame memories 3b-T-2, T-1, T + 1, and T + 2 are For example, it is set so as to be linear as shown in FIG.
[0115]
FIG. 15A is a diagram showing the memory 2b of the image processing apparatus 1b shown in FIG. FIG. 15B shows a memory in which the corresponding pixels are stored. FIG. 15C is a functional block diagram of the element 20b of the memory 2b shown in FIG.
[0116]
The memory 2b of the image processing apparatus 1b according to the present embodiment has, for example, 5 × 5 elements 20b-1 to 25 as shown in FIG. 15, and each of the elements 20b is connected.
[0117]
In 3 × 3 block matching, a 3 × 3 element is sufficient to find a corresponding pixel in a given pixel of interest, but in the image processing apparatus 1b according to the present embodiment, as shown in FIG. , The motion vector of the adjacent 3 × 3 pixels is obtained at once.
[0118]
As shown in FIG. 15A, the memory 2b has a plurality of elements 20b, for example, elements 20b-1 to 20-25 formed in a lattice.
[0119]
As shown in FIG. 15C, the element 20b includes a plurality of pixels 21b, for example, pixels 21b-T, T + 2, T + 1, T-1, and T-2, a sum of absolute difference values A storage unit 22b-1, and a difference absolute value storage unit 22b-1. Value sum B storage unit 22b-2, a plurality of subtractors 24b, for example, subtractors 24b-1 to 24-4, a plurality of absolute value generation units 25b, for example, absolute value generation units 25b-1 to 25, an adder 250, and a comparison update unit 26b, an updating unit 27b, an adding unit 28b, and a plurality of corresponding pixels 210b, for example, corresponding pixels 210b-T, T + 2, T + 1, T-1, and T-2.
[0120]
The pixel 21b-T stores a pixel value of a pixel of interest (also referred to as a pixel of interest) of the frame T.
As shown in FIG. 13, each of the pixels 21b-T + 2, the pixels 21b-T + 1, the pixels 21b-T-1, and the pixels 21b-T-2 has a straight line passing through the pixel of interest in ± 2 frames before and after the frame of interest. The pixel values of the upper four pixels are stored.
[0121]
The difference absolute value sum A storage unit 22b-1 stores the sum of the difference absolute values obtained between the stored target pixel and each of the four pixels (also referred to as difference absolute value sum A).
[0122]
The absolute difference sum B storage unit 22b-2 stores the sum of absolute difference sums A in eight elements (also referred to as eight neighboring elements) near the element of interest (also referred to as the absolute difference sum B).
[0123]
The subtractor 24b-1 subtracts the pixel value output from the pixel 3b-T from the pixel value output from the pixel 3b-T-2, and outputs the result to the absolute value generation unit 25b-1.
The subtractor 24b-2 subtracts the pixel value output from the pixel 3b-T-1 from the pixel value output from the pixel 3b-T, and outputs the result to the absolute value generation unit 25b-2.
The subtractor 24b-3 subtracts the pixel value output from the pixel 3b-T + 1 from the pixel value output from the pixel 3b-T, and outputs the result to the absolute value generation unit 25b-3.
The subtractor 24b-4 subtracts the pixel value output from the pixel 3b-T + 2 from the pixel value output from the pixel 3b-T, and outputs the result to the absolute value generation unit 25b-4.
[0124]
The absolute value generation unit 25-1 outputs the absolute value of the difference value (the difference absolute value) output from the subtractor 24b-1 to the adder 250.
The absolute value generation unit 25-2 outputs the absolute difference value output from the subtractor 24b-2 to the adder 250.
The absolute value generation unit 25-3 outputs the absolute difference value output from the subtractor 24b-3 to the adder 250.
The absolute value generation unit 25-4 outputs the absolute difference value output from the subtractor 24b-4 to the adder 250.
[0125]
The adder 250 adds the difference absolute values output from each of the absolute value generation units 25-1 to 25-4, and outputs the result to the difference absolute value sum A storage unit 22b-1.
[0126]
The comparing and updating unit 26b compares the absolute difference value B output from the adding unit 28b with the absolute difference sum total B stored in the absolute difference sum total B storage unit 22b-2. When the sum of absolute difference values B output from 28b is small, the smaller sum of absolute difference values B is stored in the absolute difference value total B storage unit 22b-2 and updated.
In addition, when the above-described update is performed, the comparison update unit 26b outputs update information indicating that the absolute difference total B has been updated in the absolute difference total B storage unit 22b-2 to the update unit 27b.
[0127]
When the update information indicating that the absolute difference sum B has been updated is output from the comparison / update unit 26b, the update unit 27b outputs the output from each of the pixels 21b-T-2, T-1, T, T + 1, and T + 2. The updated pixel value is stored and stored in the corresponding pixel 210T-2, T-1, T + 1, T + 2.
[0128]
The adder 28b adds the absolute difference sum A output from the absolute difference sum A storage 22b-1 and the absolute difference sum A output from each of the eight adjacent elements 20b, and compares and updates the sum. Output to the unit 26b.
[0129]
As described above, the element 2b controls the pixel of interest 21b-T and the other four pixels stored therein (pixel 21b-T + 2, pixel 21b-T + 1, pixel 21b-T-1, and pixel 21b-T-2). Can calculate the absolute value of the difference. In addition, an operation for calculating the sum of the absolute values of the differences can be performed.
[0130]
In the block matching of the image processing apparatus 1b according to the present embodiment, as shown in FIG. 15A, eight of the elements of interest (for example, the element 20b-5 in FIG. The sum of absolute difference values A stored in nearby elements (elements 20b-1 to 20-4 and 6 to 9 in FIG. 15A) can be sent to the element of interest 20b-5.
[0131]
Each element 20b has a process of receiving the nine sums of absolute differences A and adding them all. Therefore, in the element of interest, the sum of the sum of absolute difference values A (sum of absolute difference values B) can be obtained and stored.
[0132]
However, a comparison is made with the previously stored sum of absolute difference values, and the value is updated only when the difference is small.
When the sum of the absolute differences is updated, the five pixels stored at that time (pixel 21b-T, pixel 21b-T + 2, pixel 21b-T + 1, pixel 21b-T-1, and pixel 21b-T-2) Are stored in the corresponding pixel 210b-T, the corresponding pixel 210b-T + 2, the corresponding pixel 210b-T + 1, the corresponding pixel 210b-T-1, and the corresponding pixel 210b-T-2, respectively. Update all from.
[0133]
FIG. 16A is a diagram showing the search range spT + 2 (9 × 9) of the frame T + 2 and the phase of the search area tpT + 2. FIG. 16B is a diagram showing the search range spT + 1 (7 × 7) of the frame T + 1 and the phase of the search area tpT + 1. FIG. 16C is a diagram showing the search range spT-1 (7 × 7) of the frame T-1 and the phase of the search area tpT-1. FIG. 16D is a diagram showing the search range spT-2 (9 × 9) of the frame T-2 and the phase of the search area tpT-2. FIG. 16E is a diagram for explaining the process of updating the phase and reading the search area tp of the image processing apparatus 1b shown in FIG.
[0134]
The control unit 100b sets the coordinates of the phase as shown in FIGS. The horizontal axis is the x axis, and the vertical axis is the y axis.
For example, as illustrated in FIG. 16E, the control unit 100b sequentially sets (−1, −1), (0, −1), (1, −1), and (−) based on the phase of the search area tpT + 1 as a reference. (1,0), (0,0), (0,1), (-1,1), (0,1), (1,1), and the search range sp of each frame is updated accordingly. Is updated in the search area tp.
[0135]
In this case, the motion vector is (-1, -1), (0, -1), (1, -1), (-1, 0), (0, 0) corresponding to each of the phases. ), (0,1), (-1,1), (0,1), (1,1).
[0136]
The control unit 100b stores one pixel of the search area tpT + 2 in the pixel 21b-T + 2 of each element 20b, and stores one pixel of the search area tpT + 1 in the pixel 21b-T + 1 of each element 20b. One pixel of the search area tpT-1 is stored in the pixel 21b-T-1 of the element 20b, and one pixel of the search area tpT-2 is stored in the pixel 21b-T-2 of each element 20b.
[0137]
FIG. 17 is a flowchart for explaining the operation of the image processing apparatus shown in FIG. In this case, the target element is assumed to be one of the elements in which the corresponding pixel is actually stored in FIG. It is assumed that the target pixel is not an element at the edge of the memory.
[0138]
First, each pixel of an arbitrary 5 × 5 reference area tr is stored for each element 20b in the memory 2b from the frame memory T where it is assumed that a frame in which the pixel of interest exists is present. Here, in FIG. 15C, one pixel of the reference area tr is stored in the pixel 20b-T of each element 20b (ST101).
[0139]
Next, each of the frame memory 3b-T + 2, the frame memory 3b-T + 1, the frame memory 3b-T-1, and the frame memory 3b-T-2 temporally before and after the target frame shown in FIG. The 5 × 5 area is read out while the phase is updated as described above, and each pixel in the area is stored for each element 20b in the memory 2b (ST102).
[0140]
This 5 × 5 area is named “search area tp”. However, as described above, the phase of the search area tp read from each frame memory is always on a straight line in space and time as shown in FIG.
Therefore, instead of updating the phase for each frame, the phase is updated based on a certain frame, and the other phases are uniquely determined.
[0141]
For example, with reference to the phase of the search area tpT + 1, when the spatial phase of the search area tpT + 1 is (1, 1), the spatial phase of the search area tpT + 2 read from the frame memory T + 2 is (2, 2). The spatial phase of the search area tpT-1 read from the frame memory T-1 is (-1, -1), and the spatial phase of the search area tpT-2 read from the frame memory T-2 is (-2, -1). -2).
[0142]
The control unit 100b updates the phase and reads the search area tp nine times in the range of (−1, −1) to (1, 1) based on the search area tpT + 1, for example, as shown in FIG. It ends when it finishes.
[0143]
One pixel of the search area tpT-1 is stored in the pixel 21b-T-1 of each element 20b (ST103). One pixel of the search area tpT-2 is stored in the pixel 21b-T-2 held by each element 20b (ST104). One pixel of the search area tpT + 1 is stored in the pixel 21b-T + 1 held by each element 20b (ST105). One pixel of the search area tpT + 2 is stored in the pixel 21b-T + 2 of each element 20b (ST106).
The order of steps ST103 to ST106 described above need not be this order.
[0144]
Next, in each element 20b, the subtractor 24b-2 and the absolute value generation unit 25b-2 calculate the difference absolute value a between the value stored in the difference pixel 21b-T and the value stored in the pixel 21b-T-1. Is calculated (ST107). Similarly, in each element 20b, the subtractor 24b-1 and the absolute value generation unit 25b-1 calculate the difference absolute value b between the value stored in the pixel 21b-T and the value stored in the pixel 21b-T-2. The calculation is performed (ST108). Similarly, in each element 20b, the subtractor 24b-3 and the absolute value generator 25b-3 calculate the absolute difference c between the value stored in the pixel 21b-T and the value stored in the pixel 21b-T + 1. (ST109). Similarly, in each element 20b, the subtractor 24b-4 and the absolute value generation unit 25b-4 calculate the difference absolute value d between the value stored in the pixel T and the value stored in the pixel T + 2 (ST110).
The order of steps ST107 to ST110 described above need not be this order.
[0145]
Next, the adder 250 calculates the sum of the difference absolute values a, b, c, and d, generates the difference absolute value sum A, and stores it in the difference absolute value sum A storage unit 22b-1 (ST111).
Next, assuming that the elements in the vicinity of eight of the elements of interest connected by wiring, for example, the element of interest 20b-5 shown in FIG. 15, the elements 20b-1 to 20-9 in the vicinity of the element 20b-5 are respectively The element of interest 20b-5 reads the sum of absolute differences A stored in.
For example, in the element 20b-5 of interest, the adder 28b adds the values and the sum of absolute difference values A output from the adder 250 to obtain the sum as the sum of absolute difference values B (ST112). The output is output to the comparison update unit 26b.
[0146]
Next, in each element of interest 20b, the comparison and update unit 26b compares the sum of difference absolute values (sum of difference absolute values C) and the sum of difference absolute values B stored in advance in the sum of absolute difference values B storage unit 22b-2. Then, if the sum of absolute difference values B is small (ST113), the stored value is updated from the sum of absolute difference values C to the sum of absolute difference values B (ST114, 115). Conversely, when the sum of absolute difference values C is large, the update is not performed, and the process shifts to updating the next phase and reading the search area tp. It returns to step ST102. In the initial state, the difference absolute value sum C is not stored in the element of interest 20b. In that case, the first sum of absolute difference values B is unconditionally stored.
[0147]
Next, in the updating unit 27b of a certain target element 20b, the pixel 21b-T, the pixel 21b-T + 2, the pixel 21b-T + 2 only when the sum of the absolute difference values stored in the absolute difference sum B storage unit 22b-2 is updated. The pixel values stored in 21b-T + 1, pixel 21b-T-1, and pixel 21b-T-2 are respectively converted to corresponding pixel 210b-T, corresponding pixel 210b-T + 2, corresponding pixel 210b-T + 1, and corresponding pixel 210b-T. -1, stored again in the corresponding pixel 210b-T-2. That is, the corresponding pixel stored in the element of interest 20b is updated as a true corresponding pixel (ST116).
[0148]
As described above, when the phase update is completed, the minimum value of the sum of pixel difference absolute values B in the search range sp and the corresponding pixel updated when it is stored are stored in the nine target elements 20b. (ST117).
On the other hand, if it is determined in step ST117 that the updating of the phase has not been completed, the process returns to step ST102.
[0149]
As shown in FIG. 12, the operation itself determines which position in the search range sp the nine 3 × 3 blocks cut out from the reference area tr have moved at time T between the 3 × 3 blocks. This is obtained based on the sum of absolute differences.
[0150]
In this state, the point is the same as the case of “block matching” of the image processing apparatus 1a according to the second embodiment, but the image processing apparatus 1b according to the third embodiment is The pixel at the center of the block is directly stored and output as the "corresponding pixel" of the target pixel.
Also, unlike block matching between two frames, the calculation assuming the uniformity of motion between five frames improves the detection accuracy of "corresponding pixels" even when there is noise in the image. It has good affinity with noise removal by the classification adaptive processing.
[0151]
Finally, for example, the reading unit 4 reads and outputs corresponding pixels in these five frames from each element of interest. For example, the output result is used for a class classification adaptive process to be described later.
[0152]
It is not limited to the above-described embodiment. For example, in this embodiment, a memory that extracts and outputs corresponding pixels when the search range sp is (−1, −1) to (1, 1) in pixel units with a 3 × 3 block size is described. However, the present invention is not limited to this.
[0153]
For example, by changing the wiring between the elements from the peripheral 5 × 5 elements to the target element, processing can be performed with a larger block size of 5 × 5.
Also, the case where the total number of elements in the memory 2b is 5 × 5 has been described. For example, when the memory is provided with elements for the total number of pixels in one frame, the corresponding pixels of all the pixels are updated in phase. Is obtained at the time when is terminated.
[0154]
Fourth embodiment
Classification adaptive processing using corresponding pixel detection
FIG. 18 is a functional block diagram of the fourth embodiment of the image processing apparatus according to the present invention.
The image processing device 1c according to the fourth embodiment uses the memory 2b of the image processing device 1b according to the third embodiment to perform noise removal by a class classification adaptive process.
[0155]
Classification adaptive processing is a process of degrading a high-quality original image (also called a teacher image) to create a low-quality deteriorated image (also called a student image), and performing statistical learning between the teacher image and the student image. This is a process of converting the image into a high-quality image and outputting the image even if a degraded image is input using the learned data.
[0156]
Although the details of the classification adaptive processing and the noise removal by the processing are already described in the application number 410304058, the image processing apparatus 1c according to the present embodiment specifically performs the above-described processing using a memory.
Also, as an example, the case of an input image in SD (Standard) format is assumed, but the same processing can be performed in another format.
[0157]
Learning
As shown in FIG. 18, the image processing apparatus 1c according to the fourth embodiment has a memory 2b, a plurality of frame memories 3b, for example, frame memories 3b-T + 2, T + 1, T, T-1, T-2, and readout. Unit 4c, a noise adding unit 5, a class code generating unit 6, a normal equation adding unit 7, a coefficient storing unit (RAM) 8, and a control unit 100c.
[0158]
The major difference between the image processing device 1c and the image processing device 1b according to the third embodiment is that a noise addition unit 5, a class code generation unit 6, a normal equation addition unit 7, and a coefficient storage unit (RAM) 8 Is further provided. Only the differences will be described.
[0159]
The noise adding unit 5 adds a noise component to an input image. For example, the noise adding unit 5 generates and adds random noise by computer simulation.
[0160]
FIG. 19 is a functional block diagram showing a first specific example of the noise adding unit of the image processing device 1c shown in FIG.
The noise adding unit 5-1 according to the first specific example includes an RF modulator (RF @ MODULATOR) 51, an attenuator attenuator 52, and an RF demodulator (RF @ DEMODULATOR) 53 as shown in FIG.
[0161]
In the noise adding section 5-1, an RF modulator (RF @ MODULATOR) 51 performs RF modulation processing according to an input image, for example, an SD image, attenuates by an attenuator attenuator 52, and performs RF demodulation by an RF demodulator (RF @ DEMODULATOR) 53. Perform processing and add noise.
[0162]
FIG. 20 is a functional block diagram illustrating a second specific example of the noise adding unit of the image processing apparatus 1c illustrated in FIG.
The noise adding unit 5-2 according to the second specific example includes an RF modulator 51, an attenuator attenuator 52, an RF demodulator 53, a subtractor 54, and an adder 55 as shown in FIG.
[0163]
In the noise adding section 5-2, an RF modulator (RF @ MODULATOR) 51 performs an RF modulation process on an image having a uniform background (uniform level), attenuates it with an attenuator attenuator 52, and an RF demodulator (RF @ DEMODULATOR). An RF demodulation process is performed by 53, a subtraction process is performed on the image with a uniform background by a subtractor 54, and only a noise component is output to an adder 55, and the noise component is input to the adder 55. It is added to the image (SD image) and output.
[0164]
FIG. 21 is a functional block diagram showing a third specific example of the noise adding unit of the image processing device 1c shown in FIG.
As shown in FIG. 21, the noise adding unit 5-3 according to the third specific example includes an RF modulator (RF @ MODULATOR) 51, an attenuator attenuator 52, an RF demodulator (RF @ DEMODULATOR) 53, a subtractor 54, and an adder. 55 and a frame adder 56.
[0165]
In the noise adding unit 5-3, the RF modulator 51 performs an RF modulation process on an image having a uniform background (a uniform level), attenuates the image with an attenuator attenuator 52, and performs an RF demodulation process with an RF demodulator 53. The difference between the image from which noise has been removed by the frame adder 56 and the subtractor 54 and the original image is obtained, and only the noise component is extracted. The adder 55 adds this noise component to the input image (SD image). Is output.
[0166]
The reading unit 4c reads a corresponding pixel for each element, and outputs it to the class code generating unit 6 and the normal equation adding unit 7.
[0167]
The class code generation unit 6 detects a noise component based on the value of the corresponding pixel for each element output from the reading unit 4c, generates a class code, and outputs the generated class code to the normal equation addition unit 7.
[0168]
FIG. 22 is a diagram for explaining the principle of generating a class code (detecting a noise component) of the class code generation unit of the image processing apparatus 1c shown in FIG.
[0169]
For example, as shown in FIG. 22, the class code generation unit 6 detects a noise component for each of the corresponding pixels sequentially output from the memory 2b, and describes and generates the noise component as a class code.
One corresponding pixel extracted by the memory 2b can be basically regarded as the same pixel extruded following the movement during the five frames from time T-2 to T + 2, so that deterioration such as blurring is seen in a fast movement. In some cases, there is little variation over time.
[0170]
Therefore, if there is a change in the value in the output corresponding pixel, it can be regarded as noise. Therefore, by describing the fluctuation of the noise as a class code, a prediction operation described later according to the fluctuation of the noise can be performed.
[0171]
The class code generation unit 6 obtains the maximum value b and the minimum value a of the five pixels in the corresponding pixel, and codes according to the maximum value b and the minimum value, for example, an average value, specifically, (minimum value a + maximum value). An average code is generated such that the value is 1 if the level of each corresponding pixel is higher than the value b) / 2 and 0 if the level is lower than the value b) / 2. For example, the average code is “10100” in the case shown in FIG.
[0172]
Further, the class code generation unit 6 obtains a dynamic range (maximum value b-minimum value a) in the corresponding pixel, expresses it in a binary number, and generates a dynamic range code.
[0173]
For example, when the dynamic range is 18, the dynamic range code is “10010”.
The class code generation unit 6 generates a class code by combining the average value code and the dynamic range code.
[0174]
For example, in the case described above, the average code “10100” and the dynamic range code “10010” are combined to generate the class code “1010010010”.
Here, the average value code is the time variation of noise, and the dynamic range code represents the magnitude of the noise level.
The image processing apparatus 1c can perform processing corresponding to noise fluctuations and levels accurately by classifying the codes.
[0175]
More specifically, the normal equation addition unit 7 generates a normal equation for each class code output from the class code generation unit 6 based on the corresponding pixel output from the reading unit 4 and the pixel of the teacher image, Generate prediction coefficients for each class code.
[0176]
Specifically, the normal equation adding unit 7 sets the corresponding pixel to X_{T + 2}, X_{T + 1}, X_T, X_T-1, X_T-2As the corresponding pixel X of the frame memory T_TThen, a normal equation as shown in Expression (2) is generated, where y is a pixel at the same position from the teacher image before adding noise.
[0177]
(Equation 2)

[0178]
Where a_{T + 2}, A_{T + 1}, A_T, A_T-1, A_T-2Is a prediction coefficient to be estimated.
The normal equation adding unit 7 generates a normal equation by substituting the corresponding pixel and the pixel of the teacher image for each class into the equation (2), and when the required number of normal equations is obtained, performs the least square estimation. Estimate the prediction coefficient.
[0179]
The normal equation adding unit 7 determines a prediction coefficient for each class code, and outputs it to the coefficient storage unit (RAM) 8.
The coefficient storage unit (RAM) 8 stores the prediction coefficients for each class code output from the normal equation addition unit 7.
[0180]
The control unit 100c reads the reference area tr from the image held in each of the frame memories T-2, T-1, T, T + 1, and T + 2, and stores the reference area tr in the memory 2c. The search range sp corresponding to the read reference area tr is set in another frame memory, and the search area tp is stored in the read memory 2c while updating the phase.
[0181]
The control unit 100c sequentially reads out the reference area tr in a sequence such as a raster scan while shifting the phase appropriately in the frame memory T, and finally the memory 2c reads all the pixels in the frame memory. The corresponding pixel can be output.
[0182]
FIG. 23 is a diagram for explaining a procedure in which the image processing apparatus 1c shown in FIG. 18 should read out to the memory of the reference area tr for the classification adaptive processing. FIG. 23A shows a state before the shift. FIG. 23B is a diagram illustrating a state after the shift.
[0183]
For example, when the memory 2b is 5 × 5, the control unit 100c shifts the reference area tr by 3 × 3 pixels as shown in FIGS. 23A and 23B and cuts out the reference area tr. Obtained at all pixel positions in T. Therefore, all the pixels in the frame memory T can be processed. In this case, when reading out one reference area tr, the memory 2c obtains nine corresponding pixels having different phases and sequentially outputs these nine corresponding pixels.
[0184]
The operation of the image processing apparatus having the above-described configuration will be briefly described only for differences.
The noise adding unit 5 adds a noise component to the input image.
In the frame memories T-2, T-1, T, T + 1, and T + 2, input images to which noise components have been added are sequentially stored.
[0185]
In the control unit 100c, the pixel values and the phase information of the pixels in the search area tp within the predetermined search range sp are read from each frame memory and output to the memory 2b.
In the reading unit 4c, the corresponding pixel for each element 20b in the memory 2b is read and output to the class code generating unit 6 and the normal equation adding unit 7.
[0186]
The class code generation unit 6 detects a noise component based on the value of the corresponding pixel for each element output from the reading unit 4c, generates a class code by predetermined processing as shown in FIG. It is output to the equation adder 7.
[0187]
In the normal equation adding unit 7, a normal equation is generated by the above-described predetermined process based on the corresponding pixel output from the reading unit 4 and the pixel of the teacher image for each class code, and the prediction coefficient for each class code is calculated. It is generated and stored in the coefficient storage unit (RAM) 8.
[0188]
As described above, in the image processing device 1c according to the present embodiment, the noise adding unit 5 that adds a noise component to an input image, and the frame memories 3b-T + 2, T + 1, T, T-1, and T-2. And a memory 2b, a reading unit 4c for reading a corresponding pixel for each element in the memory 2b, a class code generating unit 6 for generating a class code according to the corresponding pixel, and a class code, a corresponding pixel, and an input pixel. Since a normal equation adding unit 7 for generating a normal equation and generating a prediction coefficient in accordance therewith, a coefficient storage unit (RAM) 8 for storing a prediction coefficient, and a control unit 100c for performing a predetermined control are provided, A noise component is added to the input image, and a class code is generated based on the input image and the image to which the noise component is added, and learning can be performed.
The information of the learning result is used, for example, when the image processing apparatus according to the fifth embodiment generates an original high-quality image from an image to which a noise component has been added.
[0189]
Fifth embodiment
prediction
FIG. 24 is a functional block diagram of the image processing apparatus according to the fifth embodiment of the present invention.
The image processing apparatus 1d according to the present embodiment estimates a noise component of an input image by using the class code described in the image processing apparatus 1c according to the fourth embodiment, for example. Generate
[0190]
As shown in FIG. 24, for example, the image processing apparatus 1d includes a memory 2d, a plurality of frame memories 3b, for example, frame memories 3b-T + 2, T + 1, T, T-1, T-2, a reading unit 4c, and a class code generating unit. 6, having a coefficient storage unit 8d, an estimation operation unit 9, and a control unit 100d
[0191]
A major difference between the image processing device 1d according to the present embodiment and the image processing device 1c according to the fourth embodiment is that the image processing device 1d includes a coefficient storage unit 8d and an estimation calculation unit 9.
[0192]
When performing the noise prediction process, the control unit 100d of the image processing apparatus 1d stores five frames of the input image (the current frame and two frames before and after) in the frame memories 3b-T + 2 to T-2, respectively.
[0193]
The control unit 100d reads out the reference area tr from the image held in each frame memory 3bT, and stores it in the memory 2d.
The control unit 100d sets the search range sp corresponding to the read reference area tr in the other frame memories 3b-T-2, T-1, T + 1, and T + 2, and updates the search area tp while updating the phase. Is read out and stored in the memory 2d.
[0194]
The control unit 100d sequentially reads out the reference area tr while sequentially shifting the phase in a predetermined order in the frame memory T in an order such as a raster scan. The corresponding pixels of all pixels are output.
[0195]
For example, when the memory 3d is 5 × 5, the control unit 100d shifts by 3 × 3 pixels and cuts out the reference area tr as shown in FIGS. Corresponding pixels are obtained at all pixel positions. Therefore, all the pixels in the frame memory T can be processed. In this case, when reading out one reference area tr, the memory 2d obtains nine corresponding pixels having different phases and sequentially outputs these nine corresponding pixels.
[0196]
The class code generator 6 generates a class code for each corresponding pixel sequentially output from the memory 2d based on the noise component of the pixel.
[0197]
The coefficient storage unit (ROM) 8d stores, for example, prediction coefficients for each class code stored in the coefficient storage unit 8 at the time of learning in the image processing device 1c according to the fourth embodiment.
The coefficient storage unit 8d outputs a prediction coefficient corresponding to the stored class code according to the class code output from the class code generation unit 6.
[0198]
The estimation calculation unit 9 estimates and outputs a prediction value according to the prediction coefficient and the corresponding pixel output from the coefficient storage unit 8d.
Specifically, the estimation calculation unit 9 calculates the prediction coefficient a output from the coefficient storage unit 8d._{T + 2}, A_{T + 1}, A_T, A_T-1, A_T-2And the corresponding pixel X_{T + 2}, X_{T + 1}, X_T, X_T-1, X_T-2, The predicted value y is calculated by, for example, Equation (2) described above and output. The expected value y is a pixel value from which a noise component has been removed.
[0199]
The operation of the image processing apparatus having the above-described configuration will be briefly described only for differences.
The control unit 100d stores the input image to which the noise component has been added in the frame memories T-2, T-1, T, T + 1, and T + 2.
[0200]
In the control unit 100d, the pixel values and the phase information of the pixels in the search area tp within the predetermined search range sp are read from each frame memory and output to the memory 2d.
In the reading unit 4c, a corresponding pixel for each element 20d in the memory 2d is read and output to the class code generation unit 6 and the estimation calculation unit 9.
[0201]
The class code generation unit 6 detects a noise component based on the value of the corresponding pixel for each element output from the reading unit 4c, generates a class code by predetermined processing as shown in FIG. It is output to the operation unit 9.
[0202]
The estimation calculation unit 9 performs the above-described predetermined processing according to the prediction coefficient and the corresponding pixel output from the coefficient storage unit (ROM) 8d, and estimates and outputs a prediction value.
[0203]
As described above, in the image processing apparatus 1d according to the present embodiment, each of the frame memories 3b-T + 2, T + 1, T, T-1, T-2, the memory 2d, and the elements in the memory 2d is provided. A reading unit 4c for reading out a corresponding pixel, a class code generating unit 6 for generating a class code according to the corresponding pixel, a coefficient storing unit (ROM) 8d for storing a coefficient corresponding to the class code, and a coefficient storing unit (ROM) (2) Since the estimation calculation unit 9 that generates the predicted value and the control unit 100d that performs the predetermined control are provided according to the prediction coefficient and the corresponding pixel output from 8d, the noise held in the frame memory T is reduced. For a certain input image, it is possible to output pixels from which noise has been removed in pixel units.
[0204]
Further, with the above-described configuration, it is possible to directly search and output pixels and the like necessary for the classification adaptive processing. Thereby, for example, a procedure of performing phase correction using a motion vector after detecting a motion vector and extracting necessary pixels can be simplified.
[0205]
Sixth embodiment
FIG. 25 is a functional block diagram of the image processing apparatus according to the sixth embodiment of the present invention. FIG. 26A is a configuration diagram of a memory of the image processing apparatus shown in FIG. 25, FIG. 26B is a diagram showing elements storing predicted pixels of the memory shown in FIG. FIG. 27C is a functional block diagram of the elements of the memory shown in FIG.
[0206]
As shown in FIG. 25, the image processing apparatus 1e according to the present embodiment includes a memory 2e, a plurality of frame memories 3b, for example, frame memories 3b-T + 2, T + 1, T, T-1, T-2, and a coefficient storage unit. (ROM) 8e and a control unit 100e.
[0207]
The image processing device 1e is that each of the elements 20e of the memory 2e has the class classification adaptive processing function of the image processing device 1d according to the fifth embodiment. Only the differences will be described.
[0208]
The memory 2e has 5 × 5 elements 20e-1 to 20e-25, for example, as shown in FIG. 26A, and the elements 20e are connected by wiring.
[0209]
As shown in FIG. 26C, the element 20e includes a plurality of pixels 21b, for example, pixels 21b-T, T + 2, T + 1, T-1, and T-2, a difference absolute value total A storage unit 22b-1, a difference absolute Value sum B storage unit 22b-2, a plurality of subtractors 24b, for example, subtractors 24b-1 to 24-4, a plurality of absolute value generation units 25b, for example, absolute value generation units 25b-1 to 25, an adder 250, and a comparison update unit 26e, a class code generator 6e, an estimator 9e, and an adder 28b.
[0210]
The class code generation unit 6e converts the update information indicating that the absolute difference sum has been updated and the pixel values output from the pixels 21b-T, T + 2, T + 1, T-1, and T-2 from the comparison update unit 26e. In response, a class code is generated and output to the coefficient storage (ROM) 8e.
[0211]
Specifically, when the class code generation unit 6e receives update information indicating that the absolute difference sum has been updated from the comparison update unit 26e, the class code generation unit 6e outputs the pixels 21b-T, T + 2, T + 1, T-1, T-1, T-1 -2, and generates a class code corresponding to the pixel value output from the coefficient storage unit (ROM) 8e.
[0212]
The estimation calculation unit 9e estimates a prediction value based on the prediction coefficients output from the coefficient storage unit (ROM) 8e and the pixels output from the pixels 21b-T, T + 2, T + 1, T-1, and T-2. And output.
[0213]
The operation of the image processing apparatus 1e having the above-described configuration will be briefly described with respect to only differences. When performing the noise prediction process, the control unit 100e holds five frames of the input image (the current frame and two frames before and after) in the frame memories 3b-T + 2 to T-2, respectively.
[0214]
The control unit 100e reads the reference area tr from the image held in each frame memory 3bT, and stores it in the memory 2e.
The control unit 100e sets the search range sp corresponding to the read reference area tr in the other frame memories 3b-T-2, T-1, T + 1, and T + 2, and updates the search area tp while updating the phase. Is read out and stored in the memory 2e.
[0215]
The control unit 100e sequentially reads out the reference area tr while sequentially shifting the phase in a predetermined order in the frame memory T in an order such as a raster scan. The corresponding pixels of all the pixels can be output.
[0216]
In the element 20e in the memory 2e, in the class code generation unit 6e, when update information indicating that the sum of absolute difference values has been updated is input from the comparison update unit 26e, the pixels 21b-T, T + 2, T + 1, T A class code corresponding to the pixel values output from -1 and T-2 is generated and output to the coefficient storage (ROM) 8e.
[0219]
In the coefficient storage unit (ROM) 8e, the stored coefficients are output to the estimation calculation unit 9e according to the class code output from the class code generation unit 6e.
The estimation calculation unit 9e estimates a prediction value based on the prediction coefficients output from the coefficient storage unit (ROM) 8e and the pixels output from the pixels 21b-T, T + 2, T + 1, T-1, and T-2. Is output.
[0218]
The estimation operation unit 9 performs the above-described predetermined processing in accordance with the prediction coefficient and the corresponding pixel output from the coefficient storage unit (ROM) 8e, estimates a prediction value, and outputs the predicted value to, for example, a frame memory or the like.
[0219]
As described above, in the image processing device 1e according to the present embodiment, the class code generation unit 6e and the estimation calculation unit 9e are further provided for each element 20e of the memory 2e, so that the class classification adaptive processing function is provided. Can be provided.
[0220]
Specifically, each time the sum of absolute difference values is updated, the noise stored in the pixel T, the pixel T + 1, the pixel T + 2, the pixel T−1, and the pixel T−2 is used to perform the noise by the classification adaptive processing. Removal is performed and the predicted pixel is output each time. If the value is replaced in another frame memory or the like every time a pixel is output, an image after noise removal is finally obtained.
[0221]
Note that the present invention is not limited to the present embodiment, and various suitable modifications are possible.
For example, the image processing device 1c according to the fourth embodiment and the image processing device 1d according to the fifth embodiment may be combined. By doing so, it is possible to generate a class code by learning the noise component, estimate the noise component according to the generated class code, and generate a high-quality image.
[0222]
Seventh embodiment
Plane matching
FIG. 27 is a conceptual diagram for explaining the operation of the seventh embodiment of the image processing apparatus according to the present invention.
For example, as shown in FIG. 27A, when there are objects ob1 and ob2 that move with the lapse of time in an input image and a reference block having a predetermined size is set, FIG. In some cases, a plurality of objects are included in a reference block as shown in FIG.
[0223]
In block matching, since a motion vector is captured as the motion of the entire block, the motion (object ob1) originally possessed by the target pixel of the reference block becomes the motion vector of another object (object ob2). In some cases, an intermediate movement between the two objects may be obtained.
[0224]
The image processing apparatus according to the present embodiment performs plane matching, which will be described later, and generates an accurate motion vector even when a plurality of objects are included in a reference block.
[0225]
FIG. 28 is a conceptual diagram for explaining an operation of plane matching of the image processing apparatus according to the seventh embodiment of the present invention. The operation of the image processing apparatus for plane matching will be described with reference to FIG.
[0226]
In the plane matching, for example, when objects ob1 and ob2 exist as shown in FIG. 28A, a reference block is set as shown in FIG. 28B, and reference is made as shown in FIG. Pixels of only the same object as the target pixel are extracted from the blocks, and matching is performed based on the extracted pixels.
Extracting pixels for each identical object from an image for plane matching is referred to as “plane separation”.
[0227]
FIG. 29 is a functional block diagram of the image processing apparatus according to the seventh embodiment of the present invention.
As shown in FIG. 29, the image processing apparatus 1f according to the present embodiment includes a memory 2f, a plurality of frame memories 3f, for example, frame memories 3f-T and T-1, a reading unit 4f, a control unit 100f, and a plane separation unit. It has a unit 110. Only the differences will be described.
[0228]
For example, as shown in FIG. 29, when the size of the input image is w × b, the memory 2f has the number of elements of almost the entire screen as (w−2) × (h−2).
In order to search for a motion vector, the image processing device 1f performs, for example, plane separation processing on the entire screen of the frame memory 3f-T-1 in advance, and stores plane information of each pixel in all elements in the memory 2f. Is performed.
[0229]
The frame memory 3f-T stores the frame at the time T. The frame memory 3f-T is a frame memory having a size of, for example, a search range sp (w × h). For example, the control unit 100f controls a predetermined search area tp (w−2) × (h−2). Pixels are read and output to the memory 2f.
[0230]
The frame memory 3f-T-1 stores the frame at the time T-1. The frame memory 3f-T-1 is, for example, a frame memory having a size of w × h. For example, the control unit 100f reads pixels in a predetermined reference area tr (w−2) × (h−2). Output to the memory 2f.
[0231]
The reading unit 4f reads and outputs a motion vector stored for each element of the memory 2f.
The plane separation unit 110 performs a plane separation process described later based on the image data stored in the frame memory 3f-T-1, and outputs plane information resulting from the process to the memory 2f.
The control unit 100f performs a predetermined process described later.
[0232]
Each component will be described in detail below.
Memory configuration
FIG. 30A is a diagram schematically showing a memory of the image processing apparatus shown in FIG. FIG. 30B is an enlarged view of a part of FIG. FIG. 30C is a functional block diagram of the elements of the memory shown in FIG.
[0233]
As shown in FIGS. 30A and 30B, the memory 2f has a plurality of elements 20f.
As illustrated in FIG. 30C, the element 20f includes a pixel 20-1, a pixel 20-2, a pixel difference storage unit 22f-1, a difference sum storage unit 22f-2, a motion vector storage unit 23, a subtractor 24, It has an absolute value generation unit 25, a comparison update unit 26f, an update unit 27, an addition unit 28f, a plane information storage unit 29, and a switch (Switch) 30.
[0234]
As shown in FIG. 15, for example, as shown in FIG. 15, the memory 2f has eight neighboring elements (elements 20f-1 to 20f-4, 6 to 9 in FIG. 15) of the element of interest (element 20f-5 in FIG. 15) as shown in FIG. ) Is output to the element of interest. However, for each element 20f, the switch (switch) 30 determines whether or not to output.
[0235]
Further, the memory 2f can store not only one pixel but also two pixels as well as the memory 2a according to the first embodiment, and can calculate the absolute value of the difference. Further, the difference absolute value as the result is stored.
Further, this embodiment is different from the image processing apparatus according to the second embodiment in that “plane information” corresponding to pixels stored in the present embodiment can be stored.
Hereinafter, only the differences between the components will be described.
[0236]
The pixel difference storage unit 22f-1 outputs the stored absolute difference value to the addition unit 28f.
The difference sum storage unit 22f-2 updates the total sum difference absolute value stored in the difference sum storage unit 22a-2 based on the data output from the addition unit 28f and the sum total difference storage unit 22a-2. Output to
[0237]
The addition unit 28f adds the data based on the data output from the switch 30 and the total sum difference absolute value stored in the pixel difference storage unit 22f-1, and outputs the result to the comparison update unit 26f.
[0238]
The comparing / updating unit 26f compares the sum of absolute difference values A output from the adding unit 28f with the sum of absolute difference values (referred to as the sum of absolute difference values B) stored in the sum of difference storage unit 22a-2. As a result of the comparison, if the sum of absolute differences A is small, the sum of absolute differences A is stored in the sum of differences storage unit 22f-2, and the sum of absolute differences is updated.
[0239]
When performing the above-described update, the comparison update unit 26f outputs update information indicating that the update has been performed to the update unit 27.
When the difference absolute value sum A is large as a result of the comparison, the comparison updating unit 26f does not update the difference absolute value sum B stored in the difference sum storage unit 22a-2.
[0240]
The update unit 27f updates the motion vector stored in the motion vector storage unit 23 based on the update information output from the comparison update unit 26f and the phase information.
Specifically, when update information indicating that the difference absolute value has been updated is output from the comparison update unit 26f, the update unit 27f causes the motion vector storage unit 23 to store the phase at that time as a motion vector. By doing so, the motion vector is updated.
[0241]
The adder 28f calculates the difference absolute value a output from the pixel difference storage 22a-1 and the eight elements 20a near the pixel output from the switch 30 (also referred to as eight adjacent elements 20a). Based on the difference absolute value a, they are added to generate a difference absolute value sum A, which is output to the comparison update unit 26f.
The plane information storage unit 29 stores plane information described later.
[0242]
The switch 30 has a role of a gate that determines the coincidence of the plane information and outputs the absolute difference a of each element 20f to the adder 28f.
For example, the switch (Switch) 30 outputs the absolute difference value to the adding unit 28f according to the plane information of the element 20f of interest and the plane information of the other eight neighboring elements 20f.
[0243]
More specifically, the switch 30 determines the plane information stored in the plane information storage unit 29 of the element 20f of interest and the plane information stored in the plane information storage unit 29 of each of the other eight neighboring elements 20f. Are compared, and if they match, the difference absolute value stored in the pixel difference storage unit 22f-1 is output to the addition unit 28f. If they do not match, the difference absolute values are stored in the eight neighboring elements 20f. The absolute value of the difference value is not output to the adding unit 28f.
[0244]
When the sum of the elements 201 is updated, the motion vector (motion vector) at that time is also updated from the previously stored one.
[0245]
Plane separation and plane information
FIG. 31 is a diagram for explaining the processing of the plane separation unit of the image processing apparatus shown in FIG.
Each element such as the background and each object in the input image is called a plane. Separation into each plane is called plane separation.
[0246]
The plane separating unit 110 allocates a predetermined value (label) to each of the separated planes, for example, as shown in FIG. What represents which plane each pixel in the image belongs to is called plane information.
Hereinafter, a specific example of the plane separation method will be described.
[0247]
FIG. 32 is a functional block diagram illustrating a specific example of a plane separation unit of the image processing apparatus 1f.
For example, the plane separation unit 110 separates the input image into a predetermined plane by using the fact that the brightness and color inside the same object and background in the image are at the same level.
[0248]
The plane separation unit 110 includes, for example, a histogram calculation unit 111, a peak detection unit 112, a valley detection unit 113, an elimination unit 114, a valley integration unit 115, and a labeling unit 116, as shown in FIG.
[0249]
The histogram calculation unit 111 generates and holds a histogram (frequency distribution) for each level (luminance or color) according to the input image.
FIG. 33 is a diagram illustrating a specific example of a histogram generated by the histogram calculation unit 111 of the plane separation unit of the image processing apparatus 1f illustrated in FIG. The horizontal axis indicates the level, and the vertical axis indicates the histogram (frequency).
[0250]
The histogram calculation unit 111 generates a histogram according to the input image, for example, as illustrated in FIG.
The histogram calculation unit 111 outputs the generated histogram (frequency distribution) to the peak detection unit 112.
[0251]
The peak detection unit 112 detects a level (peak) having the maximum frequency in the histogram based on the input histogram, and outputs the level to the valley detection unit 113. For example, based on the histogram output from the histogram calculation unit 111 or the histogram output from the erasure unit 114, the peak detection unit 112 detects the level (peak) of the maximum frequency in the histogram and detects the valley. Output to the unit 113.
[0252]
The valley detection unit 113 specifies, for example, the frequency of an object including the peak based on the peak of the histogram.
For example, the valley detection unit 113 detects two valleys on both sides of the level peak in the histogram based on the level (peak) having the maximum frequency output from the peak detection unit 112.
[0253]
Specifically, the valley detecting unit 113 sets the point having the least frequency within a predetermined range around the peak, for example, + a, as the right valley, and within the predetermined range, for example, -a, The point with less frequency is the left valley.
[0254]
The deletion unit 114 deletes, for example, the frequency of an object including a predetermined peak.
For example, the erasing unit 114 erases, from the histogram, frequencies corresponding to levels surrounded by two valleys on the left and right with the peak of the histogram as the center, and outputs the frequency to the peak detecting unit 112.
[0255]
FIG. 34 is a specific example of a histogram for explaining the operation of the erasing unit of the plane separation unit of the image processing apparatus shown in FIG.
For example, as shown in FIG. 34, the erasing unit 114 erases the frequency corresponding to the level surrounded by the two valleys on the left and right around the predetermined peak from the histogram and outputs the frequency to the peak detecting unit 112. .
[0256]
When the elimination unit 114 determines that the frequencies for all the levels in the histogram have become 0, the elimination unit 114 outputs the valley frequencies to the valley integration unit 115.
[0257]
The valley integration unit 115 integrates valleys having similar levels based on the frequency of each valley output from the erasure unit 114 and outputs the valley to a predetermined labeling unit 116.
More specifically, the valley integration unit 115 integrates valleys having a level close to each valley.
More specifically, the valley integrating unit 115 deletes other valleys included in a predetermined range of the previously detected valley, for example, a range of ± b, giving priority to the order in which the valleys are detected.
[0258]
FIG. 35 is a diagram for explaining the valleys of the histogram before being integrated by the valley integration unit of the image processing apparatus illustrated in FIG. 32. FIG. 36 is a diagram for explaining the valleys of the histogram integrated by the valley integration unit of the image processing apparatus shown in FIG.
[0259]
Specifically, the valley integrating unit 115 integrates valleys having similar levels as shown in FIG. 36 based on the frequency of each valley output from the erasing unit 114 as shown in FIG. 35, for example.
[0260]
The labeling unit 116 assigns a predetermined value (label) label to each plane separated according to the input image and the image output from the valley integration unit 115. Specifically, the labeling unit 116 regards the pixels existing between the valleys as the same plane and assigns the same label to each pixel of the input image.
[0261]
More specifically, the labeling unit 116 determines for each pixel which valley the level (luminance or color) is inside, and assigns the same label to each pixel inside that valley.
[0262]
FIG. 37 is a flowchart for explaining the operation of the plane separation unit of the image processing apparatus shown in FIG.
[0263]
In step ST201, the histogram calculation unit 111 generates and holds a histogram for each value level (luminance or color).
In the histogram calculation unit 111, the generated histogram is output to the peak detection unit 112.
[0264]
In step ST202, the peak detection unit 112 detects the level (peak) of the maximum frequency in the histogram based on the input histogram, and outputs the level to the valley detection unit 113.
Specifically, the peak detection unit 112 detects the level (peak) of the maximum frequency in the histogram based on the histogram output from the histogram calculation unit 111 or the histogram output from the elimination unit 114. Are output to the valley detecting unit 113.
[0265]
In step ST203, the valley detection unit 113 detects valleys on both sides of the peak. Specifically, the valley detection unit 113 sets the point having the least frequency within the range of + a around the peak as the right valley. The valley detection unit 113 sets the point with the least frequency within the range of -a as the left valley.
[0266]
The valley detection unit 113 specifies, for example, the frequency of an object including the peak based on the peak of the histogram.
For example, the valley detection unit 113 detects two valleys on both sides of the level peak in the histogram based on the level (peak) having the maximum frequency output from the peak detection unit 112.
Specifically, the valley detecting unit 113 sets the point having the least frequency within a predetermined range around the peak, for example, + a, as the right valley, and within the predetermined range, for example, -a, The point with less frequency is the left valley.
[0267]
In step ST205, the erasing unit 114 erases the frequency corresponding to the level surrounded by the two valleys on the left and right from the histogram.
Further, the erasing section 114 determines whether or not the frequencies for all the levels in the histogram have become 0. If it is determined that the frequencies have not become 0, the process returns to step ST202.
[0268]
On the other hand, in the determination in step ST205, when the elimination unit 114 determines that the frequencies for all the levels in the histogram have become 0, the valley frequencies are output to the valley integration unit 115.
[0269]
In step ST206, the valley integrating unit 115 integrates the valleys having similar levels based on the frequency of each valley output from the erasing unit 114, and outputs the integrated valleys to the predetermined labeling unit 116. More specifically, the valley integration unit 115 integrates valleys having similar levels. More specifically, the valley integration unit 115 erases other valleys included in a predetermined range of the previously detected valley, for example, a range of ± b, giving priority to the order in which the valleys are detected.
[0270]
In step ST207, the labeling unit 116 assigns a predetermined value (label) label to each of the separated planes according to the input image and the image output from the valley integration unit 115.
[0271]
Specifically, the labeling unit 116 regards the pixels existing between the valleys as the same plane and assigns the same label to each pixel of the input image. More specifically, the labeling unit 116 determines for each pixel which valley the level (luminance or color) is inside, and assigns the same label to each pixel inside that valley.
Then, a series of operations related to plane separation are completed.
[0272]
FIG. 38 is a flowchart for explaining the operation of the image processing apparatus shown in FIG. The operation of the image processing apparatus 1f will be described with reference to FIG. 38, focusing on the element 20f.
[0273]
For simplicity, a memory that performs plane matching will be described with a block size of 3 × 3 pixels and a search range sp of (−1, −1) to (1, 1) in pixel units for simplicity.
[0274]
Here, the target element is assumed to be one of the elements in which a motion vector is actually stored in FIG. It is not an element at the end of the memory 20f.
Assume that the size of the image is w × b for a simple explanation.
[0275]
In the plane separation unit 110, the above-described predetermined plane separation processing is performed based on the image stored in the frame memory 3f-T-1, and plane information as a result of the processing is stored for each element 20f in the memory 2f. Is output to
Each of the elements 20f stores the plane information output from the plane separation unit 110.
Specifically, plane information for one pixel is stored in each of the plane information storage units 29 of the element 20f (ST301).
[0276]
From the frame memory 3f-T-1, as shown in FIG. 29, each pixel of the (w-2) × (h-2) reference area tr is stored in each element 20f of the memory 2f.
Specifically, as shown in FIG. 30C, one pixel of the reference area tr is stored in the pixel 20-2 of each element 2f.
Next, while updating the phase within the search range sp, the area of (w−2) × (h−2) is read, and each pixel in the area is stored for each element in the memory (ST302). This (w−2) × (h−2) area is referred to as “search area tp”.
[0277]
As shown in FIG. 30C, one pixel of the search area tp is stored in the pixel 20-1 of each element 20f.
Updating of the phase and reading of the search area tp are actually the same as in the case of the block matching described above, except that the number of pixels in the search area tp is different, and 9 in the range of (-1, -1) to (1-1). Is performed twice, and ends after nine times.
[0278]
In each element 20, the subtractor 24 generates a difference value between the value stored in the pixel 20-1 and the value stored in the pixel 20-2, and the absolute value generation unit 25 outputs the difference value from the subtractor 24. An absolute value of the difference value (a difference absolute value a) is generated, and the pixel difference storage unit 22f-1 stores the difference absolute value a (ST305).
[0279]
Next, in each element of interest, plane information is read from the eight neighboring elements.
Specifically, in the switch 30, the plane information stored in the plane information storage unit 29 of the element 20f of interest and the plane information stored in the plane information storage unit 29 of the other eight neighboring elements 20f are the same. A determination is made whether there is.
In the switch 30, the difference absolute value a stored in the pixel difference storage unit 22f-1 of the element 20f determined to be the same is read and added.
In addition section 28f, difference absolute value a output from each switch 30 is added, and difference absolute value total sum A is obtained (ST306).
[0280]
Next, in each target element, the comparison / update unit 26f compares the difference absolute value sum A (difference absolute value sum B) stored in advance with the difference absolute value sum A (ST307). Then, the value stored in the difference sum storage unit 22f-2 is updated from the difference absolute value sum B to the difference absolute value sum A (ST309).
On the other hand, when the absolute difference sum A is large, the comparison updating unit 26f does not perform the update, and shifts to the next phase update and reading of the search area tp.
By the way, in the initial state, the sum of absolute difference values is not stored in the element of interest. In that case, the first sum of absolute differences is unconditionally stored.
[0281]
Next, only when the sum of absolute difference values of a certain element of interest is updated, the motion vector stored in the element of interest is updated using the phase at that time as a true motion vector (ST310).
As described above, at the time when the phase update is completed, the minimum value of the sum of absolute pixel differences in the search range sp and the motion vector when it is stored are stored in each of the nine elements of interest.
The reading unit 4f reads and outputs these motion vectors from each element of interest.
[0282]
As described above, in the image processing apparatus according to the present embodiment, the histogram calculation unit 111 that generates a histogram (frequency distribution) for each level (luminance or color) according to the input image, A peak detector 112 for detecting the level (peak) of the maximum frequency in the histogram; a valley detector 113 for specifying, for example, the frequency of an object including the peak based on the peak of the histogram; From the input image and the valley consolidation unit 115, based on the frequency of each valley output from the elimination unit 114, A labeling unit 1 for assigning a predetermined value (label) label to each plane separated according to the output image 6, a plane information storage unit 29 that stores plane information for each of the elements 20f, and a determination of coincidence of the plane information, and outputs the absolute difference a of each element 20f to the addition unit 28f. Since the switch 30 is provided, an accurate motion vector can be generated even when a plurality of objects are included in a reference block, for example.
[0283]
Eighth embodiment
FIG. 39 is a functional block diagram of an image processing apparatus according to an eighth embodiment of the present invention.
As shown in FIG. 39, the image processing device 1g according to the present embodiment includes a memory 2g, a plurality of frame memories 3g, for example, a frame memory 3g-T, T-1, a reading unit 4g, a control unit 100g, a plane separating unit. 110g and a plane information buffer 120.
[0284]
The difference between the image processing device 1g and the image processing device 1f according to the seventh embodiment is that a memory 2g, a plurality of frame memories 3g, for example, frame memories 3g-T and T-1, a reading unit 4g, and a control unit 100g. , A plane separation unit 110g, and a plane information buffer 120. Only the differences will be described.
[0285]
The memory 2g has a predetermined number of elements 20f, for example, 5 × 5 elements 20f.
The plane separation unit 110g, for each reference region tr of the image data stored in the frame memory 3g-T-1, for example, for each reference region tr having a size of 5 × 5, based on the pixels in the reference region tr. The plane separation processing is performed, and the plane information resulting from the processing is output to the plane information buffer 120.
[0286]
The plane separating unit 110g is not limited to this mode. The plane separation unit 110g performs a plane separation process on the image stored in the frame memory T-1 based on the image data stored in the frame memory 3g-T-1, and outputs the resulting plane information to the plane. The information may be output to the information buffer 120.
[0287]
The plane information buffer 120 stores, for example, pixels of the entire screen size output from the plane separation unit 110g.
The plane information buffer 120 may store, for example, plane information for each 5 × 5 reference area tr output from the plane separation unit 110g at a predetermined position (address).
The plane information buffer 120 outputs plane information at a predetermined position (address) to the memory 2g, and stores the plane information in the plane information storage unit 29 of the corresponding element 20f of the memory 2g.
[0288]
The control unit 100g performs a predetermined process according to the above-described process, for example.
Further, the control unit 100g performs, for example, a write process or a read process of predetermined data in the frame memory 3g, the memory 2g, or the like according to the above-described process.
[0289]
The operation of the image processing apparatus having the above-described configuration will be briefly described only for differences.
In the plane separation unit 110g, for each reference area tr of the image data stored in the frame memory 3g-T-1, for example, a reference area tr of a size of 5 × 5, based on the pixels in the reference area tr. The plane separation processing is performed, and the plane information resulting from the processing is output to the plane information buffer 120, where the plane information is stored at a predetermined position (address).
[0290]
Thereafter, as in the above-described seventh embodiment, in the memory 2g, the pixel in the reference area tr is stored in the pixel 21-1, and the pixel in the search area tp is stored in the pixel 21-2.
[0291]
The subtractor 24 generates a difference value between the pixel stored in the pixel 21-1 and the pixel in the search area tp stored in the pixel 21-2, and the absolute value generation unit 25 calculates the absolute value of the difference value. A certain absolute difference value is generated and stored in the pixel difference storage unit 22-1.
[0292]
In the switch 30, the plane information stored in the plane information storage unit 29 is compared with the plane information stored in the plane information storage unit 29 of the element 20 around the element of interest. The absolute value of the difference stored in the pixel difference storage unit 22f-1 of the peripheral element 20 is output to the target pixel addition unit 28f.
The adding unit 28f adds the absolute difference value output from the switch 30 and the absolute difference value stored in the pixel difference storage unit 22f-1 and outputs the result to the comparison updating unit 26f.
[0293]
The comparing / updating unit 26f compares the difference sum value stored in the difference sum storage unit 22f-2 with the difference sum value output from the adding unit 28f, and compares the difference sum value output from the adding unit 28f with the difference sum value. Is smaller, the smaller difference sum value is output to the difference sum storage unit 22f-2. The difference total storage unit 22f-2 stores and updates the difference total value.
[0294]
When the comparison / update unit 26f updates the difference sum value stored in the pixel difference storage unit 22f-2, the update unit 27 outputs update information indicating the update.
In the update unit 27, when the update information indicating the update is output from the comparison update unit 26f, the phase information of the search area tp and the reference area tr is stored in the motion vector storage unit 23.
The phase of the search region tp in the search range sp is updated, the search regions tp of all phases in all the search ranges sp are compared with the reference region tr, and a motion vector is generated.
[0295]
As described above, the image processing device 1g according to the present embodiment can store image data stored in the frame memory 3g-T-1 in comparison with the image processing device 1f according to the seventh embodiment. A plane separation unit 110g that generates plane information by performing plane separation and a plane information storage unit 29 that stores the plane information are provided based on a predetermined size, for example, a memory 2g including a 5 × 5 element 20f. , A predetermined search range sp and an image in the reference area tr, and the difference sum value stored in the difference sum storage unit 22f-2 only when it matches the plane information of the peripheral element 20f. Is updated, and the motion vector is updated only when it is updated. Therefore, even if there are a plurality of objects in the reference area tr, the motion vector can be accurately generated. It can be.
Further, by providing the plane information buffer 120, plane information of the entire screen size can be stored and predetermined processing can be performed efficiently.
[0296]
Ninth embodiment
Motion vector correction using plane information
When the block size of the block matching or the plane area of the plane matching is small, if the input image contains noise, the possibility of erroneously detecting the motion vector of each pixel increases.
Using the plane information stored in the memory 2h of the image processing device 1h according to the ninth embodiment, a highly accurate motion vector is generated even in the case described above.
[0297]
FIG. 40 is a functional block diagram of a ninth embodiment of the image processing apparatus according to the present invention.
The image processing device 1h detects a motion vector using the result of the plane matching and the motion vector detection and the structure of the memory in which the plane information is stored.
[0298]
As shown in FIG. 40, the image processing apparatus 1h includes a memory 2f, a plurality of frame memories 3f, for example, frame memories 3f-T and T-1, a reading unit 4h, a control unit 100h, a plane separation unit 110h, and a motion vector correction. Unit 130.
[0299]
The memory 2f of the image processing device 1h has the same structure as the memory 2f of the image processing device 1f according to the seventh embodiment.
In the image processing device 1h, the process of storing plane information and motion vectors in the memory 2f and the plane matching process are almost the same as those of the image processing device 1f according to the seventh embodiment.
[0300]
FIG. 41 is a diagram for explaining the operation of the motion vector correction unit of the image processing device shown in FIG.
When the motion vector detection in the memory 2f that outputs the plane matching of the image processing device 1f according to the above-described seventh embodiment ends in the memory 2f, as illustrated in FIG. Output a motion vector. The details will be described below.
[0301]
The motion vector correction unit 130 reads a motion vector from only the element having the same plane information as the element of interest in, for example, a 5 × 5 lattice area in the memory around the element of interest, and reads the read motion The frequency of the vector is obtained, and the highest motion vector is set as the motion vector of the element of interest.
[0302]
Specifically, for example, the motion vector correction unit 130 stores the 5 × 5 lattice area in the memory centered on the element of interest, which is output from the reading unit 4h, in the plane information storage unit 29 of the element of interest. From only the elements having the same plane information as the stored plane information, the motion vector stored in the motion vector storage unit 23 is read, the frequency of the read motion vector is obtained, and the highest motion vector is noted. Let it be the motion vector of the element.
[0303]
The operation of the above-described configuration will be briefly described.
From the readout unit 4h, only the element having the same plane information as the plane information stored in the plane information storage unit 29 of the element of interest with respect to, for example, a 5 × 5 lattice area in the memory centering on the element of interest, The motion vector stored in the motion vector storage unit 23 is read.
The motion vector correction unit 130 calculates the frequency of the read motion vector, and sets the highest motion vector as the motion vector of the element of interest.
[0304]
As described above, the motion vector correction unit 130 assumes that the pixels on the same plane around the target pixel have almost the same motion, and even if the motion vector of the target pixel is incorrect in the normal matching, The accuracy of the motion vector can be improved by calculating a motion vector that is highly likely to be originally possessed by the pixel of interest and replacing it with the motion vector.
[0305]
Further, since the memory 2f capable of storing plane information is provided for each element, when deriving a motion vector, a motion vector can be accurately obtained even at a boundary portion between a plurality of objects that are likely to be erroneous.
[0306]
In addition, the most frequent motion vector is obtained for each same plane in the area around the pixel of interest, and the motion vector is corrected using the motion vector. be able to.
[0307]
【The invention's effect】
According to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of calculating a motion vector with a small amount of calculation.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a general image processing apparatus.
FIG. 2 is a flowchart showing an operation of the general image processing apparatus shown in FIG.
FIG. 3 is a diagram for explaining a specific example of an operation from reading a phase block by a phase shift to recording in an evaluation table memory.
FIG. 4 is a functional block diagram of the first embodiment of the image processing apparatus according to the present invention.
FIG. 5A is a diagram illustrating a memory of the image processing apparatus according to the first embodiment; FIG. 2B is a functional block diagram of elements in the memory of the image processing apparatus shown in FIG.
FIG. 6 is a diagram for explaining updating of a phase in pixel matching of the image processing apparatus shown in FIG. 4 and reading of a search area tp. (A) is a figure which shows the phase in a search range. (B) is a figure which shows the relationship between a phase and the search area tp.
FIG. 7 is a flowchart for explaining the operation of the image processing apparatus 1 shown in FIG. 1;
FIG. 8 is a functional block diagram of a second embodiment of the image processing apparatus according to the present invention.
9A is a diagram illustrating a memory of the image processing apparatus 1a illustrated in FIG. 8; FIG. 9B is a diagram illustrating a specific example of the configuration of the memory illustrated in FIG. 8; FIG. 9C is a diagram illustrating a configuration of a memory for storing motion vectors of the image processing apparatus 1a illustrated in FIG.
10 is a diagram for explaining an operation of the image processing apparatus shown in FIG. 8, particularly an operation of updating a phase and reading a search area tp. (A) is a figure showing a phase in search range sp. (B) is a figure which shows the relationship between a phase and the search area tp.
FIG. 11 is a flowchart for explaining the operation of the image processing apparatus 1a shown in FIG.
12 is a diagram illustrating blocks cut out from a reference region tr of a frame of the image processing apparatus illustrated in FIG. 8;
FIG. 13 is a conceptual diagram for explaining extraction of a corresponding pixel of an image processing apparatus according to a third embodiment of the present invention.
FIG. 14 is a functional block diagram of a third embodiment of the image processing apparatus according to the present invention.
FIG. 15A is a diagram illustrating a memory 2b of the image processing apparatus 1b illustrated in FIG. 14; (B) is a diagram showing a memory in which corresponding pixels are stored. (C) is a functional block diagram of the element 20b of the memory 2b shown in (a).
FIG. 16A is a diagram showing a search range spT + 2 (9 × 9) of a frame T + 2 and a phase of a search area tpT + 2. (B) is a diagram showing the search range spT + 1 (7 × 7) of the frame T + 1 and the phase of the search area tpT + 1. (C) is a diagram showing the search range spT-1 (7 × 7) of the frame T-1 and the phase of the search area tpT-1. (D) is a diagram showing the search range spT-2 (9 × 9) of the frame T-2 and the phase of the search area tpT-2. FIG. 15E is a diagram for explaining the process of updating the phase and reading the search area tp of the image processing apparatus 1b shown in FIG.
FIG. 17 is a flowchart for explaining the operation of the image processing apparatus shown in FIG. 14;
FIG. 18 is a functional block diagram of an image processing apparatus according to a fourth embodiment of the present invention.
FIG. 19 is a functional block diagram illustrating a first specific example of a noise adding unit of the image processing apparatus 1c illustrated in FIG. 18;
20 is a functional block diagram illustrating a second specific example of the noise adding unit of the image processing apparatus 1c illustrated in FIG.
FIG. 21 is a functional block diagram illustrating a third specific example of the noise adding unit of the image processing device 1c illustrated in FIG. 18;
FIG. 22 is a diagram for explaining a principle of generating a class code (detecting a noise component) of a class code generation unit of the image processing apparatus 1c shown in FIG.
FIG. 23 is a diagram for explaining a procedure that the image processing apparatus 1c shown in FIG. 18 should read out to the memory of the reference area tr for class classification adaptive processing. (A) is a figure which shows the state before a shift. (B) is a figure which shows the state after a shift.
FIG. 24 is a diagram showing functional blocks of an image processing apparatus according to a fifth embodiment of the present invention.
FIG. 25 is a functional block diagram of a sixth embodiment of the image processing apparatus according to the present invention.
26A is a configuration diagram of a memory of the image processing apparatus shown in FIG. 25, FIG. 26B is a diagram showing elements storing predicted pixels of the memory shown in FIG. 25A, and FIG. FIG. 3 is a functional block diagram of the elements of the memory shown in FIG.
FIG. 27 is a conceptual diagram illustrating the operation of the image processing apparatus according to the seventh embodiment of the present invention.
FIG. 28 is a conceptual diagram for describing an operation of plane matching of the image processing apparatus according to the seventh embodiment of the present invention.
FIG. 29 is a functional block diagram of an image processing apparatus according to a seventh embodiment of the present invention.
FIG. 30A is a diagram schematically showing a memory of the image processing apparatus shown in FIG. 29; (B) is the figure which expanded a part of (a). (C) is a functional block diagram of the element of the memory shown in (b).
FIG. 31 is a diagram for describing processing of a plane separation unit of the image processing apparatus shown in FIG. 29;
FIG. 32 is a functional block diagram illustrating a specific example of a plane separation unit of the image processing apparatus 1f.
FIG. 33 is a diagram illustrating a specific example of a histogram generated by a histogram calculation unit of the plane separation unit of the image processing apparatus 1f illustrated in FIG. 32;
FIG. 34 is a specific example of a histogram for explaining the operation of the erasing unit of the plane separation unit of the image processing apparatus shown in FIG. 32.
FIG. 35 is a diagram for explaining valleys of the histogram before being integrated by the valley integration unit of the image processing apparatus shown in FIG. 32;
36 is a diagram for explaining valleys of a histogram integrated by the valley integration unit of the image processing apparatus shown in FIG. 32.
FIG. 37 is a flowchart for explaining the operation of the plane separation unit of the image processing apparatus shown in FIG. 32;
FIG. 38 is a flowchart for explaining the operation of the image processing apparatus shown in FIG. 29;
FIG. 39 is a functional block diagram of an image processing apparatus according to an eighth embodiment of the present invention.
FIG. 40 is a functional block diagram of a ninth embodiment of the image processing apparatus according to the present invention.
FIG. 41 is a diagram illustrating an operation of a motion vector correction unit of the image processing device illustrated in FIG. 40.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 2 ... Memory, 3 ... Frame memory, 4 ... Readout part, 5 ... Noise addition part, 6 ... Class code generation part, 7 ... Normal equation addition part, 8 ... Coefficient storage part, 9 ... Estimation calculation Unit, 20 elements, 21 pixels, 22 minimum pixel difference storage unit, 22a-1 pixel difference storage unit, 22a-2 difference sum storage unit, 22b-1 difference absolute value sum A storage unit, 22b- 2 ... difference absolute value sum B storage unit, 23 ... motion vector storage unit, 24 ... subtractor, 25 ... absolute value generation unit, 26 ... comparison / update unit, 27 ... update unit, 28 ... adder, 29 ... plane information storage 51, an RF modulator (RF @ MODULATOR), 52, an attenuator attenuator, 53, an RF demodulator (RFDEMODULATOR), 54, a subtractor, 55, an adder, 56, a frame adder, 100, a controller, Reference Signs List 10: plane separation unit, 111: histogram calculation unit, 112: peak detection unit, 113: valley detection unit, 114: elimination unit, 115: valley integration unit, 116: labeling unit, 120: plane information buffer, 130: motion vector Correction unit, 250 ... adder.

Claims (32)

An image processing device that performs matching between first image data and second image data,
Having at least one image element containing matching data,
The image element is
First pixel storage means for storing a first pixel for reference in the first image data;
A second pixel storage unit configured to store a second pixel within a predetermined search range of the second image data according to the first pixel;
Difference value storage means for storing an updatable first difference value;
Updatable phase information storage means for storing phase information relating to the phases of the first pixel and the second pixel;
A second difference value between a first pixel stored in the first pixel storage unit and a second pixel stored in the second pixel storage unit; and a second difference value stored in the difference value storage unit. And a difference value updating unit that updates the first difference value stored in the difference value storage unit according to a result of the comparison. The image processing apparatus according to claim 1, further comprising: a phase information updating unit that updates the phase information stored in the phase information storage unit when the difference value updating unit updates the first difference value. As a result of the matching process between the first pixel and a second pixel within a predetermined search range of the second image data, the minimum difference value is stored in the difference value storage unit. 3. The image processing apparatus according to claim 2, wherein the phase information stored in the phase information updating means when stored is a motion vector. The difference value updating unit includes a second difference value between a first pixel stored in the first pixel storage unit and a second pixel stored in the second pixel storage unit; The second difference value is compared with the first difference value stored in the difference value storage means, and if the second difference value is smaller, the second difference value is stored in the difference value storage means and The image processing apparatus according to claim 1, wherein the difference value of 1 is updated. An image processing device that performs matching between first image data and second image data,
Having a plurality of image elements including matching data,
The image element is
First pixel storage means for storing a first pixel for reference in the first image data;
A second pixel storage unit configured to store a second pixel within a predetermined search range of the second image data according to the first pixel;
Difference value storage means for storing a difference value between the first pixel and the second pixel;
Updatable total sum difference value storage means for storing a first sum total difference value which is a sum of a difference value of another adjacent image element and a difference value stored in the difference value storage means,
Updatable phase information storage means for storing phase information relating to the phases of the first pixel and the second pixel;
Adding means for adding a difference value stored in the difference value storage means and a difference value stored in the adjacent other image element and outputting a second sum difference value;
Comparing the first sum difference value stored in the sum difference value storage means with the second sum difference value output from the addition means; Means for updating the first sum difference value stored in the means. 6. The image processing apparatus according to claim 5, further comprising: a phase information updating unit that updates the phase information stored in the phase information storage unit when the total difference value updating unit updates the total difference value. The sum total difference updating unit may calculate a minimum sum total difference value as a result of the matching processing between the first pixel and a second pixel within a predetermined search range of the second image data. 7. The image processing apparatus according to claim 6, wherein the phase information stored in the phase information storage unit when stored in the storage unit is a motion vector. The sum total difference updating means compares the first sum total difference value stored in the sum total difference value means with the second sum total difference value output from the adding means, and calculates the second sum total difference value. 6. The image processing apparatus according to claim 5, wherein when the value is small, the second sum difference value is stored in the sum difference value storage means to update the first sum difference value. An image processing apparatus that performs matching of a plurality of temporally different image data,
Having a plurality of image elements including matching data,
The image element is
A plurality of first pixel storage means for storing pixels of each of the temporally different image data;
A plurality of second pixel storage means for storing each of the pixels stored in the first pixel value storage means, which can be updated as required,
A time total difference value storage unit that stores a time total difference value that is a total of the difference values of the pixels stored in the plurality of first pixel storage units;
Sum total difference value storage means for storing a first sum total difference value which is a sum of the time total difference value and a time total difference value of another adjacent element;
An addition for adding the time total difference values stored in the time total difference value storage means and the time total difference value storage means of the other image elements in the predetermined area to output a second total difference value Means,
Comparing the first sum difference value stored in the sum difference value storage means with the second sum difference value output from the addition means, and storing the sum difference value in accordance with a result of the comparison; An image processing device comprising: a total sum difference value updating unit that updates a first total sum difference value stored in the unit. When the sum total difference value updating means updates the first sum total difference value, the pixel values stored in the plurality of first pixel value storage means are replaced with the plurality of second pixel value storage means. The image processing apparatus according to claim 9, further comprising an updating unit configured to store the information in the image processing apparatus. When the minimum sum total difference value is stored in the total sum difference value storage unit as a result of the matching process for each of the corresponding pixels in the predetermined area of the plurality of image data, The image processing apparatus according to claim 10, wherein a pixel stored in the pixel storage unit is a corresponding pixel. Noise information generation for generating noise information corresponding to a noise component included in the image data based on pixel values of pixels of the image data which are different in time and stored in the second pixel value storage means; The image processing apparatus according to claim 9, further comprising a unit. Noise component amount information indicating the magnitude of the noise component based on the pixel value of each pixel of the image data which is different in time and stored in the second pixel value storage means; Noise information generating means for generating noise component time variation information indicating
The noise component amount information and the noise component time variation information, and, based on the pixel value of each pixel of the image data that differs in time, the noise component corresponding to the noise component amount information and the noise component time variation information, The image processing apparatus according to claim 9, further comprising a noise removal information generation unit configured to generate noise removal information for removal. 14. The image processing apparatus according to claim 13, further comprising noise removal information storage means for storing noise removal information for generating noise removal information for removing a noise component, corresponding to the noise component amount information and the noise component time variation information. . An estimation unit that estimates a pixel from which a noise component has been removed, based on a pixel value of a pixel output from the second pixel value storage unit and the noise information generated by the noise information generation unit. 13. The image processing apparatus according to claim 12. Noise component amount information indicating the magnitude of the noise component based on the pixel value of each pixel of the image data which is different in time and stored in the second pixel value storage means; Noise information generating means for generating noise component time variation information indicating
Estimating means for estimating a pixel from which a noise component has been removed based on the pixel value of the pixel output from the second pixel value storage means, the noise component amount information, the noise component time variation information, and the noise removal information. The image processing apparatus according to claim 14, comprising: An image processing method for an image processing apparatus that performs matching between first image data and second image data and has at least one image element including the matching data,
The image element is
Storing a first pixel for reference in the first image data;
Storing a second pixel within a predetermined search range of the second image data according to the first pixel;
Storing updatable phase information about the phase of the first pixel and the second pixel;
A second difference value between the stored first pixel and the second pixel is compared with a predetermined first difference value, and the first difference value is determined according to a result of the comparison. Update image processing method. 18. The image processing method according to claim 17, wherein when the first difference value is updated, the stored phase information is updated. The phase information when the image element stores the minimum difference value as a result of the matching processing between the first pixel and the second pixel within the predetermined search range of the second image data. The image processing method according to claim 18, wherein is a motion vector. When updating the first difference value, a second difference value between the stored first pixel and the stored second pixel, and the predetermined first difference value 18. The image processing method according to claim 17, wherein if the second difference value is smaller, the second difference value is updated as the first difference value. An image processing method for an image processing apparatus that performs matching between first image data and second image data, and includes a plurality of image elements including the matching data.
The image element is
Storing a first pixel for reference in the first image data;
Storing a second pixel within a predetermined search range of the second image data according to the first pixel;
Storing a difference value between the first pixel and the second pixel;
Updatable, storing a first total difference value that is a total of a difference value of another adjacent image element and the stored difference value,
Storing updatable phase information about the phase of the first pixel and the second pixel;
Adding the stored difference value and the difference value stored in the adjacent other image element to generate a second total difference value;
An image for comparing the stored first total difference value with the generated second total difference value, and updating the stored first total difference value according to a result of the comparison; Processing method. 22. The image processing method according to claim 21, wherein when the total difference value is updated, the stored phase information is updated. As a result of a matching process between the first pixel and a second pixel within a predetermined search range of the second image data, a phase when the image element stores a minimum sum difference value 23. The image processing method according to claim 22, wherein the information is a motion vector. When updating the sum total difference value, the stored first sum total difference value is compared with the generated second sum total difference value, and when the second sum total difference value is small, 22. The image processing method according to claim 21, further comprising: updating the second sum difference value as a first sum difference value. An image processing method for an image processing apparatus having a plurality of image elements including matching data by performing matching of a plurality of image data that differ in time,
The image element is
Storing a first pixel of each of the temporally different image data;
Storing a second pixel corresponding to said first pixel, which can be updated on demand,
Storing a time sum difference value that is a sum of the difference values of the stored pixels,
Storing a first sum difference value that is a sum of the time sum difference value and a time sum difference value of another adjacent element;
Adding the stored total time difference value and the total time difference value of the other image elements in the predetermined area to generate a second total difference value;
The stored first total difference value is compared with the generated second total difference value, and the stored first total difference value is updated according to a result of the comparison. Image processing method. 26. The image processing method according to claim 25, wherein when the first total sum difference value is updated, the stored first pixel is set as the second pixel. When the minimum sum difference value is stored in the image element as a result of the matching process for each of the corresponding pixels in the predetermined area of the plurality of image data, the stored second pixel is corresponded. 27. The image processing method according to claim 26, wherein the pixels are pixels. 26. The image processing method according to claim 25, wherein noise information corresponding to a noise component included in the image data is generated based on a pixel value of each of the stored temporally different image data. The stored noise component amount information indicating the magnitude of the noise component and the noise component time variation information indicating the time variation of the noise component are based on the pixel values of the respective pixels of the image data that are temporally different. Generate,
The noise component amount information and the noise component time variation information, and, based on the pixel value of each pixel of the image data that differs in time, the noise component corresponding to the noise component amount information and the noise component time variation information, The image processing method according to claim 26, wherein noise removal information for removing is generated. 30. The image processing method according to claim 29, wherein noise removal information for generating noise removal information for removing a noise component corresponding to the noise component amount information and the noise component time variation information is stored. 29. The image processing method according to claim 28, wherein a pixel from which a noise component has been removed is estimated based on the pixel value of the output pixel and the generated noise information. The stored noise component amount information indicating the magnitude of the noise component and the noise component time variation information indicating the time variation of the noise component are based on the pixel values of the respective pixels of the image data that are temporally different. Generate,
31. The image processing method according to claim 30, wherein a pixel from which a noise component has been removed is estimated based on the pixel value of the output pixel, the noise component amount information, the noise component time variation information, and the noise removal information.

Images