JP2004078863A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2004078863A
JP2004078863A JP2002274059A JP2002274059A JP2004078863A JP 2004078863 A JP2004078863 A JP 2004078863A JP 2002274059 A JP2002274059 A JP 2002274059A JP 2002274059 A JP2002274059 A JP 2002274059A JP 2004078863 A JP2004078863 A JP 2004078863A
Authority
JP
Japan
Prior art keywords
stored
pixel
difference value
unit
plane information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002274059A
Other languages
English (en)
Other versions
JP2004078863A5 (ja
JP3903890B2 (ja
Inventor
Tetsujiro Kondo
近藤 哲二郎
Juichi Shiraki
白木 寿一
Akihiro Okumura
奥村 明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002274059A priority Critical patent/JP3903890B2/ja
Priority to TW092122124A priority patent/TWI260509B/zh
Priority to US10/640,614 priority patent/US7522748B2/en
Priority to KR1020030056461A priority patent/KR101014637B1/ko
Priority to EP03018473A priority patent/EP1394744A3/en
Priority to CN031545289A priority patent/CN100407232C/zh
Publication of JP2004078863A publication Critical patent/JP2004078863A/ja
Publication of JP2004078863A5 publication Critical patent/JP2004078863A5/ja
Application granted granted Critical
Publication of JP3903890B2 publication Critical patent/JP3903890B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】少ない計算量で動きベクトルを算出可能な画像処理装置および画像処理方法を提供する。
【解決手段】第1および第2の画像データを記憶するフレームメモリと、複数の素子20fを含むメモリ2fと、制御部と、プレーン分離部9とを設け、素子20fは、第1の画像データの第1の画素と、第2の画像データの第2の画素と、第1の差分値と、差分総和値と、位相情報と、プレーン情報とを記憶し、素子20fに記憶しているプレーン情報が一致している隣接する素子20fの差分値を選択するスイッチ30と、スイッチ30により選択された画素差分値と、素子20fの画素差分値とを加算する加算部28fと、加算部28fの差分総和値と、素子20fが記憶する差分総和値に応じた更新を行う比較更新部26fと、更新した場合には位相情報を更新する更新部27とを設ける。
【選択図】 図30

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、画像データに基づいて動きベクトルを生成する画像処理装置および画像処理方法に関するものである。
【0002】
【従来の技術】
従来より、画像のフレーム間での動きベクトルを検出する手法として、ブロックマッチングが知られている。
【0003】
図1は一般的な画像処理装置を示す図である。図2は図1に示した一般的な画像処理装置の動作を示すフローチャートである。
図1,2を参照しながら、ブロックマッチングについて説明する。
【0004】
ブロックマッチングとは、ある時間T−1における画像中のあるブロックが、次の時間Tにどの位置に動いたかを示す動きベクトルを求めるものである。
【0005】
例えば、画像処理装置1sは、図1に示すように、フレームメモリ3s−T、フレームメモリ3s−T−1、探索範囲メモリms、参照ブロックメモリmr、位相ブロックメモリmp、演算部pc、評価テーブルメモリmv、および最小値探索部psを有する。
【0006】
画像処理装置1sは、時間Tにおいて探索範囲を設定し、その範囲内で時刻T−1の参照ブロックと探索範囲内の各位相(位置)におけるブロックの内の画素のマッチングを行い、最もマッチングの近い位相を、時刻Tでのブロックの位置とする。
そこで、2フレーム間でのブロックのシフト量を動きベクトルとする。
【0007】
図2を参照しながら、画像処理装置1sの動作を説明する。
連続する入力画像が時間的に蓄えられているフレームメモリTとフレームメモリT−1から、動きベクトルを求めたい位置での探索範囲と参照ブロックbrをそれぞれ読み出す(ST1,ST2)。
それらは探索範囲メモリmsおよび参照ブロックメモリmrに蓄えられる(ST3)。
【0008】
次に、探索範囲メモリmsから各位相ごとに参照ブロックbrと同じ形状と大きさを持つブロックを読み出す。これを位相ブロックbpとする。
位相は、後述する評価テーブルへの記録が終わった時点で順次更新され、そのたびにその位相での位相ブロックbpが読み出される(ST4)。
【0009】
読み出された位相ブロックbpは、例えば図1に示すように、位相ブロックメモリmpに蓄えられる。
【0010】
図3は、位相シフトによる位相ブロックの読み出しから、評価テーブルメモリmrへの記録までの動作の一具体例を説明するための図である。図3(a)は位相シフト前の状態を示す図、図3(b)は位相シフト後の状態を示す図である。図3を参照しながら評価テーブルメモリへの記録までの動作を説明する。
参照ブロックサイズを3×3画素、探索範囲を5×5画素としている。
【0011】
ここで、位相1から、位相2にシフトしたときに読み出される位相ブロックbpが水平方向に1画素ずれた位置のものとなっている。例えば更新による位相のシフト量は1画素である。
【0012】
次に演算部pcにより、参照ブロックbrと位相ブロックbpの間での対応する画素ごとの差分絶対値を演算し、それらの値の差分絶対値総和Sを求める。
【0013】
【数1】
Figure 2004078863
【0014】
差分絶対値総和Sは、参照ブロックbrの内の画素の画素値kと、対応する位相ブロックbpの内の画素の画素値kを用いて、例えば、数式(1)により計算される(ST5)。
【0015】
次に、その差分絶対値総和Sを、評価テーブルに記憶させる(ST6)。
具体的には、図1のように、その差分絶対値総和Sを評価テーブルメモリmvに記憶する。評価テーブルでは、読み出される位相ブロックに対応した位相ごとに、差分絶対値総和Sが記憶される。
【0016】
一般的な画像処理装置1sは、図3に示したように、例えば位相1から位相2にシフトした場合に、そのシフトに応じて評価テーブルに記憶させる位置もシフトする。
【0017】
探索範囲内の全ての、位相ブロックbpの読み出しから評価テーブルへの記録が終了すると(ST7)、最小値探索部psでは、評価テーブル内の最小値を探索する(ST8)。
【0018】
一方、ステップST7において、すべての位相の評価値テーブルが記録していないと判別されると、ステップST3の処理に戻る。
それは、参照ブロックbrと最も近い探索範囲内のブロックを探索していることになる。
【0019】
上述したように、評価テーブルでは読み出される位相ブロックbpに対応した位相ごとに差分絶対値総和Sが記録されている。したがって、評価テーブル内で最小値が分かれば、探索範囲の内の参照ブロックbrに対応するブロックの位相が分かる。その位相の情報を動きベクトルとして出力する。
【0020】
【発明が解決しようとする課題】
上述した一般的な画像処理装置の問題点として、以下の3点が挙げられる。
1.位相ブロック、評価テーブルの値を一旦、格納する手順が必要である。そのためのメモリを回路の中に用意しなければならないので、回路のレイアウトが複雑になる。また、例えば、1フレーム内で多数の位置において動きベクトルを算出したい場合、その位置ごとに順を追って動きベクトルを探索する必要があり時間的なロスが生じる。
2.評価テーブル内の全ての値が記録されてはじめて、最小値の探索が始まる。そのため、各位相ブロックの読み出しと、最小値探索の2回分位相の更新をする必要がある。
3.この場合の出力は動きベクトルであり、例えば、動きベクトルから抽出される画素を読み出す処理を行う場合、動きベクトルからその画素を抽出するという別の手順が必要になる。
【0021】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、少ない計算量で動きベクトルを算出可能な画像処理装置および画像処理方法を提供することである。
【0022】
【課題を解決するための手段】
前記目的を達成するために、第1の発明の画像処理装置は、所定のオブジェクトを含む第1の画像データおよび第2の画像データのマッチングを行う画像処理装置であって、マッチングデータを含む画像素子と、前記第1および第2の画像データの前記オブジェクトに基づいて、プレーン情報を生成するプレーン情報生成手段とを有し、前記画像素子は、前記第1の画像データの内の参照用の第1の画素を記憶する第1の画素記憶手段と、前記第1の画素に応じて、前記第2の画像データの所定の探索範囲の内の第2の画素を記憶する第2の画素記憶手段と、前記第1の画素と前記第2の画素の差分値を記憶する差分値記憶手段と、更新可能な、隣接する他の画像素子の差分値と前記差分値記憶手段に記憶されている差分値との総和である第1の総和差分値を記憶する総和差分値記憶手段と、更新可能な、第1の画素と第2の画素との位相に関する位相情報を記憶する位相情報記憶手段と、前記プレーン情報生成手段で生成されたプレーン情報を記憶するプレーン情報記憶手段と、前記プレーン情報記憶手段に記憶されているプレーン情報と、前記隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とに基づいて、当該隣接する画像素子の差分値記憶手段に記憶されている差分値を選択する選択手段と、前記差分値記憶手段に記憶されている差分値と、前記選択手段により選択された前記隣接する他の画像素子に記憶されている差分値とを加算し第2の総和差分値を出力する加算手段と、前記総和差分値記憶手段に記憶されている第1の総和差分値と、前記加算手段から出力された第2の総和差分値とを比較し、前記比較の結果に応じて、前記総和差分値記憶手段に記憶されている第1の総和差分値を更新する総和差分値更新手段とを有する。
【0023】
第1の発明の画像処理装置によれば、所定のオブジェクトを含む第1の画像データおよび第2の画像データのマッチングを行い、マッチングデータを含む画像素子と、第1および第2の画像データのオブジェクトに基づいて、プレーン情報を生成するプレーン情報生成手段とを有する。
【0024】
画像素子において、第1の画素記憶手段では、第1の画像データの内の参照用の第1の画素が記憶される。
第2の画素記憶手段では、第1の画素に応じて、第2の画像データの所定の探索範囲の内の第2の画素が記憶される。
差分値記憶手段では、第1の画素と第2の画素の差分値が記憶される。
総和差分値記憶手段では、更新可能な、隣接する他の画像素子の差分値と差分値記憶手段に記憶されている差分値との総和である第1の総和差分値が記憶される。
位相情報記憶手段では、更新可能な、第1の画素と第2の画素との位相に関する位相情報が記憶される。
プレーン情報記憶手段では、プレーン情報生成手段で生成されたプレーン情報が記憶される。
選択手段では、プレーン情報記憶手段に記憶されているプレーン情報と、隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とに基づいて、当該隣接する画像素子の差分値記憶手段に記憶されている差分値が選択される。
加算手段では、差分値記憶手段に記憶されている差分値と、選択手段により選択された隣接する他の画像素子に記憶されている差分値とを加算し第2の総和差分値が出力される。
総和差分値更新手段では、総和差分値記憶手段に記憶されている第1の総和差分値と、加算手段から出力された第2の総和差分値とを比較し、比較の結果に応じて、総和差分値記憶手段に記憶されている第1の総和差分値が更新される。
【0025】
さらに、前記目的を達成するために、第2の発明の画像処理方法は、所定のオブジェクトを含む第1の画像データおよび第2の画像データのマッチングを行い、マッチングデータを含む少なくとも1つの画像素子を有する画像処理装置の画像処理方法であって、前記第1および第2の画像データの前記オブジェクトに基づいてプレーン情報を生成し、前記画像素子は、前記第1の画像データの内の参照用の第1の画素を記憶し、前記第1の画素に応じて、前記第2の画像データの所定の探索範囲の内の第2の画素を記憶し、更新可能な差分値を記憶し、更新可能な、隣接する他の画像素子の差分値と前記記憶している差分値との総和である第1の総和差分値を記憶し、更新可能な、第1の画素と第2の画素との位相に関する位相情報を記憶し、前記生成したプレーン情報を記憶し、前記記憶しているプレーン情報と、前記隣接する画像素子に記憶されているプレーン情報とに基づいて、当該隣接する画像素子に記憶されている差分値を選択し、前記記憶している第1の差分値と、前記選択された隣接する他の画像素子から出力された差分値とを加算し第2の総和差分値を出力し、前記記憶している第1の総和差分値と、前記出力された第2の総和差分値とを比較し、前記比較の結果に応じて、前記記憶されている第1の総和差分値を更新する。
【0026】
【発明の実施の形態】
第1実施の形態
本実施の形態に係る画像処理装置1は、複数のフレームを有する動画像のフレーム間の動きベクトルの検出を行う。
【0027】
画素マッチング
図4は、本発明に係る画像処理装置の第1の実施の形態の機能ブロック図である。
図5(a)は第1の実施の形態に係る画像処理装置のメモリを示す図である。図5(b)は図5(a)に示した画像処理装置のメモリの内の素子の機能ブロック図である。
【0028】
本実施の形態に係る画像処理装置1は、図4に示すように、メモリ2、複数のフレームメモリ3、読出部4、および制御部100を有する。
【0029】
メモリ2は、後述するように、フレームメモリ3からの所定のデータ、例えば、画素の画素値および位相(位相情報とも言う)に基づいて、動きベクトルを生成および記憶する。
【0030】
フレームメモリ3は、例えば複数のフレームメモリ3、具体的にはフレームメモリ3−T、フレームメモリ3−T−1を有する。
フレームメモリ3−Tは、入力された時刻Tの画像データ(単に画像とも言う)を記憶する。
フレームメモリ3−T−1は、時刻T−1の画像データを記憶する。
また、所定の時間後には、フレームメモリ3−Tに記憶された画像データがフレームメモリ3−T−1に記憶され、フレームメモリ3−Tには新たに画像データが記憶される。
【0031】
読出部4は、メモリ2に記憶された動きベクトルを素子20毎に読み出す。
制御部100は、メモリ2、フレームメモリ3、および読出部4を、所定の処理に応じた制御を行う。
制御部100は、例えば、フレームメモリ3に画像を記憶させる。
制御部100は、例えば、フレームメモリ3から所定の探索範囲spおよび参照範囲の内の画素、および探索範囲spの内の探索領域tpと、参照領域trとの位相をメモリ2に出力する。
【0032】
各構成要素について詳細に説明する。
本実施の形態に係る画像処理装置1のメモリ2は、例えば、図5(a)に示すように、格子状に複数の素子20を有する。
簡単のために、メモリ2の内に3×3の素子(画素)20−1〜9を設ける。素子20それぞれは接続されている。
【0033】
各素子(画素)20ごとに一遍にマッチングを行う場合を説明する。
素子20は、図5(b)に示すように、複数の画素21、例えば画素21−1,2、最小画素差分記憶部22、動きベクトル記憶部23、減算器24、絶対値生成部25、比較更新部26、および更新部27とを有する。
【0034】
素子20は、具体的には、単に1画素を記憶する(格納するとも言う)だけでなく例えば2画素分の画素値を格納し、それらの差分絶対値を演算し、その結果である差分絶対値を格納する。
マッチングデータは、例えば、画素値や、差分絶対値や、所定の演算結果を示すデータ等の所定のマッチング処理に係るデータである。
【0035】
画素21は、複数の画素、例えば画素21−1および画素21−2を有する。
画素21−1は、例えば、フレームメモリ3−Tの内の探索範囲spの内の画素の画素値が入力される。
画素21−2は、例えば、フレームメモリ3−T−1の参照領域trの内の画素の画素値が入力される。
【0036】
最小画素差分記憶部22は、差分絶対値を記憶する。
最小画素差分記憶部22は、比較更新部26により、記憶している差分絶対値の更新が行われる。
【0037】
動きベクトル記憶部23は、後述するように、動きベクトルを記憶する。
動きベクトル記憶部23は、更新部27により、動きベクトルの更新が行われる。
【0038】
減算器24は、画素21−1に記憶された画素値と、画素21−2に記憶された画素値とに応じて、それらの画素値の差分値を絶対値生成部25に出力する。
【0039】
絶対値生成部25は、減算器24から出力された、画素21−1の画素値と画素21−2の画素値との差分値に基づいて、その差分値の絶対値(差分絶対値とも言う)を比較更新部26に出力する。
【0040】
比較更新部26は、絶対値生成部25から出力された差分絶対値と、最小画素差分記憶部22に記憶されている差分絶対値とを比較する。
【0041】
比較更新部26は、その比較の結果、絶対値生成部25から出力された差分絶対値が小さい場合には、この小さい方の差分絶対値を最小画素記憶部22に記憶させることで、差分絶対値を更新する。
比較更新部26は、上述の比較の結果、最小画素差分記憶部22の差分絶対値の更新を行う場合に、更新部27に差分絶対値が更新されたことを示す更新情報を出力する。
【0042】
更新部27は、比較更新部26から出力された更新情報、および位相情報に基づいて、動きベクトル記憶部23に記憶されている動きベクトルを更新する。
具体的には、更新部27は、比較更新部26から差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の探索領域tpと参照領域trとの位相情報(位相)を動きベクトルとして、動きベクトル記憶部23に記憶させ、動きベクトルを更新する。
【0043】
上述したように、メモリ2は、画素値以外の動きベクトルや差分絶対値といった情報を付加情報として記憶する。
【0044】
図6は、図4に示した画像処理装置の画素マッチングにおける位相の更新と、探索領域tpの読み出しを説明するための図である。図6(a)は、探索範囲内の位相を示す図である。図6(b)は位相と探索領域tpの関係を示す図である。
【0045】
位相(位相情報)は、例えば探索範囲spの中心と、探索領域tpの中心とのずれである。例えば、図6(a)に示すように位相を定義する。
具体的には、図6(a)に示すように、探索範囲sp(5×5)の中心と、探索領域tp(3×3)の中心とが一致している場合には、位相(0,0)である。
【0046】
例えば、探索範囲sp(5×5)の中心と、探索領域tp(3×3)の中心が、図に向かって右に1単位ずれた場合には、位相(1,0)である。
その他の位相も探索範囲spの中心と探索領域tpの中心とのずれを、位相の座標とする。
【0047】
図6(b)は、位相の更新と探索領域tpの読出しを示す図である。
例えば、制御部100は、図6(b)に示すように、位相を順に(−1,−1)、(0,−1)、(1、−1)、(−1,0)、(0,0)、(0,1)、(−1,1)、(0,1)、(1,1)と更新して、それに応じて探索領域tpの内の画素を読み出し、メモリ2の内の対応する素子20に出力する。
後述するように、差分絶対値が最小の場合の位相を、真の動きベクトルとする。
【0048】
また、制御部100の、画素の読み出す順番、および位相の順番は、この形態に限られるものではない。全ての画素を読み出すことができれば順番は、上述の形態に限られるものではない。
ここで図5においては、各素子の保有する画素21−1に、探索領域tpの内の1画素を格納する。
【0049】
図7は、図1に示した画像処理装置1の動作を説明するためのフローチャートである。画像処理装置1の動作、特に、動きベクトルを生成する動作を、図7を参照しながら説明する。
【0050】
例えば制御部100は、フレームメモリ3−T−1から、任意の3×3の参照領域trの各画素を、メモリ20内の対応する各素子20ごとに格納する(ST11)。
具体的には、図4に示すように、各素子20の画素21−2に参照領域trの1画素を格納する。
【0051】
制御部100は、フレームメモリ3−Tにおいて、探索範囲spの内で位相を更新(シフト)しながら(ST12)、探索領域tp(3×3)の内の画素を読み出し、対応するメモリ2の内の各素子20ごとに格納する(ST13)。
具体的には、図4に示すように制御部100は、各素子20の画素21−1に探索領域tpの内の、対応する1画素を格納する。
【0052】
制御部100では、探索領域tpの位相の更新と、探索領域tpの内の画素の読み出しは、例えば、図6に示すように、(−1,−1)〜(1,1)の範囲で1画素ずつ位相をずらして計9回行われ、9回終わると終了する。
【0053】
各素子20の減算器24および絶対値生成部25で、画素21−1に格納された画素値と画素21−2に格納された画素値の差分絶対値が演算される。これを例えば差分絶対値aとする(ST14)。
比較更新部26では、メモリ2の内の素子20の最小画素差分記憶部22に記憶されている差分絶対値(例えば差分絶対値bと言う)と、差分絶対値aとが比較される(ST15)。
【0054】
ステップST15の比較の結果、比較更新部26では、差分絶対値aが小さい場合、最小画素差分記憶部22に差分絶対値aを記憶し、差分絶対値を更新する(ST16,ST17)。
一方、比較更新部26では、差分絶対値aが大きい場合は更新を行わず(ST16)、次の探索領域tpの位相の更新および探索領域tpの内の画素の読み出し処理へ移行する。
ところで、初期状態では素子20の最小画素差分記憶部22には、差分絶対値が格納されていない。その場合は、最小画素差分記憶部22には、無条件に最初の差分絶対値が格納される。
【0055】
ステップST17において、比較更新部26では、差分絶対値が更新された場合のみ、差分絶対値が更新されたことを示す更新情報が更新部27に出力される。
更新部27では、比較更新部26から差分絶対値が更新されたことを示す更新情報が出力された場合には、その時の探索領域tpの位相を、動きベクトル記憶部23に記憶させて、動きベクトルが更新される(ST18)。
【0056】
そして、全ての位相の更新が終了した時点で(ST19)、各素子20におい、最小画素差分記憶部21−2には、探索範囲spにおける画素差分絶対値の最小値が記憶され、それが更新されたときの位相(動きベクトル)が動きベクトル記憶部23に記憶されている。
【0057】
一方、ステップST19において、全ての位相の更新が終了していない場合には、ステップST12の処理に戻る。
【0058】
この各動きベクトルは、参照領域trの各画素20が時刻Tに探索範囲spの内のどの位置に移動したかを、画素20間の差分絶対値に基づいて求めたものである。最終的に、読出部4は、各素子20から、これらの動きベクトルを読出し出力する。
【0059】
以上、説明したように、画像データを記憶する複数のフレームメモリ3と、フレームメモリ3からのデータに応じて、動きベクトルを生成および記憶するメモリ2と、メモリから素子毎の動きベクトルを読出す読出部4と、それらを制御する制御部100とを設ける。そして、メモリ2には格子状に複数の素子20を設ける。
【0060】
素子20には、異なるフレームメモリの所定の画素の画素値を記憶する画素21−1〜2と、画素21−1〜2の画素値の差分値を出力する減算器24と、減算器24から出力された差分値の絶対値(差分絶対値)を出力する絶対値生成部25と、差分絶対値を記憶する最小画素差分記憶部22と、差分絶対値と、最小画素差分記憶部22に記憶されている差分絶対値を比較し、比較の結果、最小画素記憶部22の差分絶対値を更新し、更新したことを示す更新情報を出力する比較更新部26と、比較更新部26から差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の位相座標を動きベクトルとして、動きベクトル記憶部23に記憶させて、動きベクトルを更新する更新部27とを設けたので、少ない計算量で動きベクトルを算出することができる。
【0061】
また、探索範囲sp内のすべての位相における評価テーブルの演算および最小値の探索という2段階の位相の更新を、一括して行うことができる。
【0062】
また、差分絶対値の最小値のみを更新していくので、例えば最小値の探索のための評価テーブルを別のメモリ上に生成する必要がないので、メモリを縮小することができる。
【0063】
本実施の形態に係る画像処理装置1では、3×3のサイズのメモリ2を用いて説明したが、これに限定されるものではない。
例えば、1フレームの全画素数分の素子20を有するメモリ2を設けた場合には、1フレーム分の全画素ごとの動きベクトルが、位相の更新を終了させた時点で1度に求めることができる。
【0064】
第2の実施の形態
ブロックマッチング
図8は、本発明に係る画像処理装置1aの第2の実施の形態の機能ブロック図である。
図9(a)は図8に示した画像処理装置1aのメモリを示す図である。図9(b)は図8に示したメモリの構成の一具体例を示す図である。図9(c)は図8に示した画像処理装置1aの動きベクトルが格納されるメモリの構成を示す図である。
【0065】
本実施の形態に係る画像処理装置1aは、図8に示すように、メモリ2a、複数のフレームメモリ3a、例えばフレームメモリ3a−T,T−1、読出部4、および制御部100aを有する。
【0066】
第1の実施の形態に係る画像処理装置1において、例えば、3×3のブロックマッチングでは、3×3の素子で、ある注目画素の動きベクトルを求めた。
第2の実施の形態の画像処理装置1aでは、隣接する3×3の画素の動きベクトルを1度に求める。
【0067】
メモリ2aは、第1の実施の形態に係る画像処理装置1のメモリ2と同様に、単に1画素を格納するだけでなく2画素分格納でき、それらの差分絶対値を演算する。また、その結果である差分絶対値を格納する。
【0068】
画素マッチングを応用したブロックマッチングの一具体例を説明する。
画像処理装置1aと、第1の実施の形態に係る画像処理装置1との大きな相違点は、メモリの構成が異なる点である。相違点のみ説明する。
【0069】
本実施の形態に係る画像処理装置1aのメモリ2aは、例えば図9に示すように、格子状に複数の素子20aを有する。
簡単のために、メモリ2aの内に5×5の素子20a−1〜25を設ける。各素子20それぞれは接続されている。
各素子20ごとに一遍にマッチングを行う場合を説明する。
ここで、素子20a−1〜25を区別しない場合には、単に素子(画素)20aという。探索範囲spを画素単位で(−1,−1)から(1,1)として説明する。
【0070】
メモリ2aは、素子20a間の配線により、図9(a)に示すように、注目する素子(例えば素子20a−5)の8近傍の素子(例えば素子20a−1〜4および素子20a−6〜9)に格納されている差分絶対値を注目する素子に送ることができる。
【0071】
各素子20aには、それら9つの差分絶対値を受取り加算する処理を有する。そのため注目する素子20aでは、その差分絶対値の総和を求め、それを格納する。
【0072】
但し、各素子20aは、予め保持されている差分絶対値の総和との比較を行い、小さい場合のみその値を更新する。その差分絶対値の総和が更新された場合、その時の動きベクトル(動きベクトル)も予め格納されているものから更新される。
以下、詳細に説明する。
【0073】
素子20aは、図9(c)に示すように、複数の画素21a、例えば画素21a−1〜2、画素差分記憶部22a−1、差分総和記憶部22a−2、動きベクトル記憶部23、減算器24、絶対値生成部25a、比較更新部26a、更新部27、および加算部28とを有する。
【0074】
素子20aと、第1の実施の形態に係る素子20との相違点は、画素差分記憶部22a−1、差分総和記憶部22a−2、絶対値生成部25a、比較更新部26a、加算部28である。
【0075】
画素差分記憶部22a−1は、絶対値生成部25aから出力された、画素21a−1と画素21a−2の差分絶対値を記憶する。
画素差分記憶部22a−1は、記憶している差分絶対値を加算部28に出力する。
【0076】
差分総和記憶部22a−2は、差分絶対値総和を記憶する。この差分絶対値総和は、後述するように比較更新部26aにより所定の条件の場合に更新される。
【0077】
絶対値生成部25aは、減算器24から出力された、画素21−1の画素値と画素21−2の画素値との差分値に基づいて、その差分値の絶対値(差分絶対値とも言う)を画素差分記憶部22a−1に出力する。
【0078】
比較更新部26aは、加算部28から出力された差分絶対値総和Aと、差分総和記憶部22a−2に記憶されている差分絶対値総和(差分絶対値総和Bと言う)とを比較して、比較の結果、差分絶対値総和Aが小さい場合には、差分絶対値総和Aを差分総和記憶部22a−2に記憶させて、差分絶対値総和を更新する。
【0079】
比較更新部26aは、上述した更新を行った場合には、更新を行ったことを示す更新情報を更新部27に出力する。
比較更新部26aは、比較の結果、差分絶対値総和Aが大きい場合には、差分総和記憶部22a−2に記憶されている差分絶対値総和Bの更新を行わない。
【0080】
加算部28は、その画素の近傍の8つの素子20a(8近傍の素子20aとも言う)それぞれから出力された差分絶対値a、および画素差分記憶部22a−1から出力された差分絶対値aに基づいて、それらを加算して、差分絶対値総和Aを生成し、比較更新部26aに出力する。
【0081】
図10は図8に示した画像処理装置の動作、特に位相の更新と探索領域tpの読み出しを行う動作について説明するための図である。図10(a)は探索範囲sp内の位相を示す図である。図10(b)は位相と探索領域tpの関係を示す図である。
【0082】
図10(a)に示すように、例えば、位相は探索範囲spの中心と探索領域tpの中心とのずれを示す。例えば、図10(a)に示すように位相の座標を定義する。
具体的には、図10(a)に示すように、探索範囲sp(7×7)の中心と、探索領域tp(5×5)の中心とが一致した場合には、位相(0,0)である。
【0083】
例えば、探索範囲sp(7×7)の中心と、探索領域tp(5×5)の中心が、向かって右に1単位ずれた場合には、位相(1,0)である。
その他の状態も探索範囲spの中心と探索領域tpの中心とのずれを位相の座標とする。
【0084】
例えば、制御部100aは、図10(b)に示すように、位相を順に(−1,−1)、(0,−1)、(1、−1)、(−1,0)、(0,0)、(0,1)、(−1,1)、(0,1)、(1,1)と更新して、それに応じて探索領域tpの内の画素を読み出し、メモリ2aの内の対応する素子20aに出力する。
また、制御部100aの読み出す順番は、この形態に限られるものではない。全ての画素を読み出すことができれば順番は、上述の形態に限られない。
【0085】
図11は、図8に示した画像処理装置1aの動作を説明するためのフローチャートである。画像処理装置1の動作、特に動きベクトル検出の動作を、図11を参照しながら説明する。
この場合では、注目素子とは、図9において、実際に動きベクトルが格納される素子20aの1つと想定する。ここで注目素子はメモリ2aの端にある素子ではない。
【0086】
例えば制御部100aは、フレームメモリ3a−T−1から、任意の5×5の参照領域trの各画素をメモリ2a内の各素子20aごとに格納する(ST21)。ここで図8においては、各素子20aの保有する画素21−2の部分に参照領域trの1画素を格納する。
【0087】
制御部100aは、探索範囲sp内で位相を更新しながら(ST22)、5×5の領域を読み出し、その領域内の各画素をメモリ2a内の各素子20aごとに格納する(ST23)。この5×5の領域を「探索領域tp」と名付ける。ここで図8においては、各素子20aの保有する画素21a−1の部分に探索領域tpの1画素を格納することになる。
位相の更新と探索領域tpの読み出しは、例えば、図10に示すように(−1,−1)〜(1,1)の範囲で9回行われ、9回終わると終了する。
【0088】
次に各素子20a内で、画素21a−1に格納された値と画素21a−2に格納された値の差分絶対値aを演算する(ST24)。その結果を、各素子20a内の画素差分記憶部22a−1に格納する。
【0089】
次に各注目素子において、加算部28は、その8近傍の素子20aから差分絶対値aを読み込み、画素差分記憶部22a−1に記憶されている差分絶対値aと加算し、差分絶対値総和Aを求める(ST25)。
【0090】
次に各注目素子において、比較更新部26aは、差分総和記憶部22a−2に予め格納されている差分絶対値総和(差分絶対値総和B)と、加算部28から出力された差分絶対値総和Aを比較して(ST26,ST27)、差分絶対値総和Aが小さい場合には、差分総和記憶部22a−2に格納する値を、差分絶対値総和Bから差分絶対値総和Aに更新する(ST28)。
【0091】
一方、ステップST27において、比較更新部26aでは、差分絶対値総和Aが大きい場合には更新を行わない。制御部100aでは、次の位相の更新および探索領域tpの読み出しへと移行する。ステップST22に戻る。
【0092】
ところで、初期状態では注目素子に差分絶対値総和は格納されていない。その場合は、無条件に最初の差分絶対値総和が格納される。
【0093】
ステップST29において、更新部27では、ある注目素子の差分絶対値総和が更新された場合のみ、そのときの位相を真の動きベクトルとして、その注目素子の、動きベクトル記憶部23に予め格納されている動きベクトルを更新する。
【0094】
そして、位相の更新が終了した時点で(ST30)、9つの各注目素子20aには探索範囲spにおける画素差分絶対値総和の最小値と、それが格納されたときの動きベクトルが格納されている。
一方、ステップST30において、位相の更新が終了していないと判別した場合には、ステップST22の処理に戻る。
【0095】
図12は、図8に示した画像処理装置のフレームの参照領域trから切り出されるブロックを示す図である。
この各動きベクトルは、図12に示すように参照領域tr内から切り出される9個の3×3のブロックが、時刻Tに探索範囲sp内のどの位置に移ったかを、3×3のブロック間の差分絶対値総和に基づいて求めたものである。
最終的には読出部4は、各注目素子から、これらの動きベクトルを読み出し出力する。
【0096】
以上、説明したように、画像処理装置1aでは、注目素子とその隣接する素子(3×3の素子)の差分絶対値とを加算した差分総和値に基づいて、3×3の画素の動きベクトルを1度に生成することができる。
【0097】
本実施の形態では、3×3のブロックサイズで探索範囲spを画素単位で(−1,−1)〜(1,1)の場合のブロックマッチングを実現するメモリを説明したが、この形態に限られるものではない。
例えば、各素子20a間の配線を周辺の5×5の素子20aから注目素子に接続するように変更することで、5×5のさらに大きなブロックサイズでのマッチングも可能である。
【0098】
また、メモリ2a内の全素子数を5×5の場合で説明したが、例えばメモリ2aに1フレーム内全画素数分の素子を設けた場合には、全画素ごとの動きベクトルが、位相の更新を終了させた時点で1度に求められる。
【0099】
また、動きベクトルを検出する機能を持つ素子20aを多数用いてメモリ2aを構成することで、隣接する複数の画素ごとの動きベクトルを一括して求めることができる。
【0100】
第3の実施の形態
対応画素検出
上述した第2の実施の形態に係る画像処理装置1aの画素マッチングでは、ブロックマッチングの最終的な結果として、動きベクトルがメモリ2a内に格納される。
【0101】
第3の実施の形態に係る画像処理装置1bは、注目するフレームとその前後のフレームで、「対応画素」そのものを直接格納し出力する。
ここで、「対応画素」とは、ある注目画素を含み、注目画素の前後のフレームにおいて、注目画素が動いても動きベクトルによって補正して同じ画素として対応させることができる画素を指す。このような格納される「対応画素」は、後述するクラス分類適応処理に利用可能である。
【0102】
図13は、本発明の第3の実施の形態に係る画像処理装置の対応画素の摘出を説明するための概念図である。
横軸はx軸、縦軸はy軸、斜軸は時間軸である。
本実施の形態では、図13に示すように、注目画素+前後2フレーム分の画素、すなわち計5画素を対応画素として、メモリに抽出する場合を考える。
【0103】
簡単のために対応画素深索のためのブロックサイズを3×3画素、探索範囲spを画素単位で(−1,−1)〜(1,1)として説明する。注目画素とそれ以外の前後2フレーム間の対応画素では、等速であるという拘束条件をつけている。
【0104】
すなわち、フレームT−1において、例えば、(−1,−1)(図13では、まる7)、の位置に対応画素がある場合、フレームT−2では(−2,−2)(図13では、まる9)、フレームT+1では、(1,1)(図13では、まる19)、フレームT+2では(2,2)(図13では、まる41)に必ず対応画素が存在する。但し、注目画素の位置を(0,0)(図13では、まる5)とした。
【0105】
本実施の形態に係る画像処理装置1bは、注目フレームTにおける注目画素を中心とした3×3のブロックとそれ以外の各フレームの3×3のブロックとの差分絶対値をそれぞれ演算し、それらを全て足し合わせたものが最小となる動きベクトルを生成する。
最小となる位相において、図13に示すような3×3のブロックの中心の画素を対応画素として、画像処理装置1bの内のメモリ2bに格納し出力する。
【0106】
図14は、本発明に係る画像処理装置の第3の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置1bは、図14に示すように、メモリ2b、複数のフレームメモリ3b、例えばフレームメモリ3b−T+2,T+1,T,T−1,T−2、読出部4、および制御部100bを有する。
画像処理装置1bと、第2の実施の形態に係る画像処理装置1aとの大きな相違点は、メモリの構成が異なる点である。
【0107】
また、5つのフレームメモリ3b−T+2,T+1,T,T−1,T−2を有するのに伴い、制御部の動作が異なる。相違点のみ説明する。
【0108】
制御部100bは、フレームメモリ3b−T+2に、例えば入力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ3b−T+1に出力する。
【0109】
制御部100bは、フレームメモリ3b−T+1に、フレームメモリ3b−T+2から出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ3b−Tに出力する。
制御部100bは、フレームメモリ3b−Tに、フレームメモリ3b−T+1から出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ3b−T−1に出力する。
制御部100bは、フレームメモリ3b−T−1に、フレームメモリ3b−Tから出力された画像を記憶させ、所定のタイミングで、その画像をフレームメモリ3b−T−2に出力する。
制御部100bは、フレームメモリ3b−T−2に、フレームメモリ3b−T−1から出力された画像を記憶させる。
【0110】
制御部100bは、フレームメモリ3b−Tから所定の参照範囲(5×5)の内の画素の画素値をメモリ2bに出力する。
制御部100bは、フレームメモリ3b−T−2から、所定の探索範囲spT−2(9×9)の内の探索領域tpT−2(5×5)の画素、およびその位相情報をメモリ2bに出力する。
制御部100bは、フレームメモリ3b−T−1から、所定の探索範囲spT−1(7×7)の内の探索領域tpT−1(5×5)の画素、およびその位相情報をメモリ2bに出力する。
制御部100bは、フレームメモリ3b−T+1から、所定の探索範囲spT+1(7×7)の内の探索領域tpT+1(5×5)の画素、およびその位相情報をメモリ2bに出力する。
制御部100bは、フレームメモリ3b−T+2から、所定の探索範囲spT+2(9×9)の内の探索領域tpT+2(5×5)の画素、およびその位相情報をメモリ2bに出力する。
【0111】
上述した探索領域tp(5×5)の内の画素を読み出す場合には、制御部100bは、フレームメモリ3b−T−2,T−1,T+1,T+2それぞれの探索領域tpの内の画素が、例えば図14に示したように直線状になるように設定する。
【0112】
図15(a)は図14に示した画像処理装置1bのメモリ2bを示す図である。図15(b)は対応画素が格納されるメモリを示す図である。図15(c)は図15(a)に示したメモリ2bの素子20bの機能ブロック図である。
【0113】
本実施の形態に係る画像処理装置1bのメモリ2bは、例えば図15に示すように、5×5の素子20b−1〜25を有しており、各素子20bそれぞれは接続されている。
【0114】
3×3のブロックマッチングでは、ある注目画素における対応画素を求めるには3×3の素子で十分であるが、本実施の形態に係る画像処理装置1bでは、図14(b)に示すように、隣接する3×3の画素の動きベクトルを1度に求める。
【0115】
メモリ2bは、図15(a)に示すように、複数の素子20b、例えば格子状に形成された素子20b−1〜25を有する。
【0116】
素子20bは、図15(c)に示すように、複数の画素21b、例えば画素21b−T,T+2,T+1,T−1,T−2、差分絶対値総和A記憶部22b−1、差分絶対値総和B記憶部22b−2、複数の減算器24b、例えば減算器24b−1〜4、複数の絶対値生成部25b、例えば絶対値生成部25b−1〜4、加算器250、比較更新部26b、更新部27b、加算部28b、複数の対応画素210b、例えば対応画素210b−T,T+2,T+1,T−1,T−2を有する。
【0117】
画素21b−Tは、フレームTの注目する画素(注目画素とも言う)の画素値を記憶する。
画素21b−T+2、画素21b−T+1、画素21b−T−1、画素21b−T−2それぞれは、図13に示すように、注目フレームの前後±2フレームにおいて、時空間で注目画素を通る直線上に存在する4つの画素の画素値を記憶する。
【0118】
差分絶対値総和A記憶部22b−1は、格納している注目画素と4つの各画素間でそれぞれ差分絶対値を求めた合計(差分絶対値総和Aとも言う)を記憶する。
【0119】
差分絶対値総和B記憶部22b−2は、注目素子の近傍の8つの素子(8近傍の素子とも言う)にある差分絶対値総和Aの合計(差分絶対値総和Bとも言う)を記憶する。
【0120】
減算器24b−1は、画素3b−T−2から出力された画素値と、画素3b−Tから出力された画素値とを減算し絶対値生成部25b−1に出力する。
減算器24b−2は、画素3b−T−1から出力された画素値と、画素3b−Tから出力された画素値とを減算し絶対値生成部25b−2に出力する。
減算器24b−3は、画素3b−T+1から出力された画素値と、画素3b−Tから出力された画素値とを減算し絶対値生成部25b−3に出力する。
減算器24b−4は、画素3b−T+2から出力された画素値と、画素3b−Tから出力された画素値とを減算し絶対値生成部25b−4に出力する。
【0121】
絶対値生成部25−1は、減算器24b−1から出力された差分値の絶対値(差分絶対値)を加算器250に出力する。
絶対値生成部25−2は、減算器24b−2から出力された差分絶対値を加算器250に出力する。
絶対値生成部25−3は、減算器24b−3から出力された差分絶対値を加算器250に出力する。
絶対値生成部25−4は、減算器24b−4から出力された差分絶対値を加算器250に出力する。
【0122】
加算器250は、絶対値生成部25−1〜4それぞれから出力された差分絶対値を加算し、差分絶対値和A記憶部22b−1に出力する。
【0123】
比較更新部26bは、加算部28bから出力される差分絶対値Bと、差分絶対値総和B記憶部22b−2に記憶されている差分絶対値総和Bとを比較し、比較の結果、加算部28bから出力された差分絶対値総和Bが小さい場合には、その小さい方の差分絶対値総和Bを差分絶対値総和B記憶部22b−2に記憶させて更新する。
また、比較更新部26bは、上述した更新を行った場合には、差分絶対値総和B記憶部22b−2の差分絶対値総和Bを更新したことを示す更新情報を更新部27bに出力する。
【0124】
更新部27bは、比較更新部26bから、差分絶対値和Bが更新されたことを示す更新情報が出力されると、画素21b−T−2,T−1,T,T+1,T+2それぞれから出力された画素値を、対応画素210T−2,T−1,T+1,T+2に記憶させて更新する。
【0125】
加算部28bは、差分絶対値総和A記憶部22b−1から出力された差分絶対値総和A、および隣接する8つの各素子20bそれぞれから出力された、差分絶対値総和Aを加算し、比較更新部26bに出力する。
【0126】
上述したように、素子2bは、注目画素21b−Tと格納された他の4画素(画素21b−T+2、画素21b−T+1、画素21b−T−1、画素21b−T−2)に対して、それぞれ差分絶対値を演算できる。また、それぞれの差分絶対値の合計を求める演算もできる。
【0127】
本実施の形態に係る画像処理装置1bのブロックマッチングでは、素子間の配線により、図15(a)に示すように、注目する素子(例えば、図15(a)の素子20b−5)の8近傍の素子(図15(a)の素子20b−1〜4,6〜9)に格納されている差分絶対値総和Aを、注目する素子20b−5に送ることができる。
【0128】
各素子20bには、それら9つの差分絶対値総和Aを受取り全て加算する処理を有している。そのため注目する素子では、その差分絶対値総和Aの合計(差分絶対値総和B)を求め、それを格納できる。
【0129】
但し、予め保持されている差分絶対値総和との比較を行い、小さい場合のみ、その値を更新する。
その差分絶対値の総和が更新された場合、その時に格納されている5つの画素(画素21b−T、画素21b−T+2、画素21b−T+1、画素21b−T−1、画素21b−T−2に記憶されている画素)を、それぞれ対応画素210b−T、対応画素210b−T+2、対応画素210b−T+1、対応画素210b−T−1、対応画素210b−T−2に予め格納されている画素から全て更新する。
【0130】
図16(a)はフレームT+2の探索範囲spT+2(9×9)と、探索領域tpT+2の位相を示す図である。図16(b)はフレームT+1の探索範囲spT+1(7×7)と、探索領域tpT+1の位相を示す図である。図16(c)はフレームT−1の探索範囲spT−1(7×7)と、探索領域tpT−1の位相を示す図である。図16(d)はフレームT−2の探索範囲spT−2(9×9)と、探索領域tpT−2の位相を示す図である。図16(e)は図14に示した画像処理装置1bの位相の更新と探索領域tpの読み出しの処理を説明するための図である。
【0131】
制御部100bは、図16(a)〜(d)に示すように、位相の座標を設定する。横軸はx軸、縦軸はy軸である。
制御部100bは、図16(e)に示すように、例えば探索領域tpT+1の位相を基準として、順に(−1,−1)、(0,−1)、(1,−1)、(−1,0)、(0,0)、(0,1)、(−1,1)、(0,1)、(1,1)と更新して、それに応じて各フレームの探索範囲spの内の探索領域tpを更新する。
【0132】
この場合には、動きベクトルは、この位相それぞれに対応して、(−1,−1)、(0,−1)、(1,−1)、(−1,0)、(0,0)、(0,1)、(−1,1)、(0,1)、(1,1)である。
【0133】
また、制御部100bは、各素子20bの画素21b−T+2の部分に探索領域tpT+2の1画素を格納し、各素子20bの画素21b−T+1の部分に探索領域tpT+1の1画素を格納し、各素子20bの画素21b−T−1の部分に探索領域tpT−1の1画素を格納し、各素子20bの画素21b−T−2の部分に探索領域tpT−2の1画素を格納する。
【0134】
図17は、図14に示した画像処理装置の動作を説明するためのフローチャートである。この場合では、注目素子とは、図15(a)において、実際に対応画素が格納される素子の1つと想定する。注目画素はメモリの端にある素子ではないとする。
【0135】
まず、注目画素が存在するフレームが存在すると想定するフレームメモリTから、任意の5×5の参照領域trの各画素をメモリ2b内の各素子20bごとに格納する。ここで図15(c)においては、各素子20bの画素20b−Tに参照領域trの1画素分を格納する(ST101)。
【0136】
次に、図14に示す注目フレームと時間的に前後するフレームメモリ3b−T+2、フレームメモリ3b−T+1、フレームメモリ3b−T−1、フレームメモリ3b−T−2のそれぞれから、探索範囲sp内で位相を更新しながら、5×5の領域を読み出し、その領域内の各画素をメモリ2b内の各素子20bごとに格納する(ST102)。
【0137】
この5×5の領域を「探索領域tp」と名付ける。但し、上述したように各フレームメモリそれぞれから読み出される探索領域tpの位相は、例えば図13に示すように時空間で必ず直線上にある。
したがって、各フレームごとにそれぞれ位相を更新するのではなく、ある1つのフレームを基準として更新することで、その他の位相は一意に決まる。
【0138】
例えば、探索領域tpT+1の位相を基準とすると、探索領域tpT+1の空間的な位相が(1,1)の場合、フレームメモリT+2から読み出される探索領域tpT+2の空間的な位相は(2,2)、フレームメモリT−1から読み出される探索領域tpT−1の空間的な位相は(−1,−1)、フレームメモリT−2から読み出される探索領域tpT−2の空間的な位相は(−2,−2)となる。
【0139】
制御部100bは、位相の更新と探索領域tpの読み出しは、例えば図16に示すように探索領域tpT+1を基準として(−1,−1)〜(1,1)の範囲で9回行い、9回終わると終了する。
【0140】
各素子20bの画素21b−T−1に探索領域tpT−1の1画素を格納する(ST103)。各素子20bの保有する画素21b−T−2に探索領域tpT−2の1画素を格納する(ST104)。各素子20bの保有する画素21b−T+1に探索領域tpT+1の1画素を格納する(ST105)。各素子20bの画素21b−T+2に探索領域tpT+2の1画素を格納する(ST106)。
上述したステップST103〜106の順番は、この順番でなくともよい。
【0141】
次に各素子20b内で、減算器24b−2および絶対値生成部25b−2は、差分画素21b−Tに格納された値と画素21b−T−1に格納された値の差分絶対値aを演算する(ST107)。同様に各素子20b内で、減算器24b−1および絶対値生成部25b−1は、画素21b−Tに格納された値と画素21b−T−2に格納された値の差分絶対値bを演算する(ST108)。同様に各素子20b内で、減算器24b−3および絶対値生成部25b−3は、画素21b−Tに格納された値と画素21b−T+1に格納された値の差分絶対値cを演算する(ST109)。同様に各素子20b内で、減算器24b−4および絶対値生成部25b−4は、画素Tに格納された値と画素T+2に格納された値の差分絶対値dを演算する(ST110)。
上述したステップST107〜110の順番は、この順番でなくともよい。
【0142】
次に、加算器250は、差分絶対値a、b、c、dの和を演算し、差分絶対値総和Aを生成し、差分絶対値総和A記憶部22b−1に格納する(ST111)。
次に、配線によって接続されている各注目素子の8近傍の素子、例えば注目素子を図15に示した素子20b−5とすると、その素子20b−5の8近傍の素子20b−1〜9それぞれにおいて格納されている差分絶対値総和Aを注目の素子20b−5が読み込む。
例えば注目の素子20b−5において、その内の加算部28bは、それらの値と加算器250から出力された差分絶対値総和Aを加算して合計を差分絶対値総和Bとして求め(ST112)、比較更新部26bに出力する。
【0143】
次に各注目素子20bにおいて、比較更新部26bは、差分絶対値総和B記憶部22b−2に、予め格納されている差分絶対値総和(差分絶対値総和C)と差分絶対値総和Bを比較して(ST113)、差分絶対値総和Bが小さい場合には、格納する値を差分絶対値総和Cから差分絶対値総和Bに更新する(ST114,115)。逆に、差分絶対値総和Cが大きい場合は更新を行わず、次の位相の更新および探索領域tpの読み出しへと移行する。ステップST102に戻る。
初期状態では注目素子20bに差分絶対値総和Cは格納されていない。その場合は、無条件に最初の差分絶対値総和Bが格納される。
【0144】
次に、ある注目素子20bの更新部27bでは、差分絶対値総和B記憶部22b−2に記憶されている差分絶対値総和が更新された場合のみ、画素21b−T、画素21b−T+2、画素21b−T+1、画素21b−T−1、画素21b−T−2に格納されている画素値を、それぞれ対応画素210b−T、対応画素210b−T+2、対応画素210b−T+1、対応画素210b−T−1、対応画素210b−T−2へ改めて格納する。すなわち、真の対応画素として、その注目素子20bに格納する対応画素が更新される(ST116)。
【0145】
以上、位相の更新が終了した時点で、9つの各注目素子20bには探索範囲spにおける画素差分絶対値総和Bの最小値と、それが格納されたときに更新された対応画素が格納されている(ST117)。
一方、ステップST117において、位相の更新が終了されていないと判別された場合には、ステップST102の処理に戻る。
【0146】
この演算自体は、図12に示すように、参照領域tr内から切り出される9個の3×3のブロックが時刻Tに探索範囲sp内のどの位置に移ったかを、3×3のブロック間の差分絶対値総和に基づいて求めたものである。
【0147】
この状態では、その点では、第2の実施の形態に係る画像処理装置1aの「ブロックマッチング」の場合と同じであるが、第3の実施の形態に係る画像処理装置1bは、そのときのブロックの中央の画素を直接、注目画素の「対応画素」として格納および出力する。
また、2フレーム間でのブロックマッチングとは違って、5フレーム間での動きの等速性を仮定した演算により、画像にノイズがある場合でも「対応画素」の検出精度が向上するほか、後述するクラス分類適応処理によるノイズ除去とも親和性がよい。
【0148】
最終的には各注目素子から、例えば読出部4は、これらの5フレームにおける対応画素を読み出し出力する。例えば出力された結果は、後述するクラス分類適応処理などに利用される。
【0149】
上述した形態に限られるものではない。例えば、本実施の形態では、3×3のブロックサイズで、探索範囲spを画素単位で(−1,−1)〜(1,1)の場合の対応画素の抽出および出力を行うメモリを説明したが、これに限定されるものではない。
【0150】
例えば、各素子間の配線を周辺の5×5の素子から注目素子に接続するように変更することで、5×5のさらに大きなブロックサイズで処理することができる。
また、メモリ2b内の全素子数を5×5の場合で説明したが、例えばメモリに1フレーム内全画素数分の素子を設けた場合には、全画素ごとの対応画素が、位相の更新を終了させた時点で1度に求められる。
【0151】
第4の実施の形態
対応画素検出を使ったクラス分類適応処理
図18は、本発明に係る画像処理装置の第4の実施の形態の機能ブロック図である。
第4の実施の形態に係る画像処理装置1cは、第3の実施の形態に係る画像処理装置1bのメモリ2bを用いて、クラス分類適応処理によるノイズ除去を行う。
【0152】
クラス分類適応処理とは、高画質の原画像(教師画像とも言う)を劣化させて、低画質の劣化画像(生徒画像とも言う)を作成し、教師画像と生徒画像間で統計的な学習を行い、その学習したデータを利用して、劣化画像が入力された場合でも、高画質な画像に変換して出力する処理である。
【0153】
クラス分類適応処理およびそれによるノイズ除去は、既に出願番号410304058で詳細が述べられているが、本実施の形態に係る画像処理装置1cは、具体的に、メモリを用いて上述した処理を行う。
また、例としてSD(Standard)フォーマットの入力画像の場合を想定するが、他のフォーマットでも同じ処理が可能である。
【0154】
学習
第4の実施の形態に係る画像処理装置1cは、図18に示すように、メモリ2b、複数のフレームメモリ3b、例えばフレームメモリ3b−T+2,T+1,T,T−1,T−2、読出部4c、ノイズ付加部5、クラスコード生成部6、正規方程式加算部7、係数記憶部(RAM)8、および制御部100cを有する
【0155】
画像処理装置1cと、第3の実施の形態に係る画像処理装置1bとの大きな相違点は、ノイズ付加部5、クラスコード生成部6、正規方程式加算部7、および係数記憶部(RAM)8をさらに有する点である。相違点のみ説明する。
【0156】
ノイズ付加部5は、入力画像に、ノイズ成分を付加する。例えば、ノイズ付加部5は、コンピュータシミュレーション的にランダムノイズを発生させ付加する。
【0157】
図19は、図18に示した画像処理装置1cのノイズ付加部の第1の具体例を示す機能ブロック図である。
第1の具体例に係るノイズ付加部5−1は、図19に示すようにRFモジュレータ(RF MODULATOR)51、アテネータ減衰器52、およびRFデモジュレータ(RF DEMODULATOR)53を有する。
【0158】
ノイズ付加部5−1において、RFモジュレータ(RF MODULATOR)51では、入力画像、例えばSD画像に応じてRF変調処理し、アテネータ減衰器52により減衰させ、RFデモジュレータ(RF DEMODULATOR)53によりRF復調処理を行い、ノイズを付加する。
【0159】
図20は、図18に示した画像処理装置1cのノイズ付加部の第2の具体例を示す機能ブロック図である。
第2の具体例に係るノイズ付加部5−2は、図20に示すようにRFモジュレータ51、アテネータ減衰器52、RFデモジュレータ53、減算器54、および加算器55を有する。
【0160】
ノイズ付加部5−2において、RFモジュレータ(RF MODULATOR)51では、背景が一様な画像(レベルが一様)をRF変調処理し、アテネータ減衰器52により減衰し、RFデモジュレータ(RF DEMODULATOR)53によりRF復調処理を行い、減算器54により、もとの背景が一様な画像との差分処理が行われノイズ成分のみが加算器55に出力され、加算器55では、そのノイズ成分が入力画像(SD画像)に加算されて出力される。
【0161】
図21は、図18に示した画像処理装置1cのノイズ付加部の第3の具体例を示す機能ブロック図である。
第3の具体例に係るノイズ付加部5−3は、図21に示すように、RFモジュレータ(RF MODULATOR)51、アテネータ減衰器52、RFデモジュレータ(RF DEMODULATOR)53、減算器54、加算器55、およびフレーム加算器56を有する。
【0162】
ノイズ付加部5−3において、RFモジュレータ51では、背景が一様な画像(レベルが一様)をRF変調処理し、アテネータ減衰器52により減衰し、RFデモジュレータ53によりRF復調処理を行い、フレーム加算器56および減算器54によりノイズ除去を行った画像と原の画像間での差分をとり、ノイズ成分だけを抽出し、加算器55により、このノイズ成分が入力画像(SD画像)に加算されて出力される。
【0163】
読出部4cは、素子ごとの対応画素を読み出し、クラスコード生成部6および正規方程式加算部7に出力する。
【0164】
クラスコード生成部6は、読出部4cから出力された素子ごとの対応画素の値に基づいて、ノイズ成分を検出して、クラスコードを生成し、正規方程式加算部7に出力する。
【0165】
図22は、図18に示した画像処理装置1cのクラスコード生成部のクラスコードを発生(ノイズ成分検出)させる原理を説明するための図である。
【0166】
クラスコード生成部6は、例えば図22に示すように、メモリ2bから順次出力される対応画素それぞれに対し、ノイズ成分を検出し、それをクラスコードとして記述し発生させる。
メモリ2bにより抽出された1つの対応画素は、時刻T−2〜T+2の5フレーム間で、基本的に動きに追従して押出した同じ画素とみなせるので、速い動きではぼけ等の劣化は見られる場合もあるが、基本的には時間的な変動はほとんどない。
【0167】
そのため、出力された対応画素内の値の変動がある場合、それはノイズであるとみなせる。したがって、そのノイズの変動をクラスコードとして記述することで、ノイズの変動に応じた後述する予測演算ができる。
【0168】
クラスコード生成部6は、対応画素内の5画素の最大値b、最小値aを求め、最大値bおよび最小値に応じたコード、例えば、平均値、具体的には、(最小値a+最大値b)/2より各対応画素のレベルが上ならば1、下ならば0であるような平均値コードを生成する。例えば、平均値コードは、図22に示したような場合には、「10100」である。
【0169】
また、クラスコード生成部6は、対応画素内でのダイナミックレンジ(最大値b−最小値a)を求め、それを2進数で表現し、ダイナミックレンジコードを生成する。
【0170】
例えば、ダイナミックレンジが18の場合、ダイナミックレンジコードは、「10010」である。
クラスコード生成部6は、平均値コードおよびダイナミックレンジコードを合成して、クラスコードを生成する。
【0171】
例えば、上述した場合には、平均値コード「10100」と、ダイナミックレンジコード「10010」を合成して、クラスコード「1010010010」を生成する。
ここで、平均値コードは、ノイズの時間変動であり、ダイナミックレンジコードは、ノイズレベルの大きさを表現している。
画像処理装置1cは、このコードごとに分類することでノイズの変動やレベルに的確に対応した処理が行うことができる。
【0172】
正規方程式加算部7は、具体的には、クラスコード生成部6から出力されたクラスコードごとに、読出部4から出力された対応画素と教師画像の画素とに基づいて正規方程式を生成し、クラスコードごとの予測係数を生成する。
【0173】
具体的には、正規方程式加算部7は、対応画素をxT+2、xT+1、x、xT−1、xT−2として、フレームメモリTの対応画素xに対してノイズを付加する前の教師画像から同じ位置の画素をyとして、数式(2)に示すような正規方程式を生成する。
【0174】
【数2】
Figure 2004078863
【0175】
ここで、aT+2、aT+1、a、aT−1、aT−2は推定すべき予測係数である。
正規方程式加算部7は、クラスごとに対応画素と教師画像の画素を、数式(2)に代入して正規方程式を生成し、必要な数の正規方程式が求められたとき最小自乗推定によって、この予測係数を推定する。
【0176】
正規方程式加算部7は、クラスコードごとの予測係数を決定し、係数記憶部(RAM)8に出力する。
係数記憶部(RAM)8は、正規方程式加算部7から出力された、クラスコードごとの予測係数を記憶する。
【0177】
制御部100cは、各フレームメモリT−2,T−1,T,T+1,T+2に保持されている画像から参照領域trを読み出し、メモリ2cに格納する。また、読み出された参照領域trに対応している探索範囲spを他のフレームメモリに設定し、位相を更新しながら探索領域tpを読み出しメモリ2cに格納していく。
【0178】
制御部100cは、読み出す参照領域trとして、例えばラスタスキャンのような順序で、フレームメモリT内で適当に位相をシフトしながら順次読み出していき、メモリ2cが最終的にフレームメモリ内の全画素の対応画素を出力できるようにする。
【0179】
図23は、図18に示した画像処理装置1cが、クラス分類適応処理のために、参照領域trのメモリに読み出すべき手順を説明するための図である。図23(a)はシフト前の状態を示す図である。図23(b)は、シフト後の状態を示す図である。
【0180】
例えば、制御部100cは、メモリ2bが5×5の場合、図23(a),(b)に示すように3×3画素ごとにシフトして参照領域trを切り出せば、対応画素がフレームメモリT内の全ての画素位置で得る。このため、フレームメモリTの全ての画素を処理できる。この場合、1つの参照領域trの読み出しに対し、メモリ2cは位相の異なる9つの対応画素を得て、この9つの対応画素を順次出力する。
【0181】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
ノイズ付加部5では、入力画像にノイズ成分が付加される。
フレームメモリT−2,T−1,T,T+1,T+2では、ノイズ成分が付加された入力画像を順次、記憶する。
【0182】
制御部100cでは、各フレームメモリから、所定の探索範囲spの内の探索領域tpの画素の画素値、および位相情報が読み出され、メモリ2bに出力される。
読出部4cでは、メモリ2bの各素子20bごとの対応画素が読み出され、クラスコード生成部6および正規方程式加算部7に出力される。
【0183】
クラスコード生成部6では、読出部4cから出力された素子ごとの対応画素の値に基づいて、ノイズ成分が検出され、上述した図22に示すように所定の処理によりクラスコードが生成され、正規方程式加算部7に出力される。
【0184】
正規方程式加算部7では、クラスコードごとに、読出部4から出力された対応画素と教師画像の画素とに基づいて、上述した所定の処理により正規方程式が生成され、クラスコードごとの予測係数が生成され、係数記憶部(RAM)8に記憶される。
【0185】
以上、説明したように、本実施の形態に係る画像処理装置1cでは、入力画像にノイズ成分を付加するノイズ付加部5と、フレームメモリ3b−T+2,T+1,T,T−1,T−2と、メモリ2bと、メモリ2bの内の素子ごとに対応画素を読み出す読出部4cと、その対応画素に応じてクラスコードを生成するクラスコード生成部6と、クラスコード、対応画素および入力画素に応じて正規方程式を生成して予測係数を生成する正規方程式加算部7と、予測係数を記憶する係数記憶部(RAM)8と、所定の制御を行う制御部100cとを設けたので、所定の入力画像にノイズ成分が付加され、入力画像、およびノイズ成分が付加された画像に基づいて、クラスコードを生成して、学習を行うことができる。
この学習結果の情報は、例えば、第5の実施の形態に係る画像処理装置によりノイズ成分が付加された画像から元の高画質の画像を生成する際に用いられる。
【0186】
第5の実施の形態
予測
図24は、本発明に係る画像処理装置の第5の実施の形態の機能ブロック示す図である。
本実施の形態に係る画像処理装置1dは、例えば第4の実施の形態に係る画像処理装置1cで説明したクラスコードを用いて、入力画像のノイズ成分を推定し、もとの高画質な画像を生成する。
【0187】
画像処理装置1dは、例えば図24に示すように、メモリ2d、複数のフレームメモリ3b、例えばフレームメモリ3b−T+2,T+1,T,T−1,T−2、読出部4c、クラスコード生成部6、係数記憶部8d、推定演算部9、および制御部100dを有する
【0188】
本実施の形態に係る画像処理装置1dと、第4の実施の形態に係る画像処理装置1cとの、大きな相違点は、係数記憶部8d、推定演算部9を有することである。
【0189】
画像処理装置1dの制御部100dは、ノイズの予測処理を行う場合に、入力画像の5フレーム分(現フレームと前後2フレーム分)を、フレームメモリ3b−T+2〜T−2それぞれに保持する。
【0190】
制御部100dは、各フレームメモリ3bTに保持されている画像から参照領域trを読み出し、メモリ2dに格納する。
制御部100dは、読み出された参照領域trに対応している探索範囲spを他のフレームメモリ3b−T−2、T−1、T+1、T+2に設定し、位相を更新しながら探索領域tpを読み出しメモリ2dに格納していく。
【0191】
制御部100dは、読み出す参照領域trとしては、例えばラスタスキャンのような順序で、フレームメモリT内で所定の順番に位相をシフトしながら順次読み出していき、メモリ2dが最終的にフレームメモリ内の全画素の対応画素を出力する。
【0192】
例えば、制御部100dは、メモリ3dが5×5の場合、図23(a),(b)に示すように3×3画素ごとにシフトして参照領域trを切り出せば、フレームメモリT内の全ての画素位置で対応画素を得る。このため、フレームメモリTの全ての画素を処理できる。この場合、1つの参照領域trの読み出しに対し、メモリ2dは位相の異なる9つの対応画素を得て、この9つの対応画素を順次出力する。
【0193】
クラスコード生成部6は、メモリ2dから順次出力される対応画素それぞれに、画素のノイズ成分に基づいて、クラスコードを生成する。
【0194】
係数記憶部(ROM)8dは、例えば、第4の実施の形態に係る画像処理装置1cで学習時に係数記憶部8に記憶されたクラスコードごとの予測係数を記憶する。
係数記憶部8dは、クラスコード生成部6から出力されたクラスコードに応じて、記憶されているクラスコードに応じた予測係数を出力する。
【0195】
推定演算部9は、係数記憶部8dから出力された予測係数および対応画素に応じて、予測値を推定し出力する。
具体的には、推定演算部9は、係数記憶部8dから出力された予測係数aT+2、aT+1、a、aT−1、aT−2と、対応画素xT+2、xT+1、x、xT−1、xT−2に応じて、例えば上述した数式(2)により予測値yを算出して出力する。この予想値yはノイズ成分が除去された画素値である。
【0196】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
制御部100dは、フレームメモリT−2,T−1,T,T+1,T+2に、ノイズ成分が付加された入力画像を記憶する。
【0197】
制御部100dでは、各フレームメモリから、所定の探索範囲spの内の探索領域tpの画素の画素値、および位相情報が読み出され、メモリ2dに出力される。
読出部4cでは、メモリ2dの各素子20dごとの対応画素が読み出され、クラスコード生成部6および推定演算部9に出力される。
【0198】
クラスコード生成部6では、読出部4cから出力された素子ごとの対応画素の値に基づいて、ノイズ成分が検出され、上述した図23に示すように所定の処理によりクラスコードが生成され、推定演算部9に出力される。
【0199】
推定演算部9では、係数記憶部(ROM)8dから出力された予測係数および対応画素に応じて、上述した所定の処理を行い、予測値が推定され出力される。
【0200】
以上、説明したように、本実施の形態に係る画像処理装置1dでは、フレームメモリ3b−T+2,T+1,T,T−1,T−2と、メモリ2dと、メモリ2dの内の素子ごとに対応画素を読み出す読出部4cと、その対応画素に応じてクラスコードを生成するクラスコード生成部6と、クラスコードに応じた係数を記憶する係数記憶部(ROM)8dと、係数記憶部(ROM)8dから出力された予測係数および対応画素に応じて、予想値を生成する推定演算部9と、所定の制御を行う制御部100dとを設けたので、フレームメモリTに保持されているノイズがある入力画像に対して、1画素単位でノイズ除去をした画素を出力することができる。
【0201】
また、上述した構成により、クラス分類適応処理に必要な画素などを直接に探索および出力できる。これにより、例えば、動きベクトル検出後に動きベクトルによる位相補正を行い、必要な画素抽出するような手順を簡略化することができる。
【0202】
第6の実施の形態
図25は、本発明に係る画像処理装置の第6の実施の形態の機能ブロック図である。図26(a)は図25に示した画像処理装置のメモリの構成図、図26(b)は図26(a)に示したメモリの予想画素が格納される素子を示す図、図26(c)は図26(a)に示したメモリの素子の機能ブロック図である。
【0203】
本実施の形態に係る画像処理装置1eは、図25に示すように、メモリ2e、複数のフレームメモリ3b、例えばフレームメモリ3b−T+2,T+1,T,T−1,T−2、係数記憶部(ROM)8e、および制御部100eを有する。
【0204】
画像処理装置1eは、メモリ2eの素子20eそれぞれに、第5の実施の形態に係る画像処理装置1dのクラス分類適応処理機能を有することである。相違点のみ説明する。
【0205】
メモリ2eは、例えば図26(a)に示すように、5×5の素子20e−1〜25を有しており、各素子20eが配線により接続されている。
【0206】
素子20eは、図26(c)に示すように、複数の画素21b、例えば画素21b−T,T+2,T+1,T−1,T−2、差分絶対値総和A記憶部22b−1、差分絶対値総和B記憶部22b−2、複数の減算器24b、例えば減算器24b−1〜4、複数の絶対値生成部25b、例えば絶対値生成部25b−1〜4、加算器250、比較更新部26e、クラスコード生成部6e、推定演算部9e、および加算部28bを有する。
【0207】
クラスコード生成部6eは、比較更新部26eから、差分絶対値総和を更新したことを示す更新情報と、画素21b−T,T+2,T+1,T−1,T−2から出力された画素値に応じて、クラスコードを生成し、係数記憶部(ROM)8eに出力する。
【0208】
具体的には、クラスコード生成部6eは、比較更新部26eから、差分絶対値総和を更新したことを示す更新情報が入力されると、画素21b−T,T+2,T+1,T−1,T−2から出力された画素値に応じたクラスコードを生成し、係数記憶部(ROM)8eに出力する。
【0209】
推定演算部9eは、係数記憶部(ROM)8eから出力された予測係数、および画素21b−T,T+2,T+1,T−1,T−2から出力された画素に基づいて、予測値を推定し出力する。
【0210】
以上説明した構成の画像処理装置1eの動作を、相違点のみ簡単に説明する。
制御部100eは、ノイズの予測処理を行う場合に、入力画像の5フレーム分(現フレームと前後2フレーム分)を、フレームメモリ3b−T+2〜T−2それぞれに保持する。
【0211】
制御部100eは、各フレームメモリ3bTに保持されている画像から参照領域trを読み出し、メモリ2eに格納する。
制御部100eは、読み出された参照領域trに対応している探索範囲spを他のフレームメモリ3b−T−2、T−1、T+1、T+2に設定し、位相を更新しながら探索領域tpを読み出しメモリ2eに格納していく。
【0212】
制御部100eは、読み出す参照領域trとしては、例えばラスタスキャンのような順序で、フレームメモリT内で所定の順番に位相をシフトしながら順次読み出していき、メモリ2eが最終的にフレームメモリ内の全画素の対応画素を出力できるようにする。
【0213】
メモリ2eの内の素子20eにおいて、クラスコード生成部6eでは、比較更新部26eから、差分絶対値総和を更新したことを示す更新情報が入力されると、画素21b−T,T+2,T+1,T−1,T−2から出力された画素値に応じたクラスコードを生成し、係数記憶部(ROM)8eに出力する。
【0214】
係数記憶部(ROM)8eでは、クラスコード生成部6eから出力されたクラスコードに応じて、記憶している係数が推定演算部9eに出力される。
推定演算部9eでは、係数記憶部(ROM)8eから出力された予測係数、および画素21b−T,T+2,T+1,T−1,T−2から出力された画素に基づいて、予測値が推定され出力される。
【0215】
推定演算部9では、係数記憶部(ROM)8eから出力された予測係数および対応画素に応じて、上述した所定の処理を行い、予測値が推定され、例えばフレームメモリ等へ出力される。
【0216】
以上、説明したように、本実施の形態に係る画像処理装置1eでは、メモリ2eの各素子20eごとに、クラスコード生成部6e、推定演算部9eをさらに設けたことにより、クラス分類適応処理機能を持たせることができる。
【0217】
具体的には、差分絶対値総和が更新されるたびに、画素T、画素T+1、画素T+2、画素T−1、画素T−2に格納されている画素を使って、クラス分類適応処理によるノイズ除去がなされ、予測された画素がその都度出力される。画素の出力のたびに、別のフレームメモリなどに、その値がかき換えられるようにしておくと最終的にノイズ除去後の画像が得られる。
【0218】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、第4の実施の形態に係る画像処理装置1cと、第5の実施の形態に係る画像処理装置1dとをまとめてもよい。こうすることにより、ノイズ成分を学習してクラスコードを生成し、生成されたクラスコードに応じてノイズ成分を推定し高画質の画像を生成することができる。
【0219】
第7の実施の形態
プレーンマッチング
図27は、本発明に係る画像処理装置に係る第7の実施の形態の動作を説明するための概念図である。
例えば、図27(a)に示すように、入力画像の中に、時間の経過により移動するオブジェクトob1,ob2が存在し、所定の大きさの参照ブロックを設定した場合に、図27(b)に示すように、参照ブロック内に複数のオブジェクトが含まれてしまう場合がある。
【0220】
ブロックマッチングでは、ブロック全体の動きとして、動きベクトルを捉えるものであるため、参照ブロックの注目画素が本来持っている動き(オブジェクトob1)が別のオブジェクト(オブジェクトob2)の動きベクトルになってしまったり、両者のオブジェクトの中間の動きが求まってしまう場合がある。
【0221】
本実施の形態に係る画像処理装置では、後述するプレーンマッチングを行い、参照ブロック内に複数のオブジェクトが含まれている場合であっても、正確な動きベクトルを生成する。
【0222】
図28は、本発明に係る画像処理装置の第7の実施の形態のプレーンマッチングの動作を説明するための概念図である。図28を参照しながら、画像処理装置のプレーンマッチングの動作を説明する。
【0223】
プレーンマッチングは、例えば、図28(a)に示すようにオブジェクトob1,2が存在する場合に、図28(b)に示すように参照ブロックを設定し、図28(c)に示すように参照ブロックの内から注目画素と同一のオブジェクトだけの画素を摘出し、抽出した画素に基づいてマッチングを行う。
画像中から、プレーンマッチングのために、同一のオブジェクトごとの画素を抽出することを「プレーン分離」と言う。
【0224】
図29は、本発明に係る画像処理装置の第7の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置1fは、図29に示すように、メモリ2f、複数のフレームメモリ3f、例えばフレームメモリ3f−T,T−1、読出部4f、制御部100f、およびプレーン分離部110を有する。相違点のみ説明する。
【0225】
メモリ2fは、例えば図29に示すように、入力画像のサイズをw×bとすると、(w−2)×(h−2)のようにほぼ全画面の素子数を有する。
画像処理装置1fは、動きベクトルの探索を行うために、例えば予めフレームメモリ3f−T−1の全画面にプレーン分離処理を行い、各画素のプレーン情報を、メモリ2fの内の全素子に格納する処理を行う。
【0226】
フレームメモリ3f−Tは、時刻Tのフレームを記憶する。フレームメモリ3f−Tは、例えば探索範囲sp(w×h)の大きさのフレームメモリであり、例えば制御部100fにより、所定の探索領域tp(w−2)×(h−2)の内の画素が読出され、メモリ2fに出力される。
【0227】
フレームメモリ3f−T−1は、時刻T−1のフレームを記憶する。フレームメモリ3f−T−1は、例えばw×hの大きさのフレームメモリであり、例えば制御部100fにより、所定の参照領域tr(w−2)×(h−2)の内の画素が読み出され、メモリ2fに出力される。
【0228】
読出部4fは、メモリ2fの各素子ごとに記憶されている動きベクトルを読み出して出力する。
プレーン分離部110は、フレームメモリ3f−T−1に記憶されている画像データに基づいて、後述するプレーン分離処理を行い、処理の結果のプレーン情報をメモリ2fに出力する。
制御部100fは、後述する所定の処理を行う。
【0229】
各構成要素について、以下、詳細に説明する。
メモリの構成
図30(a)は図29に示した画像処理装置のメモリを模式的に示す図である。図30(b)は図30(a)の一部を拡大した図である。図30(c)は図30(b)に示したメモリの素子の機能ブロック図である。
【0230】
メモリ2fは、図30(a),(b)に示すように、複数の素子20fを有する。
素子20fは、図30(c)に示すように、画素20−1、画素20−2、画素差分記憶部22f−1、差分総和記憶部22f−2、動きベクトル記憶部23、減算器24、絶対値生成部25、比較更新部26f、更新部27、加算部28f、プレーン情報記憶部29、およびスイッチ(Switch)30を有する。
【0231】
メモリ2fは、素子20f間の配線により、例えば図15に示すように、注目する素子(図15では素子20f−5)の8近傍の素子(図15では素子20f−1〜4,6〜9)に格納されている差分絶対値を、注目する素子に出力する。
但し、各素子20fごとに、出力するか否かの判定を、スイッチ(switch)30が行う。
【0232】
また、メモリ2fは、第1の実施の形態に係るメモリ2aと同様に、単に1画素を格納するだけでなく2画素分、格納でき、それらの差分絶対値を演算できる。また、その結果である差分絶対値を格納する。
また、本実施の形態に格納される画素に対応した「プレーン情報」が格納できる点が、第2の実施の形態に係る画像処理装置とは異なる。
以下、各構成要素の相違点のみ説明する。
【0233】
画素差分記憶部22f−1は、記憶している差分絶対値を加算部28fへ出力する。
差分総和記憶部22f−2は、加算部28fから出力されたデータと、差分総和記憶部22a−2に記憶されている総和差分絶対値を総和に基づいて、更新を差分総和記憶部22a−2に出力する。
【0234】
加算部28fは、スイッチ30から出力されたデータ、および画素差分記憶部22f−1に記憶されている総和差分絶対値に基づいて、それらを加算し、比較更新部26fに出力する。
【0235】
比較更新部26fは、加算部28fから出力された差分絶対値総和Aと、差分総和記憶部22a−2に記憶されている差分絶対値総和(差分絶対値総和Bと言う)とを比較して、比較の結果、差分絶対値総和Aが小さい場合には、差分絶対値総和Aを差分総和記憶部22f−2に記憶させて、差分絶対値総和を更新する。
【0236】
比較更新部26fは、上述した更新を行った場合には、更新を行ったことを示す更新情報を更新部27に出力する。
比較更新部26fは、比較の結果、差分絶対値総和Aが大きい場合には、差分総和記憶部22a−2に記憶されている差分絶対値総和Bの更新を行わない。
【0237】
更新部27fは、比較更新部26fから出力された更新情報、および位相情報に基づいて、動きベクトル記憶部23に記憶されている動きベクトルを更新する。
具体的には、更新部27fは、比較更新部26fから差分絶対値が更新されたことを示す更新情報が出力した場合には、その時の位相を動きベクトルとして、動きベクトル記憶部23に記憶させることで、動きベクトルを更新する。
【0238】
加算部28fは、画素差分記憶部22a−1から出力された差分絶対値a、および、スイッチ30から出力された、その画素の近傍の8つの素子20a(8近傍の素子20aとも言う)それぞれの差分絶対値aに基づいて、それらを加算して、差分絶対値総和Aを生成し、比較更新部26fに出力する。
プレーン情報記憶部29は、後述するプレーン情報を記憶する。
【0239】
スイッチ30は、プレーン情報の一致の判定を行い、各素子20fの差分絶対値aを加算部28fに出力するゲートの役割を有する。
例えばスイッチ(Switch)30は、注目する素子20fのプレーン情報と、他の8近傍の素子20fのプレーン情報に応じて、差分絶対値を加算部28fに出力する。
【0240】
具体的には、スイッチ30は、注目する素子20fのプレーン情報記憶部29に記憶されているプレーン情報と、他の8近傍の素子20fそれぞれのプレーン情報記憶部29に記憶されているプレーン情報とを比較し、一致している場合には、画素差分記憶部22f−1に記憶されている差分絶対値を加算部28fに出力し、一致していない場合には8近傍の素子20fそれぞれに記憶されている差分値絶対値を加算部28fに出力しない。
【0241】
各素子201の総和が更新された場合、その時の動きベクトル(動きベクトル)も予め格納されているものから更新される。
【0242】
プレーン分離とプレーン情報
図31は、図29に示した画像処理装置のプレーン分離部の処理を説明するための図である。
入力画像中の背景やそれぞれのオブジェクトなどの各要素をプレーンと言う。また、それぞれのプレーンに分離することをプレーン分離と言う。
【0243】
プレーン分離部110は、例えば図31に示すように「プレーン1にはLEVEL1を割り当てる」というようにプレーン分離された各プレーンに所定の値(ラベル)を割り当てる。画像中の各画素がどのプレーンに属しているかを表したものを、プレーン情報と言う。
以下、プレーン分離の手法の一具体例を説明する。
【0244】
図32は、画像処理装置1fのプレーン分離部の一具体例を示す機能ブロックである。
例えばプレーン分離部110は、入力された画像を、画像中の同じオブジェクトや背景などでは、その内部の輝度や色は同じ様なレベルであるということを利用して、所定のプレーンに分離する。
【0245】
プレーン分離部110は、例えば図32に示すように、ヒストグラム演算部111、ピーク検出部112、谷検出部113、消去部114、谷統合部115、およびラベリング部116を有する。
【0246】
ヒストグラム演算部111は、入力画像に応じて、レベル(輝度あるいは色)ごとのヒストグラム(度数分布)を生成し、保持する。
図33は、図32に示した画像処理装置1fのプレーン分離部のヒストグラム演算部111が生成するヒストグラムの一具体例を示す図である。横軸はレベル、縦軸はヒストグラム(度数)を示す。
【0247】
ヒストグラム演算部111は、入力画像に応じて、例えば図33に示すようにヒストグラムを生成する。
ヒストグラム演算部111は、生成したヒストグラム(度数分布)を、ピーク検出部112に出力する。
【0248】
ピーク検出部112は、入力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル(ピーク)を検出し、谷検出部113に出力する。
例えば、ピーク検出部112は、ヒストグラム演算部111から出力されたヒストグラム、または消去部114から出力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル(ピーク)を検出し、谷検出部113に出力する。
【0249】
谷検出部113は、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する。
例えば、谷検出部113は、ピーク検出部112から出力された、最大の度数のレベル(ピーク)に基づいてヒストグラムの、そのレベルピークの両脇の谷を2点それぞれ検出する。
【0250】
具体的には、谷検出部113は、ピークを中心とした所定の範囲内、例えば+aの内で最も度数の少ない点を右側の谷とし、所定の範囲内、例えば−aの内で、最も度数の少ない点を左側の谷とする。
【0251】
消去部114は、例えば、所定のピークを含むオブジェクトの度数を消去する。
例えば、消去部114は、ヒストグラムのピークを中心として、左右の2点の谷に囲まれるレベルに対応する度数を、ヒストグラムの中から消去し、ピーク検出部112に出力する。
【0252】
図34は、図32に示した画像処理装置のプレーン分離部の消去部の動作を説明するためのヒストグラムの一具体例である。
消去部114は、例えば図34に示すように、所定のピークを中心として、左右の2点の谷に囲まれるレベルに対応する度数を、ヒストグラムの中から消去し、ピーク検出部112に出力する。
【0253】
消去部114は、ヒストグラム中の全てのレベルに対する度数が0になったと判別した場合には、谷の度数を谷統合部115に出力する。
【0254】
谷統合部115は、消去部114から出力された各谷の度数に基づいて、レベルの近い谷を統合し、所定のラベリング部116に出力する。
具体的には、谷統合部115は、各谷に対してレベルの近い谷は統合する。
より具体的には、谷統合部115は、谷の検出された順を優先して、先に検出された谷の所定の範囲、例えば±bの範囲に含まれる他の谷を消去する。
【0255】
図35は、図32に示した画像処理装置の谷統合部により統合される前のヒストグラムの谷を説明するための図である。図36は、図32に示した画像処理装置の谷統合部により統合されたヒストグラムの谷を説明するための図である。
【0256】
谷統合部115では、具体的には、例えば図35に示すように消去部114から出力された各谷の度数に基づいて、図36に示すように、レベルの近い谷を統合する。
【0257】
ラベリング部116は、入力画像、および谷統合部115から出力された画像に応じて、プレーン分離された各プレーンに所定の値(ラベル)ラベルを割り当てる。具体的には、ラベリング部116は、入力画像の各画素に対して、各谷の間に存在する画素は同じプレーンとみなし、同じラベルを割り当てる。
【0258】
ラベリング部116は、より具体的には、各画素ごとにレベル(輝度あるいは色)がどの谷の内部にあるかを判定し、その谷の内部の画素ごとに同一ラベルを割り当てる。
【0259】
図37は、図32に示した画像処理装置のプレーン分離部の動作を説明するためのフローチャートである。
【0260】
ステップST201において、ヒストグラム演算部111では、値レベル(輝度あるいは色)ごとのヒストグラムが生成され保持される。
また、ヒストグラム演算部111では、生成されたヒストグラムが、ピーク検出部112に出力される。
【0261】
ステップST202において、ピーク検出部112では、入力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル(ピーク)が検出され、谷検出部113に出力される。
具体的には、ピーク検出部112では、ヒストグラム演算部111から出力されたヒストグラム、または消去部114から出力されたヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル(ピーク)が検出され、谷検出部113に出力される。
【0262】
ステップST203において、谷検出部113では、ピークの両脇の谷が検出される。具体的には、谷検出部113では、ピークを中心とした+aの範囲内での最も度数の少ない点を右側の谷とする。また、谷検出部113では、−aの範囲内での最も度数の少ない点を左側の谷とする。
【0263】
谷検出部113は、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する。
例えば、谷検出部113は、ピーク検出部112から出力された、最大の度数のレベル(ピーク)に基づいてヒストグラムの、そのレベルピークの両脇の谷を2点それぞれ検出する。
具体的には、谷検出部113は、ピークを中心とした所定の範囲内、例えば+aの内で最も度数の少ない点を右側の谷とし、所定の範囲内、例えば−aの内で、最も度数の少ない点を左側の谷とする。
【0264】
ステップST205において、消去部114では、左右の2点の谷に囲まれるレベルに対応する度数がヒストグラム中から消去される。
また、消去部114では、ヒストグラムの中の全てのレベルに対する度数が0になったか否かが判別され、0になっていないと判別された場合には、ステップST202の処理に戻る。
【0265】
一方、ステップST205の判別において、消去部114では、ヒストグラム中の全てのレベルに対する度数が0になったと判別された場合には、谷の度数が谷統合部115に出力される。
【0266】
ステップST206において、谷統合部115では、消去部114から出力された各谷の度数に基づいて、レベルの近いものが統合され、所定のラベリング部116に出力される。具体的には、谷統合部115では、各谷に対してレベルの近いものが統合される。より具体的には、谷統合部115では、谷の検出された順を優先して、先に検出された谷の所定の範囲、例えば±bの範囲に含まれる他の谷が消去される。
【0267】
ステップST207において、ラベリング部116では、入力画像、および谷統合部115から出力された画像に応じて、プレーン分離された各プレーンに所定の値(ラベル)ラベルが割り当てられる。
【0268】
具体的には、ラベリング部116では、入力画像の各画素に対して、各谷の間に存在する画素は同じプレーンとみなし、同じラベルが割り当てられる。ラベリング部116では、より具体的には、各画素ごとにレベル(輝度あるいは色)がどの谷の内部にあるかが判定され、その谷の内部の画素ごとに同一ラベルが割り当てられる。
そして、一連のプレーン分離に関する動作を終了する。
【0269】
図38は、図29に示した画像処理装置の動作を説明するためのフローチャートである。画像処理装置1fの動作を、素子20fを中心に図38を参照しながら説明する。
【0270】
簡単のため、プレーンマッチングを行うメモリに関して、簡単のためにブロックサイズ3×3画素、探索範囲spを画素単位で(−1,−1)〜(1,1)として説明する。
【0271】
ここで、注目素子とは、図30(b)において、実際に動きベクトルが格納される素子の1つと想定する。メモリ20fの端にある素子ではない。
簡単な説明のために画像のサイズをw×bとする。
【0272】
プレーン分離部110では、フレームメモリ3f−T−1に記憶されている画像に基づいて、上述した所定のプレーン分離処理が行われ、処理の結果のプレーン情報がメモリ2fの内の各素子20fごとに出力される。
素子20fそれぞれは、プレーン分離部110から出力されたプレーン情報を記憶する。
具体的には、素子20fのプレーン情報記憶部29それぞれに、1画素分のプレーン情報が格納される(ST301)。
【0273】
フレームメモリ3f−T−1から、図29に示すように、(w−2)×(h−2)参照領域trの各画素が、メモリ2fの内の各素子20fそれぞれに格納される。
具体的には、図30(c)に示すように、各素子2fの画素20−2に参照領域trの1画素を格納することになる。
次に、探索範囲sp内で位相を更新しながら、(w−2)×(h−2)の領域を読み出し、その領域内の各画素をメモリ内の各素子ごとに格納する(ST302)。この(w−2)×(h−2)の領域を「探索領域tp」と言う。
【0274】
図30(c)に示すように、各素子20fの画素20−1の部分に探索領域tpの1画素を格納することになる。
位相の更新と探索領域tpの読み出しは、実際には探索領域tpの画素数が違うだけで前述したブロックマッチングの場合と同様で(−1,−1)〜(1−1)の範囲で9回行われ、9回終わると終了する。
【0275】
各素子20内で、減算器24では、画素20−1に格納された値と画素20−2に格納された値の差分値が生成され、絶対値生成部25では減算器24から出力された差分値の絶対値(差分絶対値a)が生成され、画素差分記憶部22f−1では差分絶対値aが格納される(ST305)。
【0276】
次に各注目素子において、その8近傍の素子からプレーン情報を読み出される。
具体的には、スイッチ30では、注目素子20fのプレーン情報記憶部29に記憶されているプレーン情報と、他の8近傍の素子20fのプレーン情報記憶部29が記憶する各プレーン情報とが同じであるか否かの判定が行われる。
スイッチ30では、同じであると判定された素子20fの画素差分記憶部22f−1が記憶している差分絶対値aが読み出されて加算される。
加算部28fでは、スイッチ30それぞれから出力された差分絶対値aが加算され、差分絶対値総和Aが求められる(ST306)。
【0277】
次に各注目素子において、比較更新部26fでは、予め格納されている差分絶対値総和(差分絶対値総和B)と差分絶対値総和Aが比較され(ST307)、差分絶対値総和Aが小さい場合、差分総和記憶部22f−2に格納する値を差分絶対値総和Bから差分絶対値総和Aに更新する(ST309)。
一方、比較更新部26fでは、差分絶対値総和Aが大きい場合は更新を行わず、次の位相の更新および探索領域tpの読み出しへと移行する。
ところで、初期状態では注目素子に差分絶対値総和は格納されていない。その場合は、無条件に最初の差分絶対値総和が格納される。
【0278】
次に、ある注目素子の差分絶対値総和が更新された場合のみ、そのときの位相を真の動きベクトルとしてその注目素子に予め格納されている動きベクトルが更新される(ST310)。
以上より位相の更新が終了した時点で、9つの各注目素子には探索範囲spにおける画素差分絶対値総和の最小値と、それが格納されたときの動きベクトルが格納されている。
読出部4fでは、各注目素子から、これらの動きベクトルが読出され出力される。
【0279】
以上、説明したように本実施の形態に係る画像処理装置では、入力画像に応じてレベル(輝度あるいは色)ごとのヒストグラム(度数分布)を生成するヒストグラム演算部111と、そのヒストグラムに基づいて、そのヒストグラムの内の最大の度数のレベル(ピーク)を検出するピーク検出部112と、ヒストグラムのピークに基づいて、例えば、そのピークを含むオブジェクトの度数を特定する谷検出部113と、所定のピークを含むオブジェクトの度数を消去する消去部114と、消去部114から出力された各谷の度数に基づいて、レベルの近い谷を統合する谷統合部115と、入力画像、およぴ谷統合部115から出力された画像に応じて、プレーン分離された各プレーンに所定の値(ラベル)ラベルを割り当てるラベリング部116とを有するプレーン分離部110と、素子20fそれぞれに、プレーン情報を記憶するプレーン情報記憶部29と、プレーン情報の一致の判定を行い、各素子20fの差分絶対値aを加算部28fに出力するスイッチ30とを設けたので、例えば参照ブロックの内に複数のオブジェクトが含まれている場合であっても、正確な動きベクトルを生成することができる。
【0280】
第8の実施の形態
図39は、本発明に係る画像処理装置の第8の実施の形態の機能ブロック図である。
本実施の形態に係る画像処理装置1gは、図39に示すように、メモリ2g、複数のフレームメモリ3g、例えばフレームメモリ3g−T,T−1、読出部4g、制御部100g、プレーン分離部110g、プレーン情報バッファ120を有する。
【0281】
画像処理装置1gと、第7の実施の形態に係る画像処理装置1fの相違点は、メモリ2g、複数のフレームメモリ3g、例えばフレームメモリ3g−T,T−1、読出部4g、制御部100g、プレーン分離部110g、およびプレーン情報バッファ120である。相違点のみ説明する。
【0282】
メモリ2gは、所定の数の素子20f、例えば5×5の素子20fを有する。
プレーン分離部110gは、フレームメモリ3g−T−1に記憶されている画像データの参照領域tr、例えば5×5の大きさの参照領域trごとに、その参照領域trの内の画素に基づいてプレーン分離処理を行い、処理の結果のプレーン情報をプレーン情報バッファ120に出力する。
【0283】
また、このプレーン分離部110gは、この形態に限られるものではない。プレーン分離部110gは、フレームメモリ3g−T−1に記憶されている画像データに基づいて、フレームメモリT−1に記憶されている画像のプレーン分離処理を行い、処理の結果のプレーン情報をプレーン情報バッファ120に出力してもよい。
【0284】
プレーン情報バッファ120は、例えば、プレーン分離部110gから出力された全画面サイズの画素を記憶する。
プレーン情報バッファ120は、例えば、プレーン分離部110gから出力された5×5の参照領域trごとのプレーン情報を、所定の位置(アドレス)に格納してもよい。
プレーン情報バッファ120は、所定の位置(アドレス)のプレーン情報をメモリ2gに出力し、メモリ2gの対応する素子20fのプレーン情報記憶部29に記憶させる。
【0285】
制御部100gは、例えば、上述した処理に応じて所定の処理を行う。
また、制御部100gは、例えば上述した処理に応じて、フレームメモリ3gやメモリ2g等に、所定のデータの書込み処理や読み込み処理等を行う。
【0286】
以上、説明した構成の画像処理装置の動作を、相違点のみ簡単に説明する。
プレーン分離部110gでは、フレームメモリ3g−T−1に記憶されている画像データの参照領域tr、例えば5×5の大きさの参照領域trごとに、その参照領域trの内の画素に基づいてプレーン分離処理が行われ、処理の結果のプレーン情報がプレーン情報バッファ120に出力され、プレーン情報バッファ120では、そのプレーン情報が所定の位置(アドレス)に格納される。
【0287】
以降は、上述した第7の実施の形態と同様に、メモリ2gにおいて、画素21−1に参照領域trの画素が記憶され、画素21−2に探索領域tpの画素が記憶される。
【0288】
減算器24により画素21−1に記憶されている画素と、画素21−2に記憶されている探索領域tpの画素の差分値が生成され、絶対値生成部25によりその差分値の絶対値である差分絶対値が生成され、画素差分記憶部22−1に記憶される。
【0289】
スイッチ30では、プレーン情報記憶部29に記憶されているプレーン情報と、注目素子の周辺の素子20のプレーン情報記憶部29に記憶されているプレーン情報とが比較され、一致している場合には、その周辺部の素子20の画素差分記憶部22f−1に記憶されている差分絶対値が、注目画素の加算部28fに出力される。
加算部28fでは、スイッチ30から出力された差分絶対値と、画素差分記憶部22f−1に記憶されている差分絶対値が加算され、比較更新部26fに出力される。
【0290】
比較更新部26fでは、差分総和記憶部22f−2に記憶されている差分総和値と、加算部28fから出力された差分総和値とが比較され、加算部28fから出力された差分総和値の方が小さい場合には、その小さい差分総和値が差分総和記憶部22f−2に出力される。差分総和記憶部22f−2では、その差分総和値が記憶されて、更新される。
【0291】
また、比較更新部26fでは、画素差分記憶部22f−2に記憶されている差分総和値を更新した場合には、更新したことを示す更新情報を更新部27が出力される。
更新部27では、比較更新部26fから、その更新したことを示す更新情報が出力されると、探索領域tpと参照領域trとの位相情報が動きベクトル記憶部23に記憶される。
探索範囲spの内の探索領域tpの位相が更新されて、全ての探索範囲spの内の全ての位相の探索領域tpと参照領域trとが比較され、動きベクトルが生成される。
【0292】
以上、説明したように、本実施の形態に係る画像処理装置1gは、第7の実施の形態に係る画像処理装置1fと比べて、フレームメモリ3g−T−1に記憶されている画像データに基づいて、プレーン分離を行いプレーン情報を生成するプレーン分離部110gと、そのプレーン情報を記憶するプレーン情報記憶部29とを設け、所定の大きさ、例えば5×5の素子20fを含むメモリ2gに、所定の探索範囲spおよび参照領域trの内の画像とを入力し、周辺の素子20fのプレーン情報と一致している場合にのみ、差分総和記憶部22f−2に記憶されている差分総和値を更新し、更新された場合にのみ動きベクトルを更新するので、参照領域trの内に複数のオブジェクトがある場合であっても、正確に動きベクトルを生成することができる。
また、プレーン情報バッファ120を設けたことにより、全画面サイズのプレーン情報を記憶して効率よく所定の処理を行うことができる。
【0293】
第9の実施の形態
プレーン情報を使った動きベクトルの補正
ブロックマッチングのブロックサイズやプレーンマッチングのプレーンの面積が小さい場合は、入力画像にノイズがのっていたりすると各画素の動きベクトル検出が誤る可能性が高くなる。
第9の実施の形態に係る画像処理装置1hのメモリ2hに格納されているプレーン情報を利用して、上述のような場合でも精度のよい動きベクトルを生成する。
【0294】
図40は、本発明に係る画像処理装置の第9の実施の形態の機能ブロック図である。
画像処理装置1hは、プレーンマッチング、動きベクトル検出の結果と、プレーン情報が格納されるメモリの構造を利用して、動きベクトルの検出を行う。
【0295】
画像処理装置1hは、図40に示すように、メモリ2f、複数のフレームメモリ3f、例えばフレームメモリ3f−T,T−1、読出部4h、制御部100h、プレーン分離部110h、および動きベクトル補正部130とを有する。
【0296】
画像処理装置1hのメモリ2fは、第7の実施の形態に係る画像処理装置1fのメモリ2fと同じ構造である。
画像処理装置1hは、メモリ2fの内に、プレーン情報や動きベクトルを格納される処理や、プレーンマッチング処理も、第7の実施の形態に係る画像処理装置1fとほぼ同様である。
【0297】
図41は、図40に示した画像処理装置の動きベクトル補正部の動作を説明するための図である。
画像処理装置1hは、上述した第7の実施の形態に係る画像処理装置1fのプレーンマッチングを出力するメモリ2fでの動きベクトル検出が終了した時点で、図41に示すように、ある注目画素に対する動きベクトルを出力する。以下、詳細に説明する。
【0298】
動きベクトル補正部130は、注目素子を中心とした、例えばメモリ内の5×5の格子領域に対して注目素子と同じプレーン情報をもつ素子のみから、動きベクトルを読み出し、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【0299】
具体的には、動きベクトル補正部130は、例えば読出部4hから出力された、注目素子を中心とした、例えばメモリ内の5×5の格子領域に対して注目素子のプレーン情報記憶部29に記憶されているプレーン情報と、同じプレーン情報をもつ素子のみから、動きベクトル記憶部23に記憶されている動きベクトルを読み出し、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【0300】
以上説明した構成の動作を、簡単に説明する。
読出部4hから注目素子を中心とした、例えばメモリ内の5×5の格子領域に対して注目素子のプレーン情報記憶部29に記憶されているプレーン情報と、同じプレーン情報をもつ素子のみから、動きベクトル記憶部23に記憶されている動きベクトルが読み出される。
動きベクトル補正部130では、その読み出された動きベクトルの頻度を求め、最も高い動きベクトルを注目素子の動きベクトルとする。
【0301】
以上、説明したように、動きベクトル補正部130は、注目画素周辺の同一のプレーンの画素はほぼ同じ動きであると仮定して、通常のマッチングでは注目画素の動きベクトルが誤っている場合でも、その注目画素が本来持っている可能性が高い動きベクトルを算出し、それに置き換えることで動きベクトルの精度をあげることができる。
【0302】
また、各素子ごとにプレーン情報を格納できるメモリ2fを設けたので、動きベクトルを導出する際に、誤りやすい複数のオブジェクトの境界部分などにおいても、動きベクトルを正確に求めることができる。
【0303】
また、注目画素の周辺の領域で同一プレーンごとに最頻の動きベクトルを求め、その動きベクトルを用いて補正することで、例えばノイズなどによって動きベクトルが誤りやすい場合でも、正確に動きベクトルを求めることができる。
【0304】
【発明の効果】
本発明によれば、少ない計算量で動きベクトルを算出可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【図1】一般的な画像処理装置を示す図である。
【図2】図1に示した一般的な画像処理装置の動作を示すフローチャートである。
【図3】位相シフトによる位相ブロック読み出しから、評価テーブルメモリへの記録までの動作の一具体例を説明するための図である。
【図4】本発明に係る画像処理装置の第1の実施の形態の機能ブロック図である。
【図5】(a)は第1の実施の形態に係る画像処理装置のメモリを示す図である。(b)は(a)に示した画像処理装置のメモリの内の素子の機能ブロック図である。
【図6】図4に示した画像処理装置の画素マッチングにおける位相の更新と、探索領域tpの読み出しを説明するための図である。(a)は、探索範囲内の位相を示す図である。(b)は位相と探索領域tpの関係を示す図である。
【図7】図1に示した画像処理装置1の動作を説明するためのフローチャートである。
【図8】本発明に係る画像処理装置の第2の実施の形態の機能ブロック図である。
【図9】(a)は図8に示した画像処理装置1aのメモリを示す図である。(b)は図8に示したメモリの構成の一具体例を示す図である。(c)は図8に示した画像処理装置1aの動きベクトルが格納されるメモリの構成を示す図である。
【図10】図8に示した画像処理装置の動作、特に位相の更新と探索領域tpの読み出しを行う動作について説明するための図である。(a)は探索範囲sp内の位相を示す図である。(b)は位相と探索領域tpの関係を示す図である。
【図11】図8に示した画像処理装置1aの動作を説明するためのフローチャートである。
【図12】図8に示した画像処理装置のフレームの参照領域trから切り出されるブロックを示す図である。
【図13】本発明の第3の実施の形態に係る画像処理装置の対応画素の摘出を説明するための概念図である。
【図14】本発明に係る画像処理装置の第3の実施の形態の機能ブロック図である。
【図15】(a)は図14に示した画像処理装置1bのメモリ2bを示す図である。(b)は対応画素が格納されるメモリを示す図である。(c)は、(a)に示したメモリ2bの素子20bの機能ブロック図である。
【図16】(a)は、フレームT+2の探索範囲spT+2(9×9)と、探索領域tpT+2の位相を示す図である。(b)は、フレームT+1の探索範囲spT+1(7×7)と、探索領域tpT+1の位相を示す図である。(c)は、フレームT−1の探索範囲spT−1(7×7)と、探索領域tpT−1の位相を示す図である。(d)は、フレームT−2の探索範囲spT−2(9×9)と、探索領域tpT−2の位相を示す図である。(e)は、図14に示した画像処理装置1bの位相の更新と探索領域tpの読み出しの処理を説明するための図である。
【図17】図14に示した画像処理装置の動作を説明するためのフローチャートである。
【図18】本発明に係る画像処理装置の第4の実施の形態の機能ブロック図である。
【図19】図18に示した画像処理装置1cのノイズ付加部の第1の具体例を示す機能ブロック図である。
【図20】図18に示した画像処理装置1cのノイズ付加部の第2の具体例を示す機能ブロック図である。
【図21】図18に示した画像処理装置1cのノイズ付加部の第3の具体例を示す機能ブロック図である。
【図22】図18に示した画像処理装置1cのクラスコード生成部のクラスコードを発生(ノイズ成分検出)させる原理を説明するための図である。
【図23】図18に示した画像処理装置1cが、クラス分類適応処理のために、参照領域trのメモリに読み出すべき手順を説明するための図である。(a)はシフト前の状態を示す図である。(b)は、シフト後の状態を示す図である。
【図24】本発明に係る画像処理装置の第5の実施の形態の機能ブロック示す図である。
【図25】本発明に係る画像処理装置の第6の実施の形態の機能ブロック図である。
【図26】(a)は図25に示した画像処理装置のメモリの構成図、(b)は(a)に示したメモリの予想画素が格納される素子を示す図、(c)は(a)に示したメモリの素子の機能ブロック図である。
【図27】本発明に係る画像処理装置に係る第7の実施の形態の動作を説明するための概念図である。
【図28】本発明に係る画像処理装置の第7の実施の形態のプレーンマッチングの動作を説明するための概念図である。
【図29】本発明に係る画像処理装置の第7の実施の形態の機能ブロック図である。
【図30】(a)は図29に示した画像処理装置のメモリを模式的に示す図である。(b)は(a)の一部を拡大した図である。(c)は(b)に示したメモリの素子の機能ブロック図である。
【図31】図29に示した画像処理装置のプレーン分離部の処理を説明するための図である。
【図32】画像処理装置1fのプレーン分離部の一具体例を示す機能ブロックである。
【図33】図32に示した画像処理装置1fのプレーン分離部のヒストグラム演算部が生成するヒストグラムの一具体例を示す図である。
【図34】図32に示した画像処理装置のプレーン分離部の消去部の動作を説明するためのヒストグラムの一具体例である。
【図35】図32に示した画像処理装置の谷統合部により統合される前のヒストグラムの谷を説明するための図である。
【図36】図32に示した画像処理装置の谷統合部により統合されるヒストグラムの谷を説明するための図である。
【図37】図32に示した画像処理装置のプレーン分離部の動作を説明するためのフローチャートである。
【図38】図29に示した画像処理装置の動作を説明するためのフローチャートである。
【図39】本発明に係る画像処理装置の第8の実施の形態の機能ブロック図である。
【図40】本発明に係る画像処理装置の第9の実施の形態の機能ブロック図である。
【図41】図40に示した画像処理装置の動きベクトル補正部の動作を説明するための図である。
【符号の説明】
1…画像処理装置、2…メモリ、3…フレームメモリ、4…読出部、5…ノイズ付加部、6…クラスコード生成部、7…正規方程式加算部、8…係数記憶部、9…推定演算部、20…素子、21…画素、22…最小画素差分記憶部、22a−1…画素差分記憶部、22a−2…差分総和記憶部、22b−1…差分絶対値総和A記憶部、22b−2…差分絶対値総和B記憶部、23…動きベクトル記憶部、24…減算器、25…絶対値生成部、26…比較更新部、27…更新部、28…加算器、29…プレーン情報記憶部、51…RFモジュレータ(RF MODULATOR)、52…アテネータ減衰器、53…RFデモジュレータ(RFDEMODULATOR)、54…減算器、55…加算器、56…フレーム加算器、100…制御部、110…プレーン分離部、111…ヒストグラム演算部、112…ピーク検出部、113…谷検出部、114…消去部、115…谷統合部、116…ラベリング部、120…プレーン情報バッファ、130…動きベクトル補正部、250…加算器。

Claims (20)

  1. 所定のオブジェクトを含む第1の画像データおよび第2の画像データのマッチングを行う画像処理装置であって、
    マッチングデータを含む画像素子と、
    前記第1および第2の画像データの前記オブジェクトに基づいて、プレーン情報を生成するプレーン情報生成手段とを有し、
    前記画像素子は、
    前記第1の画像データの内の参照用の第1の画素を記憶する第1の画素記憶手段と、
    前記第1の画素に応じて、前記第2の画像データの所定の探索範囲の内の第2の画素を記憶する第2の画素記憶手段と、
    前記第1の画素と前記第2の画素の差分値を記憶する差分値記憶手段と、
    更新可能な、隣接する他の画像素子の差分値と前記差分値記憶手段に記憶されている差分値との総和である第1の総和差分値を記憶する総和差分値記憶手段と、
    更新可能な、第1の画素と第2の画素との位相に関する位相情報を記憶する位相情報記憶手段と、
    前記プレーン情報生成手段で生成されたプレーン情報を記憶するプレーン情報記憶手段と、
    前記プレーン情報記憶手段に記憶されているプレーン情報と、前記隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とに基づいて、当該隣接する画像素子の差分値記憶手段に記憶されている差分値を選択する選択手段と、
    前記差分値記憶手段に記憶されている差分値と、前記選択手段により選択された前記隣接する他の画像素子に記憶されている差分値とを加算し第2の総和差分値を出力する加算手段と、
    前記総和差分値記憶手段に記憶されている第1の総和差分値と、前記加算手段から出力された第2の総和差分値とを比較し、前記比較の結果に応じて、前記総和差分値記憶手段に記憶されている第1の総和差分値を更新する総和差分値更新手段とを有する
    画像処理装置。
  2. 前記総和差分値更新手段が、前記総和差分値を更新した場合には、前記位相情報記憶手段に記憶されている位相情報を更新する位相情報更新手段を有する
    請求項1に記載の画像処理装置。
  3. 前記総和差分値更新手段が、前記第1の画素と、前記第2の画像データの所定の探索範囲の内の第2の画素とのマッチング処理の結果、最小の総和差分値が前記総和差分値記憶手段に記憶されているとき、前記位相情報記憶手段に記憶されている位相情報を、動きベクトルとする
    請求項2に記載の画像処理装置。
  4. 前記選択手段は、前記プレーン情報記憶手段に記憶されているプレーン情報と、前記隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とが一致している場合には、当該隣接する画像素子の差分値記憶手段に記憶されている差分値を出力する
    請求項1に記載の画像処理装置。
  5. 前記プレーン情報生成手段は、前記第1および第2の画像データに基づいてヒストグラムを生成し、前記ヒストグラムの内のピークを検出し、前記検出されたピークに基づいて前記オブジェクトごとのプレーン情報を生成する
    請求項1に記載の画像処理装置。
  6. 前記プレーン情報生成手段は、前記第1および第2の画像データに基づいて、所定のレベルごとにヒストグラムを生成するヒストグラム生成手段と、
    ヒストグラムの内のピークのレベルを検出するピーク検出手段と、
    前記ヒストグラムの内の、前記検出されたピークのレベルから所定の範囲内の谷部を検出する谷検出手段と、
    前記ヒストグラムの内の、前記検出されたピークのレベルから所定の範囲内の谷部までのレベルのヒストグラムを消去し、前記消去されたヒストグラムを前記ピーク検出手段に出力する消去手段と、
    前記ピークのレベルに基づいて、所定のラベルを含むプレーン情報を生成するラベル生成手段とを有する
    請求項1に記載の画像処理装置。
  7. 前記プレーン情報生成手段は、前記ピーク検出手段により検出されたピークのレベルに基づいて、所定の範囲内のレベルを統合して、前記ラベル生成手段に出力する統合手段を有する
    請求項6に記載の画像処理装置。
  8. 前記総和差分値更新手段は、前記総和差分値手段に記憶されている第1の総和差分値と、前記加算手段から出力された第2の総和差分値とを比較し、前記第2の総和差分値が小さい場合には、当該第2の総和差分値を、前記総和差分値記憶手段に記憶させて第1の総和差分値を更新する
    請求項1に記載の画像処理装置。
  9. 第1の画像素子のプレーン情報記憶手段に記憶されているプレーン情報と、当該第1の画像素子に隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とが一致している当該隣接する画像素子の動きベクトル記憶手段に記憶されている動きベクトルと、前記第1の画像素子の動きベクトル記憶手段に記憶されている動きベクトルとに基づいて、前記第1の画像素子の動きベクトルを補正する動きベクトル補正手段を有する
    請求項1に記載の画像処理装置。
  10. 前記動きベクトル補正手段は、第1の画像素子のプレーン情報記憶手段に記憶されているプレーン情報と、当該第1の画像素子に隣接する画像素子のプレーン情報記憶手段に記憶されているプレーン情報とが一致している当該隣接する画像素子の動きベクトル記憶手段に記憶されている動きベクトルと、前記第1の画像素子の動きベクトル記憶手段に記憶されている動きベクトルの内で、頻度が多い動きベクトルを前記第1の画像素子の動きベクトルとする
    請求項9に記載の画像処理装置。
  11. 所定のオブジェクトを含む第1の画像データおよび第2の画像データのマッチングを行い、マッチングデータを含む少なくとも1つの画像素子を有する画像処理装置の画像処理方法であって、
    前記第1および第2の画像データの前記オブジェクトに基づいてプレーン情報を生成し、
    前記画像素子は、
    前記第1の画像データの内の参照用の第1の画素を記憶し、
    前記第1の画素に応じて、前記第2の画像データの所定の探索範囲の内の第2の画素を記憶し、
    更新可能な差分値を記憶し、
    更新可能な、隣接する他の画像素子の差分値と前記記憶している差分値との総和である第1の総和差分値を記憶し、
    更新可能な、第1の画素と第2の画素との位相に関する位相情報を記憶し、
    前記生成したプレーン情報を記憶し、
    前記記憶しているプレーン情報と、前記隣接する画像素子に記憶されているプレーン情報とに基づいて、当該隣接する画像素子に記憶されている差分値を選択し、
    前記記憶している第1の差分値と、前記選択された隣接する他の画像素子から出力された差分値とを加算し第2の総和差分値を出力し、
    前記記憶している第1の総和差分値と、前記出力された第2の総和差分値とを比較し、前記比較の結果に応じて、前記記憶されている第1の総和差分値を更新する
    画像処理方法。
  12. 前記総和差分値を更新した場合には、前記記憶している位相情報を更新する
    請求項11に記載の画像処理方法。
  13. 前記第1の画素と、前記第2の画像データの所定の探索範囲の内の第2の画素とのマッチング処理の結果、最小の総和差分値が前記画像素子に記憶されているとき、前記記憶されている位相情報を、動きベクトルとする
    請求項12に記載の画像処理方法。
  14. 前記隣接する画像素子に記憶されている差分値を出力する際に、前記記憶しているプレーン情報と、前記隣接する画像素子に記憶されているプレーン情報とが一致している場合に、当該隣接する画像素子に記憶している差分値を出力する
    請求項11に記載の画像処理方法。
  15. 前記プレーン情報を生成する場合には、前記第1および第2の画像データに基づいてヒストグラムを生成し、前記ヒストグラムの内のピークを検出し、前記検出されたピークに基づいて前記オブジェクトごとのプレーン情報を生成する
    請求項11に記載の画像処理方法。
  16. 前記プレーン情報生成を生成する場合には、前記第1および第2の画像データに基づいて、所定のレベルごとにヒストグラムを生成し、
    ヒストグラムの内のピークのレベルを検出し、
    前記ヒストグラムの内の、前記検出されたピークのレベルから所定の範囲内の谷部を検出し、
    前記ヒストグラムの内の、前記検出されたピークのレベルから所定の範囲内の谷部までのレベルのヒストグラムを消去し、前記消去されたヒストグラムに応じて、ピークのレベルを検出し、
    前記検出されたピークのレベルに基づいて、所定のラベルを含むプレーン情報を生成する
    請求項11に記載の画像処理方法。
  17. 前記プレーン情報を生成する場合には、前記検出されたピークのレベルに基づいて、所定の範囲内のレベルを統合する
    請求項11に記載の画像処理方法。
  18. 前記総和差分値を更新する場合には、前記記憶している第1の総和差分値と、前記出力された第2の総和差分値とを比較し、前記第2の総和差分値が小さい場合には、当該第2の総和差分値を第1の総和差分値として更新する
    請求項11に記載の画像処理方法。
  19. 第1の画像素子に記憶しているプレーン情報と、当該第1の画像素子に隣接する画像素子に記憶されているプレーン情報とが一致している当該隣接する画像素子に記憶されている動きベクトルと、前記第1の画像素子に記憶されている動きベクトルとに基づいて、前記第1の画像素子に記憶されている動きベクトルを補正する
    請求項11に記載の画像処理方法。
  20. 前記動きベクトルを補正する場合には、前記第1の画像素子に記憶されているプレーン情報と、当該第1の画像素子に隣接する画像素子に記憶されているプレーン情報とが一致している当該隣接する画像素子に記憶されている動きベクトルと、前記第1の画像素子に記憶されている動きベクトルの内で、頻度が多い動きベクトルを前記第1の画像素子の動きベクトルとする
    請求項19に記載の画像処理方法。
JP2002274059A 2002-08-15 2002-08-15 画像処理装置および画像処理方法 Expired - Fee Related JP3903890B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002274059A JP3903890B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法
TW092122124A TWI260509B (en) 2002-08-15 2003-08-12 Method and apparatus for processing image data and semiconductor storage device
KR1020030056461A KR101014637B1 (ko) 2002-08-15 2003-08-14 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치
EP03018473A EP1394744A3 (en) 2002-08-15 2003-08-14 Method and apparatus for processing image data and semiconductor storage device
US10/640,614 US7522748B2 (en) 2002-08-15 2003-08-14 Method and apparatus for processing image data and semiconductor storage device
CN031545289A CN100407232C (zh) 2002-08-15 2003-08-15 图象数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002274059A JP3903890B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JP2004078863A true JP2004078863A (ja) 2004-03-11
JP2004078863A5 JP2004078863A5 (ja) 2005-04-07
JP3903890B2 JP3903890B2 (ja) 2007-04-11

Family

ID=32024979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002274059A Expired - Fee Related JP3903890B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP3903890B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078862A (ja) * 2002-08-15 2004-03-11 Sony Corp 画像処理装置および画像処理方法
JP2009294983A (ja) * 2008-06-06 2009-12-17 Sony Corp 追尾点検出装置および方法、プログラム、並びに記録媒体
JP2011081841A (ja) * 2011-01-11 2011-04-21 Tokyo Univ Of Science 動物体検出装置および動物体検出方法
KR101066343B1 (ko) 2009-11-24 2011-09-20 포항공과대학교 산학협력단 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체
WO2013088827A1 (ja) * 2011-12-16 2013-06-20 旭硝子株式会社 動画像解析装置、動画像解析方法、動画像解析プログラム
US8503531B2 (en) 2004-03-29 2013-08-06 Sony Corporation Image processing apparatus and method, recording medium, and program
WO2023089857A1 (ja) * 2021-11-22 2023-05-25 Towa株式会社 検査システム、制御方法、電子部品の製造方法及び切断装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078862A (ja) * 2002-08-15 2004-03-11 Sony Corp 画像処理装置および画像処理方法
US8503531B2 (en) 2004-03-29 2013-08-06 Sony Corporation Image processing apparatus and method, recording medium, and program
JP2009294983A (ja) * 2008-06-06 2009-12-17 Sony Corp 追尾点検出装置および方法、プログラム、並びに記録媒体
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
KR101066343B1 (ko) 2009-11-24 2011-09-20 포항공과대학교 산학협력단 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체
JP2011081841A (ja) * 2011-01-11 2011-04-21 Tokyo Univ Of Science 動物体検出装置および動物体検出方法
WO2013088827A1 (ja) * 2011-12-16 2013-06-20 旭硝子株式会社 動画像解析装置、動画像解析方法、動画像解析プログラム
WO2023089857A1 (ja) * 2021-11-22 2023-05-25 Towa株式会社 検査システム、制御方法、電子部品の製造方法及び切断装置
JP2023076250A (ja) * 2021-11-22 2023-06-01 Towa株式会社 検査システム、制御方法、電子部品の製造方法及び切断装置
JP7291766B2 (ja) 2021-11-22 2023-06-15 Towa株式会社 検査システム、制御方法、電子部品の製造方法及び切断装置

Also Published As

Publication number Publication date
JP3903890B2 (ja) 2007-04-11

Similar Documents

Publication Publication Date Title
KR101092287B1 (ko) 화상 처리 장치 및 화상 처리 방법
US6233008B1 (en) Target tracking method and device therefor
US7050502B2 (en) Method and apparatus for motion vector detection and medium storing method program directed to the same
US20060285596A1 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
JP2005123824A (ja) 映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP2004534336A (ja) 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置
JP2008269471A (ja) 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体
KR102201297B1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
JP4496992B2 (ja) 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体
KR20050090000A (ko) 디지털 이미지들의 깊이 오더링을 위한 방법 및 장치
JP2005535028A (ja) セグメント化のためのシステムおよびセグメント化方法
JP2001520781A (ja) 動き又はデプス推定
KR20040047963A (ko) 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치
KR101014637B1 (ko) 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치
JP2004078863A (ja) 画像処理装置および画像処理方法
JP4398533B2 (ja) 画像追跡装置及び記録媒体
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
US6553069B1 (en) Digital image segmenting method and device
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP2004078862A (ja) 画像処理装置および画像処理方法
JP4546810B2 (ja) 軌跡付加映像生成装置及び軌跡付加映像生成プログラム
JP6468703B2 (ja) 動き検出装置、動き検出方法及びプログラム
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
JP3237815B2 (ja) 動きベクトル探索方法および装置
JP4240674B2 (ja) 動き検出装置および動き検出方法、並びに記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees