JP2004240909A

JP2004240909A - 画像処理装置及び画像処理方法

Info

Publication number: JP2004240909A
Application number: JP2003031964A
Authority: JP
Inventors: Yasutaka Toyoda; 康隆豊田; Koji Ikeda; 光二池田
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2003-02-10
Filing date: 2003-02-10
Publication date: 2004-08-26

Abstract

【課題】画像間の相関値を利用したパターンマッチングの演算処理量と回路規模を増加させることなく、パターンマッチング精度を高める。
【解決手段】２画像間の相関を求める画像処理装置であって、一方の画像２１（テンプレート）を２つ以上の画像領域に分割するための座標情報に基づいて、分割画像領域毎に重み係数を設定する。２画像（テンプレート２１と被照合画像２３）を構成する画素のデータから相関演算に用いる要素項を演算する。要素項は重み係数により重み付けされる。重み付け要素項から前記２画像の相関値が算出される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、特に２画像間の相関を求める画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、デジタルカメラ，ビデオカメラ等の撮像装置、画像処理に用いるマイクロプロセッサ，ＦＰＧＡなどを搭載した演算装置が高性能化している。それに伴い、撮像装置で撮影した画像の中の特徴物を抽出する画像処理が可能となり、このような画像処理機能を有する装置を搭載した応用システムが実用化されている。
【０００３】
例えば、車番認識機能を搭載した渋滞監視システム、顔認識機能を搭載した防犯装置などがそれにあたる。
【０００４】
このような特徴物の画像抽出は、抽出対象となる特徴物の画像を、画像照合用のテンプレートとして登録しておき、そのテンプレートと一致する画像を、撮影した画像（入力画像）の中から探索することにより行われる。このような方法はパターンマッチング法と呼ばれている。
【０００５】
具体的には、テンプレートと同サイズの画像領域を入力画像から被照合画像として取り出し、テンプレートと被照合画像の各画素の輝度値を比較して、両者の一致度を求める。通常は、被照合画像は、入力画像より小さいために、入力画像の始点から終点まで１画素単位で被照合画像（走査領域）をずらしていき、各被照合画像ごとにテンプレートと比較（照合）して両者の一致度を求め、最も一致度の高い被照合画像を選び出す。
【０００６】
テンプレートを利用して画像の一致度を求める手法としては、単純に画像間の輝度比較を行う輝度差分法、各画素の座標を極座標系に変換し、極座標上での形状により線図形を認識するハフ変換法、画像を標準偏差を用いて正規化した後に画像間の相関を求める正規化相関法などが提案されている。
【０００７】
この中でも正規化相関法は、画像抽出が必要とされる環境で発生しやすい「環境光変動による画像間の輝度変動」に影響されない手法として広く利用されている。
【０００８】
正規化相関法は、相関係数を利用して画像間の一致度を算出するものである。相関係数Ｒ（ｘ，ｙ）は、被照合画像の輝度平均値をｆ（ｘｙ）ａｖｅ、テンプレートの輝度平均値をｔａｖｅとすると、次式のように定義される。
【０００９】
【数１】

【００１０】
ここで、ｆ（ｙ＋ｍ、ｘ＋ｎ）は被照合画像の輝度値、ｔ（ｍ、ｎ）はテンプレートの輝度値、ｘ，ｙは被照合画像の座標値、ｍ，ｎはテンプレートの座標値である。
【００１１】
相関係数は、テンプレートの画像サイズＭ×Ｎ画素の範囲で、被照合画像とテンプレートの間で求められる。
【００１２】
この相関係数は、画像の平均値成分を合わせ、平均値からの分散を正規化している。相関係数Ｒ（ｘ，ｙ）は、比較される２画像間の相関が高ければ１．０に近づき、低ければ−１．０に近づく。
【００１３】
相関係数は、画像の平均値成分の違いや平均値からのデータ分散値の差の違いによる影響を受けないので、テンプレートと入力画像を撮影した照明条件が異なる場合においても有効に機能する特徴を有している。
【００１４】
しかし、従来の正規化相関法は、比較する画像間の各画素の一致度を均一、すなわち重み付けすることなく累積して相関値を求める手法であるため、入力画像（サーチ対象画像）内にテンプレートに類似する画像（以下、「類似画像」と称する）が含まれている場合には、入力画像の画質の変動により誤検出することもある。
【００１５】
このような誤検出は、画像間の相関を求める場合に、比較すべき画素について全て均一に一致度を計算していることから生じている。
【００１６】
特に、テンプレートと類似画像を比較する場合に、比較すべき画素が、画像内の差分（差異）のある画像領域（以下、「差分領域」とする）に含まれている場合でも、差分のない画像領域に含まれている場合であっても、均一に一致度を計算すると次のような問題が生じる。
【００１７】
例えば、サーチ対象となる入力画像中に、テンプレートと本来一致すべき被照合画像（すなわち、画質劣化などのノイズ要素がなければテンプレートと同一であるべき画像で、ここでは「同一画像」とする）と、それに類似する被照合画像（ここでは「類似画像」とする）がある場合について述べる。同一画像と類似画像の差が小さく、すなわち画像面積に対して画像同士の差分のある領域（差分領域）の占める割合が小さい場合は、両者の相関値が非常に似た値になる。その結果、入力画像が、撮像装置の特性や撮影環境の変化が原因で画質劣化した場合には、その画質劣化が影響して、類似画像の方が同一画像よりも、テンプレートとの一致度が高くなって、誤検出が発生することもあった。
【００１８】
このような正規化相関法の問題を解決する手法として、テンプレートマスク手法と特開２０００−３４２５５８号公報に開示された手法がある。
【００１９】
テンプレートマスク手法では、テンプレートに対して同一の画像及び類似画像に共通して含まれている領域に、マスクを施し、その領域の相関値計算を行わない。それによって、背景のような領域が相関値に与える影響を無くしている。
【００２０】
これに対して、特開２０００−３４２５５８号公報に開示されている画像処理方法は、同一被写体を時間的にずらして撮像した２画像を位置合わせする場合に、両者の相対的な位置ずれを、両画像の類似度（一致度；相関値）から検出して位置ずれを修正する技術である。
【００２１】
この技術は、２画像の一方の画像を複数の領域に分割し、分割された画像領域（部分領域）毎に、もう一方の画像内の対応する領域との類似度（部分領域類似度）を求める。その後に、各部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付けを行うことにより、２画像間の全体の類似度（相関値）を求めている。この手法は、テンプレートとそれと比較すべき画像との間の差分のある画像領域の重み付けを大きく、それ以外の画像領域の重み付けを小さく設定して、両画像の相関値を求めることにより、特徴領域の大小に関わらず、精度の高いテンプレートマッチングが実現できる。
【特許文献１】特開２０００−３４２５５８号公報
【発明が解決しようとする課題】
上記した従来技術において、特開２０００−３４２５５８号公報に開示されている画像処理方法は、精度の高い相関値を算出できるが、画像の分割数によって、演算処理量、回路規模が増加する。
【００２２】
本発明の目的は、上記したような比較すべき画像を複数画像に分割して画像領域に重み付けを行う画像処理方式において、正規化相関の演算処理量と回路規模を増加させることなく、パターンマッチング精度を高めることにある。
【００２３】
【課題を解決するための手段】
本発明は、基本的には、相関値を求める２画像の一方の画像（テンプレート）を、複数画像に分割して画像領域に重み付けを行う画像処理方式を採用する。
【００２４】
その特徴とするところは、従来の重み付け画像処理〔分割された部分領域ごとの要素項演算（相関値演算に用いる要素データ）→各部分領域ごとの類似度（相関値）演算→各部分領域類似度の重み付け演算及びそれらの和の演算〕と手順の異なる演算処理方式を提案する。すなわち、本発明は、相関値演算に先立って、相関値演算に用いる要素データ（要素項或いは要素）演算の過程で、要素項或いは要素に部分領域（テンプレートの分割領域）の重み係数を用いて重み付けし（重み付け要素データ演算）、その重み付け要素データを用いて相関値演算をするものである。その利点は、実施例の項で説明する。
【００２５】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の基本的原理を示す説明図である。
【００２６】
図１（ａ）は、画像処理装置に入力した撮像画像（入力画像；サーチ対象画像となる画像）２０の一例である。その画像の中には、本来の画像（ここでは、数字図形により示している）と、ノイズ（点状の模様で示す）とが混在しているものとする。ここでは、符号の２３（仮想線で囲む領域）が探索すべき画像（図１（ｂ）に示すテンプレート２１と一致する画像）である。仮想線で囲む領域２３すなわちテンプレート２１と同サイズの領域を、入力画像２０中の１回あたりの走査領域とする。走査領域は、入力画像２０中を始点から終点まで１画素単位で順次移動させていく。
【００２７】
図１（ｂ）は、本発明の画像処理装置１００の概念図とテンプレート２１を示すものである。テンプレート２１は、２以上に分割され（ここでは、一例として３つに分割されたものを表示する）、各分割領域に応じた重み係数を、分割した座標情報に基づいて設定している。
【００２８】
図１の例では、▲１▼２画像（一方の画像はテンプレート２１、もう一方の画像は走査領域２３の被照合画像）の平均輝度値と、２画像を構成する画素の輝度値とから要素データ（例えば正規化相関演算に用いる要素項或いは要素）を算出すると共に、要素データに各分割領域の重み係数を用いて重み付けを行う。
【００２９】
ここでは、正規化相関演算に用いる要素項演算は、３つの要素項演算１，２，３を使用するものを例示している。例えば、要素項演算１は、後述する数式５の要素項Ｓ１を演算し、要素項演算２は、数式６の要素項Ｓ２を演算し、要素項３は数式７の要素項Ｓ３を演算する。なお、要素項Ｓ１は、後述する数式２の正規化相関演算式の分子をなし、要素項Ｓ２，Ｓ３は、同じく数式２の分母をなしている。要素項の数或いは要素の数、及びそれに対応する演算部の数は、相関演算式の種類によって様々であるので、その数は、限定されるものではない。
▲２▼そして、算出された重み付け要素データ（要素項或いは要素）を用いて相関演算を行うことにより、２画像間の相関値（一致度；類似度）が算出される。
【００３０】
図１の例では、入力画像２０内の領域２３（テンプレート２１と同サイズ領域で入力画像２０中を１画素単位で移動していく）を走査する過程で、座標情報に基づいて、対応するテンプレート２１の分割領域の重み係数が選択される。すなわち、領域２３を走査する過程で、重み係数は、対応する分割領域に応じて切り替わる。
【００３１】
図１（ａ）において、テンプレート２１と最も類似する画像は、同一画像２３を除けば、仮想枠線２３´の領域で囲まれた画像であり、この類似画像２３´とテンプレート２１とで最も差別化を強調したい分割領域は、２１´の領域（図１（ｂ）参照）であるので、領域２１´の重み係数をその他の分割領域よりも大きくしてある。
【００３２】
図２に、本発明の比較例を示す。この例は、図１と同様の２画像間の相関を求める場合に、特開２０００−３４２５５８号公報の考えを導入させたものである。この場合には、入力画像中の走査は、テンプレートを分割して（分割されたテンプレートをＡ，Ｂ，Ｃとする）、被照合画像も、それぞれのテンプレートＡ，Ｂ，Ｃに対応して分けて、次のような相関演算処理を行う。▲１▼被照合画像と各テンプレートＡ，Ｂ，Ｃとの相関演算に用いる要素項演算１，２，３（図１の要素項演算１，２，３に対応するもの）と、▲２▼それに基づく相関演算を、テンプレートＡ，Ｂ，Ｃごとに個別に行う（この時点では、重み付けは行われていない）。▲３▼その後に各相関値を重み付けし、各重み付け相関値の和を演算して全体の相関値Ｒを求める。
【００３３】
上記説明および図１，２の説明からも明らかなように、本発明によれば、要素データ（要素項或いは要素）演算と相関値演算を、比較例に比べて処理量を少なくして実行することができ、正規化相関の演算処理量と回路規模の減少を図り、しかも、パターンマッチング精度を高精度に維持することができる。
【００３４】
【実施例】
以下、本発明の画像処理装置に係る実施例について、図３以降の図面により説明する。
（実施例１）
図３は、本発明の第１実施例のブロック図であり、基本的には、図１の実施例と変わるものではない。
【００３５】
本実施例における画像処理装置１００は、重み係数設定部１０と、要素項演算部１１と、相関値演算部１２とで構成される。
【００３６】
画像処理装置は、撮像した画像をサーチ対象の画像２０として入力する。また、サーチ対象画像２０と照合するための画像を、テンプレート２１として入力する。
【００３７】
テンプレート２１は、２つ以上の画像領域に分割され（詳細は後述する）、この分割した座標情報に基づいて、重み係数設定部１０に分割領域毎の重み係数が設定される。
【００３８】
要素項演算部（要素データ演算部）１１は、照合すべき２画像、すなわちテンプレート２１とサーチ対象画像２０内からピックアップした走査画像（詳細は後述する）２３との画素データ（例えば、輝度値）から２画像間の相関値演算に用いる要素項を算出し、かつ、この要素項に重み係数を用いて重み付けを行うことにより、重み付け要素項を算出する。
【００３９】
相関値演算部１２は、重み付けされた要素項に基づき前記２画像間の相関値を演算する。
【００４０】
サーチ対象画像２０の一例を図４（ａ）に示し、テンプレート２１の一例を図４（ｂ）に示す。サーチ対象画像２０は、テンプレート２１と同一の画像とその他の画像（類似画像など）を含むものであり、テンプレート２１より面積が広い。
【００４１】
このサーチ対象画像２０の中を走査することにより、テンプレート２１と照合すべき画像（被照合画像；走査画像）２３を取り出す。この走査は、１回あたりの走査領域２３をテンプレート２１と同サイズにして、その走査領域２３をサーチ対象画像２０の始点Ｓｔから終点Ｅｄまで１画素単位で移動させていく。
【００４２】
画像処理装置１００は、上記走査で得られた各走査領域２３の画像を、テンプレート２１とパターンマッチング処理して、最も一致度の高い走査領域の位置を検出する画像位置検出部（画像探索機能）１７を有する。
【００４３】
重み係数設定部１０は、サーチ対象画像２０の走査の過程で、対応する分割領域（テンプレート）の重み係数を座標情報１３によって選択する機能を有し、重み係数選択部とも称される。すなわち、重み係数は、サーチ対象画像２０の走査過程で走査点の位置に応じて、座標情報１３に基づき自動的に変更される。
【００４４】
演算処理装置１００は、上記構成をなすことにより、数式２に示す演算処理を行うものである。
【００４５】
【数２】

【００４６】
数式２は、基本的には数式１と同様の正規化相関法により定義されるものであるが、相関係数Ｒ（ｘ，ｙ）を求めるに際に、各要素項が重み係数Ｃ（ｍ，ｎ）により重み付けされている点が異なる。
【００４７】
ここで、重み係数Ｃ（ｍ，ｎ）を設定する理由を、図４〜図７を参照して説明する。
【００４８】
図４（ｃ）は、図４（ａ）のサーチ対象画像２０について、テンプレート２１を用いて、従来例の数式１の正規化相関係数演算により求めたパターンマッチング結果２２を示している。
【００４９】
図４（ａ）のサーチ対象画像２０の中には、テンプレート２１に一致する１つの画像と、これに類似する３つの画像が含まれている。
【００５０】
これらの画像を取り出したものを図５に示す。図５（ａ）がテンプレート２１と一致する画像（以下、「一致画像」と称する）３０、図５（ｂ）〜（ｃ）がテンプレートに類似した画像３１，３２，３３である。
【００５１】
図４（ｃ）は数式１の正規化相関演算式を用いて、図４（ａ）のサーチ対象画像２０中の各画像領域３０〜３３（図５参照）のテンプレート２１に対する一致度を示したものである。図４（ｃ）によると、テンプレート２１と一致する領域が大きいほど相関値が高くなっているのが分かる。
【００５２】
数式１の正規化相関演算式では、各画素の一致度が均一に計算されている。テンプレート２１とサーチ対象画像２０内の走査画像２３との画質が全く一致しているのであれば、この均一さが悪く働くことはない。
【００５３】
しかしながら、撮影環境や、撮像装置の特性の問題により、サーチ対象画像２０もしくはテンプレート２１に画質劣化が生じた場合、この均一さが原因で類似画像３１，３２，３３と一致画像３０の相関係数の大小関係が逆転してしまうことがある。
【００５４】
例えば図６（ａ）のようにサーチ対象画像２０にまだらな影４０が映りこんだ場合には、図６（ｂ）に示すように、テンプレート２１に最も類似した画像３３とテンプレート２１の差分（差異）４１よりも、一致画像３０に影が移りこんだ画像４２とテンプレート２１との差分４３の方が大きくなり、図６（ｃ）のように相関値の大小関係が逆転してしまう。パターンマッチングに利用するサーチ対象画像は画質が変化しやすい環境で取得される場合が多く、図６（ａ）に示すような例は珍しくない。
【００５５】
このような逆転現象をなくすために、テンプレート２１（一致画像３０）の中で類似画像と差分のある領域（以下、「差分画像」とする。）については、その他の領域よりも、その差分を強調するために、その他の領域から分けて（すなわち、テンプレート２１の領域を分割して）、重み係数Ｃ（ｍ，ｎ）を領域単位、もしくは画素単位で座標情報を伴って設定する。図７は、テンプレート２１を、類似画像３３に対して差分の大きい領域５１と差分のない（或いは差分の小さい）領域５０とに分割したものである。
【００５６】
座標情報１３は、図７に示すような差分領域５１とそれ以外の画像領域５０を分割するためのものである。また、差分領域の形状が楕円や、三角形などの形状の場合は、数式による座標情報でもよいし、差分画像とその他の画像を判別するための選択情報を画像化したものでもよい。また、２つ以上の差分領域があっても同様であり、各領域に対して重み係数を設定することができる。座標情報の入力方法および、領域分割数についてはこれを限定しない。
【００５７】
図１０にテンプレートの設定、テンプレートの分割、及び分割領域での重み係数設定方法を示す。
【００５８】
図１０において、情報処理装置７０は、本発明の画像処理装置１００を搭載している。情報処理装置７０には、画像入力装置７６、ディスプレイ７７、情報入力装置７８が接続されている。
【００５９】
一例として、画像入力装置７６はビデオカメラ等の撮像装置、情報入力装置７８はマウスである。
【００６０】
情報処理装置７０は、ビデオカメラ７６で撮影した画像２０をサーチ対象画像として入力し、ディスプレイ７７に出力する。画像２０はテンプレート設定画面８０に映し出される。
【００６１】
オペレータは、テンプレート設定画面８０を参照しながら画像２０の中から、マウス７８（テンプレート設定機能）を利用してテンプレート２１を指定する。ここでは、画像３０をテンプレート２１として指定する。情報処理装置７０は、指定されたテンプレート２１をＲＡＭ７３（図９）に格納（登録）し、また、分割領域設定画面（差分領域設定画面）８１にテンプレート２１を表示する。サーチ対象画像（入力画像）２０とテンプレート２１は、ディスプレイ７７の一画面に表示される。換言すれば、テンプレート設定画面８０と分割領域設定画面８１は一画面に表示される。
【００６２】
オペレータは、分割領域設定画面８１中のテンプレート２１の中にマウス７８を走査しながら、テンプレート２１の中に分割領域５０，５１を設定する。この分割領域５０，５１は、重み係数を設定するために形成されるものである。ここでは、領域５１は、類似画像３３との間で差分を生じさせる領域であるので、差分領域と称することもある。上記のようにマウス７８，情報処理装置７０，分割領域設定画面８１は、テンプレートの領域を分割する機能としての役割もなす。
【００６３】
分割領域５０，５１が設定されると、情報処理装置７０は分割領域の座標情報をＲＡＭ（記憶機能）７３に格納する。
【００６４】
このようにして、テンプレート２１の設定と、テンプレート２１の中に分割領域の設定が座標を伴って可能となる。テンプレート２１と分割領域の表示および格納の処理は、プログラムにより実行でき、そのプログラムは、図９に示すように、情報処理装置７０のＲＡＭ７３、もしくはＲＯＭ７４に格納される。この処理プログラムは、ＣＰＵ７１のソフトウェア処理にて実行することができる。
【００６５】
次に分割領域への重み係数Ｃ（ｍ，ｎ）の設定方法について説明する。
【００６６】
重み係数設定のひとつの例として、差分領域５１の重み係数を任意に設定すると、そのほかの領域５０の重み係数も、差分領域５１との面積の割合に基づいて設定される方法を提案する。その演算式を数式３に示す。
【００６７】
【数３】

【００６８】
ここで、Ｔｗｉｄｔｈ＊Ｔｈｅｉｇｔは、テンプレート２１のサイズ、Ｆｗｉｄｔｈ＊Ｆｈｅｉｇｔは、差分領域５１のサイズで、座標情報１３から求めることができる。Ｃａは差分領域５１の重み係数、Ｃｄは差分領域以外の重み係数である。
【００６９】
差分領域５１の重み係数Ｃａを任意に設定することにより、テンプレート２１と差分領域５１の面積比率から、差分領域以外の画像の重み係数Ｃｄを求めることができる。これにより、差分領域の面積が小さくても差分領域の一致度を強調することができる。
【００７０】
重み係数設定部（重み係数選択部）１０は、サーチ対象画像２０の走査領域（被照合画面）２３を走査する時に、対応するテンプレート２１の座標（ｍ，ｎ）が差分領域５１にあるか否か座標情報１３に基づき判断して、重み係数Ｃｄ，Ｃａを切り替えて要素項演算部１１に出力する（重み係数選択機能）。
【００７１】
【数４】
Ｉｆ（（ｍ、ｎ）が差分画像座標内）Ｃ（ｍ，ｎ）＝Ｃａ
ＥｌｓｅＣ（ｍ，ｎ）＝Ｃｄ
重み係数の設定については任意であり、差分領域５１を強調できるようなものであればこれを限定しない。なお、Ｃａ＝Ｃｂの場合は、重み付けを行わない相関値演算を行うことができる。また、画像の分割数についても限定しない。強調したい画像順に大きい重みをつけることにより、目的を達成できる。
【００７２】
次に要素項演算部１１について説明する。
【００７３】
要素項演算部１１は、テンプレート２１を構成する画素の輝度値と、被照合画像２３を構成する画素の輝度値とから、相関値計算を行うための要素データ（要素項）を求め、これに重み係数設定部１０により選択された重み係数を要素データに掛けて、重み付け要素データを算出する。
【００７４】
ここで、サーチ対象画像２０およびテンプレート２１は、既述の画像入力装置７６から得てもよいし、そのほか、予め撮影した画像を情報処理装置７０のＲＡＭ７３に登録しておいてもよい。
【００７５】
図８に要素項演算部（要素項演算機能）１１の詳細を示したブロック図を示す。
【００７６】
図８においては、まず、画像平均値演算部６１、６２で、テンプレート２１と被照合画像２３の輝度平均値ｆ（ｘｙ）ａｖｅ，ｔａｖｅを求める。次に要素項演算部６３，６４，６５が、重み係数選択部１０からの重み係数Ｃ（ｍ，ｎ）と、上記２画像２１，２３の輝度平均値ｆ（ｘｙ）ａｖｅ，ｔａｖｅおよび輝度データとから、数式５，６，７に示す演算を、それぞれ要素項演算部６３，６４，６５にて行うことにより、重み付け要素項（Ｓ１，Ｓ２，Ｓ３）を生成する。
【００７７】
【数５】

【００７８】
【数６】

【００７９】
【数７】

【００８０】
ここで、Ｓ１，Ｓ２，Ｓ３は、重み付けされた要素データ（重み付け要素項）で、数式２に示す各要素項を示している。それぞれの式からＣ（ｍ，ｎ）で重み付けしているデータが各画素の要素データである。重み付け要素データＢ（Ｓ１，Ｓ２，Ｓ３）は、相関値演算部１２に出力される。
【００８１】
相関値演算部（相関値演算機能）１２は要素項演算部１１からの重み付け要素データＢ（Ｓ１、Ｓ２，Ｓ３）から数式８に示す演算を行い、２画像間の相関値データ１６を求める。
【００８２】
【数８】

【００８３】
数８式は、数２式と同様のものである。
【００８４】
要素項演算部６３，６４，６５は、要素項演算処理が加算，乗算，引算よりなるので、ハードウェアの回路で構成することが可能であるが、相関値演算部１２は、相関値演算処理にルート計算及び割り算が入るので、処理能力をアップさせるためには、ソフトウェア（計算プログラム）で構成するのが好ましい。また、要素項演算及び相関値のいずれもソフトウェアで構成することも可能である。
【００８５】
本実施例の画像処理装置１００は、図９（ａ）に示すように、例えば、ビデオカメラ等の画像入力装置７６、キーボード、マウス等の情報入力装置７８およびＣＲＴ等の信号出力装置（ここでは、ディスプレイ）７７が接続された情報処理制御装置７０に、ハードウェアとして搭載することができる。
【００８６】
情報処理制御装置７０は、ＣＰＵ、ＡＳＩＣ、メモリ、画像と情報信号の入力および信号出力インターフェースで構成されている。ＣＰＵ７１は、画像データの入力制御や、画像処理装置１００の制御を行う。信号入力ＩＦ（インターフェース）７２は、画像入力装置７６からの画像データおよび情報入力装置７８からの画像処理に利用するデータを、情報制御装置７０に入力する。ＲＡＭ７３は、入力した画像データおよび画像処理に関するデータの蓄積や画像処理結果の保存を行う。ＲＯＭ７４は、画像処理で扱うパラメータや画像処理プログラムを格納する。画像処理装置１００は、既述したように対比すべき２画像間の相関処理を行う。信号出力ＩＦ７５は、画像処理結果をディスプレイ７７に出力する。
【００８７】
画像処理装置１００は、既述したブロックで構成されたＡＳＩＣであるが、ＦＰＧＡなどのハードウェアであってもよい。
【００８８】
信号入力ＩＦ７２は、ＵＳＢ、ＩＥＥＥ１３９４、セントロニクスやメモリカード、ＰＣＩ、Ｅｔｈｅｒｎｅｔ（登録商標）などインターフェースであり、画像入力装置７６からの画像データ、および情報入力装置７８からのデータを情報制御装置７０に入力する。
【００８９】
ＲＡＭ７３はＳＤＲＡＭ，ＳＲＡＭ、ＤＲＡＭやメモリカード、ハードディスクなどであり、画像データの蓄積や、画像処理に利用するパラメータの格納を行うものである。ＲＯＭ７４は、ＦｌａｓｈＲＯＭなど、画像処理装置１００で扱うパラメータやＣＰＵ７１で使用する制御プログラムなどを格納するものである。信号出力ＩＦ７５はＵＳＢ、ＩＥＥＥ１３９４、セントロニクスやメモリカード、ＰＣＩ、Ｅｔｈｅｒｎｅｔ（登録商標）などのインターフェースであり、画像処理結果を信号出力装置７７に出力するものである。
【００９０】
また、本発明の画像形成装置１００は、図９（ｂ）に示すように、例えば、情報処理制御装置７００にソフトウェアとして搭載することができる。
【００９１】
情報制御装置７００は、ＣＰＵ、メモリ、画像と情報信号の入力および信号出力インターフェースで構成されている。具体的には、ＣＰＵ７０１は、画像信号の入力の制御や画像処理装置１００の機能をソフトウェア処理で実行する。信号入力ＩＦ７０２は、画像入力装置７６からの画像データおよび、情報入力装置７８からの画像処理データを入力する。ＲＡＭ７０３は、入力した画像データおよび情報入力装置７８からのデータの蓄積や画像処理結果の保存を行う。ＲＯＭ７０４は、画像処理で扱うパラメータや画像処理装置１００の機能をソフトウェア処理で実現するための画像処理プログラムを格納する。信号出力ＩＦ７０５は、画像処理結果をディスプレイ７７に出力するで構成されている。
【００９２】
図９（ｂ）の信号入力ＩＦ、信号出力ＩＦについては、図９（ａ）に示したものと同様のため、その説明を省略し、ＣＰＵ７０１，ＲＡＭ７０３、ＲＯＭ７０４について具体的に説明する。
【００９３】
ＣＰＵ７０１は、プログラムに従い、画像処理及び画像入力制御に関するソフトウェア処理を行う。ＲＡＭ７０３は、ＳＤＲＡＭ，ＳＲＡＭ、ＤＲＡＭやメモリカード、ハードディスクなどの画像データの蓄積や、演算パラメータの保存を行うものである。
【００９４】
ＲＯＭ７４は、ＦｌａｓｈＲＯＭなどの、画像処理装置１００で扱う演算パラメータやＣＰＵ７１で使用する制御プログラムおよび、本発明の画像処理装置１００の機能をソフトウェア処理で実現するための画像処理プログラムなどを格納する。
【００９５】
以上説明したように、本発明の画像処理装置１００はハードウェア、ソフトウェアで実現することができる。前述の実施例１及び後述の実施例２，３にハードウェア、実施例４にソフトウェアでの実現例を示す。
【００９６】
本実施例によれば、撮影環境や撮影装置の特性の変化に伴いサーチ対象画像２０の画質変動に対しても、良好な相関結果を得ることができ、入力画像の中から所定の画像を、類似画像に惑わされることなく精度良く検出することができ、画像探索、画像の位置検出等の精度を高めることができる。しかも、正規化相関の演算処理量と回路規模を増加させることなく、パターンマッチング制度を高めることができる。
〔実施例２〕
次に、本発明の第２実施例を図１１により説明する。
【００９７】
本実施例は、サーチ対象画像が撮影装置から逐次入力される場合のパターンマッチング処理に適した画像処理装置を提案するものである。
【００９８】
図１１の画像処理装置９００は、実施例１の画像処理装置１００の要素項演算部１１および相関値演算部１２の構成を、要素演算部９０及び相関値演算部９１に変更したものである。重み係数設定部１０については、実施例１と同様であるので、その説明を省略する。また、その他の構成も実施例１と共通する。
【００９９】
本実施例は、相関値演算部９１が数式９に示す相関値演算処理を行うことにより、２画像間の相関値を求めるものである。
【０１００】
【数９】

【０１０１】
Ｍ＊Ｎ；相関値を求めるテンプレート１５のサイズ（Ｍ；横幅の画素数
Ｎ；縦幅の画素数）
ｍ，ｎ；テンプレートの座標系
ｘ＋Ｍ；横幅のオフセット
ｙ＋Ｎ；縦幅のオフセット
上記式において、重み係数Ｃ（ｍ，ｎ）は、既述した数式３，４より求める。
【０１０２】
要素演算部９０は、要素項を構成する要素を演算する要素演算部９２，９３，９４よりなる。
【０１０３】
要素演算部９２にて要素Ｓｃｆｆ，Ｓｃｆ，Ｓｆ、要素演算部９４にてＳｃｔｔ，Ｓｃｔ，Ｓｔ、要素演算部９３にてＳｃｆｔを画素毎に計算し、相関値演算部９１に出力する。
【０１０４】
被照合画像（サーチ対象画像）２３およびテンプレート２１は、図１０に示す画像入力装置７６から得てもよいし、予め撮影した画像を情報処理装置７０のＲＡＭ７３に登録しておいてもよい。ただし、テンプレート２１については、相関値を求める毎に変化しないので、テンプレートの要素項Ｓｃｔｔ，Ｓｃｔ，Ｓｔは、予め情報処理装置７０のＲＡＭ７３，ＲＯＭ７４に搭載することも可能である。
【０１０５】
相関値演算部９１は、要素項演算部９０からのＳｃｆｆ，Ｓｃｆ，Ｓｆ，Ｓｃｔｔ，Ｓｃｔ，Ｓｔ，Ｓｃｆｔから数式９を利用して画像の相関値１６を求める。
【０１０６】
本実施例も、図１同様の効果を奏することができる。さらに、画像処理装置９００では、画像の輝度平均値を利用する演算処理を、相関値部９１に含む構成にしたので、相関値演算前に画像の輝度平均値を求める演算が不要となる。したがって、被照合画像（サーチ対象画像）２３およびテンプレート２１が逐次入力され、相関値１６を逐次出力するような場合にも対応することができる。
〔実施例３〕
図１２は、本発明の第３実施例に係る画像処理装置１０００のブロック図である。本実施例は、重み係数設定部（重み係数選択部）１０に入力する重み係数に関する座標情報１３を、画像から自動的に求める機能を提案する。
【０１０７】
ここでは、テンプレート２１を抽出した画像、もしくはテンプレートが含まれる画像をサンプル画像１００１とする。類似候補検出部１００２は、サンプル画像１００１とテンプレート２１との相関値を求め、サンプル画像中の相関値の高い画像（テンプレートに類似する画像で「類似画像」とする）を１つ以上検出する。画像比較部１００３は、テンプレート２１と前記類似画像間の輝度差分を求め、差分の生じた領域を差分画像として抽出し、差分画像の座標情報１２を重み係数設定部１０に転送する。重み係数設定部１０は、前記座標情報１２から各画素および画像領域毎に重み係数を生成する。画像処理装置１００の要素項演算部１１、相関値演算部１２の構成は、既述した実施例１，２同様である。
【０１０８】
以下、類似候補検出部１００２と、画像比較部１００３について詳細を説明する。
【０１０９】
類似候補検出部１００２は、サンプル画像１００１とテンプレート２１との相関演算を行う。ここでの相関演算は、従来例に示した正規化相関係数演算、もしくは数式２、数式９を利用した相関演算である。
【０１１０】
テンプレート２１と一致しないが、相関値が高い画像は、テンプレート２１の類似画像といえる。このような類似画像を、例えば相関値の高い順からｎ番目といったような決定方法で相関結果から一つ以上求め、その類似画像の座標値ｃを画像比較部１００２に出力する。
【０１１１】
図１３にサンプル画像から差分画像を検出する例を示す。
【０１１２】
図１３（ａ）がサンプル画像１００１、図１３（ｂ）がテンプレート２１である。図１３（ｃ）がサンプル画像１００１とテンプレート２１の相関結果１１０２を示している。ここでは、図面の視認性を考慮して、便宜上、テンプレートと一致した画像１１０４と、その次に相関結果が高かった画像１１０３の２点のみを示している。このような相関結果から、画像１１０３はテンプレートの類似画像であることがわかる。
【０１１３】
画像比較部１００３では、類似候補検出部１００２からの類似画像１１０３の座標情報ｃから、類似画像１１０３とテンプレート２１の２画像間の輝度差分を求め、差分領域の座標情報１２を生成するものである。図１４に輝度差分による差分領域の設定例を示す。差分画像１１０５の領域、もしくは差分画像１１０５を含む領域を、重み付け設定用の座標平面（テンプレート２１の座標平面に相当する）１１０６に差分領域（差分画像）１１０７として設定する。この設定により、座標平面１１０６は、差分領域１１０７とその周囲の差分のない領域１１０８とに分割され、この差分領域１１０７に重み係数を与えておけば、オペレータの関与を必要とせず、重み付けを行った相関値１６を求めることができる。
【０１１４】
以上説明した実施例１〜３は、本発明の画像処理装置の少なくとも一部を、ＡＳＩＣ、ＦＰＧＡなどのハードウェア処理での実現する例である。
【０１１５】
このような画像処理装置１００、９００、１０００の機能は、図９（ｂ）で示した情報処理装置７００上のソフトウェア処理によっても実現することもできる。すなわち、情報処理装置７００のＣＰＵ７０１などのプロセッサによって、実施例１〜３までの本発明の画像処理装置１００，９００，１０００と同様なソフトウェア処理を実行することができる。以下、本発明の画像形成装置の機能をソフトウェア処理により実現する方法について説明する。
〔実施例４〕
実施例１〜３で説明した画像処理装置１００，９００，１０００の機能をソフトウェアで実現するためのフローチャートを、図１５、図１６、図１７に示す。
【０１１６】
このソフトウェアは、情報処理装置７００のＲＡＭ７０３，またはＲＯＭ７０４に格納されており、ＣＰＵ７０１によって演算される。それぞれのフローチャートについて以下説明する。
【０１１７】
図１５に示すフローチャートは、実施例１で示した画像処理装置１００の演算を実行するものである。まずテンプレート２１と、サーチ対象画像２０から切り出した被照合画像２３とを入力し（ステップＳ１）、それぞれの画像を構成する輝度の総和を演算する（ステップＳ２）。次に輝度の総和を、画像を構成する画素数で割り、それぞれの画像の輝度平均値を求める（ステップＳ３）。
【０１１８】
次にテンプレートと被照合画像を入力し（ステップＳ４）、この２画像の画素位置および差分画像（分割領域）の座標情報より重み計算を行って、画素位置に適合する重み係数を求める（ステップＳ５）。次にテンプレートと被照合画像の輝度値と、それぞれの画像の輝度平均値と、重み係数から重み付け要素項演算を行う（ステップＳ６）。
【０１１９】
次に被照合画像内の要素項演算の総和を求め（ステップＳ６）、相関値演算を行う（ステップＳ８）。このような相関値演算は、次のようにして行われる。サーチ対象画像内で、テンプレートと同サイズの走査を始点から終点まで走査領域を１画素単位でずらしていって行い、各走査領域の被照合画像とテンプレートとの相関値を求める。すなわち、サーチ対象画像内で走査により得られたすべての被照合画像について相関値演算を行う。
【０１２０】
図１６に示すフローチャートは、実施例２で示した画像処理装置９００の演算を実行するものである。
【０１２１】
テンプレート２１と、サーチ対象画像２０内の走査画像（被照合画像）２３を入力後（ステップＳ１）、テンプレートと被照合画像の画素位置および差分画像（分割領域）の座標情報より重み計算を行って、画素位置に適合する重み係数を求める（ステップＳ２）。次にテンプレートと被照合画像の画素データと重み係数から要素項演算（要素データ演算）を行う（ステップＳ３）。被照合画像内の要素項演算の総和を求め（ステップＳ４）、相関値演算を行う（ステップＳ５）。サーチ対象画像内のすべての被照合画像について相関値演算を行う。
【０１２２】
図１７に示すフローチャートは実施例３で示した画像処理装置１０００の演算を実行するものである。
【０１２３】
テンプレート２１と、サンプル画像１００１を入力後（ステップＳ１）、この２画像間の相関値係数演算を行う（ステップＳ２）。サンプル画像内のすべての被照合画像（テンプレートと同サイズの走査画像）について相関値演算を行い、相関値の高い画像を類似画像として検出する（ステップＳ３）。サンプル画像１００１にはテンプレートと一致する画像が含まれているので、２番目に相関値の高い画像を類似画像とする。ただし、類似画像を設定する順位は限定したものではない。次にテンプレート２１と類似画像の輝度差分を画素毎に計算して輝度差分画像を生成し、前記輝度差分画像から前記輝度差分画像（分割領域）を含む座標情報１２を求める（ステップＳ４）。次に、テンプレート２１と、被照合画像２３と、差分画像（分割領域）の座標情報１２とから、図１５、図１６のフローチャートに示した演算処理を行う。
【０１２４】
以上示したように実施例１〜３で示した本発明の画像処理装置１００，９００，１０００はソフトウェアでも実現できる。また、実施例１で示したテンプレート２１と差分画像（分割画像）の設定方法と同様に、前記画像の表示および格納を行うプログラムを情報処理装置７００のＲＡＭ７０３、もしくはＲＯＭ７０４に格納しておき、ＣＰＵ７０１のソフトウェア処理にて実行することができる。また、実施例１〜３に示した画像処理装置１００，９００，１０００の相関値演算部１２，９１は平方根、除算を利用するため、ハードウェアで実現する場合は規模が大きくなる。本発明の画像処理装置はハードウェア、ソフトウェアでも実現可能であるから、相関値演算はソフトウェア、そのほかの演算をハードウェアとすることにより、ハードウェアの回路規模の増加を防ぐことができる。
【０１２５】
【発明の効果】
本発明によれば、２画像の相関値を、演算処理量と回路規模を増加させることなく、精度良く求めることができる。
【図面の簡単な説明】
【図１】本発明の基本原理を示す説明図。
【図２】本発明の比較例を示す説明図。
【図３】本発明の実施例１に係る画像処理装置を示すブロック図。
【図４】画像間の相関値を利用したパターンマッチングの一例を示す説明図。
【図５】サーチ対象画像に含まれるテンプレートの類似画像を示した図。
【図６】サーチ対象画像の画質が変動した例を示した説明図。
【図７】テンプレートの分割例を示した説明図。
【図８】実施例１の要素項演算部の詳細を示したブロック図。
【図９】本発明の画像処理装置を搭載する情報処理装置を示したブロック図。
【図１０】テンプレート設定、および差分領域の設定例を示した図。
【図１１】実施例２に係わる画像処理装置のブロック図。
【図１２】実施例３画像処理装置を示したブロック図。
【図１３】テンプレートの類似画像を検出する例を示した図。
【図１４】テンプレートと類似画像から差分領域を求める例を示した図。
【図１５】実施例１の画像処理装置の機能を示したフローチャート。
【図１６】実施例２の画像処理装置の機能を示したフローチャート。
【図１７】実施例３の画像処理装置の機能を示したフローチャート。
【符号の説明】
１００…画像処理装置、１０…重み係数設定部、１１…要素項演算部、１２…相関値演算部、１３…座標情報、２０…サーチ対象画像、２１…テンプレート、２３…被照合画像、３０…一致画像、３１〜３３…類似画像、６１…画像平均演算部１、６２…画像平均演算部、６３〜６４…要素項演算部、７０…情報処理装置、７１…ＣＰＵ、７６…画像入力装置、７７…ディスプレイ、７８…情報入力装置、７００…情報処理装置、７０１…ＣＰＵ、８０…テンプレート設定画面、８１…サーチ対象画像、８２…差分領域設定画面、９００…画像処理装置、９０…要素項演算部、９１…相関値演算部、９２〜９４…要素演算部、１０００…画像処理装置、１００１…サンプル画像、１００２…類似候補検出部、１００３…画像比較部、１１００…サンプル画像、１１０１…テンプレート、１１０２…相関値。

Claims

２画像間の相関を求める画像処理装置において、
一方の画像を２つ以上の画像領域に分割し、この分割した画像領域の座標情報に基づいて分割画像領域毎に重み係数を設定する重み係数設定部と、前記２画像を構成する画素のデータから２画像間の相関値演算に用いる要素データを算出し、この要素データに前記重み係数を用いて重み付けを行うことにより、重み付け要素データを算出する要素データ演算部と、前記重み付け要素データに基づき前記２画像間の相関値を演算する相関値演算部と、を備えることを特徴とする画像処理装置。
画像を入力する機能と、入力した画像に含まれる一部の画像を照合用の画像（以下、「テンプレート」と称する）として登録するテンプレート設定機能と、前記入力画像の中を走査し、この走査は、１回あたりの走査領域を前記テンプレートと同サイズにして、その走査領域を前記入力画像の始点から終点まで１画素単位で移動させていき、各走査領域の画像を前記テンプレートとパターンマッチング処理して最も一致度の高い走査領域の位置を検出する画像探索機能と、を備える画像処理装置であって、
前記テンプレートを重み係数を伴って２つ以上の画像領域に分割する画像分割機能と、前記重み係数の座標情報を記憶し、前記入力画像の中の走査時に、走査に対応する前記テンプレートの分割領域の重み係数を、走査領域の座標情報に基づき選択する重み係数選択機能と、前記テンプレートと前記各走査領域の画像（以下、「走査画像」と称する）との画素データ及び選択された重み係数から前記テンプレートと前記走査画像間の相関値演算に用いる要素項或いは要素を重み付けして算出する要素項或いは要素演算機能と、この重み付けした要素項或いは要素に基づき前記テンプレートと前記各走査領域の画像間の相関値を演算する相関値演算機能と、を備えることを特徴とする画像処理装置。
前記要素データ，前記要素項或いは要素は、相関値を求める画像の平均輝度値と、前記画像を構成する画素の輝度値とから算出した値である請求項１又は２記載の画像処理装置。
前記重み係数は、前記一方の画像或いは前記テンプレートの各分割領域における強調度を示す係数よりなる請求項１又は２記載の画像処理装置。
前記入力画像の中には、前記テンプレートと一致する画像とその他の画像とが含まれており、前記テンプレートの各分割領域に重み係数を設定する場合には、前記その他の画像に対して差異を強調したい分割領域の重み係数を、他の分割領域よりも大きくするように設定してなる請求項２記載の画像処理装置。
前記要素データ演算部、前記要素項或いは要素演算機能は、ハード的な回路で構成し、前記相関値演算部或いは相関値演算機能は、計算プログラムにより構成した請求項１又は２記載の画像処理装置。
相関値を求める２画像を一画面に表示し、オペレータの操作により画面中の一方の画像に重み係数を設定するための分割領域を形成できるように構成した請求項１記載の画像処理装置。
前記入力画像を表示するディスプレイを有し、このディスプレイの画面に表示される入力画像を画像操作して、入力画像と一緒に前記テンプレートを同一画面に表示できる構成とし、さらに、画面表示されたテンプレートの中を重み係数設定のために画像操作により分割領域形成を設定可能にした請求項２記載の画像処理装置。
２画像間の相関値を求める画像処理方法であって、相関を求める２画像を入力するステップと、前記２画像を構成する輝度の総和をそれぞれ演算するステップと、輝度の総和から輝度平均値を求めるステップと、相関を求める一方の画像の画素位置に重み係数を設定するステップと、前記２画像の輝度平均値と前記重み係数から相関値演算に用いる要素項或いは要素演算を行うステップと、前記要素項或いは要素演算結果の総和を求めるステップと、相関値の演算を行うステップとを有する画像処理方法。
入力した画像（以下、「入力画像」とする）の中から特定した一部の画像を探索することにより、その特定画像の位置を検出する画像処理方法において、
前記入力画像を画像処理用ディスプレイの画面に表示するステップと、画面表示された前記入力画像を通して探索対象の画像を特定し、その特定画像を照合用の画像（以下、「テンプレート」と称する）として登録するステップと、前記テンプレートを複数の領域に分割し、分割した各領域の重み係数を座標情報に基づいて設定するステップと、前記入力画像の中を走査し、この走査は、１回あたり走査領域を前記テンプレートと同サイズにして、その走査領域を前記入力画像の始点から終点まで１画素単位で移動させていき、この走査の時に、各走査領域に対応する前記分割した領域の重み係数を座標情報によって選択するステップと、前記テンプレートと前記各走査領域の画像間の画素データ及び選択された重み係数から前記２画像間の相関値演算に用いる要素項或いは要素を重み付けして算出するステップと、この重み付けした要素項或いは要素に基づき前記２画像間の相関値を演算するステップと、相関値の最も高い走査領域の位置を座標情報から検出するステップと、を含むことを特徴とする画像処理方法。
前記テンプレートの分割された領域に重み係数を設定するステップは、前記テンプレートと前記入力画像とをパターンマッチング処理して、前記入力画像の中からテンプレートに類似する画像（以下「類似画像」と称する）を検出し、テンプレートと類似画像との輝度差分の顕著な領域（以下、「差分領域」とする）を求め、この差分領域の座標情報に基づいて前記テンプレートを分割し重み係数を設定するようにした請求項１０記載の画像処理方法。