JP2009187204A - 画像処理装置 - Google Patents

Abstract

【課題】画像間において対応点を効率良く探索することができる画像処理装置を提供する。
【解決手段】モデル画像Ｇ１及び探索対象画像Ｇ２の特徴点Ｐ_ｎ，Ｑ_ｎを算出する特徴点算出部１３と、特徴点Ｐ_ｎ，Ｑ_ｎにおける特徴量Ｐｔ_ｎ，Ｑｔ_ｎを算出する特徴量算出部１４と、特徴量Ｐｔ_ｎ，Ｑｔ_ｎを比較して類似度を算出する類似度算出部１５と、類似度に基づいてモデル画像Ｇ１の全体領域に対応する類似度分布画像Ｇ３を算出する類似度分布画像算出部１６と、類似度分布画像Ｇ３に基づいてモデル画像Ｇ１との対応点を探索対象画像Ｇ２から探索する探索部１８とを備えることで、探索対象画像Ｇ２の全体領域に対応する類似度分布画像Ｇ３を用いて対応点探索をすることができる。
【選択図】図１

Description

本発明は、画像間の対応点を探索する画像処理装置に関するものである。

従来、画像処理装置として、例えば、テンプレートマッチング法を用いて画像間の対応点を探索するものが知られている（例えば、特許文献１参照）。この装置は、テンプレートを複数の領域に分割し、分割した各領域での画像間の類似度に基づいて対応点を探索する。
特開平８−１６１５０３号公報

しかしながら、従来の画像処理装置にあっては、例えば探索する画像において探索範囲を限定する場合には新たに類似度を計算し直す必要があり、対応点探索の処理負荷が増加するおそれがある。

そこで、本発明はこのような技術課題を解決するためになされたものであって、画像間において対応点を効率良く探索することができる画像処理装置を提供することを目的とする。

すなわち、本発明に係る画像処理装置は、第１画像との対応点を第２画像から探索する画像処理装置であって、前記第１画像及び前記第２画像のそれぞれの特徴点を算出する特徴点算出手段と、前記第１画像及び前記第２画像の前記特徴点における特徴量を算出する特徴量算出手段と、前記第１画像及び前記第２画像のそれぞれの前記特徴量を比較して、前記特徴点の類似度を算出する類似度算出手段と、前記類似度に基づいて前記第２画像の全体領域に対応する類似度分布画像を算出する類似度分布画像算出手段と、前記類似度分布画像に基づいて前記第１画像との対応点を前記第２画像から探索する探索手段と、を備えて構成される。

この発明によれば、第１画像及び第２画像の特徴点をそれぞれ算出し、算出した特徴点における特徴量をそれぞれ演算し、演算した特徴量の類似度を算出し、算出した類似度に基づいて第２画像の全体領域に対応する類似度分布画像を算出し、算出した類似度分布画像に基づいて第１画像との対応点を第２画像から探索する。このように、第２画像領域全体に対応した類似度の分布を用いることで、第２画像内において第１画像との対応点が存在する可能性が高い箇所を迅速に特定することができる。これにより、画像間において対応点を効率良く探索することができる。

ここで、画像処理装置は、前記類似度分布画像に基づいて前記第２画像の探索範囲を限定する探索範囲限定手段を備え、前記探索手段は、前記第１画像との対応点を前記探索範囲から探索することが好適である。このように構成することで、対応点が存在する可能性が高い箇所付近を探索領域として設定することができるので、画像間において対応点を効率良く探索することができる

さらに、画像処理装置は、前記探索範囲限定手段は、前記探索手段により前記第１画像との対応点が前記探索範囲に存在しないと判定した場合には、前記探索範囲を変更することが好適である。このように構成することで、探索範囲を変更した場合であっても再度類似度の計算をする必要が無いため、画像間において対応点を効率良く探索することができる。

本発明によれば、効率良く対応点を探索することができる。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る画像処理装置は、画像間の対応点を探索する装置であって、例えば、車両周辺の物体を画像から検出して走行の安全性を向上させる運転支援システムに好適に採用されるものである。

最初に、本実施形態に係る画像処理装置の構成を説明する。図１は本発明の実施形態に係る画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置１は、第１画像入力部１１、第２画像入力部１２、特徴点算出部（特徴点算出手段）１３、特徴量算出部（特徴量算出手段）１４、類似度演算部（類似度算出手段）１５、類似度分布画像算出部（類似度分布画像算出手段）１６、マスク形成部（探索範囲限定手段）１７及び探索部（探索手段）１８を備えて構成されている。

第１画像入力部１１及び第２画像入力部１２は、画像を入力する機能をそれぞれ有している。第１画像入力部１１及び第２画像入力部１２として、例えば、画像センサが用いられる。また、第１画像入力部１１は、探索の基準となるモデル画像（第１画像）を入力する機能を有している。他方、第２画像入力部１２は、探索対象となる探索対象画像（第２画像）を入力する機能を有している。そして、第１画像入力部１１及び第２画像入力部１２は、入力した画像を特徴点算出部１３へ出力する機能を有している。

特徴点算出部１３は、第１画像入力部１１、第２画像入力部１２が出力したモデル画像及び探索対象画像の特徴点を算出する機能を有している。特徴点算出部１３は、例えば、画像の画素数よりも少ない密度で、ほぼ均等な間隔に特徴点が配置されるように、当該画像の特徴点の位置を算出する機能を有している。あるいは、画像の輝度情報が大きく異なる箇所を特徴点として、当該画像の特徴点の位置を算出する機能を有していてもよい。また、特徴点算出部１３は、算出した特徴点に関する情報を特徴量算出部１４へ出力する機能を有している。

特徴量算出部１４は、特徴点算出部１３が出力した特徴点に関する情報に基づいて、特徴点の特徴量を算出する機能を有している。例えば、特徴量算出部１４は、各特徴点近傍の画像情報に基づいて、各特徴点の特徴量を算出する機能を有している。特徴量としては、例えば、特徴点周辺の画素の濃淡値や、あるいは、特徴点周辺の所定範囲の重心位置、面積、主軸角等が用いられる。また、特徴量算出部１４は、算出した各特徴点の特徴量を類似度算出部１５へ出力する機能を有している。

類似度算出部１５は、特徴量算出部１４が出力したモデル画像の特徴量と、探索対象画像の特徴量とに基づいて各特徴点の類似度を算出する機能を有している。類似度算出部１５は、例えば、モデル画像のある特徴点の特徴量と、探索対象画像のある特徴点の特徴量とを比較して、相互の相関の度合い（類似度）を求める機能を有している。この類似度は、大きいほど２つの特徴点の特徴量が類似していることを示す。類似度算出部１５は、算出した探索対象画像の特徴点に係る特徴量の類似度を、類似度分布画像算出部１６へ出力する機能を有している。

類似度分布画像算出部１６は、類似度算出部１４が出力した探索対象画像の特徴点に係る特徴量の類似度に基づいて、類似度分布画像を算出する機能を有している。類似度分布画像は、探索対象画像全体の座標と同一又は対応する座標を有しており、類似度分布画像の輝度が大きい箇所ほど、探索対象画像の当該位置における類似度が大きいことを示す画像である。類似度分布画像算出部１６は、例えば、探索対象画像の各特徴点に係る特徴量の類似度に基づいて、各特徴点に対応した箇所に、算出した特徴量の類似度に対応した濃淡を付して類似度分布画像を算出する機能を有している。また、類似度分布画像算出部１６は、例えば、特徴点周囲の所定範囲について、当該特徴点の類似度に応じて重み付けした濃淡を付して類似度分布画像を算出する機能を有していてもよい。また、類似度分布画像算出部１６は、算出した類似度分布画像をマスク形成部１７へ出力する機能を有している。

マスク形成部１７は、類似度分布画像算出部１６が算出した類似度分布画像に基づいて探索対象画像の探索範囲を限定する機能（マスク形成機能）を有している。例えば、マスク形成部１７は、類似度分布画像のＸ方向、Ｙ方向においてそれぞれ類似度を総和する処理を行い、得られたＸ方向、Ｙ方向のヒストグラムのピーク値の中心座標や分散等に基づいて、探索範囲（マスク）の中心位置と大きさとを決定する機能を有している。また、マスク形成部１７は、決定したマスクに関する情報を探索部１８へ出力する機能を有している。

探索部１８は、マスク形成部１７が出力したマスクに関する情報に基づいて、探索対象画像の探索範囲を限定して、モデル画像との対応点を探索する機能を有している。探索部１８は、例えば、特徴点の特徴量や特徴点間の位置等を比較して、各特徴点同士について対応度を算出して対応点を探索する機能を有している。対応度は、特徴点同士がどの程度対応しているかを示す度合いであり、大きいほど両者が対応していることを示す。そして、探索部１８は、例えば対応点の数が所定値以上であるか否かを判定し、所定値以上である場合には、モデル画像と対応する画像領域とする機能を有している。

次に、本実施形態に係る画像処理装置１の動作について図２を用いて説明する。図２は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。また、図３〜８は、本実施形態に係る画像処理装置１の動作を説明するための概要図である。

図２に示す制御処理は、例えば画像処理装置１の電源がオンされてから所定のタイミングで繰り返し実行される。図２に示す制御処理が開始されると、画像処理装置１は、情報入力処理を開始する（Ｓ１０）。Ｓ１０の処理は、第１画像入力部１１及び第２画像入力部１２が実行し、画像入力する処理である。例えば、第１画像入力部１１は、図３の（ａ）に示すモデル画像Ｇ１を入力し、第２画像入力部１２は、図３の（ｂ）に示す探索対象画像Ｇ２を入力する。Ｓ１０の処理が終了すると、特徴点算出処理へ移行する（Ｓ１２）。

Ｓ１２の処理は、特徴点算出部１３が実行し、Ｓ１０の処理で入力したモデル画像Ｇ１及び探索対象画像Ｇ２から特徴点を算出する処理である。特徴点算出部１３は、モデル画像Ｇ１において、例えば、モデル画像Ｇ１の画素数よりも少ない密度で、ほぼ均等な間隔に配置されるように、特徴点Ｐ_ｎ（ｎ：整数）の位置を算出する。あるいは、モデル画像Ｇ１の輝度情報が大きく異なる箇所を特徴点Ｐ_ｎとしてその位置を算出する。特徴点算出部１３は、上述したモデル画像Ｇ１の特徴点Ｐ_ｎの算出手法と同様に、探索対象画像Ｇ２において特徴点Ｑ_ｎ（ｎ：整数）の位置を算出する。Ｓ１２の処理が終了すると、特徴量算出処理へ移行する（Ｓ１４）。

Ｓ１４の処理は、特徴量算出部１４が実行し、Ｓ１２の処理で算出した特徴点Ｐ_ｎ，Ｑ_ｎに基づいて、それぞれの特徴量Ｐｔ_ｎ（ｎ：整数），Ｑｔ_ｎ（ｎ：整数）を算出する処理である。特徴量算出部１４は、例えば、特徴点Ｐ_ｎ，Ｑ_ｎ周辺の画素の濃淡値のヒストグラムを算出し、その分布の所定区間のカウント値をベクトルの要素とした特徴量Ｐｔ_ｎ，Ｑｔ_ｎを算出する。Ｓ１４の処理が終了すると、類似度算出処理へ移行する（Ｓ１６）。

Ｓ１６の処理は、類似度算出部１５が実行し、Ｓ１４の処理で算出した特徴量Ｐｔ_ｎ，Ｑｔ_ｎに基づいて、それぞれの類似度を算出する処理である。類似度算出部１５は、例えば、モデル画像Ｇ１の特徴点Ｐ_１に係る特徴量Ｐｔ_１と、探索対象画像Ｇ２のある特徴点Ｑ_ｎに係る特徴量Ｑｔ_ｎとの相関をそれぞれ算出して、特徴量Ｐｔ_１に関する類似度を算出する。類似度算出部１５は、モデル画像Ｇ１の特徴点Ｐ_ｎに係る特徴量Ｐｔ_ｎ全てに関して同様に処理を行い、それぞれの類似度を算出する。算出された類似度は、例えば、図４に示すように、横軸が探索対象画像の特徴量で縦軸がモデル画像の特徴量を示すマップとして表すことができる。Ｓ１４の処理が終了すると、類似度分布画像算出処理へ移行する（Ｓ１８）。

Ｓ１８の処理は、類似度分布画像算出部１６が実行し、Ｓ１６の処理で得られた類似度のマップに基づいて、類似度分布画像を算出する処理である。最初に、類似度分布画像算出部１６は、例えば、Ｓ１６の処理で算出した類似度に関するマップを用いて、モデル画像Ｇ１に対応する可能性が高い探索対象画像Ｇ２の特徴点Ｑ_ｎ（候補点）を選択する。そして、候補点である特徴点Ｑ_ｎの類似度に基づいて、類似度分布画像における当該特徴点Ｑ_ｎの輝度情報を仮設定する。そして、類似度分布画像算出部１６は、候補点である特徴点Ｑ_ｎの周囲（例えば、半径ｒ）の領域に対して、当該特徴点Ｑ_ｎの類似度に応じた重み付けを行う。例えば、図５に示すように、特徴点Ｑ_ｎの座標においては１を設定し、半径ｒの領域において外側に向かうほど重みを小さく設定する。類似度分布画像算出部１６は、例えば、算出した重み付けを仮設定した輝度情報に対して乗じ、新たに算出した輝度情報を候補点である特徴点Ｑ_ｎ及びその周辺領域の輝度情報として設定する。このように、類似度分布画像算出部１６は、モデル画像Ｇ１の特徴点Ｐ_ｎに対応する候補点である特徴点Ｑ_ｎを選択し、類似度に基づいて輝度情報を設定し、図６に示すような探索対象画像Ｇ２の画素位置に対応した類似度分布画像Ｇ３を算出する。Ｓ１８の処理が終了すると、マスク形成処理へ移行する（Ｓ２０）。

Ｓ２０の処理は、マスク形成部１７が実行し、探索対象画像Ｇ２の探索範囲を限定するためのマスクＭを形成する処理である。マスク形成部１７は、Ｓ１８の処理で算出した類似度分布画像Ｇ３のＸ方向及びＹ方向の類似度をそれぞれ総和し、例えば図７に示すヒストグラムＨ１，Ｈ２を算出する。そして、算出したヒストグラムＨ１，Ｈ２を例えばガウス関数等でフィッテングし（図中の点線）、ピークＣ１，Ｃ２の中心位置からマスクＭの中心座標（Ｘ０，Ｙ０）を算出する。そして、Ｘ方向の標準偏差δ_Ｘ、Ｙ方向の標準偏差δ_Ｙを算出し、算出した標準偏差δ_Ｘ，δ_Ｙに基づいてマスクＭの大きさを設定する。例えば、所定値をαとすると、マスクＭの縦サイズをα・δ_Ｙとし、マスクＭの横サイズをα・δ_Ｘとして設定する。αとしては、例えば２が用いられる。Ｓ２０の処理が終了すると、探索処理へ移行する（Ｓ２２）。

Ｓ２２の処理は、探索部１８が実行し、モデル画像Ｇ１の特徴点Ｐ_ｎに対応する探索対象画像Ｇ２の特徴点（対応点）Ｑ_ｎを探索する処理である。探索部１８は、例えば図８に示すように、Ｓ２０の処理で設定したマスクＭ内の領域において、モデル画像Ｇ１の特徴点Ｐ_ｎと、探索対象画像Ｇ２の特徴点Ｑ_ｎとを比較して対応点を探索する。モデル画像Ｇ１の全ての特徴点Ｐ_ｎについて探索が完了すると、判定処理へ移行する（Ｓ２４）。

Ｓ２４の処理は、探索部１８が実行し、Ｓ２２の処理で探索した対応点の数が安定しているか否かを判定する処理である。例えば、探索部１８は、対応点の数が所定値より小さい場合、又は、繰り返し演算の中で対応点として探索された回数が所定値より小さいと判定した場合には、当該マスクＭ内においてはモデル画像Ｇ１に対応する領域が存在しないとして、再度マスク形成処理へ移行する（Ｓ２０）。この場合、Ｓ２０の処理においては、所定値αを所定値だけ減らしたり、中心座標（Ｘ０，Ｙ０）を所定値だけ変更したりする処理が行われ、マスクＭを再形成し、再形成したマスクＭを用いて再度探索処理を行う（Ｓ２２）。一方、探索部１８は、対応点の数が所定値以上であって、繰り返し演算の中で対応点として探索された回数が所定値以上であると判定した場合には、探索対象画像Ｇ２の特徴点Ｑ_ｎが、モデル画像Ｇ１の特徴点Ｐ_ｎと対応していると判定する。そして、探索部１８は、探索対象画像Ｇ２の特徴点Ｑ_ｎが存在する箇所が探索すべき領域であると判定する。Ｓ２４の処理が終了すると、図２に示す制御処理を終了する。

以上で画像処理装置１の動作の説明を終了する。図２に示す制御処理を行うことで、画像処理装置１は、モデル画像Ｇ１が探索対象画像Ｇ２内に存在するか否かの探索を、マスクＭを用いて処理対象領域を限定して行うことができる。

ところで、従来の画像処理装置であれば、モデル画像Ｇ１からテンプレートとなる領域を取得し、取得したテンプレートを変化させて、探索対象画像Ｇ２内をおおまかな租探索をした後、段階的に範囲を狭くする密探索を行って対応点を見つけていた。この場合、各ステップにおいてテンプレートとの類似度を計算しなおす必要がある。また、テンプレートとして局所的な特徴を用いた場合には、探索対象画像Ｇ２内に似ている箇所が複数存在する可能性が大きい。さらに、従来の画像処理装置は、入力画像を取得するカメラ間の幾何学的特性を用いて対応点を見つける手法を採用しており、被服や紙類等、物体そのものが変形した場合には検出することが困難である。

これに対して、画像処理装置１は、特徴量Ｐｔ_ｎ，Ｑｔ_ｎ同士の類似度から類似度分布画像Ｇ３を算出し、その結果を用いて探索対象マスクＭを生成する。このため、テンプレートを用いた場合に比べて探索対象画像Ｇ２内に似ている箇所が複数存在する可能性が小さく、誤った対応点を検出することを回避できる。また、類似度を算出した後にマスクＭで探索領域を限定する構成としているため、探索領域を変更しても新たに類似度を算出する必要がない。そして、服などの変形する物体に対しても類似度分布画像Ｇ３から対応点を適切に導くことができる。よって、対応点探索を効率良く、さらに的確に行うことができる。

上述した通り、本実施形態の画像処理装置１によれば、モデル画像Ｇ１及び探索対象画像Ｇ２の特徴点Ｐ_ｎ，Ｑ_ｎを算出し、算出した特徴点Ｐ_ｎ，Ｑ_ｎにおける特徴量Ｐｔ_ｎ，Ｑｔ_ｎをそれぞれ演算し、演算した特徴量Ｐｔ_ｎ，Ｑｔ_ｎの類似度を算出し、算出した類似度に基づいて探索対象画像Ｇ２の全体領域に対応する類似度分布画像Ｇ３を算出し、算出した類似度分布画像Ｇ３に基づいてモデル画像Ｇ１との対応点を探索対象画像Ｇ２から探索する。このように、探索対象画像Ｇ２全体に対応した類似度の分布を用いることで、探索対象画像Ｇ２内においてモデル画像Ｇ１との対応点が存在する可能性が高い箇所を迅速に特定することができる。これにより、画像間において対応点を効率良く探索することができる。

また、本実施形態の画像処理装置１によれば、類似度分布画像Ｇ３に基づいて探索対象画像Ｇ２の探索範囲を限定するマスクＭを生成することができるので、対応点が存在する可能性が高い箇所付近を探索領域として設定することができるため、画像間において対応点を効率良く探索することができる

さらに、本実施形態の画像処理装置１によれば、モデル画像Ｇ１との対応点がマスクＭ内に存在しないと判定した場合には、類似度の演算を再度することなくマスクＭを変更することができるため、画像間において対応点を効率良く探索することができる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、この実施形態に係る画像処理装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

例えば、上記実施形態では、車両の運転支援システムに好適に用いられる例を示したが、ロボットの自律走行システム等に用いられる場合であってもよい。

本実施形態に係る画像処理装置の構成概要を示すブロック図である。 図１の画像処理装置の動作を示すフローチャートである。 図１の画像処理装置の動作を説明する概要図である。 図１の画像処理装置の動作を説明する概要図である。 図１の画像処理装置の動作を説明する概要図である。 図１の画像処理装置の動作を説明する概要図である。 図１の画像処理装置の動作を説明する概要図である。 図１の画像処理装置の動作を説明する概要図である。

符号の説明

１…画像処理装置、１３…特徴点抽出部（特徴点抽出手段）、１４…特徴量算出部（特徴量算出手段）、１５…類似度算出部（類似度算出手段）、１６…類似度分布画像算出部（類似度分布画像算出手段）、１７…マスク形成部（探索範囲限定手段）、１８…探索部（探索手段）。

Claims (3)

1. 第１画像との対応点を第２画像から探索する画像処理装置であって、
   前記第１画像及び前記第２画像のそれぞれの特徴点を算出する特徴点算出手段と、
   前記第１画像及び前記第２画像の前記特徴点における特徴量を算出する特徴量算出手段と、
   前記第１画像及び前記第２画像のそれぞれの前記特徴量を比較して、前記特徴点の類似度を算出する類似度算出手段と、
   前記類似度に基づいて前記第２画像の全体領域に対応する類似度分布画像を算出する類似度分布画像算出手段と、
   前記類似度分布画像に基づいて前記第１画像との対応点を前記第２画像から探索する探索手段と、
   を備えることを特徴とする画像処理装置。
2. 前記類似度分布画像に基づいて前記第２画像の探索範囲を限定する探索範囲限定手段を備え、
   前記探索手段は、前記第１画像との対応点を前記探索範囲から探索することを特徴とする請求項１に記載の画像処理装置。
3. 前記探索範囲限定手段は、前記探索手段により前記第１画像との対応点が前記探索範囲に存在しないと判定した場合には、前記探索範囲を変更することを特徴とする請求項２に記載の画像処理装置。