JP2010033110A - 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器および画像処理装置の制御方法 - Google Patents

Abstract

【課題】 パターンマッチングによる対象物の認識において、対象物の周囲の明るさや、対象物に対する光の入射角度等の違いによって対象物の撮像画像の特徴の変化が生じ、１つのモデルパターンのみでは照合が難しい環境が生じた場合においても対象物の検出を可能とする画像処理装置を提供する。
【解決手段】 画像データ上の画素ごとに該画素の特徴を示す量を算出する勾配方向特定部２と、照合領域に含まれる特徴量と予め定めるモデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出部６と、算出された合致度に基づいて、画像上の対象物の位置を特定する対象物座標算出部７とを備え、前記合致度算出部は、前記モデルパターンが複数である場合、基準とする基準モデルパターンを定め、前記基準モデルパターンと異なるモデルパターンのマッチング情報を、前記基準モデルパターンのマッチング情報にマッピングした上で合致度を算出する。
【選択図】図１

Description

本発明は、撮像された撮像画像中の対象物（たとえば、指）を認識する機能を備える画像処理装置、該画像処理装置の制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに前記画像処理装置を備える電子機器、および前記画像処理装置の制御方法に関するものである。

従来の技術として、カメラ等を用いて撮像された撮像画像中に所定の対象物があるかどうかを、画像処理技術を用いて認識し、その認識結果に応じた処理を行う装置が知られている。たとえば、電子部品を撮像して得られた撮像画像中の、部品上の目印となるマーク（アライメントマークと呼ばれる）を認識し、位置合わせ処理を行う電子部品実装装置が知られている。また、撮像画像中の人間の手や指などの部位を認識し、その位置を特定した上で、特定された位置に応じてデータ入力や操作を行う画像処理装置が知られている。

上記のように、撮像された撮像画像中に所定の対象物があるかどうかを認識するためには、パターンマッチングを用いた画像認識方法が使用されることが多い。パターンマッチングにおいては、対象物を何らかの方法でモデル化したモデルパターンを準備し、撮像画像をこのモデルパターンで走査することで、モデルパターンに合致あるいは類似するパターンを探索する。

パターンマッチングを用いた画像認識方法においては、モデルパターンをどのように用意するかによって認識精度が大きく変動するという問題がある。こうした問題を解決し、パターンマッチングの認識精度を向上させるための技術が提案されてきている。

たとえば、特許文献１に開示される従来の技術では、複数のモデルパターン候補を準備しておき、各候補について認識対象物との類似度の分散と平均値を求め、最も認識しやすいモデルパターンを選択することで、認識精度の高いモデルパターンを準備できるようになっている。

また、特許文献２に開示される技術では、注目画素の周囲での所定の画素数を含む部分画像と、予め定められた線対称性を有するテンプレート（パターン画像）との照合を行って相関値を算出するとともに、前記部分画像を中心線に対して反転させた反転画像を作成し、前記反転画像と前記部分画像との自己相関値を算出して、前記相関値と前記自己相関値とを用いてパターンマッチング処理の類似度を算出することで、ノイズ検出を防ぎ、パターンマッチングの精度を向上させている。

特開２００２−３２７５３号公報 特開２００６−１９００７８号公報

しかしながら上記特許文献２に開示される技術は、撮像画像中の対象物の画素パターンが線対称であることを前提としたものであるという問題がある。

さらに、上記特許文献１に開示された技術および上記特許文献２に開示された技術のいずれにおいても、たとえば、対象物の周囲の明るさや、対象物に対する光の入射角度等の違いによって対象物の撮像画像の特徴に変化が生じ、その結果、ひとつのモデルパターンのみでは照合が難しくなる場合においては、有効に動作することができない。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、対象物の認識において、ひとつのモデルパターンのみでは照合が難しい環境が生じた場合においても対象物の検出を可能とすることで検出精度を向上させることができる画像処理装置、該画像処理装置の制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに前記画像処理装置を備える電子機器、および前記画像処理装置の制御方法を提供することにある。

本発明は、撮像された撮像画像の画像データ上の画素ごとに、該画素の特徴を示す量を算出する特徴量算出手段と、
前記画像データ上の所定の画素数を含む照合領域と、予め定めるモデルパターンとにおける前記特徴を示す量のマッチングを表すマッチング情報に基づいて、マッチングの度合いを示す合致度を算出する合致度算出手段と、
前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上における対象物の位置を特定する位置特定手段とを備える画像処理装置であって、
前記合致度算出手段は、
複数の前記モデルパターンが存在する場合、複数の前記モデルパターンのうちから基準とする基準モデルパターンを定め、前記基準モデルパターンとは異なるモデルパターンとのマッチング情報を、前記基準モデルパターンとのマッチング情報にマッピングした上で合致度を算出することを特徴とする画像処理装置である。

また本発明は、前記記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理装置の制御プログラムである。

また本発明は、前記記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。

また本発明は、前記記載の画像処理装置を備えることを特徴とする電子機器である。
また本発明は、撮像して得られる撮像画像における画像データ上の画素ごとに、該画素の特徴を示す量を算出する特徴量算出ステップと、
前記画像データ上の所定の画素数を含む領域である照合領域と、予め定めるモデルパターンとのマッチングを表すマッチング情報に基づいて、マッチングの度合いを示す合致度を算出する合致度算出ステップと、
前記合致度算出ステップが算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物の位置を特定する位置特定ステップとを備え、
前記撮像画像上の対象物の位置を特定する機能を備えた画像処理装置の制御方法であって、
前記合致度算出ステップは、
複数の前記モデルパターンが存在する場合、複数の前記モデルパターンのうちから基準とする基準モデルパターンを定め、前記基準モデルパターンとは異なるモデルパターンとのマッチング情報を、前記基準モデルパターンとのマッチング情報にマッピングした上で合致度を算出することを特徴とする、画像処理装置の制御方法である。

本発明の画像処理装置および画像処理方法によれば、対象物の認識において、ひとつのモデルパターンのみでは照合が難しい環境が生じた場合においても、複数のモデルパターンを用いてパターンマッチングを行い、得られた複数の照合結果を、対象物の特徴を最も良く表す基準モデルパターンにマッピングした上で、マッチングの度合いを表す合致度を算出するようにすることで、対象物の検出を可能とすることができる。それゆえ、ひとつのモデルパターンのみでは対象物の認識が難しい環境が生じた場合においても対象物の検出を可能とすることで検出精度を向上させることができる。

また本発明の制御プログラムおよび記録媒体によれば、コンピュータを前記画像処理装置として機能させ、前記画像処理方法を実行させることができる。

また本発明の電子機器は、前記画像処理装置を備えることによって、たとえば指などを検出する必要のある装置において、検出精度が向上されるので、利用者にとって利便性を向上させることができる。

図１は、本発明の第１の実施形態である画像処理装置１を備える電子機器２０の構成を示すブロック図である。図２は、画像処理装置１において処理される撮像画像について説明する図である。本実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の表示装置を採用する場合も本発明の適用範囲に含まれる。以下では、便宜上、画像処理装置１について説明するが、本発明の一実施形態である画像処理装置１の機能を備える電子機器２０は、たとえばＡＴＭ（
Automatic Teller Machine）などの画像処理装置１による処理を必要とするさまざまな電子機器に対して適用可能である。

画像処理装置１は、複数の画素によって画像を表示可能な液晶ディスプレイおよび該液晶ディスプレイに光を照射するバックライトとを備える撮像部２１を有し、表示機能を有する。前記液晶ディスプレイには、前記複数の画素のうち所定数の画素に対応する位置に撮像センサである光センサが内蔵され、該光センサによって液晶ディスプレイの表示画面に近接してきた外部の物体などの撮影対象を撮像し、画像データ（撮像センサによって撮像された画像データ）として取り込むことが可能となっている。なお、液晶ディスプレイは、複数の画素のうち所定数の画素に対応する位置のそれぞれに光センサが内蔵されているものであってもよいが、光センサによる撮像画像の解像度の観点から、光センサは、すべての画素に対応する位置に内蔵されていることが好ましい。たとえば人の指を検出する場合には、好ましくは４０ｄｐｉ（dot par Inch）以上の解像度が必要である。光センサは、フォトダイオードによって実現されている。なお、光センサとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイなどの各画素に対応する位置に内蔵できるものであればよい。撮像画像は、カラー画像であってもよく、白黒画像であってもよい。

ここで、図２（ａ）〜（ｆ）を参照して、画像処理装置１の液晶ディスプレイの各画素に対応する位置に内蔵された光センサによって撮像される撮像対象の例として、「指の腹」の例を挙げ、それぞれの撮像画像の特徴の概要について説明する。

図２（ａ）は、周囲が暗い場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指の腹の撮像画像の特徴を示す概要図である。この場合、図２（ａ）に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図２（ｂ）に示すように撮像画像６１は、バックライトが撮像対象（指の腹）に反射して得られる画像となるため、白い円形状がぼやけたような画像となる。各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。勾配方向とは、濃度差が発生する方向であって、ここでは、暗い部分から明るい部分に向かう向きを正としている。

次に、図２（ｃ）は、液晶ディスプレイの表示画面に対抗して照明が存在し、周囲が明るくなっている場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｄ）は、液晶ディスプレイの表示画面に対向して照明が存在し、周囲が明るくなっている場合における指の腹の撮像画像の特徴を示す概要図である。この場合、図２（ｃ）に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図２（ｄ）に示すように撮像画像６２は、液晶ディスプレイの表示画面の正面方向からの光が液晶ディスプレイの表示画面に入射することによって得られる画像となるため、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。ただし、白い円形状の部分は、指の周囲部分よりも画素値が小さくなる。すなわち、灰色の混じった色となる。これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。

次に、図２（ｅ）は、液晶ディスプレイの斜め上方などの、液晶ディスプレイの表示画面に対向する位置から外れた位置に照明が存在し、表示画面に対して斜め方向から光が入射している場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｆ）は、液晶ディスプレイの斜め上方に照明が存在し、斜め方向から光が入射している場合における指の腹の撮像画像の特徴を示す概要図である。この場合、図２（ｅ）に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図２（ｆ）に示すように撮像画像６３は、斜め上方からの入射光が液晶ディスプレイの表示画面に入射することによって得られる画像となるため、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。ただし、白い円形状の部分は、真上方向から光が入射する環境と同様、指の周囲部分よりも画素値が小さくなる。すなわち、灰色の混じった色となる。上述した正面方向から光が入射する環境で指の腹を接触させた場合と異なり、斜め上方から光が入射しているために、指の腹の周囲を囲む影のうち、光源に近い側の影が光によってキャンセルされる。したがって、各画素における勾配方向は、指の腹の先端（指先側）においては、エッジ部分に囲まれた領域の中心から外側に向かう傾向を示し、指の腹の末尾（指の付け根側）においては、エッジ部分に囲まれた領域の中心付近に向かう傾向を示すことになる。すなわち、同じ指の腹の接触領域においても、勾配方向の傾向が異なる。

再び図１を参照して、画像処理装置１の構成の詳細について説明する。画像処理装置１は、撮像して得られる撮像画像の画像データを用いて、撮像対象による撮像画像上の指示位置を特定する機能を備えている。特徴量検出手段である勾配方向特定部２と、合致度算出手段を構成する一致画素数算出部３と、モデルパターン格納部４と、パターン間勾配方向対応情報格納部５と、一致画素数算出部３とともに合致度算出手段を構成する合致度算出部６と、位置特定手段である対象物座標算出部７とを備えている。

勾配方向特定部２は、画像データ上の画素ごとに、注目画素の画素値（濃度値）と複数の隣接画素の画素値とから注目画素の画素値の勾配方向を算出するものである。具体的には、Ｓｏｂｅｌ（ソーベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いればよい。勾配方向は、画素の特徴を示す量である。

たとえば、Ｓｏｂｅｌオペレータを用いて、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙおよび横方向勾配Ｓｘは、次式（１）のように求められる。
Ｓ_ｙ＝ｘ_{ｉ−１ｊ−１}−ｘ_{ｉ＋１ｊ−１}＋２ｘ_ｉ−１ｊ−２ｘ_ｉ＋１ｊ＋ｘ_{ｉ−１ｊ
＋１}−ｘ_{ｉ＋１ｊ＋１}
Ｓ_ｘ＝ｘ_{ｉ−１ｊ＋１}−ｘ_{ｉ−１ｊ−１}＋２ｘ_ｉｊ＋１−２ｘ_ｉｊ−１＋ｘ_{ｉ＋１ｊ
＋１}−ｘ_{ｉ＋１ｊ−１}
…（１）

ここで、ｘ_ｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向（横方向）に沿った画素の位置を、ｊは垂直方向（縦方向）に沿った画素の位置をそれぞれ表す。ここに、ｉおよびｊは正の整数である。

ここで、式（１）は、次式（２）および（３）の３×３のＳｏｂｅｌオペレータ（行列演算子ＳｘおよびＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。

こうして求めた縦方向勾配Ｓｙおよび横方向勾配Ｓｘに基づき、画素位置ｘ（ｉ，ｊ）における勾配方向ＡＮＧ（Ｓ）は、次のように計算できる。
ＡＮＧ（Ｓ）＝ｔａｎ^−１（Ｓｙ／Ｓｘ） ・・・（４）

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄ範囲で変化する連続量であるため、パターンマッチングにおいては、たとえば勾配方向を、４５度ずつ角度が異なる８方向に量子化して扱う。以下で、８方向への量子化方法について説明する。

図３は、ＡＮＧ（Ｓ）と勾配方向とを対応付けしたテーブルを示す図表である。各画素について、上記（２）式で求めた横方向勾配Ｓｘについて、Ｓｘ≧０ならば、図３（ａ）に示すテーブルにしたがい、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。一方、Ｓｘ＜０ならば、図３（ｂ）に示すテーブルにしたがって、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

しかしながら、勾配方向の数は「８」に限定されるものではなく、パターンマッチングの精度要求条件、およびハードウェアの性能等を鑑みて、増減させることもできる。なお、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であるとみなして取り扱うことを言う。

また画像データ上の所定の画素数を含む照合領域の端部については、勾配方向を求めないようにし、すなわち端部の画素の勾配方向は無方向である、つまりどの方向でも無いものとするようにしてもよく、端部の処理のため、撮像画像の上下左右に１画素分の幅を持つ領域を確保し、その領域（拡張領域という）に、隣接する端部の画素をコピーした上で、端部の勾配方向を求めてもよい。端部に対してＳｏｂｅｌオペレータによる演算を行う際には、前記拡張領域をも参照するようにすれば、端部についても勾配方向を求めることができる。

一致画素数算出部３は、画像データ上の所定の画素数を含む照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」という）を算出する。

モデルパターン格納部４は、複数の予め定めるモデルパターンを格納している。パターン間勾配方向対応情報格納部５は、基準モデルパターンと、基準モデルパターンではない、すなわち基準モデルパターンとは異なるモデルパターンとの間での勾配方向の対応付けを示す情報を格納している。

本実施形態においては、パターン間勾配方向対応情報格納部５には、基準モデルパターンと異なるモデルパターンの勾配方向ごとの一致画素数を、基準モデルパターンの勾配方向ごとの一致画素数にそのままマッピングする、という情報が格納されている。

モデルパターン格納部４、および、パターン間勾配方向対応情報格納部５は、たとえば磁気テープ／カセットテープなどのテープ系の記録媒体、フレキシブルディスク／ハードディスクなどの磁気ディスクもしくはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）／ＭＯ（Magneto Optical disk）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile
Disk）などの光ディスクのディスク系の記録媒体、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系の記録媒体、またはマスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read Only Memory）／ＥＥＰＲＯＭ（Electrically
Erasable Programmable Read Only Memory）／フラッシュＲＯＭなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。

合致度算出部６は、一致画素数算出部３が算出した一致画素数を含むマッチング情報に基づいて、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。なお、合致度算出部６は、照合領域内において合致する勾配方向の種類数が、予め定められた規定種類数以上の場合にのみ、合致度を算出するようにし、照合領域内において合致する勾配方向の種類数が、予め定められた規定種類数未満の場合には、合致度の算出を行わないようにしてもよい。照合領域内において合致する勾配方向の種類数が、予め定められた規定種類数未満の場合には、一致度の信頼性が低下するので、このような場合には一致度をあえて算出せず、合致度算出部６は、たとえば合致度を算出しないことを表すエラー情報を出力する。

また、合致度算出部６は、一致画素数の合計値が、予め定められた閾値以上の場合にのみ、合致度を算出し、一致画素数の合計値が、予め定められた閾値未満の場合には、合致度の算出を行わないようにしてもよい。一致画素数の合計値が、予め定められた閾値が、予め定められた閾値未満の場合には、一致度の信頼性が低下するので、このような場合には一致度をあえて算出せず、合致度算出部６は、たとえば合致度を算出しないことを表すエラー情報を出力する。

対象物座標算出部７は、合致度算出部６が算出した画素ごとの合致度の分布から、撮像画像上における撮像対象（対象物）の位置を特定して、位置情報を出力する。また対象物座標算出部７は、合致度算出部６からエラー情報が与えられたときには、前記位置情報に代えて、位置を検出することができないことを表す検出エラー情報を出力する。電子機器２０では、前記位置情報またはエラー情報を用いて、対象物を認識して、所定の処理を行う。

図４は、画像処理装置１の全体的な動作の概要を示すフローチャートである。撮像部２１によって画像データを取得すると、ステップＳ（以下、Ｓという）１０１に移り、動作処理を開始する。Ｓ１０１では、勾配方向特定処理を行い、すなわち勾配方向特定部２が、画像データ上の画素ごとの勾配方向を特定し、Ｓ１０２に進む。

Ｓ１０２では、パターンマッチング処理を行い、すなわち一致画素数算出部３が、照合領域と、モデルパターンとの各画素における勾配方向の照合を行って、一致画素数を算出した後に、合致度算出部６が、一致画素数算出部３が算出した一致画素数をもとに、合致度を算出するまでの処理（パターンマッチング処理）を経た上で、Ｓ１０３に進む。

Ｓ１０３では、対象物位置特定処理を行い、すなわち対象物座標算出部７が、注目画素をずらしながら画素毎に照合を繰り返して合致度算出部６が算出した合致度の、画素ごとの分布から、撮像対象による撮像画像上の位置を特定して、動作処理を終了する。

なお、撮像対象の位置の特定においては、合致度の分布の重心位置を対象物の位置として特定する方法が考えられるが、この方法に限定されるものではない。たとえば、合致度が最大である位置を対象物の位置として特定してもよい。また、合致度が算出された範囲を、そのまま、対象物の位置する範囲（位置および大きさ）として特定してもよい。また、合致度分布の重心または合致度が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物が占める範囲（位置および大きさ）として特定してもよい。

以上が、画像処理装置１の全体の動作の概要である。以下では、図１および図５〜図７を参照して、前述した図４に示すフローチャートのＳ１０２のパターンマッチング処理における画像処理装置１の各動作について説明する。

まず、図５を参照して、照合領域と照合されるモデルパターンの具体例について説明する。図５（ａ）は、指の腹のモデルパターンの一例を示す概要図である。また、図５（ｂ）は、周囲が明るい場合における、指の腹の周囲を囲む影のモデルパターンの一例を示す概要図であり、図５（ａ）のモデルパターンと比較すると、各画素の勾配方向が逆向き（１８０度異なる向き）になっている。図５（ａ）は、バックライトの光の反射光が指の腹に当たった状態を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図５（ｂ）は、指の影が撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

以降の説明では、図５（ａ）に示すモデルパターンを「第１モデルパターン」といい、図５（ｂ）に示すモデルパターンを「第２モデルパターン」という。また、第１モデルパターンを基準モデルパターンとする。

図６は、図１に示す画像処理装置１の動作のうち、パターンマッチング処理における動作を示すフローチャートである。パターンマッチング処理を開始すると、Ｓ２０１に移る。Ｓ２０１では、一致画素数算出部３が、第１モデルパターンに対応する一致画素数を「０」に初期化して、Ｓ２０２に進む。

Ｓ２０２では、一致画素数算出部３が、第１モデルパターンによる照合処理を行って一致画素数を算出し、Ｓ２０３に進む。

Ｓ２０３では、一致画素数算出部３が、Ｓ２０２での照合処理によって算出された一致画素数が、予め定めてある閾値以上であるかを判定する。閾値以上であれば（Ｙｅｓ）、Ｓ２０４に進み、閾値未満であれば（Ｎｏ）、Ｓ２０５に進む。

Ｓ２０４では、合致度算出部６が、一致画素数算出部３が算出した一致画素数をもとに、パターンマッチングの合致度を算出し、パターンマッチング処理を終了する。

なお、Ｓ２０４での合致度算出処理については、ここでは、一致画素数をそのまま合致度として算出する構成とするが、モデルパターンごとに異なる重みを持たせ、一致画素数に重みを乗じた数値を合致度として算出してもよい。また、モデルパターンに含まれる画素数に対する一致画素数の割合を合致度として算出してもよい。

Ｓ２０５では、一致画素数算出部３が、第２モデルパターンに対応する一致画素数を「０」に初期化して、Ｓ２０６に進む。

Ｓ２０６では、一致画素数算出部３が、第２モデルパターンによる照合処理を行って一致画素数を算出し、Ｓ２０７に進む。

Ｓ２０７では、一致画素数算出部３が、Ｓ２０６にて得られた第２モデルパターンに対応する一致画素数を、既にＳ２０２で得られている第１モデルパターンに対応する一致画素数と合算し、Ｓ２０８に進む。すなわち、Ｓ２０７では、第１モデルパターンに対応する一致画素数が、Ｓ２０６での第２モデルパターンによる照合処理の結果によって更新されることになり、これによって、基準モデルパターン（第１モデルパターン）とは異なるモデルパターン（第２モデルパターン）とのマッチング情報が、基準モデルパターンとのマッチング情報にマッピングされる。

Ｓ２０８では、一致画素数算出部３が、Ｓ２０７での合算処理によって算出された（第１モデルパターンに対応する）一致画素数が、予め定めてある閾値以上であるかを判定する。閾値以上であれば（Ｙｅｓ）、Ｓ２０４に進み、閾値未満であれば（Ｎｏ）、パターンマッチング処理を終了する。

次に、図７および図８を参照して、一致画素数算出部３および合致度算出部６による合致度算出処理の具体例を、場合に分けて説明する。図７および図８において、各升目は画素を示している。図７および図８は、照合領域と、モデルパターンとにおける勾配方向のマッチングを表すマッチング情報を示している。

図７は、第１モデルパターン（基準モデルパターン）の照合のみで合致度算出まで至ることのできる例を示す概要図であり、図８は、第１モデルパターン（基準モデルパターン）および第２モデルパターンの両方の照合を必要とする例を示す概要図である。なお、ここでは、図６のＳ２０３における閾値が「２０」であるとして説明するが、この閾値は、検出しようとする対象物によって増減させることができる。図７では、第１モデルパターンの画素における勾配方向と勾配方向が一致する画素について勾配方向を示す矢符を示しており、図８では、第１および第２モデルパターンの少なくともいずれか一方の画素における勾配方向と勾配方向が一致する画素について勾配方向を示す矢符を示し、第２モデルパターンの画素における勾配方向と勾配方向が一致する画素については、ハッチング掛けして示している。

図７（ａ）では、第１モデルパターンにおける一致画素数が「２４」である場合を示している。図７（ｂ）においても、第１モデルパターンにおける一致画素数が「２４」である場合を示している。したがって、いずれの場合においても、一致画素数が、閾値の２０以上であるため、図６のフローに基づき、合致度算出部６は、一致画素数算出部３が算出した一致画素数「２４」を、そのまま合致度として算出する。すなわち、合致度は「２４」となる。

図８（ａ）では、第１モデルパターンとのマッチング情報に、第２モデルパターンとのマッチング情報をマッピングした状態を示し、第１モデルパターンにおける一致画素数は「１６」である場合を示しており、一致画素数が、閾値である２０未満であるため、第２モデルパターンでの照合も行われ（第２モデルパターンに合致する部分は、ハッチングで示されている）、第２モデルパターンにおける一致画素数が「１２」と算出される場合を示している。第１モデルパターンと第２モデルパターンとについて一致画素数が算出されると、図６に示すフローチャートで、第１モデルパターンとの一致画素数と第２モデルパターンとの一致画素数が合算され、一致画素数は「２８」と算出される。したがって、合算後の一致画素数が閾値である２０以上であるため、図６のフローチャートに基づき、合致度算出部６は、一致画素数算出部３が算出した、合算後の一致画素数「２８」を、そのまま合致度として算出する。すなわち、合致度は「２８」となる。

図８（ｂ）では、第１モデルパターンとのマッチング情報に、第２モデルパターンとのマッチング情報をマッピングした状態を示し、第１モデルパターンにおける一致画素数は「１９」である場合を示しており、一致画素数が、閾値である２０未満であるため、第２モデルパターンでの照合も行われ（第２モデルパターンに合致する部分は、ハッチングで示されている）、第２モデルパターンにおける一致画素数が「６」と算出される場合を示している。第１モデルパターンと第２モデルパターンとについて一致画素数が算出されると、図６に示すフローチャートで、第１モデルパターンとの一致画素数と第２モデルパターンの一致画素数とが合算され、一致画素数は「２５」と算出される。したがって、合算後の一致画素数が閾値である２０以上であるため、図６に示すフローチャートに基づき、合致度算出部６は、一致画素数算出部３が算出した、合算後の一致画素数「２５」を、そのまま合致度として算出する。すなわち、合致度は「２５」となる。

以上説明したように、画像処理装置１によれば、対象物の認識において、ひとつのモデルパターンのみでは照合が難しい環境が生じた場合においても、第１モデルパターンと第２モデルパターンとの両方を用いてパターンマッチングを行い、得られた照合結果を合算した上で、マッチングの度合いを表す合致度を算出するようにすることで、対象物の検出を可能とすることができる。

また、たとえば、対象物の周囲の明るさ、光の入射角度等が変化し、撮像画像中の対象物の形状はそれほど変化しないまま、撮像画像中の対象物の画素パターンの濃淡が大きく変化し、結果として、濃淡の関係が逆転し、ひとつのモデルパターンのみでは照合が難しい状態であっても、含まれる特徴が互いに相補関係にあり、すなわちモデルパターンに含まれる勾配方向が互いに１８０度異なる第１のモデルパターンと第２のモデルパターンとを用いて合致度を算出するようにすることで、対象物の検出を可能とすることができる。

なお、上記の説明では、第１モデルパターンのみで位置を特定できない場合は、第２モデルパターンによる照合を必ず行う構成としたが、第１モデルパターンにおける一致画素数が所定の閾値未満である場合には、第２モデルパターンを用いた照合を行わず、合致度の算出も行わないという構成にしてもよい。ここでの所定の閾値は、図６のフローチャートのＳ２０３およびＳ２０８における閾値以下に定める。このような構成にすることで、パターンマッチングによる誤検出を防ぎ、パターンマッチングの精度を保ったまま、パターンマッチングの処理速度のさらなる向上を図ることができることになる。

さらに、画像処理装置１では、基準モデルパターンに合致した勾配方向の種類数が所定の閾値以上である場合、基準モデルパターン以外のモデルパターンによる照合処理を行わず、基準モデルパターンのみで対象物の位置を特定するので、パターンマッチングの処理速度の向上を図ることができる。

上記で説明した第１の実施形態の画像処理装置１においては、第１モデルパターンと第２モデルパターンとでそれぞれ照合処理を行い、それぞれのモデルパターンの一致画素数を単純に合算して合致度とする構成としていた。しかしながら、撮像画像中の不要エッジが生じた場合に、第１モデルパターンの一致画素数のみ、または第２モデルパターンの一致画素数を局所的に（ある１〜２方向のみで）増大させてしまう場合が生じ得る。たとえば、撮像画像を中央で二つに分けた領域のうちの一方が明るく、他方が暗い場合に、画像の中央部に勾配方向が上方向であるエッジのみが多数生じてしまうので、モデルパターンに対して上方向のみが合致し、上方向のみで一致画素数が増大する結果となってしまう。よって、このような不要エッジが存在する場合には、第１モデルパターンの一致画素数と第２モデルパターン一致画素数とを単純に合算するだけでは、誤認識が生じ、適切なパターンマッチングが行えない場合が出てくる。

上記課題を解決したのが、以下に述べる第２の実施形態の画像処理装置である。第２の実施形態では、たとえば、指の腹が接触した場合には、指先側においては外向きの、指の付け根側においては内向きの勾配方向種類が一定数以上出現する、という仮定を置き、さらに、指の腹は全体として円に近い形状を示すことから、前記勾配方向対応情報に記録されている第１モデルパターンの勾配方向と第２モデルパターンの勾配方向との関係、すなわち、第２モデルパターンの勾配方向を、１８０度（逆向き）回転した方向が、第１モデルパターンの勾配方向に相当する、という関係をもとに、第２モデルパターンに適合する外向きの勾配方向を、内向きの勾配方向相当に置き換え、第１モデルパターンに適合する内向きの勾配方向と合わせて、理想的な全８方向とまではいかずとも、少なくとも６以上の勾配方向種類は出現する、という仮定を置いて、一致画素数および合致パターン（たとえば、勾配方向種類数）を併用して、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除する。

本発明の第２の実施形態の画像処理装置について図１および図９〜図１４を参照して説明すれば、以下の通りである。本実施の形態においても、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の表示装置を採用する場合も本発明の適用範囲に含まれる。また、第２の実施形態の画像処理装置は、第１の実施形態の画像処理装置１とはパターンマッチング処理が異なるのみであって、他の部分の構成は同様であるので、同様の構成は同様の参照符号を付して、異なる部分についてのみ説明する。

なお、第１の実施形態とは異なり、第２の実施形態では、基準モデルパターンに含まれる勾配方向と、基準モデルパターンではない（異なる）モデルパターンに含まれる勾配方向とが、１８０度異なる（逆方向である）、という対応付け情報が、パターン間勾配方向対応情報格納部５に格納されている。一致画素数算出部３は、前記対応付け情報を元に、基準モデルパターンではない（異なる）モデルパターンの一致画素数を、基準モデルパターンの一致画素数にマッピングした上で、基準モデルパターンの一致画素数を算出する、という構成をとる。本構成の詳細については、後述する。

まず、本発明の第２の実施形態である画像処理装置の動作の概要について説明する。全体的な動作の概要については、図４に示す第１の実施形態である画像処理装置１における全体的な動作の概要と同一であるので、説明を省略する。以下では、画像処理装置における全体的な動作のうち、第１の実施形態とは異なる動作を行うパターンマッチング処理について、図９〜図１１を参照して説明する。

図９は、画像処理装置におけるパターンマッチング処理の動作を示すフローチャートである。パターンマッチング処理をスタートすると、Ｓ３０１に移り、動作処理を開始する。Ｓ３０１では、一致画素数算出部３が、第１モデルパターンに対応する一致画素数パターンを初期化して、Ｓ３０２に進む。ここで、一致画素数パターンとは、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数を、勾配方向ごとに記録するものである。なお、本実施形態においては、勾配方向は８方向に量子化しているが、パターンマッチングの精度要求条件や、ハードウェアの性能等を鑑みて、増減させてもよい。また、一致画素数パターンの初期化は、図９に示すとおり、勾配方向ごとに記録されている一致画素数を全て「０」に設定することで行う。

Ｓ３０２では、一致画素数算出部３が、第１モデルパターンによる照合処理を行って一致画素数パターンを更新し、Ｓ３０３に進む。

Ｓ３０３では、一致画素数算出部３が、Ｓ３０２における第１モデルパターンによる照合処理によって更新された一致画素数パターンを参照し、一致画素数パターン内の一致画素数が「０」でない勾配方向の種類数が、予め定める閾値以上であるかどうかを判定する。なお、本実施形態においては、一致画素数の閾値を「６」であるとするが、パターンマッチングの精度要求条件、および勾配方向の量子化条件の変更等により、閾値を増減させてもよい。ステップＳ３０３において、一致画素数が、閾値以上であると判定された場合は（Ｙｅｓ）Ｓ３０４に進み、閾値未満である場合は（Ｎｏ）Ｓ３０５に進む。

Ｓ３０４では、合致度算出部６が、一致画素数算出部３が算出した一致画素数をもとに、パターンマッチングの合致度を算出し、パターンマッチング処理を終了する。なお、Ｓ３０４での合致度算出処理については、通常は、一致画素数をそのまま合致度として算出する構成とするが、モデルパターンごとに異なる重みを持たせ、一致画素数に重みを乗じた数値を合致度として算出してもよい。また、モデルパターンに含まれる画素数に対する一致画素数の割合を合致度として算出してもよい。

Ｓ３０５では、一致画素数算出部３が、第２モデルパターンに対応する一致画素数パターンを初期化して、Ｓ３０６に進む。

Ｓ３０６では、一致画素数算出部３が、第２モデルパターンによる照合処理を行って一致画素数パターンを更新し、Ｓ３０７に進む。

Ｓ３０７では、一致画素数算出部３が、パターン間勾配方向対応情報格納部５を参照して、Ｓ３０６にて得られた第２モデルパターンに対応する一致画素数パターンを、既にＳ３０２で得られている第１モデルパターンに対応する一致画素数パターンに合成（反映）した上で、Ｓ３０８に進む。すなわち、Ｓ３０７では、第１モデルパターンに対応する一致画素数パターンが、第２モデルパターンによる照合処理の結果によって更新されることになり、これによって、基準モデルパターン（第１モデルパターン）とは異なるモデルパターン（第２モデルパターン）とのマッチング情報が、基準モデルパターンとのマッチング情報にマッピングされる。一致画素数パターンの合成処理については、後述する。

Ｓ３０８では、一致画素数算出部３が、Ｓ３０７の処理によって更新された第１モデルパターンに対応する一致画素数パターンを参照し、一致画素数パターン内の一致画素数が「０」でない勾配方向の種類数が、予め定める閾値以上であるかどうかを判定する。なお、本実施形態においては、閾値を「６」であるとするが、パターンマッチングの精度要求条件や、勾配方向の量子化条件の変更等により、閾値を増減させてもよい。閾値以上であると判定された場合は（Ｙｅｓ）Ｓ３０４に進み、合致度算出部６が、合致度を算出する。閾値未満である場合は（Ｎｏ）、合致度を算出せずに（合致度は０であるとして）、パターンマッチング処理を終了する。

次に、図１、図１０〜図１２を参照して、一致画素数パターンの合成処理の一例を説明する。図１２は、照合領域と、モデルパターンとにおける勾配方向のマッチングを表すマッチング情報を示している。

図１０は、図１のパターン間勾配方向対応情報格納部５に格納されている、第１モデルパターン（基準モデルパターン）と第２モデルパターンの勾配方向の対応付けを示す概要図である。図９を参照すると、第１モデルパターンと第２モデルパターンの勾配方向が、互いに１８０度異る（逆向きである）と対応付けられている。

図１１は、一致画素数パターンの合成処理の一例を示すフローチャートである。
Ｓ４０１では、一致画素数算出部３が、パターン間勾配方向対応情報格納部５に格納されている、第１モデルパターンの勾配方向と第２モデルパターンの勾配方向との対応付け情報を取得し、Ｓ４０２へ進む。ここでは、第１モデルパターンと第２モデルパターンの勾配方向が、互いに１８０度異なるという対応付け情報を得ることになる。

Ｓ４０２では、一致画素数算出部３が、勾配方向を表す変数ＤＩＲ２を、上向きとして初期設定し、Ｓ４０３へ進む。このＤＩＲ２は、第２モデルパターンの勾配方向を表す変数である。

Ｓ４０３では、一致画素数算出部３が、Ｓ４０１で取得した、第１モデルパターンと第２モデルパターンの勾配方向の対応付け情報を参照し、第２モデルパターンの勾配方向を表す変数ＤＩＲ２の値に対応する、第１モデルパターンの勾配方向を表す値ＤＩＲ１を取得して、Ｓ４０４に進む。

Ｓ４０４では、一致画素数算出部３が、第２モデルパターンに対応する一致画素数パターンにおいて、ＤＩＲ２で示される勾配方向の一致画素数が０でないかどうかを判定し、０でない（Ｙｅｓ）場合はＳ４０５へ進み、０である（Ｎｏ）場合はＳ４０６へ進む。

Ｓ４０５では、一致画素数算出部３が、第１モデルパターンに対応する一致画素数パターンにおける、ＤＩＲ１で示される勾配方向の一致画素数を、第２モデルパターンに対応する一致画素数パターンにおける、ＤＩＲ２で示される勾配方向の一致画素数で置き換え、Ｓ４０６へ進む。

Ｓ４０６では、一致画素数算出部３が、全ての勾配方向を処理済みか、すなわち、ＤＩＲ２の値が、８つの勾配方向全ての範囲で変化したかどうかを判定し、処理済である（Ｙｅｓ）場合は一致画素数パターンの合成処理を終了し、処理済でない（Ｎｏ）場合はＳ４０７へ進む。

Ｓ４０７では、一致画素数算出部３が、第２モデルパターンの勾配方向を表す変数ＤＩＲ２を、４５度右へ回転した値に更新した上で、Ｓ４０３へ戻り、処理を続行する。

次に、図１２を参照して、一致画素数パターンの合成結果の具体例について説明する。
図１２（ａ）は、照合領域内の勾配方向の分布の一例を示す概要図である。図１２（ｂ）は、図１２（ａ）に対して、第１モデルパターンによる照合を行って得られた一致画素数パターンを示す。図１２（ｃ）は、図１２（ａ）に対して、第２モデルパターンによる照合を行って得られた一致画素数パターンを示す。なお、図１２（ａ）では、第２モデルパターンに合致した勾配方向をハッチングで示している。図１２（ｂ）,（ｃ）は、勾配方向の種類（以下、勾配方向種類という）と、勾配方向種類が一致する画素の数とを示している。

図１２（ｄ）は、第１モデルパターンの勾配方向と第２モデルパターンの勾配方向との関係、すなわち、第２モデルパターンの勾配方向を、１８０度（逆向き）回転した方向が、第１モデルパターンの勾配方向に相当する、という関係をもとに、一致画素数算出部３が、第１モデルパターンの一致画素数パターンに、第２モデルパターンの一致画素数パターンを合成した結果を示す概要図である。

図１２（ｂ）および図１２（ｃ）を参照すると、第１モデルパターンの一致画素数パターンにおいて、一致画素数が０でない勾配方向種類数は、「５」であり、第２モデルパターンの一致画素数パターンにおいて、一致画素数が「０」でない勾配方向種類数は、「３」である。いずれも、合致度の算出処理が実行されるための勾配方向種類数の閾値「６」未満である場合を示しており、単独のモデルパターンの照合だけでは、図１１（ａ）の画素パターンは、合致度が算出されない、すなわち、対象物ではないと判定されてしまうことになる。

しかしながら、図１２（ａ）の画素パターンは、対象物に対して斜め上方から光が入射している場合、すなわち、各画素の勾配方向が、指の腹の先端（指先側）においては外向きの、指の腹の末尾（指の付け根側）においては内向きの傾向を示している状態であると考えられる。したがって、図１２（ａ）の画素パターンは、本来は、対象物であると判定されるべきである。

そこで、図１２（ｄ）のように、第１モデルパターンの勾配方向と第２モデルパターンの勾配方向との関係、すなわち、第２モデルパターンの勾配方向を、１８０度（逆向き）回転した方向が、第１モデルパターンの勾配方向に相当する、という関係をもとに、第１モデルパターンの一致画素数パターンに、第２モデルパターンの一致画素数パターンを合成した結果を参照すると、一致画素数が０でない勾配方向種類数は、「８」となり、合致度の算出処理が実行されるための勾配方向種類数の閾値を超えるので、合致度が算出される、すなわち、対象物であると判定されることになる。

次に、図１３および図１４を参照して、一致画素数算出部３および合致度算出部６による、合致度算出処理の具体例を、場合に分けて説明する。図１３および図１４は、照合領域と、モデルパターンとにおける勾配方向のマッチングを表すマッチング情報を示している。

図１３は、第１モデルパターンおよび第２モデルパターンの照合、および、パターン間勾配方向対応情報格納部５に格納されている、第１モデルパターンと第２モデルパターンの勾配方向の関係を用いる例を示す概要図であり、図１４は、第２モデルパターンに合致する画素がないために合致度算出まで至ることのできない例を示す概要図である。

図１３（ａ）に示す場合では、第１モデルパターンにおける一致画素数パターンには勾配方向が「５」方向しか存在していないため、第２モデルパターンでの照合も行われ（第２モデルパターンに合致する部分は、ハッチングで示されている）、第２モデルパターンにおける一致画素数パターンが算出され、図１１のフローチャートで、第１モデルパターンの勾配方向と第２モデルパターンの勾配方向の関係を用いて、第２モデルパターンにおける一致画素数パターンが、第１モデルパターンにおける一致画素数パターンに合成され、最終的に、第１モデルパターンにおける一致画素数パターンに勾配方向として「８」方向の全てが存在している。したがって、勾配方向として、閾値である６方向以上が存在していることになるので、合致度算出部６は、一致画素数算出部３が算出した一致画素数「２８」を、そのまま合致度として算出する。すなわち、合致度は「２８」となる。

図１３（ｂ）示す場合では、第１モデルパターンにおける一致画素数パターンには勾配方向が「４」方向しか存在していないため、第２モデルパターンでの照合も行われ（第２モデルパターンに合致する部分は、ハッチングで示されている）、第２モデルパターンにおける一致画素数パターンが算出され、図１１のフローチャートで、第１モデルパターンの勾配方向と第２モデルパターンの勾配方向の関係を用いて、第２モデルパターンにおける一致画素数パターンが、第１モデルパターンにおける一致画素数パターンに合成されるが、最終的に、第１モデルパターンにおける一致画素数パターンにも勾配方向として「５」方向しか存在していない。したがって、勾配方向として、閾値である６方向未満しか存在していないことになるので、合致度は算出されない（合致度が「０」となる）。

図１４（ａ）では、第１モデルパターンにおける一致画素数パターンには勾配方向が「４」方向しか存在していないため、第２モデルパターンでの照合も行われるが、第２モデルパターンにおける一致画素数パターンにおいては、どの勾配方向についても一致する画素はない。したがって、最終的に得られる、第１モデルパターンにおける一致画素数パターンにも、依然として勾配方向が「４」方向しか存在していないこととなり、勾配方向として、閾値である６方向未満しか存在していないことになるので、合致度は算出されない（合致度が「０」となる）。

図１４（ｂ）でも、第１モデルパターンにおける一致画素数パターンには勾配方向が「４」方向しか存在していないため、第２モデルパターンでの照合も行われるが、第２モデルパターンにおける一致画素数パターンにおいては、どの勾配方向についても一致する画素はない。したがって、最終的に得られる、第１モデルパターンにおける一致画素数パターンにも、依然として勾配方向が「４」方向しか存在していないこととなり、勾配方向として、閾値である６方向未満しか存在していないことになるので、合致度は算出されない（合致度が「０」となる）。

以上説明したように、第２の実施形態における画像処理装置によれば、対象物の認識において、ひとつのモデルパターンのみでは照合が難しい環境が生じた場合においても、第１モデルパターンと第２モデルパターンの両方を用いてパターンマッチングを行った上で、第１モデルパターンと第２モデルパターンの勾配方向の対応関係を用いて、照合結果を合成し、マッチングの度合いを表す合致度を算出するようにすることで、対象物の検出が可能となり、かつ、より確実に誤認識を排除することが可能となる。

なお、上記の説明では、第１モデルパターンのみで位置を特定できない場合は、第２モデルパターンによる照合を必ず行う構成としたが、第１モデルパターンにおける一致画素数パターン内の一致画素数が「０」でない勾配方向の種類数が所定の閾値未満である場合には、第２モデルパターンを用いた照合を行わず、合致度の算出も行わないという構成にしてもよい。ここでの所定の閾値は、図９のフローチャートのＳ３０３、Ｓ３０８における閾値以下に定める。このような構成にすることで、基準モデルパターンに対して局所的にのみ（ある１〜２方向のみで）合致している場合を、ノイズとして排除することが可能となり、パターンマッチングによる誤検出を防ぎ、パターンマッチングの精度を保ったまま、パターンマッチングの処理速度のさらなる向上を図ることができることになる。

また前述した各実施の形態では、第１および第２モデルパターンを用いているが、モデルパターンの数は２つに限定されず、３つ以上用いてもよい。ここでは、合計ｎ（ｎは、正の偶数）個のモデルパターンを用いる場合について説明する。

ｎ個のモデルパターンのうちの１個のモデルパターンは基準モデルパターンである。（ｎ／２）−１個のモデルパターンは、基準モデルパターンと勾配方向の傾向は同じであるが、大きさが異なるものである。残り（ｎ／２）個のモデルパターンは、基準モデルパターンと勾配方向が１８０度異なり、かつ、基準モデルパターンと勾配方向が１８０度異なるモデルパターン同士で、それぞれ大きさが異なるものである。

図１５および図１６は、ｎ＝４の場合のモデルパターンの例を示す図である。図１５（ａ）は、基準モデルパターンの例を示し、図１５（ｂ）は、基準モデルパターンと勾配方向の傾向は同じであるが、大きさが異なるモデルパターンを示す。図１６（ａ）は、基準モデルパターンと勾配方向が１８０度異なるモデルパターンであり、図１６（ｂ）は、基準モデルパターンと勾配方向が１８０度異なるモデルパターンと、勾配の傾向は同じであるが、大きさが異なるモデルパターンである。

ｎ個のモデルパターンを用いる場合、前述した合致度算出部６が以下の２つの例（Ａ）および（Ｂ）のいずれかの方法によって合致度を算出する。
（Ａ）基準モデルパターンと勾配方向の傾向が同じであるモデルパターンの合致度は、そのまま算出し、すなわち基準モデルパターンに対して、勾配方向を「そのまま」マッピングした形とする。また、基準モデルパターンと勾配方向が１８０度異なるモデルパターンの合致度は、基準モデルパターンに対して勾配方向を１８０度回転して基準モデルパターンの勾配方向にマッピングした上で算出する。
（Ｂ）前記（Ａ）に加えて、基準モデルパターンと大きさの異なるモデルパターンの合致度は、モデルパターンに含まれる画素数の比率を乗じて算出するようにする。たとえば、基準モデルパターンとは異なる、あるモデルパターンに含まれる画素数が２０であり、基準モデルパターンに含まれる画素数が４０である場合、モデルパターンの合致度は、基準モデルパターンに含まれる画素数と、モデルパターンに含まれる画素数との比「２」を乗じ、すなわち、２倍して算出する。

前記（Ｂ）は、モデルパターンの大きさによって合致度が大きく変化することを防止する形態となる。換言すれば、モデルパターンの大きさが異なることにより、合致度の尺度（スケール）がパターン間で異なるのを防止することができる。

なお、本発明は、上述した画像処理装置および電子機器の例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、本発明の第１および第２の実施の形態でそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

前述した画像処理装置１の各ブロック、特に勾配方向特定部２、一致画素数算出部３、合致度算出部６、および対象物座標算出部７は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central processing unit）、上記プログラムを格納したＲＯＭ（read only memory
）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えて構成してもよい。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（v irtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の画像処理装置は、たとえば携帯電話やＰＤＡなどのように、液晶などの表示装置のディスプレイに、指等の物体でタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、たとえば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。

本発明の第１の実施形態である画像処理装置１を備える電子機器２０の構成を示すブロック図である。 指の腹の撮像画像の撮像の様子と、指の腹の撮像画像の特徴を示す概要図である。 ＡＮＧ（Ｓ）と勾配方向とを対応付けしたテーブルを示す図表である。 画像処理装置１の全体的な動作の概要を示すフローチャートである。 モデルパターンの一例を示す概要図である。 パターンマッチング処理における動作を示すフローチャートである。 （ａ）は、第１の実施形態において、第１モデルパターンのみを照合に用いた場合の合致度算出処理の一例を示す概要図であり、（ｂ）は、第１の実施形態において、第１モデルパターンのみを照合に用いた場合の合致度算出処理の他の例を示す概要図である。 （ａ）は、第１の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の一例を示す概要図であり、（ｂ）は、第１の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の他の例を示す概要図である。 第２の実施形態における画像処理装置の動作のうち、パターンマッチング処理の動作を示すフローチャートである。 第１モデルパターンと第２モデルパターンの勾配方向の対応付けを示す概要図である。 一致画素数パターンの合成処理の一例を示すフローチャートである。 （ａ）は、照合領域内の勾配方向の分布の一例を示す概要図であり、（ｂ）は、（ａ）に対して、第１モデルパターンによる照合を行って得られた一致画素数パターンを示し、（ｃ）は、（ａ）に対して、第２モデルパターンによる照合を行って得られた一致画素数パターンを示す図である。 （ａ）は、第２の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の一例を示す概要図であり、（ｂ）は、第２の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の他の例を示す概要図である。 （ａ）は、第２の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の一例であって、照合領域内では第２モデルパターンとは一切合致しない例を示す概要図であり、（ｂ）は、第２の実施形態において、第１モデルパターンおよび第２モデルパターンの両方を照合に用いた合致度算出処理の他の例であって、（ａ）と同様に照合領域内では第２モデルパターンとは一切合致しない例を示す概要図である。 ４つのモデルパターンを用いるときのモデルパターンの例を示す図である。 ４つのモデルパターンを用いるときのモデルパターンの例を示す図である。

符号の説明

１ 画像処理装置
２ 勾配方向特定部
３ 一致画素数算出部
４ モデルパターン格納部
５ パターン間勾配方向対応情報格納部
６ 合致度算出部
７ 対象物座標算出部
２０ 電子機器
２１ 撮像部
６１〜６３ 撮像画像

Claims (15)

1. 撮像された撮像画像の画像データ上の画素ごとに、該画素の特徴を示す量を算出する特徴量算出手段と、
   前記画像データ上の所定の画素数を含む照合領域と、予め定めるモデルパターンとにおける前記特徴を示す量のマッチングを表すマッチング情報に基づいて、マッチングの度合いを示す合致度を算出する合致度算出手段と、
   前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上における対象物の位置を特定する位置特定手段とを備える画像処理装置であって、
   前記合致度算出手段は、
   複数の前記モデルパターンが存在する場合、複数の前記モデルパターンのうちから基準とする基準モデルパターンを定め、前記基準モデルパターンとは異なるモデルパターンとのマッチング情報を、前記基準モデルパターンとのマッチング情報にマッピングした上で合致度を算出することを特徴とする画像処理装置。
2. 前記モデルパターンは、
   第１モデルパターンと、
   前記第１モデルパターンに含まれる特徴とは相補関係にある特徴を含む第２モデルパターンとの、少なくとも２つのモデルパターンを含み、
   前記合致度算出手段は、前記第１モデルパターンと前記第２モデルパターンとのいずれかを前記基準モデルパターンとして合致度算出を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記合致度算出手段は、前記基準モデルパターンと異なるモデルパターンのマッチング情報を、前記基準モデルパターンのマッチング情報に全て合算して合致度を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合致度算出手段は、前記基準モデルパターンと異なるモデルパターンのマッチング情報を、前記モデルパターンと前記基準モデルパターンとの画素数の比率をもとに算出した重みを乗じた上で、前記基準モデルパターンのマッチング情報に全て合算して合致度を算出することを特徴とする、請求項１または２に記載の画像処理装置。
5. 前記特徴を示す量は、画素ごとに濃度の勾配の方向を示す勾配方向によって表されることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記合致度算出手段は、前記第１モデルパターンと前記第２モデルパターンとのうち、前記基準モデルパターンではないパターンにおける勾配方向を１８０度回転した方向を、前記基準モデルパターンにおける勾配方向にマッピングした上で合致度を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記合致度算出手段は、前記基準モデルパターンに合致した勾配方向の種類数が所定の閾値未満である場合には、前記基準モデルパターンと異なるモデルパターンとのマッチングは行わず、前記合致度の算出も行わないことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記合致度算出手段は、前記基準モデルパターンに合致した勾配方向の種類数が所定の閾値以上である場合、前記基準モデルパターンと異なるモデルパターンとのマッチングは行わず、前記基準モデルパターンとのマッチング情報のみを用いて合致度を算出することを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
9. 前記合致度算出手段は、前記モデルパターンに合致した勾配方向の種類数が所定の閾値未満である場合には、前記合致度を算出しないことを特徴とする請求項５〜８のいずれか１項に記載の画像処理装置。
10. 前記合致度算出手段は、算出した前記合致度が所定の閾値未満である場合には、前記合致度を「０」に設定することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 複数の画素によって画像表示可能なディスプレイと、
    前記ディスプレイに内蔵され、前記複数の画素のうち所定数の画素に対応する位置にそれぞれに設けられる撮像センサとを備え、
    前記画像データは、前記撮像センサで撮像して得られることを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 請求項１〜１１のいずれか１項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理装置の制御プログラム。
13. 請求項１２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
14. 請求項１〜１１のいずれか１項に記載の画像処理装置を備えることを特徴とする電子機器。
15. 撮像して得られる撮像画像における画像データ上の画素ごとに、該画素の特徴を示す量を算出する特徴量算出ステップと、
    前記画像データ上の所定の画素数を含む領域である照合領域と、予め定めるモデルパターンとのマッチングを表すマッチング情報に基づいて、マッチングの度合いを示す合致度を算出する合致度算出ステップと、
    前記合致度算出ステップが算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物の位置を特定する位置特定ステップとを備え、
    前記撮像画像上の対象物の位置を特定する機能を備えた画像処理装置の制御方法であって、
    前記合致度算出ステップは、
    複数の前記モデルパターンが存在する場合、複数の前記モデルパターンのうちから基準とする基準モデルパターンを定め、前記基準モデルパターンとは異なるモデルパターンとのマッチング情報を、前記基準モデルパターンとのマッチング情報にマッピングした上で合致度を算出することを特徴とする、画像処理装置の制御方法。