JP2010055577A - 画像処理方法、プログラム、記録媒体、画像処理装置、タッチパネル、電子機器及び液晶表示装置。 - Google Patents

Abstract

【課題】ノイズの増加を抑制しながら、必要な部分のエッジ量を強調させ、エッジ量分布において行われるパターンマッチングの精度を向上させる
【解決手段】撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する画像処理方法において、画像データのエッジ量を算出する算出ステップと、前記エッジ量を用いて補正領域を決定する補正領域決定ステップと、前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整ステップとを備えてなることを特徴とする画像処理方法。
【選択図】図２８

Description

本発明は、撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する機能を備えた画像処理方法に関する。

携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置（以下、「液晶表示装置」と呼ぶ。）が幅広く利用されていることは周知の通りである。特に、ＰＤＡでは、古くからタッチセンサーを備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサーを備える液晶表示装置の普及が期待されている。

このようなタッチセンサーを備える液晶表示装置の一例として特許文献１に開示された技術がある。

上記従来の液晶表示装置は、液晶表示装置の画素内に光センサーを備え、表示面で画像の撮像が可能となっている。さらに、当該撮像画像から、タッチ位置を検出するために、エッジ検出回路、座標計算回路を備えている。エッジ検出回路は、撮像された画像のエッジを検出してエッジ画像を得るようになっている。また、座標計算回路は、エッジの重心を物体の座標位置として計算するようになっている。このような構成によって、光タッチパネルを実現している。

ところで、このような光タッチパネルにおいて、精度よくタッチ位置を検出するために、エッジ画像の生成は重要である。上記従来の液晶表示装置においては、第４の実施の形態（段落９４〜段落１１８）において、閾値補正回路１０８を用いてエッジ画像の閾値を補正する技術が開示されている。当該技術は、エッジ画像を走査して階調度数分布における最大値或いは最小値を求めておき、その最大値或いは最小値と予め設定した閾値との平均値を新たな閾値とするものである。

このような閾値の設定方法の工夫によって、エッジ画像の改善とタッチ位置の検出精度の向上が図られている。
特開２００６−２４４４４６号公報（平成１８年９月１４日公開）

しかしながら、上記閾値補正回路によってエッジ画像抽出の閾値を適切なものに補正することができるものの、エッジ画像の閾値を高く設定するとエッジ検出量が少なくなり、逆に閾値を低く設定するとノイズが増えてしまうものであった。

本願発明は、このような課題に鑑みてなされたものであり、ノイズの増加を抑制しながら、必要な部分のエッジ量を強調させ、エッジ量分布において行われるパターンマッチングの精度を向上させることを目的としている。

本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する画像処理方法において、画像データのエッジ量を算出する算出ステップと、前記エッジ量を用いて補正領域を決定する補正領域決定ステップと、前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整ステップとを備えてなるようにしている。

これによって、ノイズの増加を抑制しながら、必要な部分のエッジ量を強調させ、エッジ量分布において行われるパターンマッチングの精度を向上させることができる。

なお、前記補正領域決定ステップにおいて、第一の閾値を越えるエッジ量を有する画素の近傍を補正領域とし、前記調整ステップにおいて、第一の閾値よりエッジ量が抽出される画素が多い第二の閾値を用いて、補正領域の画素のエッジ量を調整するようにしてもよい。

これによって、補正領域の決定及び補正領域の画素のエッジ量の調整が容易となる。

また、前記エッジ量は、大きさと方向とを持つベクトル量であるようにしてもよい。

ベクトル量でパターンマッチングを行うほうが、スカラー量でパターンマッチングする場合に比べ、情報量が多く、より正確にパターンマッチングを行うことができる。

ここで、前記補正領域決定ステップにおける補正領域の決定は、前記エッジ量の大きさを用い、パターンマッチングにおいては、前記エッジ量の方向を用いるようにしてもよい。

補正が必要である画素か否かの判定には、スカラー量を用いることによって容易に判定を行うことができる。一方、パターンマッチングにおいては、方向を持ったエッジ量でマッチングすることにより、エッジ量の大きさのみでマッチングする場合に比べ、パターンマッチングの精度が向上する。

なお、前記エッジ量は、画素の輝度の勾配量であるようにしてもよい。画素の輝度の勾配量を元にパターンマッチングを行うことによって、位置検出の精度を向上できる。

また、前記算出ステップにおいて、Ｓｏｂｅｌオペレータを用いるようにしてもよい。Ｓｏｂｅｌオペレータを用いてエッジ量を抽出することによって、勾配量の抽出を的確に行うことができる。

また、前記画像は、画像を表示画面に表示する表示機能と、表示画面に近接した被対象物の画像を撮像する撮像機能と、を備えた表示撮像装置によって得られた画像である、ようにしてもよい。

一般に、光入力機能を備えた撮像装置によって得られた画像においては、スキャニングの際に外光等の影響を受けることが多く、位置検出が困難になる場合がある。本発明は、特にこのような場合に好適に用いることができる。

なお、上記の画像処理方法を用いて、被対称物の接触位置を検出するようにしてもよい。このように、本発明はタッチパネルなどの接触位置の検出に好適に用いることができる。また、上記方法を情報処理装置に実行させるためのプログラムを用いてもよい。なお、上記プログラムを記録した記録媒体を用いてもよい。

本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する機能を備えた画像処理装置において、画像データのエッジ量を算出する算出手段と、前記エッジ量を用いて補正領域を決定する補正領域決定手段と、前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整手段とを備えてなるようにしている。

これによって、パターンマッチングに悪影響を及ぼすノイズを増やすことなく、パターンマッチングに必要な部分の感度を向上させることができる。

なお、上記の画像処理装置をタッチパネルに用いてもよい。本発明は、タッチパネルに好適に用いることができる。また、上記画像処理装置を電子機器に用いてもよい。本発明は、電子機器に特に好適に用いることができる。なお、上記画像処理装置を液晶表示装置に用いてもよい。本発明は、液晶表示装置に特に好適に用いることができる。

上述したように本発明の画像処理方法は、ノイズの増加を抑制しながら、必要な部分のエッジ量を強調させ、エッジ量分布において行われるパターンマッチングの精度を向上させることができる。

本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する画像処理方法において、画像データのエッジ量を算出する算出ステップと、前記エッジ量を用いて補正領域を決定する補正領域決定ステップと、前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整ステップとを備えてなるようにしている。

本明細書では、まず本発明に係る画像処理装置のエッジ量の算出から指示位置の特定までの手順について、図１〜図２０を用いて説明する（第一の実施の形態）。その後に、図２１〜図２９を用いて、補正領域のエッジ量を調整することにより、パターンマッチングの精度を向上させる場合について説明する（第二の実施の形態）。さらに図３０〜図３２を用いて、圧力によって光学特性が変化するフィルムを設けた場合について説明する（第三の実施の形態）。なお、便宜上、これらの３つのまとまりを、それぞれ第一の実施の形態、第二の実施の形態、第三の実施の形態としている。

（第一の実施の形態）
本発明の一実施形態について図１〜図１１（ｂ）に基づいて説明すれば、以下の通りである。なお、本実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。

〔１．画像処理装置（電子機器）の構成〕
まず、図１及び図２（ａ）〜（ｈ）に基づいて、本発明の一実施形態である画像処理装置１（電子機器２０）の構成及び撮像画像の例について説明する。以下では、便宜上、画像処理装置１について説明するが、本発明の一実施形態である画像処理装置１の機能を必要とする電子機器（電子機器２０）であれば、一般の電子機器に対して適用可能である。

まず、画像処理装置１の構成の概要及び画像処理装置１の撮像原理について説明する。画像処理装置１は、表示機能を有しており、複数の画素から構成される液晶ディスプレイ（ディスプレイ）及び該液晶ディスプレイに光を照射するバックライトを備えている点は、通常の液晶ディスプレイと同様である。

しかし、画像処理装置１における液晶ディスプレイは、各画素内に光センサー（撮像センサー）が内蔵され、該光センサーによって液晶ディスプレイの表示画面に近接してきた外部の物体など（撮像対象）を撮像し、画像データ（撮像センサーによって撮像された画像データ）として取り込むことが可能となっている点が、通常の液晶ディスプレイと異なっている。

なお、液晶ディスプレイは、複数の画素のうち所定数の画素のそれぞれに光センサーが内蔵されているものであっても良いが、光センサーによる撮像画像の解像度の観点から、光センサーは、すべての画素に内蔵されていることが好ましい。

なお、画像処理装置１の液晶ディスプレイは、通常の液晶ディスプレイと同様に、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に画素が配置され、薄膜トランジスタ、及び各種容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備えているものである。

また、画像処理装置１の液晶ディスプレイは、例えば各画素内に撮像センサーとしてフォトダイオード（撮像センサー）を内蔵する構成となっている。このフォトダイオードには、キャパシタが接続され、表示画面から入射された光のフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データを生成することで、画像の撮像（取り込み）を行うようになっている。これが画像処理装置１の液晶ディスプレイによる撮像原理である。

なお、撮像センサーとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイなどの各画素に内蔵できるものであれば、何であっても良い。

以上の構成により、画像処理装置１は、液晶ディスプレイ本来の画像を表示する表示機能に加え、表示画面に近接してきた外部の物体の画像（撮像対象）を撮像する撮像機能を備える構成となっている。それゆえ、ディスプレイの表示画面でのタッチ入力が可能な構成とすることができる。

ここで、図２（ａ）〜（ｈ）に基づき、画像処理装置１の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される撮像対象の例として、「指の腹」と「ペン先」との例を挙げ、それぞれの撮像画像（又は画像データ）の特徴の概要について説明する。

図２（ａ）は、周囲が暗い場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指の腹の撮像画像の特徴を示す概要図である。図２（ａ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｂ）の撮像画像６１は、バックライトが撮像対象（指の腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）
次に、図２（ｃ）は、周囲が明るい場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｄ）は、周囲が明るい場合における指の腹の撮像画像の特徴を示す概要図である。図２（ｃ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｄ）の撮像画像６２は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。

図２（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、図２（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｅ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面に、ペン先を接触させた場合について考える。

この場合、図２（ｆ）の撮像画像６３は、バックライトが撮像対象（ペン先）に反射して得られる画像であり、小さな白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。

次に、図２（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、図２（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｇ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面に、ペン先を接触させた場合について考える。

この場合、図２（ｈ）の撮像画像６４は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、ペンで外光が遮られることによって生じたペンの影と、液晶ディスプレイの表示画面に接触したペン先にバックライトの光が反射してできた小さな白い円形状がぼやけた部分とからなる。これらのうち小さな白い円形状の部分における勾配方向は、上述した暗い部屋でペン先を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、小さな白い円形状の部分における勾配方向と逆向きの傾向を示している。

以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

次に、図１に基づき、本実施の形態における画像処理装置１の構成の詳細について説明する。

画像処理装置１は、図１に示すように、撮像された撮像画像の画像データを用いて、撮像対象による撮像画像上の指示位置を特定する機能を備えたものであり、低解像度化部２、画素値縦勾配量算出部（勾配算出手段）３ａ、画素値横勾配量算出部（勾配算出手段）３ｂ、エッジ抽出部（エッジ画素特定手段、接触判定手段）４、勾配方向・無方向特定部（勾配方向特定手段）５、照合効率化部（照合効率化手段）６、一致画素数算出部（合致度算出手段）７、モデルパターン・比較用一致パターン格納部８、パターン合致度算出部（合致度算出手段）９、スコア算出部（合致度算出手段、接触判定手段）１０、及び位置特定部（位置特定手段）１１を備えるものである。

低解像度化部２は、撮像された撮像画像の画像データを低解像度化するものである。

画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂは、画像データ上の画素ごとに、注目画素の画素値と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量及び横方向勾配量を算出するものである。具体的には、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いれば良い。

例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ及び横方向勾配Ｓｘは、次式（１）のように求められる。

Ｓ_ｘ＝ｘ_{ｉ＋１ｊ−１}−ｘ_{ｉ―１ｊ−１}＋２ｘ_ｉ＋１ｊ−２ｘ_ｉ―１ｊ＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ―１ｊ＋１}
Ｓ_ｙ＝ｘ_{ｉ−１ｊ＋１}−ｘ_{ｉ−１ｊ−１}＋２ｘ_ｉｊ＋１−２ｘ_ｉｊ−１＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ＋１ｊ−１}
・・・（１）
ここで、ｘ_ｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。

ここで、式（１）は、次式（２）・（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。

なお、縦方向勾配Ｓｙ及び横方向勾配Ｓｘに基づけば、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、次のように与えられる。なお、以下では、演算子としての縦方向勾配Ｓｙ及び横方向勾配Ｓｘを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量をそれぞれ、便宜上縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。

ＡＢＳ（Ｓ）＝（Ｓｘ^２＋Ｓｙ^２）^１／２ ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ^−１（Ｓｙ／Ｓｘ） ・・・（５）
エッジ抽出部４は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素であるエッジ画素（第１エッジ画素）を抽出（特定）するものである。

ここで、エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。より、具体的には、エッジ画素とは、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の第１閾値以上である画素のことである。

なお、この第１エッジ画素を抽出する目的は、勾配方向・無方向特定部５が、抽出された複数の第１エッジ画素については、勾配方向を特定し、第１エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。

パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向である。

したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置の検出の際のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

また、エッジ抽出部４は、上記機能の他、エッジマスクの生成機能も有している。なお、エッジマスクとは、例えば、縦方向勾配量及び横方向勾配量から算出される勾配の大きさＡＢＳ（Ｓ）に、前記第１閾値よりも大きい第２閾値を設定し、該第２閾値を超える（又は以上）の場合には、「１」を与え、該第２閾値以下（又は未満）の場合は「０」を与えることによって生成される前記画像データを２値化データとしたものである。このエッジマスクを参照して、「１」を示す位置の画素が、第２エッジ画素として特定される。

勾配方向・無方向特定部５は、抽出された複数の第２エッジ画素については、勾配方向を特定し、第２エッジ画素以外の画素については一律無方向と看做して特定するように構成する。

なお、第１閾値に基づいて、抽出された第１エッジ画素のうち、上記エッジマスクの「１」を示す位置の第１エッジ画素は有効とし、上記エッジマスクの「０」を示す位置の第１エッジ画素は、無効として、有効な第１エッジ画素を選択してパターンマッチングを行っても良い。

勾配方向・無方向特定部５は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３が算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向ＡＮＧ（Ｓ）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の閾値未満である無方向とのいずれかを特定するものである。

ここでは、無方向を所定の閾値未満であると定義しているが、所定の閾値以下と定義しても良い。

あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。

なお、勾配方向・無方向特定部５は、エッジ抽出部４によって特定された複数のエッジ画素の勾配方向を特定し、エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向であると言える。

したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄの範囲で変化する連続量であるから、本実施形態においては、これを例えば８方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量（以下「特徴量」と呼ぶことがある。）とする。なお、より精度の高いパターンマッチングを行なうために、１６方位などに量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。なお、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。

照合効率化部６は、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合（以下、「パターンマッチング」と呼ぶことがある。）を行う場合に、照合領域とモデルパターンとの照合の効率化を図るためのものである。

一致画素数算出部７は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」と呼ぶ。）を算出するものである。

モデルパターン・比較用一致パターン格納部８は、モデルパターンと、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンを分析することによってあらかじめ定めた比較用一致パターンとを格納しておくものである。モデルパターン・比較用一致パターン格納部８は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

パターン合致度算出部９は、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度を算出するものである。

スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出するものである。なお、スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度のいずれか１つを使用するよう構成しても良い。

また、スコア算出部１０は、照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにしても良い。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は、８に近いものとなるはずである。したがって、前記照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにすれば、指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、前記指示位置の検出処理のコストをさらに削減させることができる。

ところで、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、エッジ抽出部４が、第１エッジ画素を特定するようにする。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、前記第１閾値よりも大きいエッジ判断基準の厳しい第２閾値により、エッジ抽出部４が、第２エッジ画素を特定するようにする。

こうして、複数の第１エッジ画素が特定された画像データと、バックライト反射ベースであらかじめ定められた第１モデルパターン、及び複数の第２エッジ画素が特定された画像データと、影ベースであらかじめ定められた第２モデルパターンのそれぞれについてパターンマッチングを行って第１画素数及び第２画素数が得られる。この場合、スコア算出部１０は、例えば、第１画素数及び第２画素数を加算したものを合致度として用いることが可能となる。

以上により、スコア算出部１０は、照合領域に含まれる第１エッジ画素の勾配方向と、あらかじめ定められた第１モデルパターンに含まれる勾配方向とが一致する第１画素数と、照合領域に含まれる第２エッジ画素の勾配方向と、あらかじめ定められた第２モデルパターンに含まれる勾配方向とが一致する第２画素数とから、前記合致度を算出する。

それゆえ、バックライト反射ベースと影ベースの各処理を切り替える必要がなく、一つの構成で両方に対応した処理を実施することが可能となり、照明環境が明るくても暗くても撮像対象の指示位置を特定することができる画像処理装置を提供することができる。

位置特定部１１は、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定するものであり、ピーク探索部（ピーク画素特定手段、位置特定手段）１２、座標算出判定部（座標算出判定手段、位置特定手段）１３、及び座標算出部（座標算出手段、位置特定手段）１４を備えるものである。

ピーク探索部１２は、注目画素の周囲で所定の画素数を含む探索領域（以下、「第１領域」と呼ぶ場合がある。）内で、スコア算出部１０が算出した合致度が最大値を取る画素であるピーク画素を探索するものである。

座標算出判定部１３は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域（以下、「第２領域」と呼ぶ場合がある。）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に撮像対象による撮像画像上の指示位置を算出させるものである。

座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの合致度を用いて、撮像対象による撮像画像上の指示位置を算出するものである。

以上の構成によれば、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂは、画像データ上の画素ごとに、各画素の画素値と各画素における複数の隣接画素の画素値とから縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出する。

また、勾配方向・無方向特定部５は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向（ＡＮＧ（Ｓ）の値に応じて方向を量子化されたもの。以下同様の説明は省略する。）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから算出される勾配の大きさＡＢＳ（Ｓ）が所定の閾値未満である無方向とのいずれかを特定する。

ここに、画素値の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘ、勾配方向、及び勾配の大きさＡＢＳ（Ｓ）などは、１フレームの撮像画像から得られる量である。また、これらの量は、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく得ることができる量でもある。

次に、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（パターンマッチング）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさＡＢＳ（Ｓ））と向き（勾配方向ＡＮＧ（Ｓ））とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

以上により、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いてパターンマッチングが可能となる。このため、メモリ容量を少量化し、及び処理時間を短縮化したパターンマッチングが可能となる。

次に、位置特定部１１は、スコア算出部１０が算出した合致度が、最大となる注目画素（ピーク画素）の位置から、撮像対象による撮像画像上の指示位置を特定する。

上述のように、勾配方向には、おおよその傾向がある。したがって、合致度の最大値近傍は、撮像対象による前記撮像画像上の指示位置の近傍を示すものと考えられる。従って、上記勾配方向の傾向を考慮して、撮像対象ごとに、（例えば、勾配方向が、ドーナツ状に分布した画像データとなる撮像対象の場合には、照明環境（明るいか暗いか）や撮像対象のサイズ（指の腹は大きい、一方ペン先は小さいなど）ごとに）あらかじめモデルパターンを定めておくことにより、パターンマッチングにおけるピーク画素の位置から、撮像対象による撮像画像上の指示位置を特定することが可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いて撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することができる画像処理装置１などを提供することができる。

〔２．画像処理装置（電子機器）の動作の概要〕
つぎに、図１及び図３に基づいて、本発明の一実施形態である画像処理装置１（電子機器２０）の動作の概要について説明する。

なお、〔２．画像処理装置（電子機器）の動作の概要〕において説明すること以外の構成は、〔１．画像処理装置（電子機器）の構成〕と同じである。また、説明の便宜上、〔１．画像処理装置（電子機器）の構成〕の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。なお、以下適宜項目を設けるが、この場合においては、上記なお書き以下の同様の説明は省略する。

図３は画像処理装置１の全体的な動作の概要を示すフローチャートである。ステップＳ１０１（以下「Ｓ１０１」のように記載する。）では、図１の低解像度化部２が画像データを低解像度化し、Ｓ１０２に進む。例えば、３２０×２４０画素の画像データであれば、１６０×１２０画素（低解像度化率１／２）、又は８０×６０画素（低解像度化率１／４）などのようにバイリニア縮小させる。ここでバイリニア縮小とは、例えば２×２の各画素の画素値の平均値を取り、２×２画素のデータを該平均値を持った１×１画素のデータに置換することにより、全体として１／４の情報圧縮を行なうことを言う。

なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報などを得るためには、例えば３２０×２４０画素（１５０ｄｐｉ）の画像データの場合であれば、８０×６０画素（低解像度化率１／４）を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行わないか、低解像度化するとしても、１６０×１２０画素（低解像度化率１／２）に留めることが好ましい。

以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。

Ｓ１０２では、画素値縦勾配量算出部３ａ、及び画素値横勾配量算出部３ｂが、画像データ上の画素ごとに、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してから、勾配方向・無方向特定部５が、画素ごとの勾配方向と無方向とのいずれかを特定するまでの過程（勾配方向・無方向特定過程）を経た上で、Ｓ１０３に進む。

Ｓ１０３では、照合効率化部６で、照合領域と、モデルパターンとの照合を行う場合に、照合領域とモデルパターンとの照合の効率化を図る（照合効率化）か否かを選択する。照合効率化を行なう場合（Ｙｅｓ）には、Ｓ１０４に進み、照合効率化部６で照合効率化を行った上でＳ１０５に進み、照合効率化を行わない場合（Ｎｏ）にはＳ１０７に進み、照合効率化部６は何もせず、そのままの情報（画像データ、但し、低解像度化部２で、低解像度化している場合には、低解像度化後の画像データ）でＳ１０５に進む。

Ｓ１０５では、一致画素数算出部７が、照合領域と、モデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部９が、パターン合致度を算出してから、スコア算出部１０が、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、合致度を算出するまでの過程（パターンマッチング過程）を経た上で、Ｓ１０６に進む。

Ｓ１０６では、位置特定部１１が、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定して「エンド」となる（ポインティング位置特定過程）。

以上が、画像処理装置１の全体の動作の概要である。以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程及びポインティング位置特定過程における画像処理装置１の各動作について説明する。

〔３．勾配方向・無方向特定過程〕
まず、図１、図４及び図５（ａ）・図５（ｂ）に基づいて、勾配方向・無方向特定過程における画像処理装置１の動作について説明する。

図４は、画像処理装置１の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。図５（ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、図５（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。

図４のフローチャートでは、まず、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂがそれぞれ、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してからスタートする。

Ｓ２０１では、エッジ抽出部４が、各画素における勾配の大きさＡＢＳ（Ｓ）（図４では、「勾配パワー」と記載している。）が、あらかじめ定められた閾値（第１閾値・第２閾値）以上かを判定し、ＡＢＳ（Ｓ）≧閾値ならば（Ｙｅｓ）ならば、Ｓ２０２に進み、ＡＢＳ（Ｓ）＜閾値ならば、Ｓ２１０に進む。なお、本実施の形態では、ＡＢＳ（Ｓ）＝Ｓｘ＊Ｓｘ＋Ｓｙ＊Ｓｙとして計算しているが、この量は、上式（４）における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。

なお、Ｓ２１０に進んだ場合には、勾配方向・無方向特定部５は、対象となっている画素（第１エッジ画素以外の画素）を無方向と設定（特定）し、次の画素へ進んで、Ｓ２０１に戻る。

Ｓ２０２では、勾配方向・無方向特定部５が、横方向勾配量Ｓｘが０であるか否かを判定し、Ｓｘ≠０ならば、Ｓ２０３（Ｙｅｓ）に進み、Ｓｘ＝０ならば、Ｓ２０６（Ｎｏ）に進む。

Ｓ２０３では、勾配方向・無方向特定部５は、横方向勾配量Ｓｘが正の値をとるか否かを判定し、Ｓｘ＞０ならば、Ｓ２０４（Ｙｅｓ）に進み、勾配方向・無方向特定部５は、図５（ａ）のテーブルにしたがって、該当画素（第１エッジ画素・第２エッジ画素）について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。一方、Ｓｘ＜０ならば、Ｓ２０５に進み、勾配方向・無方向特定部５は、図５（ｂ）のテーブルにしたがって、該当画素（第１エッジ画素・第２エッジ画素）について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

次に、Ｓ２０６では、勾配方向・無方向特定部５は、縦方向勾配量Ｓｙが０か否かを判定し、Ｓｙ≠０ならば、Ｓ２０７（Ｙｅｓ）に進み、Ｓｙ＝０ならば、Ｓ２１０（Ｎｏ）に進み、該当画素（第１エッジ画素・第２エッジ画素以外の画素）を無方向と設定し、次の画素へ進んでＳ２０１に戻る。

Ｓ２０７では、勾配方向・無方向特定部５は、縦方向勾配量Ｓｙが正の値を取るか否かを判定し、Ｓｙ＞０ならば、Ｓ２０８（Ｙｅｓ）に進み、該当画素（第１エッジ画素・第２エッジ画素）の勾配方向を上向きに設定して、Ｓ２０１に戻る。一方、Ｓｙ＜０ならば、Ｓ２０９（Ｎｏ）に進み、該当画素（第１エッジ画素・第２エッジ画素）の勾配方向を下向きに設定して、次の画素へ進んでＳ２０１に戻る。以上の工程は、ずべての画素の勾配方向・無方向の設定が終わるまで繰り返される。

パターンマッチングにおいて重要な情報は、エッジ部分の画素であるエッジ画素（第１エッジ画素・第２エッジ画素）における勾配方向である。

したがって、上記の動作により、あまり重要でない画素における勾配方向（第１エッジ画素・第２エッジ画素以外の画素）を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

〔４．照合効率化〕
次に、図１及び図６（ａ）〜図９（ｂ）に基づき、画像処理装置１のおける照合効率化について説明する。

図１に示す照合効率化部６は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び前記無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。

また、スコア算出部１０は、照合効率化部６によって照合の効率化が行なわれた照合領域とモデルパターンとの照合を行なって、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、前記合致度として算出する。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。

そこで、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターンマッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による前記撮像画像上の指示位置の検出処理のコストを削減することもできる。

以上より、パターンマッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理のコストを削減することができる画像処理装置１などを提供することができる。

ここで、図６（ａ）〜図６（ｂ）に基づき、画像処理装置１における照合効率化の具体例について説明する。

まず、図６（ａ）に示すように、周囲が暗い場合における画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状の無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きに勾配方向が向いた画素が多数分布している。

次に、図６（ｂ）は、図６（ａ）の画像データについて照合効率化を行った後の様子を示す概要図である。

図６（ａ）に示すように、１４×１４画素の領域（照合領域）を、複数の２×２画素の領域（分割領域）に分割すると共に、２×２画素の領域ごとに、２×２画素の領域に含まれる画素ごとの勾配方向及び無方向の情報を、２×２画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、１４×１４画素の領域とモデルパターン（モデルパターンの例については後に詳しく説明する。）との照合の効率化が行われる。

たとえば、図６（ａ）に示す１４×１４画素の領域を分割した複数の２×２画素の領域のうち、上から２つめ、左から１つめの２×２画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き（勾配方向）」、左下の画素が「右向き（勾配方向）」、及び右下の画素が「右下向き（勾配方向）」となっている。この２×２画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図６（ｂ）の上から２つめ、左から１つめのブロック（以下、便宜上「画素」と呼ぶ場合がある。）である。他のブロックも同様にして生成することができる。結果として、図６（ａ）に示す１４×１４画素の領域は、合計７×７＝４９個の２×２画素の領域に分割される。

次に、図７（ａ）〜図９（ｂ）に基づき、照合領域と照合されるモデルパターンの具体例について説明する。

図７（ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図である。また、図７（ａ）のモデルパターンは、図６（ａ）に示す１４×１４画素の領域とパターンマッチングを行なう場合を想定したものである。また、撮像対象としては、指の腹を想定している。

ところで、図７（ａ）のモデルパターンは、１３×１３画素のモデルパターンとなっている。この場合、図６（ａ）に示す１４×１４画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。

また、奇数×奇数（１３×１３）としているのは、中心の画素が１つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて１画素づつずらせてパターンマッチングを行なう。

この場合の一致画素数は、１画素ごとに照合されて算出されるので、１３×１３＝１６９画素の照合が必要となる。

一方、図７（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。図７（ａ）のモデルパターンと比較すると各画素の勾配方向が逆向きになっている。図７（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図７（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

次に、図８（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図である。図８（ａ）のモデルパターンは、図６（ｂ）の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、２×２画素の領域を１画素（与えられる勾配方向は１つ）と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。

図８（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。図８（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図８（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

図９（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図である。図８（ａ）のモデルパターンとの違いは、２×２画素分が１つの領域に纏められているが、該１つの領域ごとに、２つの勾配方向（又は無方向）の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。

図９（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。図９（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図９（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

〔５．パターンマッチング過程〕
次に、図１及び図１０〜１７に基づき、画像処理装置１におけるパターンマッチングの過程について説明する。

まず、図１に基づき、パターンマッチングの各種形態について纏めておく。エッジ抽出部４との関係では、上述したように、第１閾値を設定し、該第１閾値以下（又は未満）を一律に無方向とするか、第１閾値よりも大きな第２閾値を設定してエッジマスクを作成して、エッジマスクによって有効なエッジ画素を選択してパターンマッチングを行なう場合が考えられる。

次に、照合効率化部６との関係では、照合効率化前の画像データでパターンマッチングを行なう場合と、照合効率化後の画像データでパターンマッチングを行なう場合とが考えられる。

次に、スコア算出部１０との関係では、一致画素数算出部７が算出した一致画素数からスコア（合致度）を算出する場合と、パターン合致度算出部９が算出したパターン合致度からスコア（合致度）を算出する場合とが考えられる。

以上のように、パターンマッチングには様々な形態が存在するが、これらのパターンマッチングは、各形態を単独で行って（スコアを算出して）も良いし、複数の形態を組合せて行って（スコアを算出して）も良い。

図１０は、図１に示す画像処理装置１の動作のうち、パターンマッチング過程の動作を示すフローチャートである。

Ｓ３０１では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）を算出してＳ３０２に進む。

Ｓ３０２では、照合効率化部６を備えていない場合には、勾配方向・無方向特定部５が、照合効率化部６を備えている場合には、照合効率化部６が、勾配方向のパターン合致度も算出するかどうかを決定し、パターン合致度の算出を決定した場合には、パターン合致度算出部９に通知してＳ３０３（Ｙｅｓ）に進む。一方、パターン合致度の算出を行わないことを決定した場合には、スコア算出部１０に通知してＳ３０４に進む。

なお、ここでは、一致画素数が必ず算出される場合について説明しているが、このような場合に限られず、パターン合致度のみを算出する構成を採用しても良い。

また、パターン合致度とは、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められ、モデルパターン・比較用一致パターン格納部８に記録されている比較用一致パターンとが類似する度合いを示す量である。

Ｓ３０３では、パターン合致度算出部９が、勾配方向・無方向特定部５又は照合効率化部６からパターン合致度の算出を決定した旨の通知を受けて、パターン合致度を算出し、Ｓ３０４に進む。

Ｓ３０４では、パターン合致度算出部９が、パターン合致度の算出を行っていない場合には、一致画素数算出部７が算出した一致画素数を、照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する。一方、パターン合致度算出部９が、パターン合致度の算出を行っている場合には、一致画素数算出部７が算出した一致画素数及びパターン合致度算出部９が算出したパターン合致度を、合算した量を照合領域とモデルパターンとのマッチングの度合いを示す合致度として算出する。

ここで、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。

しかし、撮像画像上に撮像対象が接触していない場合、例えば、撮像対象が指の腹の場合などには、接触していない指による大きなぼやけた影に起因したエッジが生じる場合がある。また、例えば、入力デバイス（フォトセンサ）又はセンシング処理回路が欠陥を生じている場合、該欠陥による帯や線状のノイズに起因するエッジが生じる場合もある。

このような、パターンマッチングを阻害するエッジ（以下「不要エッジ」と呼ぶ。）が生じた場合には、モデルパターンの画素数を大きくしても、局所的に（ある１〜２方向のみで）一致画素数を増大させてしまう場合が生じ得る。よって、このような不要エッジが存在する場合には、一致画素数だけでは、誤認識が生じ、適切なパターンマッチングが行えないと考えられる。

そこで、例えば、指やペンが接触した場合には、理想的な全８方向とまではいかずとも、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び合致パターン（例えば、勾配方向種類数）を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、パターンマッチングにおいて、前記一致画素数と前記パターン合致度とを併用するようにすれば、画像入力のノイズや変形に対するロバスト性を向上させることができると考えられる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、前記パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる画像処理装置１などを提供することができる。

次に、図１１（ａ）〜図１３（ａ）に基づき、パターンマッチング過程における、スコア算出部１０の具体的なスコア（合致度）算出方法について説明する。

図１１（ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１１（ｂ）は、その合致度算出方法の一例を示す図である。

図１１（ａ）は、図６（ａ）の照合領域と、図７（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の７行７列（以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。）にある１×１画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している画素を示している。

図１１（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１１（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の１３行１３列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「１」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「０」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「８５」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数（合致度）を用いても良い。

次に、図１１（ｂ）に示す、正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行なう場合（例えば、２１×２１、１３×１３、及び７×７画素の３種類のモデルパターン）に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。

ここでは、正規化一致画素数を、次式（６）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数） ・・・・（６）
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が０〜１０の範囲となるように、適当な定数＝１０と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。

（６）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（８５／１３６）＝６．２５≒６
次に、図１２（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１１（ｂ）は、その合致度算出方法の一例を示す図である。

図１２（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図８（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１２（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１２（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。従って、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。勾配方向は、「右下」が「２つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「２」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「９１」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

ここでは、正規化一致画素数を、次式（７）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数を４倍した値） ・・・・（７）
適当な定数＝１０と設定している。

（７）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（９１／１７６）＝５．１７≒５
次に、図１３（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１３（ｂ）は、その合致度算出方法の一例を示す図である。

図１３（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図９（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１３（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１３（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、２つであり、「右下」が「１つ」に「下」が「１つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、２つであるが、「右」が「１つ」と「右下」が「１つ」である。勾配方向は、「右」が「１つ」と「右下」が「２つ」一致している。従って、この場合の一致画素数は、「３」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図１２（ａ）の場合と比較して、一致画素数が増加しているものを示している。

この結果は、図８（ａ）のモデルパターンよりも図９（ａ）のモデルパターンを使用した場合の方が、より変形に強い（円形からの歪に対するロバスト性の高い）パターンマッチングが行えることを示している。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「１１９」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

（７）式から、図１３（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（１１９／１７６）＝６．７６≒７
次に、図１４〜図１７（ｂ）に基づき、図１のスコア算出部１０が、一致画素数と合致パターンとを併用して、スコア（合致度）を算出する場合について説明する。

図１４は、画像処理装置１におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。

図１４のＳ４０１では、一致画素数算出部７が、一致画素数を初期化して、Ｓ４０２に進む。Ｓ４０２では、パターン合致度算出部９が一致パターンの初期化を行ってＳ４０３に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。

Ｓ４０３では、一致画素数算出部７とパターン合致度算出部９とが１画素ごとに（照合効率化後の画素も含む）勾配方向の照合等を行って、Ｓ４０４に進む。

なお、ここで、Ｓ４０３の直前で、エッジ抽出部４が、エッジマスクによる有効画素判定を行なう場合と併用する構成を採用しても良い。この場合には、バックライト反射ベースと影ベースのパターンマッチングを１の装置で可能とすることができる。

Ｓ４０４では、方向が一致すれば（Ｙｅｓ）Ｓ４０５に進み、一致画素数算出部７が、一致画素数に一致した方向の要素数（効率化処理なしの場合は「１」）を加えてＳ４０６に進み、一方、方向が一致する画素が全くなければ、（Ｎｏ）Ｓ４０１に戻る。

Ｓ４０６では、パターン合致度算出部９が一致した勾配方向を「有」と更新して、Ｓ４０７に進む。

Ｓ４０７では、一致画素数算出部７及びパターン合致度算出部９がモデルパターンの全要素（画素）について照合が終了した場合には、（Ｙｅｓ）Ｓ４０８に進み、照合が終了していない場合には、（Ｎｏ）Ｓ４０３に戻る。

Ｓ４０８では、パターン合致度算出部９が一致パターンのチェックを行ないＳ４０９に進む。この一致パターンのチェックの詳細については、後に説明する。

Ｓ４０９では、パターン合致度算出部９が、モデルパターン・比較用一致パターン格納部８を参照して、「許可パターン」か否かを判定し、許可パターンに該当する場合は、（Ｙｅｓ）Ｓ４１０に進む。一方、許可パターンに該当しない場合は、（Ｎｏ）Ｓ４０４に戻る。なお、この場合は、「許可パターン」に該当する場合は、パターン合致度算出部９は、パターン合致度を「１」とし、「許可パターン」に該当しない場合は、パターン合致度算出部９は、パターン合致度を「０」とし、スコア算出部１０は、一致画素数算出部７が算出した一致画素数にこれらの数値を掛ける構成が考えられる。

Ｓ４１０では、スコア算出部１０が、一致画素数算出部７が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア（合致度）とする。

次に、図１５（ａ）・図１５（ｂ）に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。

図１５（ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、図１５（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。

なお、ここでは、勾配方向の種類は８方向あり、勾配方向種類数の閾値（ＤＮ）を５に設定した場合について説明する。

図１５（ａ）に示すように、Ｓ５０１では、パターン合致度算出部９が、一致パターンの「有」の数が５以上の場合には、Ｓ５０２に進み一致パターンの許可を行なう。

一方、パターン合致度算出部９は、一致パターンの「有」の数（勾配方向種類数）が５未満の場合には、Ｓ５０３に進み一致パターンの不許可を行なう。

同様に、図１５（ｂ）には、パターン合致度算出部９が、一致パターン中の最大連接数（連続一致数）を算出し、一致パターン中の最大連接数（連続一致数）の閾値（ＤＮ）を上記と共通の５に設定した場合が異なること以外は、Ｓ６０１〜Ｓ６０３のフローは、図１５（ａ）のＳ５０１〜Ｓ５０３のフローと同様であるので、ここでは、説明を省略する。

次に、図１６（ａ）〜図１６（ｃ）に基づき、一致パターンのチェックの一例を説明する。

図１６（ａ）は、パターン合致度算出過程の一例を示す概要図であり、図１６（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、図１６（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１６（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「８」方向がすべて存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「８」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１６（ａ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｂ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１６（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｃ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。なお、この例のように、一致パターンのテーブルの左端と右端とは、繋がっている（周期的境界条件）ものとして、一致パターン中の最大連接数を算出する。

以上の結果、図１６（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

次に、図１７（ａ）〜図１７（ｃ）に基づき、一致パターンのチェックの他の例を説明する。

図１７（ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１７（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５以下であり、図１５（ｂ）のフローでは、「不許可パターン」と判定される。したがって、図１７（ａ）の場合には、図１５（ａ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。また、図１５（ｂ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「０」とを掛け算して「０」をスコアとする。

図１７（ｂ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５以下であり、図１５（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「２」となり、閾値の５以下であり、図１５（ｂ）のフローでも、「不許可パターン」と判定される。したがって、図１７（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

図１７（ｃ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５以下であり、図１５（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「不許可パターン」と判定される。

以上の結果、図１７（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

以上のように、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）、及び照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア（合致度）を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（以下「パターンマッチング」と言う。）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。

しかし、撮像画像上に撮像対象が接触していない場合、例えば、撮像対象が指の腹の場合などには、接触していない指による大きなぼやけた影に起因したエッジが生じる場合がある。また、例えば、入力デバイス（フォトセンサ）又はセンシング処理回路が欠陥を生じている場合、該欠陥による帯や線状のノイズに起因するエッジ生じる場合もある。

このような、パターンマッチングを阻害するエッジ（以下「不要エッジ」と呼ぶ。）が生じた場合には、モデルパターンの画素数を大きくしても、局所的に（ある１〜２方向のみで）一致画素数を増大させてしまう場合が生じ得る。よって、このような不要エッジが存在する場合には、一致画素数だけでは、誤認識が生じ、適切なパターンマッチングが行えないと考えられる。

そこで、例えば、指やペンが接触した場合には、理想的な全８方向とまではいかずとも、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び合致パターン（例えば、勾配方向種類数）を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、パターンマッチングにおいて、前記一致画素数と前記パターン合致度とを併用するようにすれば、画像入力のノイズや変形に対するロバスト性を向上させることができると考えられる。

このとき、撮像環境を考慮して、バックライト反射ベースにおいては、勾配方向種類数を６以上と仮定して閾値を設け、影ベースにおいては、勾配方向種類数を４以上と仮定して閾値を設けることが好ましい。図２を用いて説明したように、バックライト反射ベースでは撮像対象は白いぼやけた円形として撮像されるが、影ベースでは撮像対象は白いぼやけた円形とともに、その周囲に影が撮像され、影の勾配方向は完全な円形ではなく半円状の特徴を有するからである。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、前記パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる画像処理装置１などを提供することができる。

したがって、パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。

上記合致方向の種類数と同様に、少なくとも６以上の連続一致数は実現する、という仮定に基づき、一致画素数及び連続一致数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、前記パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。また、勾配方向種類数に代えて連続一致数をパターン合致度の算出に用いることにより、より厳密なパターンマッチングが可能となり、より確実に誤認識を排除することができる。

上述したように、比較一致パターンは、照合領域に含まれる画素ごとの勾配方向と、モデルパターンに含まれる画素ごとの勾配方向との、合致方向の種類数であることが好ましい。

上述の例のように、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び勾配方向種類数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することで、誤認識を排除することができる。

したがって、前記パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。

また、比較一致パターンは、連続一致数（照合領域に含まれる画素ごとの勾配方向と、前記モデルパターンに含まれる画素ごとの勾配方向との、合致方向の種類の連続一致数）であることが好ましい。

上記合致方向の種類数と同様に、少なくとも６以上の連続一致数は実現する、という仮定に基づき、一致画素数及び連続一致数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、前記パターンマッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。また、勾配方向種類数に代えて連続一致数をパターン合致度の算出に用いることにより、より厳密なパターンマッチングを行うことが可能となり、より確実に誤認識を排除することができる。

〔６．ポインティング位置特定過程〕
次に、図１及び図１８〜図２０（ｂ）に基づき、画像処理装置１におけるポインティング位置特定過程について説明する。

図１８は、画像処理装置１の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。

Ｓ７０１では、ピーク探索部１２が、注目画素の周囲で所定の画素数を含む第１領域（探索領域）内で、スコア算出部１０が算出した合致度が最大値を取る画素であるピーク画素を探索して、ピーク画素を発見したらＳ７０２に進む。なお、図示していないが、ピーク探索部１２が、ピーク画素を発見できない場合には、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ７０１に戻る。

Ｓ７０２では、座標算出判定部１３が、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合には、Ｓ７０３に進み、座標算出判定部１３は、「ピーク画素あり」と判定し、Ｓ７０４に進む。一方、座標算出判定部１３が、第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在しなかった場合には、Ｓ７０５に進み、座標算出判定部１３は、「ピーク画素なし」と判定し、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ７０１に戻る。

以上の手順は、座標算出部１４がポインティング（補間）位置を算出するまで繰り返される。

Ｓ７０４では、座標算出部１４が、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、撮像対象による撮像画像上の指示位置を算出して「ＥＮＤ」となる。

なお、上述の説明では、座標算出部１４がポインティング（補間）位置を算出するまで処理を繰り返す場合について説明したが、複数のポインティング（補間）位置を算出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第１・第２領域を移動して、図１８に示すフローチャートの処理を実行すればよい。

次に、図１９（ａ）・図１９（ｂ）に基づき、ピーク画素の有無の判定の具体例について説明する。

図１９（ａ）は、画像処理装置１における座標算出判定部１３が、ピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、座標算出判定部１３が、ピーク画素が有ると判定する場合を説明するための概要図である。

図１９（ａ）に示す実線が第１領域であり、破線が第２領域である。第１領域の画素数は、９×９画素であり、第２領域の画素数は、５×５画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が１画素となるようにするためである。

図１９（ａ）の例では、第１領域内にピーク画素である「９」が存在しているが、該ピーク画素は、第２領域内には存在していない。したがって、この場合は、座標算出判定部１３は、「ピーク画素なし」と判定する。

一方、図１９（ｂ）の例では、第１領域内にピーク画素である「９」が存在しており、かつ、第２領域内にも存在している。したがって、この場合は、座標算出判定部１３は、「ピーク画素あり」と判定する。

なお、上述の例では、第１領域にピーク画素が存在している場合において、第２領域内にピーク画素が無い場合には、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ）である「５画素」だけ、第１領域及び第２領域を動かせば、必ず、ピーク画素が第２領域内に入ってくるように、第１領域と第２領域との画素数との差が設定されている。

次に、図２０（ａ）・図２０（ｂ）に基づき、座標算出部１４のポインティング（補間）座標（撮像対象による撮像画像上の指示位置）算出方法について説明する。

図２０（ａ）は、画像処理装置１における撮像対象による撮像画像上の指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、図２０（ｂ）は、画像処理装置１におけるポインティング（補間）座標の座標算出方法を説明するための概要図である。

図２０（ａ）は、座標算出判定部１３が「ピーク座標あり」と判定した場合であり、図１９（ｂ）の場合と同じである。

なお、図２０（ａ）は第１領域・第２領域とも破線の領域で示されている。一方、実線で示した５×５画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。

図２０（ａ）に示す例では、このピーク画素領域も第２領域と同様に、第１領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第２領域の端にピーク画素が存在する場合でも、ピーク画素領域が第１領域内に包含されるように構成することが好ましい。

次に、図２０（ｂ）に基づき、座標算出部１４のポインティング座標算出方法について説明する。

本例では、画像データの画素数が、３２０×２４０画素で有る場合に、図１の低解像度化部２が、バイリニア縮小を２回行い、さらに、照合効率化部６が、２×２画素について照合効率化を行い、スコア画像（スコアのデータを画素ごとに付与したもの）のサイズが８０×６０画素になっている場合を想定している。

したがって、スコア画像の全領域を８倍に拡大したものが、画像データの全領域に相当する。したがって、補間量（スケール拡大量）＝８となっている。

具体的な計算方法は、以下のとおりである。まず、ピーク画素領域の行ごとのスコアの和を計算する（図２０（ｂ）の１９、２８、３３、２４、及び１１）。次に、ピーク画素領域の列ごとのスコアの和を計算する（図２０（ｂ）の１６、２４、２８、２６、及び２１）。また、ピーク画素領域内（５×５画素）のスコアの総和を求める（図２０（ｂ）の１１５）。

次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを８倍に拡大すると、次式（８）・（９）の座標を得る。

次に、画素のサイズを考慮して目盛り位置の調整を行うと、ポインティング座標（Ｘ，Ｙ）は、次式（１０）となる。

以上によれば、ピーク探索部１２は、第１領域（探索領域）内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

例えば、第１領域の画素数が小さいということは、データ画像（スコア画像）全体（＝全画素）のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第１領域に必要なメモリ容量（例えば９×９画素の第１領域の場合、９ライン分のラインバッファ）があればよい、ということになる。

このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存など、後段処理に受け渡す際にバッファメモリが介在するような実装を行う場合には、全て共通して言えることである。

さらに、座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、ポインティング位置を算出する。例えば、エッジ画像を用いてその重心位置からポインティング位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、画像処理装置１では、ピーク画素領域内の、画素ごとのパターンマッチングによるスコアを用いて、ポインティング位置を算出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内でスコアの重心を算出するなど）で、ポインティング位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、ポインティング位置を算出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行なうことで、ポインティング位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、ポインティング位置の算出において、画像処理量の軽減とポインティング位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置１などを提供することができる。

また、座標算出判定部１３は、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域内に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４にポインティング位置を算出させることが好ましい。

ピーク画素領域は、第２領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第１領域と共通する画素が多数存在することになる。また、ピーク画素領域と第１領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部１４にポインティング位置を算出させることができる。

また、ピーク画素領域と第１領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第１領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、ポインティング位置算出のためにあらためて判明していない各画素のスコアを調べる必要が無い。

以上より、ポインティング位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第１領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装などにおいて各処理モジュールをパイプライン処理する際などに、参照すべきスコアの保持バッファ容量を少量化（例えば画像全体ではなく９ラインのみ）できる。

〔７．タッチ・非タッチの検出〕
つぎに、画像処理装置１において、撮像対象が液晶ディスプレイに接触したと判定する形態について説明する。

まず、スコア算出部１０は、自身が算出するスコアの最大値が所定の閾値を超えた場合に、撮像対象が液晶ディスプレイに接触したと判定することが好ましい。

なお、ここでは、スコア算出部１０が、このような機能を持っているとしたが、別途判定部を設けて同様の機能を備えるよう構成しても良い。

以上の構成によれば、スコアの最大値が所定の閾値を超えた場合に接触を認めることによって、スコアが算出されさえすれば如何なる場合も接触とみなしてしまうことによる誤検出の抑制効果を得ることができる。

また、スコア算出部１０は、自身が、所定の閾値を超える前記合致度を算出した場合に、撮像対象が液晶ディスプレイに接触したと判定することが好ましい。

スコア算出部１０は、自身が、所定の閾値を超えるスコア（十分な合致度）を算出した場合（すなわち、モデルパターンと類似する特徴を得られるような画像情報が入力された場合）には、接触していると判断する。

それゆえ、接触または非接触を判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、接触または非接触について判定することができる。

エッジ抽出部４は、自身が前記第１エッジ画素及び前記第２エッジ画素のいずれか一方を特定した場合に、撮像対象が、液晶ディスプレイに接触したと判定することが好ましい。本実施形態では、エッジ抽出部４に、上記機能を持たせた場合について説明したが、別途、接触判定部を設けて、同様の機能を果すよう構成しても良い。

上述したように、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

そこで、バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、接触判定手段は、エッジ画素特定手段が、前記第１エッジ画素を特定した場合に、前記撮像対象が、液晶ディスプレイに接触したと判定するようにすれば良い。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、厳しめの前記第１閾値よりも大きい第２閾値により、接触判定手段は、エッジ画素特定手段が、前記第２エッジ画素を特定した場合に、前記撮像対象が、液晶ディスプレイに接触したと判定するようにすれば良い。

以上より、緩めの第１閾値と、厳しめの第２閾値とを設定しておくだけで、バックライト反射ベース及び影ベースでのタッチ・非タッチの検出が可能となる。また、タッチ・非タッチを判定するために専用の装置や処理部を設けることなく、ポインティング位置を特定するための画像処理の中で、タッチ・非タッチを判定することができる。

なお、本発明は、上述した画像処理装置（電子機器）の例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、〔発明を実施するための最良の形態〕の各項目にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像処理装置１の各ブロック、特に低解像度化部２、画素値縦勾配量算出部３ａ、画素値横勾配量算出部３ｂ、エッジ抽出部４、勾配方向・無方向特定部５、照合効率化部６、一致画素数算出部７、パターン合致度算出部９、スコア算出部１０、及び位置特定部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、上記プログラムを格納したＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（第二の実施の形態）
本発明の第二の実施の形態について、図２１から図２９に基づいて説明する。本実施の形態においては、補正領域のエッジ量を調整することにより、パターンマッチングの精度を向上させる場合について説明する。なお、第一の実施の形態と同一の部分には同一の符号を用い、その説明を省略する。

図２１は、第二の実施の形態に係る画像処理装置のブロック図である。

第一の実施の形態と異なる点は、第一の実施の形態の構成に加えて、補正領域特定部（補正領域決定手段）１５と、エッジ量補正部（調整手段）１６とを有している点である。

図２２は、第二の実施の形態における画像処理装置１の全体的な動作の概要を示すフローチャートである。

第二の実施の形態においても基本的な画像処理の流れは、第一の実施の形態と同じである。ここで、勾配方向・無方向特定過程（Ｓ１０２）の後に、エッジ量分布の補正領域の特定（ステップＳ１０２５Ａ）及びエッジ量分布の補正（ステップＳ１０２５Ｂ）を行う点が第一の実施の形態と異なる。また、本発明でいうエッジ量とは、画像のエッジを表す量を意味するものであり、エッジの量を示すものであれば、必ずしも勾配量に限られない。なお、本実施の形態では、第一の実施の形態と同様に、画素の輝度の勾配量を例にとって説明する。

（ステップＳ１０２５Ａ：補正領域決定）
図２３は、本発明の第二の実施の形態における、勾配大きさ分布ＡＢＳ（Ｓ）において、第一の閾値を超える部分を示した図である。

図２３では、勾配大きさ分布１７の画素のうち、第一の閾値を超える部分１７１を黒色で表している。また、第一の閾値を超えない画素１７２を白色で表している。なお、説明の便宜上、画像全体でなく一部の領域を示している。また、第一の閾値は、後述の第二の閾値よりも高い値に設定されている。そのため第一の閾値は、第二の閾値より勾配量が抽出される画素が少ない。なお、第二の実施の形態でいう第一の閾値、第二の閾値は、第一の実施の形態の勾配方向・無方向特定過程（Ｓ１０２）等における第１閾値、第２閾値とは別のものである。

なお、第一の閾値の設定方法は、予め実験的に設定しておく必要がある。具体的には、サンプルとなる画像を用意し、閾値を変更しながら勾配量の検出状況を確認する。本実施の形態では、パターンマッチング用のモデルパターンの輪郭が一画素分程度検出される値を閾値として定めている。輪郭が一画素分検出されれば、後述の補正処理において、輪郭画素の周辺の画素を検出できるからである。

図２４は、本発明の実施の形態における、第一の閾値に基づいて勾配大きさの分布が検出された画素について、勾配方向の分布（ＡＮＧ（Ｓ））を示した図である。

図２４では、勾配方向分布１８の画素のうち、第一の閾値に基づいて勾配大きさの分布が検出された画素１８１について、矢印で勾配方向を表している。また、第一の閾値に基づいて勾配大きさの分布が検出されなかった画素１８２については、白色で表している。勾配方向の抽出される画素が、第一の閾値以上の勾配大きさを有する画素に限定されているので、勾配方向の数が比較的少ないものとなっている。

ここで、本実施の形態では、第一の実施の形態と同様に勾配方向を８つの方向に分類している。なお、ここでは８方向に分類を行ったが、必ずしも８方向である必要はなく、検出対象や計算機の性能に応じて適宜変更することができる。例えば、４方向に分類してもよいし、１６方向に分類してもよい。方向数を増やすと位置検出の精度は向上するが、その分計算時間が多くとられてしまう。逆に方向数を減らすと計算時間は短くなるが、その分精度が悪くなってしまう。

図２５は、本発明の実施の形態における、勾配大きさ分布において第二の閾値を超える部分を示した図である。

図２５では、勾配大きさ分布１９の画素のうち、第二の閾値を超える部分１９１を黒色で表している。また、第二の閾値を超えない画素１９２を白色で表している。なお、説明の便宜上、画像全体でなく一部の領域を示している。また、第二の閾値は、前述の第一の閾値よりも高い値に設定されている。そのため第二の閾値は、第一の閾値より勾配量が抽出される画素が多い。

図２６は、本発明の実施の形態における、第二の閾値に基づいて勾配大きさの分布が検出された画素について、勾配方向の分布を示した図である。

図２６では、勾配方向分布２００の画素のうち、第二の閾値に基づいて勾配大きさの分布が検出された画素２０１について、矢印で勾配方向を表している。また、第二の閾値に基づいて勾配大きさの分布が検出されなかった画素２０２については、白色で表している。

本実施の形態においては、勾配方向の分布に基づいて、パターンマッチングを行う。ここで、勾配方向抽出の閾値を高く設定すると、図２４に示すように勾配方向の検出画素が少なくなり、逆に勾配方向抽出の閾値を低く設定すると、図２６に示すようにノイズが増えてしまう。

そこで、第一の閾値に基づいて抽出された勾配大きさの分布を用いて補正領域を決定し、当該補正領域に対して第二の補正閾値を用いてを行う。これによって、ノイズの増加を抑制しながら、必要な部分の勾配量を強調させ、勾配量分布において行われるパターンマッチングの精度を向上させることができる。

図２７は、本発明の実施の形態における、補正領域を説明するための説明図である。

図２７（ａ）においては、図２３と同様に、勾配大きさ分布２１の画素のうち、第一の閾値を超える部分２１１を黒色で表している。また、第一の閾値を超えない画素２１２を白色で表している。そして、当該第一の閾値を超える勾配大きさを有する画素２１１を用いて補正領域を決定する。具体的には、第一の閾値を超える勾配大きさを有する画素の近傍を補正領域とする。

なお、ここでは説明の便宜のために、図２７（ａ）における対象画素Ａ２１１と対象画素Ｂ２１３を例にとって補正領域の決定方法を説明する。また、それぞれの対象画素の周囲の画素を含む領域（対象領域Ａ２１２、対象領域Ｂ２１４）を拡大したものが図２７（ｂ）である。

本実施の形態における補正領域の決定方法は、まず対象とする画素の周囲の画素に勾配大きさが検出されたかどうかを判断する。勾配大きさが検出された場合は補正領域とし、検出されない場合は補正領域としない。

具体的には、対象領域Ａ２１２においては、対象画素Ａ２１１の周囲に勾配大きさは検出されていない。一方、対象領域Ｂ２１４においては、対象画素Ｂ２１３の周囲（図中、右下の画素）に勾配大きさが検出されている。したがって、対象画素Ａ２１１は補正領域に含め、対象画素Ｂ２１３は補正領域に含めない。

このような補正領域に含めるか否かの判断を左上の画素から、右下の画素まで全ての画素で行い、補正領域を決定する。なお、本発明で言うエッジ量を有する画素の近傍とは、エッジ量を有する画素の周辺付近のことを意味している。その一例として、上記補正領域が挙げられる。

また、本実施の形態においては、周囲一画素（３×３の正方形）に勾配大きさが検出されるか否かを判断基準として用いたが、必ずしも周囲一画素に限る必要はなく、周囲二画素であってもよいし、三画素以上であってもよい。また、周囲の領域は正方形を用いたが、必ずしも正方形である必要はなく、長方形であってもよいし、円形に近いものであってもよい。補正領域決定の際の、読み込みメモリの領域幅なども考慮した上で、適宜適切な形状を用いることが好ましい。

さらに、閾値を超える勾配大きさが検出されるか否かのみを判断基準にするだけでなく、検出された勾配大きさの輝度値を含めて、補正領域の判断を行ってもよい。例えば、周囲一画素（３×３の正方形）に含まれる勾配大きさを足し算していき、一定の数値を超えた場合に補正領域と判断するようにしてもよい。

図２８は、本発明の実施の形態における、補正領域を説明するための説明図である。

図２８では、勾配大きさ分布２２の画素のうち、前述の補正領域の決定方法に基づいて決定された補正領域２２１〜２２３を太い線で囲んで示してある。

（ステップＳ１０２５Ｂ：補正処理）
図２９は、本発明の実施の形態における、補正処理を説明するための説明図である。

図２９では、勾配方向分布２３の画素のうち、前述の補正領域の決定方法に基づいて決定された補正領域２２１〜２２３を太い線で囲んで示してある。

前述のステップにおいて、決定された補正領域２２１〜２２３に関しては、勾配方向の検出を第二の閾値に基づいて勾配大きさの分布が検出された画素まで拡大する。すなわち、補正領域２２１〜２２３については図２６の勾配方向分布を用い、補正領域以外の領域については図２６の勾配方向分布を用いる。言い換えると、補正領域２２１〜２２３と補正領域以外とで異なる閾値を用いて、勾配量（エッジ量）を抽出しているとも言える。

このような処理によって得られた、勾配方向の分布２３が図２９に示されている。前述の図２４、図２６同様に矢印で勾配方向を表している。パターンマッチングに有用な部分の勾配方向が多く検出されているため、後のパターンマッチングにおける検出ミスやエラーが少なく、より精度の高い位置検出を行うことができる。

このように、本実施の形態においては、ノイズの増加を抑制しながら、必要な部分のエッジ量を強調させ、エッジ量分布におけるパターンマッチングの精度を向上させることを実現している。

従来技術に示されたように閾値の調整を行うのみでは、図２４と図２６との中間にあたる分布を得ることはできるが、適切な位置の勾配分布を強調すること（または、不要な部分のノイズをカットすること）はできない。また、本発明のように他段階でなく、閾値を一つに決定しなければならないため、閾値の設定が困難である。

なお、本実施の形態においても、ノイズ部分の周辺も強調されているが、一部の領域のノイズが強調されるのみであり、図２６に示されるノイズの量と比較すると、軽微なものとなっており、パターンマッチングに与える影響は少ない。

また、本実施の形態においては、補正領域の決定には勾配量の大きさを用い、パターンマッチングには勾配量の方向を用いた。必ずしも、このような実施の形態に限られるものではなく、補正領域の決定もパターンマッチングも、両方とも勾配の大きさを用いて行ってもよい。この場合は、パターンマッチングの計算時間を少なくさせることができる。

なお、本実施の形態においては、二段階の閾値を用いて勾配量分布を抽出したが、かならずしも二段階に限られるものではない。第一の閾値として、二段階以上の閾値を用意し、得られた複数の勾配大きさ分布から適切なものを選んで、補正領域を決定しても良い。また、第二の閾値として、二段階以上の閾値を用意し、得られた複数の勾配量分布から適切なものを選んでパターンマッチングを行っても良い。

このように、画像処理装置の計算性能や、求められるパターンマッチングの精度等を総合的に考慮して、適宜適当な形で画像処理を行うことが好ましい。なお、本実施の形態に係る画像処理をプログラムにして、情報処理装置に行わせるようにしてもよい。また、当該プログラムを記録媒体に記録してもよい。これらによって、本実施の形態に係る画像処理の実施が容易となる。

（第三の実施の形態）
本発明の第三の実施の形態について、図３０から図３２に基づいて説明する。本実施の形態においては、圧力によって光学特性が変化するフィルムを設けた液晶表示装置について説明する。なお、第一の実施の形態、第二の実施の形態と同一の部分には同一の符号を用い、その説明を省略する。

図３０は、本発明の実施の形態における、液晶ディスプレイを説明するための説明図である。

本実施の形態にかかる液晶ディスプレイ（液晶表示装置）３０は、アレイ基板３０１と、アレイ基板３０１の外側に設けられた表側偏光板（第一の偏光板）３０３と、表側偏光板（第一の偏光板）３０３とアレイ基板３０１との間に設けられた透明フィルム（光学変換層）３０５と、アレイ基板３０１の画素内に設けられた光センサー（受光素子）２０７と、光センサー（受光素子）２０７を覆う絶縁層３０９と、アレイ基板３０１に対向する裏側偏光板（第二の偏光板）３１１と、アレイ基板３０１と対向基板３１３との間隙に形成された液晶層（液晶層）３１７と、対向基板３１３と、対向基板３１３の外側に設けられたバックライト３１５と、からなる。

すなわち、第一の実施の形態又は第二の実施の形態の画像処理装置に加え、第一の偏光板と、第二の偏光板と、前記第一の偏光板と前記第二の偏光版との間隙に設けられた液晶層と、受光素子とを備え、圧力によって光学特性が変化する光学変換層を前記第一の偏光板と前記第二の偏光板との間に設けている液晶表示装置といえる。

バックライト３１５から照射された光３２０は、一部が透明フィルム（光学変換層）３０５に当たって反射され、当該反射光３２１が光センサー（受光素子）２０７に入力される。ここで、透明フィルム（光学変換層）３０５は、圧力によって光学特性が変化する特性を有している。透明フィルム（光学変換層）３０５に圧力が加わると、光学特性が変化し、光センサー（受光素子）２０７に入射する光の量が少なくなる。

透明フィルム（光学変換層）３０５からの反射光３２１を、画素ごとに設けられた光センサー（受光素子）２０７が検知し、当該光検知情報を画像として出力することができる。

表側偏光板（第一の偏光板）３０３に到達する前のバックライト３１５からの光３２０は、表示に依存することなく一定である。このような構成により、表示画面が暗い場合でも表示面に接触した指などを検出することができる。また、周囲が暗い場合でもバックライト３１５から出射し、透明フィルム（光学変換層）３０５から反射された反射光３２１反射光を検出できるので、タッチ位置を正確に認識することができる。

なお、透明フィルム（光学変換層）３０５を設ける構成以外の構成は、第一の実施の形態における同様である。

図３１は、本発明の実施の形態における、読取動作の説明図である。

指によって液晶ディスプレイ（液晶表示装置）３０が押され、透明フィルム（光学変換層）３０５が圧力によって変化している。変形形状は図示されていないが、透明フィルム（光学変換層）３０５は指の押圧によってわずかに変形している。なお、検出する指の位置は、必ずしも一点に限られず、二本以上の指が接触している場合には、二点以上を検出するように構成されている。

図３２は、本発明の実施の形態における、撮像画像の説明図である。

撮像画像４０において、指やペンによって、圧力が加わった場合、その圧力が加わった部分４０１が暗くなっている。これは、圧力によって、透明フィルム（光学変換層）３０５の光学特性が変化し、バックライト３１５から出射し、透明フィルム（光学変換層）３０５から反射された反射光３２１の反射状況がその部分だけ異なるからである。なお、説明の便宜のために、概略化した図面となっているが、実際の画像は濃淡が一定でなく、外光の影響など様々なノイズを含んでいる。

なお、このような液晶ディスプレイは、本明細書に言う、画像を表示画面に表示する表示機能と、表示画面に近接した被対象物の画像を撮像する撮像機能と、を備えた表示撮像装置の一例である。

図３２に示すような、入力画像に対しても、本願発明の第一の実施の形態及び第二の実施の形態に示した画像処理方法を好適に用いることができる。また、これによって、タッチパネルを実現することができる。

本発明は、撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する画像処理方法に有効に適用することができる。

本発明における画像処理装置の実施の一形態を示すブロック図である。 （ａ）は、周囲が暗い場合における指の腹の撮像画像の撮像の様子を示す概要図であり、（ｂ）は、周囲が暗い場合における指の腹の撮像画像の特徴を示す概要図であり、（ｃ）は、周囲が明るい場合における指の腹の撮像画像の撮像の様子を示す概要図であり、（ｄ）は、周囲が明るい場合における指の腹の撮像画像の特徴を示す概要図であり、（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図であり、（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。 上記画像処理装置の全体的な動作の概要を示すフローチャートである。 上記画像処理装置の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。 （ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。 （ａ）は、周囲が暗い場合における画像データの勾配方向の特徴を示す概要図であり、（ｂ）は、同図について照合効率化を行った後の様子を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。 上記画像処理装置の動作のうち、パターンマッチング過程の動作を示すフローチャートである。 （ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの一例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの他の例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 上記画像処理装置におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。 （ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。 （ａ）は、パターン合致度算出過程の一例を示す概要図であり、（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 （ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 上記画像処理装置の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。 （ａ）は、上記画像処理装置における座標算出判定部のピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、上記画像処理装置における座標算出判定部のピーク画素が有ると判定する場合を説明するための概要図である。 （ａ）は、画像処理装置における撮像対象による撮像画像上の指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、（ｂ）は、上記画像処理装置における前記指示位置の座標算出方法を説明するための概要図である。 本発明の第二の実施の形態における、画像処理装置の形態を示すブロック図である。 本発明の第二の実施の形態における、画像処理装置の全体的な動作の概要を示すフローチャートである。 本発明の第二の実施の形態における、勾配大きさ分布において第一の閾値を超える部分を示した図である。 本発明の第二の実施の形態における、第一の閾値に基づいて勾配大きさの分布が検出された画素について、勾配方向の分布を示した図である。 本発明の第二の実施の形態における、勾配大きさ分布において第二の閾値を超える部分を示した図である。 本発明の第二の実施の形態における、第二の閾値に基づいて勾配大きさの分布が検出された画素について、勾配方向の分布を示した図である。 本発明の第二の実施の形態における、補正領域を説明するための説明図である。 本発明の第二の実施の形態における、補正領域を説明するための説明図である。 本発明の第二の実施の形態における、補正処理を説明するための説明図である。 本発明の第三の実施の形態における、液晶ディスプレイを説明するための説明図である。 本発明の第三の実施の形態における、読取動作の説明図である。 本発明の第三の実施の形態における、撮像画像の説明図である。

符号の説明

１ 画像処理装置
２ 低解像度化部
３ａ 画素値縦勾配量算出部（勾配算出手段）
３ｂ 画素値横勾配量算出部（勾配算出手段）
４ エッジ抽出部（エッジ画素特定手段、接触判定手段）
５ 勾配方向・無方向特定部（勾配方向特定手段）
６ 照合効率化部（照合効率化手段）
７ 一致画素数算出部（合致度算出手段）
８ モデルパターン・比較用一致パターン格納部
９ パターン合致度算出部（合致度算出手段）
１０ スコア算出部（合致度算出手段、接触判定手段）
１１ 位置特定部（位置特定手段）
１２ ピーク探索部（ピーク画素特定手段、位置特定手段）
１３ 座標算出判定部（座標算出判定手段、位置特定手段）
１４ 座標算出部（座標算出手段、位置特定手段）
２０ 電子機器
６１〜６４ 撮像画像
Ｓｘ 横方向勾配量
Ｓｙ 縦方向勾配量
ＡＢＳ（Ｓ） 勾配の大きさ
ＡＮＧ（Ｓ） 勾配方向
１５ 補正領域特定部（補正領域決定手段）
１６ エッジ量補正部（調整手段）
１７ 勾配大きさ分布
１８ 勾配方向分布
１９ 勾配大きさ分布
２００ 勾配方向分布
２１１ 対象画素Ａ
２１２ 対象領域Ａ
２１３ 対象画素Ｂ
２１４ 対象領域Ｂ
３０ 液晶ディスプレイ（液晶表示装置）
３０１ アレイ基板
３０３ 表側偏光板（第一の偏光板）
３０５ 透明フィルム（光学変換層）
３０９ 絶縁層
３０７ 光センサー（受光素子）
３１１ 裏側偏光板（第二の偏光板）
３１３ 対向基板
３１５ バックライト
３１７ 液晶層（液晶層）

Claims (14)

1. 撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する画像処理方法において、
   前記画像データのエッジ量を算出する算出ステップと、
   前記エッジ量を用いて補正領域を決定する補正領域決定ステップと、
   前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整ステップとを備えてなることを特徴とする画像処理方法。
2. 前記補正領域決定ステップにおいて、第一の閾値を越えるエッジ量を有する画素の近傍を前記補正領域とし、
   前記調整ステップにおいて、第一の閾値よりエッジ量が抽出される画素が多い第二の閾値を用いて、補正領域の画素のエッジ量を調整することを特徴とする、請求項１に記載の画像処理方法。
3. 前記エッジ量は、大きさと方向とを持つベクトル量であることを特徴とする、請求項１又は請求項２に記載の画像処理方法。
4. 前記補正領域決定ステップにおける補正領域の決定は、前記エッジ量の大きさを用い、
   前記パターンマッチングにおいては、前記エッジ量の方向を用いることを特徴とする、請求項３に記載の画像処理方法。
5. 前記エッジ量は、画素の輝度の勾配量であることを特徴とする、請求項１から請求項４のいずれか一項に記載の画像処理方法。
6. 前記算出ステップにおいて、Ｓｏｂｅｌオペレータを用いることを特徴とする、請求項５に記載の画像処理方法。
7. 前記撮像画像は、画像を表示画面に表示する表示機能と、表示画面に近接した被対象物の画像を撮像する撮像機能と、を備えた表示撮像装置によって撮像された画像である、請求項１〜請求項６のいずれか一項に記載の画像処理方法。
8. 請求項１〜請求項７のいずれか一項に記載の画像処理方法を用いて、被対称物の接触位置を検出する画像処理方法。
9. 請求項１〜請求項８のいずれか一項に記載の方法を情報処理装置に実行させるためのプログラム。
10. 請求項９に記載のプログラムを記録した記録媒体。
11. 撮像された撮像画像の画像データよりエッジ量を算出し、該エッジ量の分布を用いてモデルパターンとのパターンマッチングを行い、指示位置を特定する機能を備えた画像処理装置において、
    画像データのエッジ量を算出する算出手段と、
    前記エッジ量を用いて補正領域を決定する補正領域決定手段と、
    前記補正領域のエッジ量を調整することにより、前記パターンマッチングの精度を向上させる調整手段とを備えてなることを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置を備えた、タッチパネル。
13. 請求項１１に記載の画像処理装置を備えた、電子機器。
14. 請求項１１に記載の画像処理装置を備えた、液晶表示装置。

Images