JP2011113133A - 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 - Google Patents
画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 Download PDFInfo
- Publication number
- JP2011113133A JP2011113133A JP2009266548A JP2009266548A JP2011113133A JP 2011113133 A JP2011113133 A JP 2011113133A JP 2009266548 A JP2009266548 A JP 2009266548A JP 2009266548 A JP2009266548 A JP 2009266548A JP 2011113133 A JP2011113133 A JP 2011113133A
- Authority
- JP
- Japan
- Prior art keywords
- matching
- gradient
- pixel
- specifying
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
【課題】撮像対象物の指示方向を安定して検出する。
【解決手段】撮像された撮像画像の画像データから勾配Sを算出する勾配特徴量算出部2と、勾配特徴量算出部2が算出した勾配の大きさPOW(S)が所定の閾値以上であるエッジ画素を特定するエッジ抽出部3と、画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、照合領域に含まれる勾配方向ANG(S)とモデルパターンに含まれる勾配方向ANG(S)が一致する画素の数を示す一致画素数を算出する一致画素数算出部5と、一致画素数算出部5が算出した一致画素数が最大となる照合領域を合致領域として特定する合致領域特定部7と、合致領域特定部7が特定した合致領域に含まれるエッジ画素毎の勾配Sの分布から、撮像画像上の対象物の指示方向を特定する対象物方向特定部9とを備える。
【選択図】図1
【解決手段】撮像された撮像画像の画像データから勾配Sを算出する勾配特徴量算出部2と、勾配特徴量算出部2が算出した勾配の大きさPOW(S)が所定の閾値以上であるエッジ画素を特定するエッジ抽出部3と、画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、照合領域に含まれる勾配方向ANG(S)とモデルパターンに含まれる勾配方向ANG(S)が一致する画素の数を示す一致画素数を算出する一致画素数算出部5と、一致画素数算出部5が算出した一致画素数が最大となる照合領域を合致領域として特定する合致領域特定部7と、合致領域特定部7が特定した合致領域に含まれるエッジ画素毎の勾配Sの分布から、撮像画像上の対象物の指示方向を特定する対象物方向特定部9とを備える。
【選択図】図1
Description
本発明は、撮像された撮像画像中の対象物(例えば、指)を認識する機能を備えた画像処理装置、該画像処理装置の制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記画像処理装置の制御方法に関するものである。
一般に、カメラ等を用いて撮像された撮像画像中にある所定の対象物の指示位置等を、画像処理技術を用いて認識し、その認識結果に応じた処理を行う装置が知られている。例えば、撮像画像中の人間の手や指などの部位を認識し、その位置を特定した上で、特定された位置に応じてデータ入力や操作を行う画像処理装置が知られている。
このように、撮像された撮像画像中の対象物を、画像処理技術を用いて認識し、その指示位置等を特定する技術として特許文献1に開示された操作入力装置がある。
特許文献1に開示された操作入力装置は、主として、半透明スクリーンの背面側から撮影する撮影手段と、撮影手段が取得した画像データを用い、半透明スクリーンに映る画像の輝度を基に表示面における操作位置を検出する操作位置検出手段とを備えている。
操作位置検出手段は、画像データの中で輝度が閾値以上となる複数の領域を、ユーザが表示面に触れている接触領域として検出し、ユーザが表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する接触領域を操作位置として検出している。
さらに、操作位置検出手段は、半透明スクリーン上の区画域である第1領域及び第2領域の各々において、輝度が閾値よりも低い値の第2閾値以上で、かつ前記閾値よりも低い値となる領域を操作部位の画像として認識し、第1領域に表示される第1操作部位画像と、第2領域に表示される第2操作部位画像との各々で画像の重心を算出し、これら2つの重心を通るとともに第2操作部位画像の重心から第1操作部位画像の重心に向かう先端方向ベクトルを操作方向として算出している。
以上のように、操作入力装置は、撮影手段から入力した画像を用いて操作位置や操作方向を特定するようになっている。
しかしながら、前記従来の特許文献1に開示された操作入力装置には、以下のような問題点がある。
まず、この操作入力装置では、半透明スクリーン上の区画域である第1領域及び第2領域の各々において認識した操作部位の画像を用いて操作方向を算出しているため、検出対象物が第1領域及び第2領域の2つの領域にまたがらない(いずれか一方のみに存在する)場合は、操作方向を検出できないという問題点がある。
また、この操作入力装置は、画像データ中で輝度が閾値以上となる複数の領域を操作部位の画像として認識し、これら複数の操作部位画像の重心をもとに操作方向を算出しているので、例えば、人間の手や指の場合は、接触面に対する手や指の角度の変動に連動して、接触している部位のうち先端では無い側(指であれば、付け根側)の輝度が変動し、それに従い操作部位画像の面積や形状が変化することから、操作方向を安定して算出することが難しいという問題点もある。
本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、撮像対象物の指示方向を安定して検出することができる画像処理装置などを提供することにある。
本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えていることを特徴とする。
また、本発明の画像処理装置の制御方法は、前記課題を解決するために、撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいることを特徴とする。
前記構成及び方法によれば、勾配特徴量算出手段又は勾配特徴量算出ステップでは、撮像された撮像画像の画像データから画素値勾配特徴量を算出する。
次に、エッジ画素特定手段又はエッジ画素特定ステップでは、画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定する。
これにより、画像データ上の全画素の中から、画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を、画素値勾配特徴量の大きさが所定の閾値未満であるエッジ画素以外の画素から選り分けることができる。
次に、合致度算出手段又は合致度算出ステップでは、画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。
これにより、合致度算出手段又は合致度算出ステップで算出した合致度から照合領域とモデルパターンとのマッチングの度合いを認識することができる。
次に、合致領域特定手段又は合致領域特定ステップでは、合致度算出手段又は合致度算出ステップで算出した合致度が最大となる照合領域を合致領域として特定する。
これにより、画像データにおける対象物の存在領域を示す合致領域を特定することができる。
次に、方向特定手段又は方向特定ステップでは、特定した合致領域に含まれるエッジ画素毎の画素値勾配特徴量の分布から、撮像画像上の対象物の指示方向を特定する。
ここで、照合領域と、予め定められたモデルパターンとの照合(以下「パターンマッチング」と言う。)に使用される量としては、画素値(濃度値又は輝度値)などのスカラー量も考えられる。しかしながら、このようなスカラー量は量子化したとしても、対象物の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。なお、量子化とは、所定の範囲内の量を一律にある一定の量と看做して扱うことである。
一方、画素値勾配特徴量は、少なくとも画素値の勾配方向という方向の自由度を持っている。なお、画素値の勾配は、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を全ての隣接画素について加算することによって得られるベクトル量であり、勾配の大きさ及び勾配方向を持つ。
ここで、例えば、勾配方向は、0rad以上2πrad未満の角度に限定することができ、0rad以上2πrad未満の角度範囲を適当な上限角度で等分割することにより、無限の自由度を持つ勾配方向を有限の数の方向に量子化することが可能である。
また、勾配方向は、例えば、8方向に量子化することによって、1つの画素について算出される勾配方向が取り得る状態を8(無方向を含めると9)という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせることができる。したがって、画素値勾配特徴量は、上述したパターンマッチングに適した量である。
さらに、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、エッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、対象物が指の場合、各画素における、勾配の大きさ(濃度差)は、接触面に対する指の角度の変動に関わらず、凡そ指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示す。これらの傾向は、指の角度の変動等に応じて、大きく変わることは無い。なお、対象物が指の場合、指示方向は、通常、指の付け根側から指の先端に向かう向きに沿っている。
したがって、画素値勾配特徴量を用いれば、合致領域に含まれる画素のうち、エッジ画素毎の画素値勾配特徴量の分布が示す上述した傾向を利用できるので、合致領域に含まれるエッジ画素毎の画素値勾配特徴量の分布から、撮像画像上の対象物の指示方向を特定することができる。
よって、単一の合致領域のみを用いて指示方向を特定できるので、特許文献1に開示された操作入力装置のように対象物が第1領域及び第2領域の2つの領域にまたがらない場合に、操作方向を検出できないという問題点は生じない。よって、安定した指示方向の特定が可能である。
また、画素値勾配特徴量は、上述したように画素値の差分であるから、例えば、指の角度の変動等に連動して、指の付け根側の画素値が変動したとしても、画素値勾配特徴量の大きさが、指の付け根側は小さく、指の先端に向かうほど大きくなるという傾向及びその勾配方向はあまり変動せず、特許文献1に開示された操作入力装置のように、指の付け根側の画素値の変動により操作方向を安定して算出できなくなるという問題点は生じない。よって、安定した指示方向の特定が可能である。
以上のように、本発明の画像処理装置及びその制御方法によれば、撮像対象物の指示方向を安定して検出することができる。
ここで、「画像データ」は、アナログデータ及びデジタルデータの何れであっても良い。また、「画素値」は、輝度値や濃度値のことである。なお、アナログデータの場合、画像データを複数の領域に分割した各分割領域のことを画素、各分割領域における平均濃度値を画素値と呼ぶ。また、「画素値」が濃度値の場合、「画素値勾配特徴量」は「濃度勾配特徴量」と称しても良い。
ところで、撮像時に生じたノイズ又は画素の欠陥等があった場合(以下、このような問題が生じた画素を「エラー画素」という)、エラー画素が、画素値勾配特徴量に影響を及ぼし、指示方向の特定精度が低下してしまう可能性がある。
そこで、このような問題点を解決するために、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記照合領域上の前記エッジ画素特定手段によって特定された前記エッジ画素を含む領域と前記モデルパターンとの照合を行っても良い。
これにより、あまり重要でないエッジ画素以外の画素を除外し、エッジ画素についてのみパターンマッチングを行うようにしているので、上述したエラー画素などの大部分を除外することができる。これにより指示方向の特定精度を向上させることができるので、指示方向を安定して検出することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記照合領域に含まれる注目画素を、前記画像データに含まれる全ての画素に合わせながら、前記照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、前記各照合領域に対応する各注目画素について算出することで、前記画像データに含まれる全ての画素について前記合致度を算出し、前記合致領域に含まれる画素毎の前記合致度の分布から、前記撮像画像上の対象物の指示位置を特定する位置特定手段を備えていても良い。
前記構成によれば、合致度算出手段は、照合領域に含まれる注目画素を、画像データに含まれる全ての画素に合わせながら、照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、各照合領域に対応する各注目画素について算出することで、画像データに含まれる全ての画素について合致度を算出する。
ここで、簡単のため、撮像画像、照合領域、及びモデルパターンのそれぞれの形状がいずれも矩形であるものとするが、それぞれの形状は、矩形に限られない。また、照合領域に含まれる画素の中から注目する単一の画素を予め決めておき、その単一の画素のことを注目画素と称することとする。
ここで、パターンマッチングは、例えば、画像データの左上角の画素を、照合領域の注目画素の位置とした状態からスタートし、照合領域を、画像データの左上角から右下角まで一画素づつ走査させながら、モデルパターンとのマッチングが行われる。
なお、画像データの端(最外周)の画素を、照合領域の注目画素の位置とした状態のとき、照合領域の一部に画素が存在していない場合が生じ得る。しかしながら、このような境界問題が生じる場合は、照合領域の画素が存在していない部分の画素を除外してパターンマッチングを行っても良い。また、周期的境界条件などを設定し、照合領域上の照合領域の画素が存在していない部分の画素を適当な画素値勾配特徴量を持つモデルで置き換えてパターンマッチングを行っても良い。
また、照合領域の大きさや形状は、モデルパターンの大きさや形状に合わせて適宜設定すれば良い。
以上のようなパターンマッチングにより、一画素づつ走査される照合領域は、複数存在し、合致度算出手段又は合致度算出ステップでは、一画素づつ走査させた照合領域毎に合致度が算出されることになる。すなわち、画像データ上の全ての画素のそれぞれについて合致度が算出される。
次に、位置特定手段は、合致領域に含まれる画素毎に算出された合致度の分布から、撮像画像上の対象物の指示位置を特定する。
よって、合致領域に含まれる画素毎の合致度の分布から撮像画像上の対象物の指示位置を特定することができる。
例えば、合致領域に含まれる画素毎の合致度のうち、最大の合致度をもつ画素の位置を対象物の指示位置としても良いし、合致領域に含まれる画素毎の合致度を重みとした重み付け平均によって求めた位置を対象物の指示位置としても良い。
また、本発明の画像処理装置は、前記構成に加えて、前記所定の閾値は、予め定められた第1閾値と、該第1閾値よりも大きい第2閾値とを、少なくとも含んでおり、前記エッジ画素特定手段は、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが前記第1閾値以上である第1エッジ画素と、前記第2閾値以上である第2エッジ画素とを前記エッジ画素として特定し、前記合致度算出手段は、前記第1エッジ画素について前記照合領域と前記モデルパターンとの照合を行った結果から第1合致度、及び前記第2エッジ画素について前記照合を行った結果から第2合致度を、前記合致度として算出し、前記方向特定手段は、前記合致領域に含まれる前記第2エッジ画素毎の前記画素値勾配特徴量の分布から前記指示方向を特定し、前記位置特定手段は、前記合致領域に含まれる画素毎の前記第1合致度、及び前記第2合致度のうち少なくとも一方の分布から前記指示位置を特定しても良い。
前記構成によれば、所定の閾値は、予め定められた第1閾値と、該第1閾値よりも大きい第2閾値とを、少なくとも含んでいる。
また、合致度算出手段は、第1エッジ画素について照合領域とモデルパターンとの照合を行った結果から第1合致度(合致度)、及び第2エッジ画素について照合を行った結果から第2合致度(合致度)を算出する。
ここで、上述したように、指の先端付近の勾配の大きさは比較的大きく、指の付け根側の勾配の大きさは小さくなる傾向がある。
そこで、例えば、指の先端付近の画素値勾配特徴量を検出するための閾値を第2閾値とし、少なくとも指の付け根側の画素値勾配特徴量を検出するための閾値を第1閾値とすれば、第1閾値以上の画素によって、指全体のエッジ(第1エッジ画素)を検出することができ、第2閾値以上の画素によって、指の先端付近のエッジ(第2エッジ画素)を検出することができる。
なお、第1合致度は、指全体のエッジに関係する合致度であり、第2合致度は、指の先端付近のエッジに関係する合致度となる。
一方、位置特定手段は、合致領域に含まれる画素毎に算出された第1合致度、及び第2合致度のうち少なくとも一方の分布から指示位置を特定する。
ここで、上述したように例えば、指の先端付近の画素値勾配特徴量を検出するための閾値を第2閾値とし、少なくとも指の付け根側の画素値勾配特徴量を検出するための閾値を第1閾値とすれば、合致領域上の第1合致度の分布は、エッジで囲まれた部分の中心、すなわち、指の腹の中心付近を算出する目安となり、合致領域上の第2合致度の分布は、指の先端付近の位置(以下、単に「先端位置」という)を算出する目安となる。
よって、第1合致度の分布から特定した指示位置は、指の腹の中心に近くなり、第2合致度の分布から特定した指示位置は、先端位置に近くなる。
また、第1合致度、及び第2合致度の分布から特定した指示位置は、指の腹の中心と、先端位置との中間の位置に近くなる。
よって、合致領域上の第1合致度及び第2合致度のうち少なくとも一方の分布から指示位置を特定すれば、指の腹の中心、先端位置、又は中間の位置のいずれかに近い位置を指示位置として特定することが可能となる。
また、第1合致度、第2合致度又はこれらの合致度の組合せのいずれかを選択することにより、ユーザの嗜好に合わせて、指の腹の中心、先端位置、又は中間の位置に近い位置のいずれかを選択して対象物の指示位置として特定することが可能となる。
また、本発明の画像処理装置は、前記構成に加えて、前記画素値勾配特徴量は、少なくとも画素値の勾配方向を示す特徴量であることが好ましい。
上述したように、画素値の勾配方向は、方向を示す特徴量なので直接指示方向と結びつけることができ、対象物の指示方向の特定が簡単な特徴量である。
一方、勾配の大きさなどのスカラー量は、方向を示す特徴量でないので直接指示方向と結びつけることが困難な特徴量である。
従って、特徴量として画素値の勾配方向を用いることによって、対象物の指示方向の特定をより簡単に実現することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記勾配方向毎に、前記照合領域に含まれる前記勾配方向と、前記モデルパターンに含まれる前記勾配方向とが一致する画素の数を示す一致画素数を、前記合致度として算出しても良い。
ここで、勾配方向を利用したパターンマッチングでは、照合領域に含まれる画素毎に、勾配方向が一致したか否かが判定できる。
よって、照合領域の全画素に亘って計算した一致画素数を合致度として算出することもできるし、勾配方向毎に計算した一致画素数を合致度として算出することもできる。さらに、照合領域に含まれる画素毎に合致度(一致・不一致)を算出することもできる。
ここで、勾配方向毎に、一致画素数を算出した場合、勾配方向毎の一致画素数が特定の勾配方向に偏っていれば、この偏りを利用して簡単に指示方向を特定することができる。
よって、勾配方向は、指示方向の特定に適した画素値勾配特徴量と言える。
また、本発明の画像処理装置は、前記構成に加えて、前記勾配方向毎の一致画素数の分布と、前記指示方向との対応関係を示す対応付け情報が予め定められており、前記方向特定手段は、前記対応付け情報を参照して、前記合致度算出手段が算出した前記勾配方向毎の一致画素数の分布から前記指示方向を特定しても良い。
ここで、対応付け情報の例としては、モデルパターンとマッチした勾配方向の偏りが大きい場合は、単に、勾配方向毎に、一致した画素の存否のみを示す(一致画素数は捨象する)方向一致パターンと、指示方向とを対応付けておけば良い。
また、モデルパターンとマッチした勾配方向の偏りが小さい場合は、勾配方向毎の一致画素数の分布と、指示方向とを対応付けておけば良い。このとき、一致画素数が大きな勾配方向が、指示方向との関係が強いものとして対応付け情報を設定する。
また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の一致画素数を長さとする第1方向ベクトルの分布から、前記指示方向を特定しても良い。
ここで、一致画素数が大きい勾配方向は、対象物の指示方向との関係が強いので、勾配方向毎の一致画素数を用いれば、指示方向との関係の強弱によってエッジ画素を選り分けることができるので、精度よく指示方向を特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の一致画素数と前記画素値勾配特徴量の大きさとの積を長さとする第2方向ベクトルの分布から、前記指示方向を特定しても良い。
上述した第1方向ベクトルでは、一致画素数を勾配の大きさと看做して指示方向の特定を行った。しかしながら、画素値勾配特徴量は、厳密には、勾配の大きさという自由度を持っているので、勾配の大きさの自由度を含めた第2方向ベクトルの分布から、指示方向を特定するようにすれば、より精度の高い指示方向の特定が可能となる。
また、上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、第2方向ベクトルでは、最終的に算出される第2方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、より精度よく指示方向を特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の、前記画素値勾配特徴量の大きさを長さとする第3方向ベクトルの分布から、前記指示方向を特定しても良い。
上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、第3方向ベクトルでは、最終的に算出される第3方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、精度よく指示方向を特定することができる。
ところで、指の腹などの中心位置を対象物の指示位置とする場合、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の接触面全体が、エッジ画素として特定されるように、パターンマッチングによって、対象物の形状を比較的厳密に照合することが望ましい。したがって、エッジ画素を特定するための所定の閾値は、あまり大きく設定することができない。
一方、例えば、人間の手や指を検出する場合、表示面に対する手や指の角度の変動によって、接触している部位のうち指の付け根側の輝度が変動し、それに従い、指の付け根側の画像の面積や形状が変化する。よって、あまり所定の閾値を小さくしすぎると、接触している部位のうち、先端では無い、指の付け根側の面積が大きくなり、所定の閾値を用いて特定したエッジ画素について照合した合致度を用いて指示位置を安定して特定することが困難となる。したがって、所定の閾値の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題点がある。
言い換えれば、上述した対象物の指示位置は、ノイズ等の影響や、対象物の接触面全体の形状の変化による影響を受けやすいと言える。
そこで、このような問題点を解決するために、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、及び前記方向特定手段が特定した前記指示方向から、前記撮像画像上の対象物の先端位置を特定しても良い。
ここで、例えば、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多い領域は、合致領域上で対象物の先端位置に近い領域であると考えられる。
また、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したとしても、合致領域上の先端位置に近い領域の位置や、先端位置に近い領域に含まれる画素の勾配方向はあまり変化しないと考えられる。
よって、例えば、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が存在する領域から対象物の先端位置を特定するようにすれば、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず、精度よく先端位置を特定することができる。
以上より、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の先端位置を高精度に特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、前記方向特定手段が特定した前記指示方向、及び該画素値勾配特徴量の大きさから、前記撮像画像上の対象物の先端位置を特定しても良い。
ところで、上述したように、指の付け根側から指の先端付近に向かう程、勾配の大きさは大きくなる傾向がある。よって、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多く存在する領域のうち、勾配の大きさが大きい画素の位置は、対象物の先端位置に近い位置であると考えられる。
よって、前記構成によれば、例えば、合致領域に含まれるエッジ画素毎の勾配方向の分布、方向特定手段が特定した指示方向から、指の先端付近の領域を特定し、さらに指の先端付近の領域から勾配の大きさが大きい画素の位置を先端位置とすることができるので、より高精度に対象物の先端位置を特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と同方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定しても良い。
ところで、例えば、撮像センサ内蔵型液晶ディスプレイの場合、バックライトから出射した出射光が対象物で反射した反射光と、外光との重ね合わせ光が、撮像センサによって検出される。
このような重ね合わせ光を撮像センサによって撮像した撮像画像では、周囲が明るい場合と、周囲が暗い場合とで、エッジ部分の勾配方向は、互いに逆向きになる傾向がある。
そこで、前記構成によれば、周囲が明るい場合を想定して、エッジ画素毎の勾配方向のうち、指示方向と同方向の勾配方向が算出されているエッジ画素の分布から先端位置を特定している。
これにより、周囲が明るい場合でも精度良く先端位置を特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と逆方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定しても良い。
前記構成によれば、周囲が暗い場合を想定して、エッジ画素毎の勾配方向のうち、指示方向と逆方向の勾配方向が算出されているエッジ画素の分布から先端位置を特定している。
これにより、周囲が暗い場合でも精度良く先端位置を特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前回の動作で前記指示位置が特定されており、前回及び今回の動作で前記先端位置が特定された場合に、前回の動作で特定された前記先端位置から今回の動作で特定された前記先端位置までの変位量だけ、前回の動作で特定された前記指示位置を変位させた位置を今回の前記対象物の指示位置としても良い。
上述したように、指の腹の中心位置を指示位置として特定するためには、厳密なパターンマッチングが必要であるため、対象物の接触面全体の形状、特に、指の付け根側の画像の面積や形状が変化した場合、指示位置の特定は困難となる。
一方、上述したように、合致領域に含まれるエッジ画素毎の勾配方向の分布、方向特定手段が特定した指示方向から、指の先端付近の領域を特定するようにすれば、先端位置の特定は、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず安定して特定することができる。
そこで、前記構成によれば、位置特定手段は、前回の動作で指示位置が特定されており、前回及び今回の動作で先端位置が特定された場合に、前回の動作で特定された先端位置から今回の動作で特定された先端位置までの変位量だけ、前回の動作で特定された指示位置を変位させた位置を今回の前記対象物の指示位置とする。
よって、前回の動作で指示位置が特定されたが、何らかの原因により、今回の動作で指示位置が特定できなかったとしても、前回及び今回の動作で特定された先端位置を用いて指示位置を特定するようにしているので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を高精度に特定することができる。
また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、算出された合致度が予め定められた閾値未満である場合には、前記合致度を0に設定しても良い。
ところで、画像データ中のノイズ等により生じた不当なエラー画素が生じると、合致度算出手段が算出する合致度は、比較的低くなってしまう傾向がある。
そこで、前記構成によれば、合致度の上限値(閾値)を設定することで、画像データ中のノイズ等により生じた不当なエラー画素の影響を受けた合致度を処理データから削除できるので、不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。
なお、前記画像処理装置及びその制御方法における各手段、各機能、各処理、並びに、各ステップ及び各工程のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させ、コンピュータに前記各機能を実現させ、若しくはコンピュータに前記各処理、前記各ステップ又は前記各工程を実行させることにより前記画像処理装置及びその制御方法を、コンピュータにて実現させる制御プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の画像処理装置は、以上のように、撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えている構成である。
また、本発明の画像処理装置の制御方法は、以上のように、撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいる方法である。
それゆえ、撮像対象物の指示方向を安定して検出することができる。
本発明の一実施形態について図1〜図15に基づいて説明すれば、次の通りである。以下の特定の実施形態で説明すること以外の構成は、必要に応じて説明を省略する場合があるが、他の実施形態で説明する構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
また、以下の各実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。
〔第1の実施形態〕
本発明の第1の実施形態である画像処理装置1(電子機器20)について図1〜図10に基づいて説明すれば、以下の通りである。
本発明の第1の実施形態である画像処理装置1(電子機器20)について図1〜図10に基づいて説明すれば、以下の通りである。
まず、画像処理装置1の主要な機能について説明し、次に図1に基づき、本実施形態の画像処理装置1の構成について説明する。
画像処理装置1の主要な機能のとしては、以下の2つの機能がある。
第1の機能は、画像表示機能であり、画像処理装置1は、図示しない複数の画素から構成される液晶ディスプレイ及び該液晶ディスプレイに光を照射するバックライトを備え、画像を表示することが可能となっている。
また、第2の機能は、画像撮像機能であり、画像処理装置1の液晶ディスプレイにおける各画素内には、光センサ(又は撮像センサ)が内蔵され、光センサによって液晶ディスプレイの表示画面に近接してきた外部の物体など(対象物)を撮像した撮像画像を画像データとして取り込むことが可能となっている。
なお、液晶ディスプレイは、複数の画素のうち所定数の画素毎に光センサが内蔵されているものであっても良いが、光センサによる撮像画像の解像度の観点から、光センサは、全ての画素毎に内蔵されていることが好ましい。
また、光センサとしては、フォトダイオードの他、光電効果を動作原理とし、液晶ディスプレイなどの各画素に内蔵できるものであれば、どのような光センサを用いても良い。
次に、図1に示すように、画像処理装置1は、勾配特徴量算出部(勾配特徴量算出手段)2、エッジ抽出部(エッジ画素特定手段)3、算出/抽出データ保持部4、一致画素数算出部(合致度算出手段)5、モデルパターン格納部6、合致領域特定部(合致領域特定手段)7、合致領域情報格納部8、対象物方向特定部(方向特定手段)9、対象物方向特定用情報格納部10、及び対象物座標特定部(位置特定手段)11を備える。
勾配特徴量算出部2は、画像データ上の画素毎に、注目画素の画素値と複数の隣接画素の画素値とから、注目画素の画素値の勾配(画素値勾配特徴量)Sを算出する。
ここで、本実施形態の「画像データ」は、デジタルデータを想定しているが、アナログデータであっても良い。
また、「画素値」は、輝度値や濃度値のことである。なお、アナログデータの場合、画像データを複数の領域に分割した各分割領域のことを画素と呼び、各分割領域における平均濃度値を画素値と呼ぶ。また、「画素値」が濃度値の場合、「画素値勾配特徴量」は「濃度勾配特徴量」と称しても良い。
本実施形態では、勾配Sは、(横方向勾配Sx,縦方向勾配Sy)で定義され、勾配Sは、大きさ〔勾配の大きさ(画素値勾配特徴量)POW(S)〕と向き〔勾配方向(画素値勾配特徴量)ANG(S)〕とを持つベクトル量である。
なお、勾配Sは、数学的には、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を大きさとし、特定の画素から隣接画素に向かう向きを正とするベクトルを全ての隣接画素について加算することによって算出される。
より具体的には、勾配Sは、Sobel(ソーベル)オペレータ、Prewitt(プリウイット)オペレータなどのエッジ抽出オペレータを用いて算出すれば良い。
例えば、Sobelオペレータを用いて、各画素の画素位置x(i,j)における局所的な縦方向勾配Sy及び横方向勾配Sxを求めた後、次式(1)及び(2)を用いて画素位置x(i,j)における勾配方向ANG(S)及び勾配の大きさPOW(S)を求めることができる。ここで、iは水平方向に沿った画素の位置を、jは垂直方向に沿った画素の位置をそれぞれ表す。i及びjは正の整数である。
勾配方向ANG(S)=tan-1(Sy/Sx) ・・・(1)
勾配の大きさPOW(S)=√(Sx^2+Sy^2) ・・・(2)
次に、エッジ抽出部3は、勾配特徴量算出部2が算出した勾配の大きさPOW(S)が所定の閾値以上であるエッジ画素を抽出(特定)する。
勾配の大きさPOW(S)=√(Sx^2+Sy^2) ・・・(2)
次に、エッジ抽出部3は、勾配特徴量算出部2が算出した勾配の大きさPOW(S)が所定の閾値以上であるエッジ画素を抽出(特定)する。
次に、算出/抽出データ保持部4は、勾配特徴量算出部2が算出した、画像データ上の画素毎の勾配Sに関するデータや、エッジ抽出部3が抽出したエッジ画素の画像データ上の位置等に関するデータを保持する。
これにより、画像データ上の全画素の中から、勾配の大きさPOW(S)が所定の閾値以上であるエッジ画素を、勾配の大きさPOW(S)が所定の閾値未満であるエッジ画素以外の画素から選り分けることができる。
次に、一致画素数算出部5は、上述した算出/抽出データ保持部4から画像データ上の画素毎の勾配Sに関するデータを読出し、後述するモデルパターン格納部6からモデルパターンを読出し、照合領域と、モデルパターンとの照合(以下「パターンマッチング」と言う。)を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数(合致度:以下、「一致画素数」と呼ぶ。)を算出する。
より具体的には、一致画素数算出部5は、照合領域に含まれる注目画素を、画像データに含まれる全ての画素に合わせながら、照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される一致画素数を、各照合領域に対応する各注目画素について算出することで、画像データに含まれる全ての画素について一致画素数を算出することができるようになっている。
また、一致画素数算出部5は、合致領域に含まれるエッジ画素毎に勾配方向ANG(S)の一致・不一致を判定し、合致領域に含まれる勾配方向ANG(S)毎の一致画素数を算出できるようになっている。
ここで、勾配方向ANG(S)は、0rad以上2πrad未満の範囲で変化する連続量であるが、本実施形態の一致画素数算出部5では、これを8方向に量子化したものを勾配方向として用いる。
次に、図3(a)及び(b)に基づき、勾配方向ANG(S)の8方向への量子化方法について説明する。
図3(a)は、勾配方向を8方向に量子化するために参照される参照テーブルの半分の例であり、図3(b)は、参照テーブルの残りの半分の例である。
まず、各画素について、(2)式で求めた横方向勾配Sxについて、Sx≧0ならば、図3(a)に示す参照テーブルにしたがい、勾配方向ANG(S)に応じて量子化された勾配方向を設定する。
一方、Sx<0ならば、図3(b)に示す参照テーブルにしたがって、勾配方向ANG(S)に応じて量子化された勾配方向を設定する。
なお、ここでは、勾配方向を8方向に量子化した場合について説明するが、量子化された勾配方向の数は8に限定されるものではなく、パターンマッチングに要求される精度条件や、ハードウェアの性能等を鑑みて、増減させることもできる。
上述したように、画像処理装置1では、少なくとも画素値の勾配方向を示す勾配方向ANG(S)を特徴量として用いる。
画素値の勾配方向ANG(S)は、方向を示す特徴量なので直接指示方向と結びつけることができ、対象物の指示方向の特定が簡単な特徴量である。
一方、勾配の大きさPOW(S)などのスカラー量は、方向を示す特徴量でないので直接指示方向と結びつけることが困難な特徴量である。
従って、特徴量として画素値の勾配方向ANG(S)を用いることによって、対象物の指示方向の特定をより簡単に実現することができる。
以上説明した勾配方向ANG(S)を利用したパターンマッチングでは、照合領域に含まれる画素毎に、勾配方向ANG(S)が一致したか否かが判定できる。
よって、照合領域の全画素に亘って計算した一致画素数を合致度として算出することもできるし、勾配方向ANG(S)毎に計算した一致画素数を合致度として算出することもできる。さらに、照合領域に含まれる画素毎に合致度(一致・不一致)を算出することもできる。
ここで、勾配方向ANG(S)毎に、一致画素数を算出した場合、勾配方向ANG(S)毎の一致画素数が特定の勾配方向ANG(S)に偏っていれば、この偏りを利用して簡単に指示方向を特定することができる。よって、勾配方向ANG(S)は、指示方向の特定に適した特徴量と言える。
次に、勾配Sを量子化する他の形態について説明する。まず、一致画素数算出部5は、照合領域に含まれる勾配方向ANG(S)と、モデルパターンに含まれる対応する勾配方向ANG(S)との差分が所定角度以下である画素の数を一致画素数として算出しても良い。
これにより、例えば、照合領域に含まれる勾配方向ANG(S)と、モデルパターンに含まれる対応する勾配方向ANG(S)との差分が所定角度以下である画素をモデルパターンと一致した画素と判定し、照合領域に含まれる勾配方向ANG(S)と、モデルパターンに含まれる対応する勾配方向ANG(S)との差分が所定角度を超える画素をモデルパターンと一致しない画素と判定することで、照合領域に含まれる全画素の一致画素数を算出することができる。
なお、勾配方向を量子化する方法としては、上述した例の他、例えば、0rad以上2πrad未満の角度範囲を適当な上限角度で等分割することにより、無限の自由度を持つ勾配方向を有限の数の方向に量子化することが可能である。
本実施形態では、簡単のため、撮像画像、照合領域、及びモデルパターンのそれぞれの形状がいずれも矩形であるものとするが、それぞれの形状は、矩形に限られない。また、照合領域に含まれる画素の中から注目する単一の画素を予め決めておき、その単一の画素のことを注目画素と称することとする。
ここで、パターンマッチングは、例えば、画像データの左上角の画素を、照合領域の注目画素の位置とした状態からスタートし、照合領域を、注目画素を基準として画像データの左上角から右下角まで一画素づつ走査させながら、モデルパターンとのマッチングが行われる。
なお、画像データの端(最外周)の画素を、照合領域の注目画素の位置とした状態のとき、照合領域の一部に画素が存在していない場合が生じ得る。しかしながら、このような境界問題が生じる場合は、照合領域の画素が存在していない部分の画素を除外してパターンマッチングを行っても良い。また、周期的境界条件などを設定し、照合領域上の照合領域の画素が存在していない部分の画素を適当な画素値勾配特徴量を持つモデルで置き換えてパターンマッチングを行っても良い。
また、照合領域の大きさや形状は、モデルパターンの大きさや形状に合わせて適宜設定すれば良い。
以上のようなパターンマッチングにより、一画素づつ走査される照合領域は、複数存在し、一画素づつ走査させた照合領域毎に一致画素数が算出されることになる。すなわち、画像データ上の全ての画素のそれぞれについて一致画素数が算出される。
次に、モデルパターン格納部6は、上述したようにモデルパターンを格納しておくものである。
以上より、一致画素数算出部5が算出した一致画素数から照合領域とモデルパターンとのマッチングの度合いを認識することができる。
ここで、パターンマッチングに使用される量としては、画素値(濃度値又は輝度値)などのスカラー量も考えられる。しかしながら、このようなスカラー量は量子化したとしても、対象物の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。なお、量子化とは、所定の範囲内の量を一律にある一定の量と看做して扱うことである。
一方、上述した勾配Sは、方向の自由度を持つ特徴量である。また、勾配Sは、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を全ての隣接画素について加算することによって得られるベクトル量であり、勾配の大きさPOW(S)及び勾配方向ANG(S)を持つ。
また、勾配方向ANG(S)は、上述のように8方向に量子化することによって、1つの画素について算出される勾配方向ANG(S)が取り得る状態を8(無方向を含めると9)という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせることができる。したがって、勾配Sは、上述したパターンマッチングに適した量である。
次に、本実施形態では、パターンマッチングで算出される「合致度」の例として一致画素数を算出する場合について説明した。
しかしながら、「合致度」の計算方法は、大きくわけて2つの計算方法が例示できる。
第1の計算方法は、本実施形態のように照合領域に含まれる画素毎の勾配Sとモデルパターンに含まれる対応する画素毎の勾配Sとが一致する一致画素数を計算する方法である。このとき、一致画素数が大きいほど、合致度は大きくなり、一致画素数が小さいほど合致度は小さくなる。
但し、勾配の大きさPOW(S)及び勾配方向ANG(S)には無限の自由度があるので、一致画素数を求めるには、工夫が必要である。例えば、上述したように、勾配Sを、勾配の大きさPOW(S)を捨象して、0rad以上2πrad未満の角度範囲を適当な上限角度で等分割すれば良い。また、勾配Sから勾配の大きさPOW(S)を捨象し、勾配方向ANG(S)を8方向や16方向に量子化したものを用いても良い。
次に、第2の計算方法は、照合領域に含まれる画素毎の勾配Sについてモデルパターンとの差分を計算し、これらの差分の総和を計算して求める方法である。このとき、差分の総和が大きいほど、合致度は小さくなり、差分の総和が小さいほど合致度は大きくなる。
なお、第1の計算方法では、画素毎に一致・不一致を判定し、第2の計算方法では、画素毎に差分を計算することができる。よって、これらの方法では、画素毎の一致・不一致又は画素毎の差分に基づいて画素毎に合致度を設定することも可能である。
また、第2の計算方法では、画素毎の勾配方向ANG(S)の差分が、所定の閾値角度以下であれば、モデルパターンの勾配方向ANG(S)と一致したと判断し、モデルパターンの勾配方向ANG(S)を、その画素の勾配方向ANG(S)とすれば、合致領域に含まれる勾配方向ANG(S)毎の一致画素数を算出することも可能である。
次に、合致領域特定部7は、一致画素数算出部5が算出した一致画素数が最大となる照合領域を合致領域として特定する。
これにより、画像データにおける対象物の存在領域を示す合致領域を特定することができる。
合致領域情報格納部8には、合致領域特定部7が特定した合致領域の画像データ上の位置に関するデータ、合致領域に含まれる画素毎の勾配Sに関するデータ、エッジ抽出部3が抽出したエッジ画素の合致領域上の位置に関するデータ及び合致領域に含まれる画素毎の一致画素数に関するデータなどが格納される。
次に、対象物方向特定部9は、合致領域情報格納部8から、合致領域の画像データ上の位置に関するデータ、合致領域に含まれる画素毎の勾配Sに関するデータ、及びエッジ画素の合致領域上の位置に関するデータなどを読出し、後述する対象物方向特定用情報格納部10から、勾配方向ANG(S)毎の方向一致パターンと対象物の指示方向を示すものとして予め定められた指示方向との対応関係を示す対応関係テーブル(対応付け情報:図8(a)など参照)又は、勾配方向ANG(S)毎の一致画素数の分布と指示方向との対応関係を示す対応関係テーブル(対応付け情報:図9(b)など参照)を読出し、対応関係テーブルを参照して、合致領域に含まれる画素毎の勾配方向ANG(S)の分布から、指示方向を特定する。
なお、指示方向の特定は、上述した対応関係テーブルに基づいて行ってもよいし、対応関係テーブルを用いずに、合致領域に含まれる画素毎の勾配方向ANG(S)と一致画素数のみを用いて行ってもよい。
対象物方向特定用情報格納部10には、上述したように、勾配方向ANG(S)毎の方向一致パターンと指示方向との対応関係を示す対応関係テーブル又は、勾配方向ANG(S)毎の一致画素数の分布と指示方向との対応関係を示す対応関係テーブルなどが格納される。
ところで、撮像時に生じたノイズ又は画素の欠陥等によるエラー画素が、勾配Sに影響を及ぼし、指示方向の特定精度が低下してしまう可能性がある。
そこで、このような問題点を解決するために、上述した一致画素数算出部5は、照合領域上のエッジ抽出部3によって特定されたエッジ画素を含む領域とモデルパターンとの照合を行うようにしても良い。
これにより、あまり重要でないエッジ画素以外の画素を除外し、エッジ画素についてのみパターンマッチングを行うようにしているので、上述したエラー画素などの大部分を除外することができる。これにより指示方向の特定精度を向上させることができるので、指示方向を安定して検出することができる。
次に、対象物座標特定部11は、合致領域情報格納部8から合致領域の画像データ上の位置に関するデータ、エッジ画素の合致領域上の位置に関するデータ、及び合致領域に含まれる画素毎の一致画素数に関するデータなどを読出し、合致領域に含まれる画素毎に算出された一致画素数の分布から、撮像画像上の対象物の指示位置を特定する。
よって、合致領域に含まれる画素毎の一致画素数の分布から撮像画像上の対象物の指示位置を特定することができる。
例えば、合致領域に含まれる画素毎の一致画素数のうち、最大の一致画素数をもつ画素の位置を対象物の指示位置としても良いし、合致領域に含まれる画素毎の一致画素数を重みとした重み付け平均によって求めた位置を対象物の指示位置としても良い。
なお、上述した算出/抽出データ保持部4、モデルパターン格納部6、合致領域情報格納部8、及び対象物方向特定用情報格納部10は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやコンパクトディスク−ROM/MO(magneto-optic)/MD(magnetic disk)/デジタルビデオデイスク/コンパクトディスク−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM(Erasable Programmable ROM)/EEPROM(Electrically Erasable Programmable ROM)/フラッシュROM等の半導体メモリ系などを用いることができる。
次に、図2(a)〜(d)に基づき、画像処理装置1の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される対象物として、指の腹(以下「指腹」という)の例を挙げ、それぞれの撮像画像(画像データ)の特徴の概要について説明する。
図2(a)は、周囲が暗い場合における指腹の撮像の様子を示す概要図であり、図2(b)は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図である。
まず、周囲が暗い状況で、図2(a)に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図2(b)の示す撮像画像(画像データ)31は、バックライトが撮像対象(指の腹)に反射して得られる画像となるため、白い円形状がぼやけたような画像となる。
また、各画素における勾配方向ANG(S)は、凡そ撮像画像31上のエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。なお、勾配方向ANG(S)は、濃度差が発生する方向であって、ここでは、暗い部分から明るい部分に向かう向きを正としている。また、各画素における勾配の大きさPOW(S)(濃度差)は、おおよそ、指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示している。
次に、図2(c)は、周囲が明るい場合の指腹の撮像の様子を示す概要図であり、図2(d)は、周囲が明るい場合の指腹の撮像画像の特徴を示す概要図である。
周囲が暗い状況で、図2(c)に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図2(d)に示す撮像画像(画像データ)32は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像(接触した場合は、バックライトによる反射光も混じる)となるため、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指腹にバックライトの光が反射した成分が混ざり合い、黒に近い灰色の円形状となる。
撮像画像32の場合、周囲が外光で明るいので、各画素における勾配方向ANG(S)は、図2(b)に示す撮像画像31の白い円形状の部分における勾配方向ANG(S)と逆向きの傾向を示している。
一方、撮像画像32における、各画素における勾配の大きさPOW(S)は、凡そ指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示しており、この傾向は、撮像画像31の傾向と同じである。
したがって、勾配Sを特徴量として用いれば、合致領域に含まれる画素のうち、エッジ画素毎の勾配Sの分布が示す上述した傾向を利用できるので、合致領域に含まれるエッジ画素毎の勾配Sの分布から、撮像画像上の対象物の指示方向を特定することができる。
よって、単一の合致領域のみを用いて指示方向を特定できるので、特許文献1に開示された操作入力装置のように対象物が第1領域及び第2領域の2つの領域にまたがらない場合に、操作方向を検出できないという問題点は生じない。よって、安定した指示方向の特定が可能である。
また、勾配Sは、上述したように画素値の差分であるから、例えば、指の角度の変動等に連動して、指の付け根側の画素値が変動したとしても、勾配の大きさPOW(S)が、指の付け根側は小さく、指の先端に向かうほど大きくなるという傾向、及びその勾配方向ANG(S)はあまり変動せず、特許文献1に開示された操作入力装置のように、指の付け根側の画素値の変動により操作方向を安定して算出できなくなるという問題点は生じない。よって、安定した指示方向の特定が可能である。
以上のように、本実施形態の画像処理装置1によれば、撮像対象物の指示方向を安定して検出することができる。
(全体的な動作の概要)
次に、図1及び図4に基づいて、画像処理装置1(電子機器20)の動作の概要について説明する。図4は、画像処理装置1の全体的な動作の概要を示すフローチャートである。
次に、図1及び図4に基づいて、画像処理装置1(電子機器20)の動作の概要について説明する。図4は、画像処理装置1の全体的な動作の概要を示すフローチャートである。
まず、ステップS101(以下「S101」のように記載する。)では、勾配特徴量算出部2が、画像データ上の画素毎に、勾配Sを算出し、S102に進む(勾配特徴量算出過程:勾配特徴量算出ステップ)。
S102では、エッジ抽出部3が、所定の閾値以上の勾配の大きさPOW(S)を持つ画素をエッジ画素として特定し、エッジ画素として特定されなかった画素については、勾配方向は「無方向」、勾配の大きさは「0」に設定し直す(エッジ画素特定過程:エッジ画素特定ステップ)。
このように、あまり重要でない画素や、撮像時のエラー画素などにおける勾配方向ANG(S)を一律無方向及び/又は勾配の大きさPOW(S)を0とみなすことで、後述する指示位置特定や指示方向特定の精度をさらに向上させることができる。
S103では、一致画素数算出部5が、照合領域と、モデルパターンとの照合を行って、一致画素数を算出した後に、合致領域特定部7が、一致画素数算出部5が算出した一致画素数が最大となる合致領域を特定してS104に進む(パターンマッチング過程:合致度算出ステップ/合致領域特定ステップ)。
S104では、対象物方向特定部9が、合致領域に含まれるエッジ画素毎の勾配Sの分布から対象物の指示方向を特定し、対象物座標特定部11が、一致画素数算出部5が算出した、画素毎の一致画素数分布から、対象物の指示位置を特定し、「エンド」となる(対象物位置・方向特定過程:位置特定/方向特定ステップ)。
なお、対象物の指示位置の特定においては、一致画素数の分布の重心位置(合致領域に含まれる画素毎の一致画素数を重み付けとする重み付け平均で求めた位置)を対象物の指示位置として特定する方法が考えられるが、この方法に限定されるものではない。
例えば、一致画素数が最大である位置を対象物の指示位置として特定してもよい。また、合致領域をそのまま対象物の存在範囲(位置及び大きさ)として特定してもよい。さらに、一致画素数の分布の重心又は一致画素数が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物の存在範囲としてもよい。
また、対象物の指示方向の特定においては、S103において、一致画素数が最大である位置(画素)において特定された勾配方向ANG(S)を、対象物の指示方向として特定する方法が考えられるが、この方法に限定されるものではない。例えば、各画素において特定された勾配方向ANG(S)をベクトルの方向とし、一致画素数又は勾配の大きさPOW(S)と一致画素数との積のいずれかを長さとした方向ベクトル(第1方向ベクトル又は第2方向ベクトル)を定義し、エッジ画素毎の方向ベクトルを合成して得られた合成ベクトルが示す方向を、対象物の指示方向として特定してもよい。
また、各勾配方向ANG(S)について、勾配の大きさPOW(S)の平均値を算出し、該平均値を長さとするベクトル(第3方向ベクトル)を定義してもよい。
さらに、各勾配方向ANG(S)について、勾配の大きさPOW(S)のメディアン(中央値)を算出し、該メディアンを長さとするベクトル(第3方向ベクトル)を定義してもよい。
ここで、一致画素数が大きい勾配方向ANG(S)は、対象物の指示方向との関係が強いので、勾配方向ANG(S)毎の一致画素数を長さとする第1方向ベクトルの分布を用いれば、指示方向との関係の強弱によってエッジ画素を選り分けることができるので、精度よく指示方向を特定することができる。
なお、上述した第1方向ベクトルでは、勾配の大きさPOW(S)の自由度は捨象して指示方向の特定を行った。しかしながら、勾配Sは、厳密には、勾配の大きさPOW(S)という自由度を持っているので、勾配の大きさPOW(S)の自由度を含めた第2方向ベクトルの分布から、指示方向を特定するようにすれば、より精度の高い指示方向の特定が可能となる。
また、上述したように勾配の大きさPOW(S)は、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、上述した第2方向ベクトルでは、最終的に算出される第2方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、より精度よく指示方向を特定することができる。
さらに、上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、上述した第3方向ベクトルでは、最終的に算出される第3方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、精度よく指示方向を特定することができる。
以上が、画像処理装置1の全体の動作の概要である。次に、図1及び図5(a)〜図9(d)に基づき、パターンマッチング過程における画像処理装置1の各動作の詳細について説明する。
まず、図5(a)及び(b)、並びに図6(a)及び(b)に基づき、照合領域と照合されるモデルパターンの具体例について説明する。
図5(a)は、指腹のモデルパターンの一例を示す概要図である。また、図5(b)は、周囲が明るい場合における、指腹の周囲を囲む影のモデルパターンの一例を示す概要図であり、図5(a)のモデルパターンと比較すると、各画素の勾配方向が逆向き(180度異なる向き)になっている。
また、図5(a)は、バックライトの光の反射光が指腹に当たった状態を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図5(b)は、指の影が撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
図6(a)は、周囲が暗い場合における画像データと照合されるモデルパターンの他の例を示す概要図である。図5(a)のモデルパターンとの違いは、1つの画素ごとに、2つの勾配方向の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。一方、図6(b)は、指の影が撮像された画像データを想定したものであり、図6(a)と同様に、1つの画素ごとに、2つの勾配方向の自由度が与えられている。
次に、図7は、図1に示す画像処理装置1の動作のうち、パターンマッチング過程の動作を示すフローチャートである。
まず、S201では、一致画素数算出部5が、各勾配方向ANG(S)の一致画素数を全て「0」に初期化して、S202に進む。
S202では、一致画素数算出部5が、1画素ごとに、モデルパターンによる照合処理を行って、S203に進む。
S203では、一致画素数算出部5が、S202での照合処理によって、モデルパターンと勾配方向ANG(S)が一致したかどうかを判定する。勾配方向ANG(S)が一致すれば(Yes)、S204に進み、一致しなければ(No)、S205に進む。
S204では、一致画素数算出部5が、各勾配方向ANG(S)の一致画素数について、S202でモデルパターンと勾配方向ANG(S)が一致した画素数を加算して更新し、S205に進む。
S205では、一致画素数算出部5が、モデルパターンの全要素(画素)について照合を完了したかどうかを判定する。照合が完了していれば(Yes)、S206に進み、完了していなければ(No)、S202に進み、モデルパターンの次の要素(画素)について照合処理を行う。
S206では、一致画素数算出部5が、勾配方向ANG(S)毎の一致画素数を合算した値を出力し、S207へ進む。S206で出力された合算値は、図4のS104での対象物位置・方向特定過程で使用される。
S207では、対象物方向特定部9が、勾配方向ANG(S)毎の一致画素数に基づき、対象物の指示方向を特定して出力し、パターンマッチング過程を終了する。本実施形態における、対象物の指示方向の特定方法については、以下で詳しく述べる。
次に、図8(a)〜図9(f)に基づき、対象物方向特定部9による対象物の指示方向特定処理の具体例について説明する。
図8(a)及び(b)は、一致画素数算出部5が算出した、勾配方向ANG(S)毎の一致方向の存否を示す一致画素数のパターン(又は方向一致パターン)と、対象物の指示方向との対応関係を示す対応関係テーブルの一例を示す概要図である。ここで、方向一致パターンとは、勾配方向ANG(S)毎で「有」「無」のいずれかの値を取るデータであり、「有」は、勾配方向ANG(S)の一致画素数が1以上であり、「無」は、勾配方向ANG(S)の一致画素数が0であることを示している。
なお、図8(a)に示す対応関係テーブルは、モデルパターンとマッチした勾配方向の偏りが大きい場合に好適である。
対象物方向特定部9は、一致画素数算出部5で算出された勾配方向ANG(S)毎の一致画素数が、図8(a)及び(b)に例示されるような対応関係テーブルの一致画素数のどのパターンに該当するかを判定し、対象物の指示方向を特定する。
次に、対応関係テーブルを用いた指示方向の特定処理について、さらに詳しく述べる。
図8(a)は、周囲が暗い場合における対応関係テーブルの一例を示す概要図であり、図8(b)は、周囲が明るい場合における対応関係テーブルの一例を示す概要図であり、図8(a)の対応関係テーブルと比較すると、対象物の指示方向が逆向き(180度異なる向き)になっている。
図8(a)は、バックライトの光の反射光が指の腹に当たった状態を基礎として撮像された画像データを想定したものであり、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ANG(S)とは逆向き(180度異なる向き)として対応付けられている。
一方、図8(b)は、指の影が撮像された画像データを想定したものであり、撮像画像は、画像のエッジ部分に向けて明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ANG(S)と同じ向きとして対応付けられている。
なお、図8(a)及び(b)においては、照合処理によって3種類の勾配方向ANG(S)がマッチングした場合のみを図示しているが、4種類以上の勾配方向ANG(S)がマッチングした場合においても同様の対応関係テーブルが定義できる。
また、対応関係テーブルは、可能性のある全てのマッチングの組合せにおいて定義しても良いし、図8(a)及び(b)に示すように一部のマッチングの組合せのみを定義しておいても良い。一部の組合せのみを定義している場合、対象物方向特定部9は、定義されていない勾配方向ANG(S)のマッチング状態が出現したときは、他のマッチング状態と同じ方向を特定してもよいし、方向が未定義(無方向)であるとしてもよい。
次に、図9(a)は、勾配特徴量算出部2が算出した、画素毎の勾配方向ANG(S)の分布の一例を示す概要図であり、図9(b)は、一致画素数算出部5が算出した、勾配方向ANG(S)毎の一致画素数の分布の一例(対応付け情報)を示す概要図である。なお、勾配特徴量算出部2によって「無方向」と特定された画素(エッジ画素ではない画素)は、図9(a)においては、空箱として示してある。また、図9(a)は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの一例である。
一方、図9(d)は、勾配特徴量算出部2が算出した、画素毎の勾配方向ANG(S)の分布の他の一例を示す概要図であり、図9(e)は、一致画素数算出部5が算出した、勾配方向ANG(S)毎の一致画素数の分布の他の一例(対応付け情報)を示す概要図である。なお、勾配特徴量算出部2によって「無方向」と特定された画素(エッジ画素ではない画素)は、図9(d)においては、空箱として示してある。また、図9(d)は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの他の一例である。
なお、図9(a)及び(b)に示す一致画素数の分布は、モデルパターンとマッチした勾配方向の偏りが小さい場合に好適である。なお、一致画素数の分布は、一致画素数が大きな勾配方向ANG(S)が、指示方向との関係が強いものとして設定される。
まず、図9(a)では、画像の上部にエッジ画素が集中して存在しており、照合処理によってマッチングしたエッジ画素は、網掛け部分で示されている。図9(b)の勾配方向ANG(S)毎の一致画素数を参照すると、右下方向、下方向、左下方向の3つの勾配方向ANG(S)がマッチングしている。
また、図9(a)は、周囲が暗い場合の画像データであるから、対象物方向特定部9は、対応関係テーブルとして、図8(a)に示す対応関係テーブルを用いることになる。図8(a)を参照すると、右下方向、下方向、左下方向の3つの勾配方向ANG(S)がマッチングしたパターンに対応付けられた対象物の指示方向は、上方向であると定義されている。したがって、図9(a)に示す撮像画像では、対象物方向特定部9は、対象物の指示方向を、上方向であると特定することになる(図9(c))。
一方、図9(d)では、画像の左上部にエッジ画素が集中して存在しており、照合処理によってマッチングしたエッジ画素は、網掛け部分で示されている。図9(e)の勾配方向ANG(S)毎の一致画素数を参照すると、右方向、右下方向、下方向の3つの勾配方向ANG(S)がマッチングしている。図9(a)に示す例と同じように、図8(a)に示す対応関係テーブルを参照すると、右方向、右下方向、下方向の3つの勾配方向ANG(S)がマッチングしたパターンに対応付けられた対象物の指示方向は、左上方向であると定義されている。したがって、図9(d)に示す撮像画像では、対象物方向特定部9は、対象物の指示方向を、左上方向であると特定することになる(図9(f))。
なお、周囲が明るい場合の画像データについては、対象物方向特定部9は、図8(b)の対応関係テーブルを参照することによって、対象物の指示方向を特定することになる。
以上説明したように、本実施形態における画像処理装置1によれば、撮像された撮像画像の画像データから、所定の閾値以上の勾配の大きさPOW(S)を持つ画素をエッジ画素として特定した上で、パターンマッチングの技術を用いて、撮像対象物の指示方向及び指示位置を特定するので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示方向及び指示位置を高精度に特定することができる。
なお、以上の説明では、対象物方向特定部9は、図8(a)及び(b)に示すような、勾配方向ANG(S)毎の一致画素数のパターンと、対象物の指示方向との対応関係テーブルを用いる構成としたが、このような構成に限定されるものではない。すなわち、対応関係テーブルを用いずに対象物の指示方向を特定する構成としてもよい。
次に、対応関係テーブルを用いない場合について、図10(a)〜(e)に基づき、具体例を説明する。
図10(a)は、勾配特徴量算出部2が算出した、画素毎の勾配方向ANG(S)の分布のさらに他の一例を示す概要図であり、図10(b)は、一致画素数算出部5が算出した、勾配方向ANG(S)毎の一致画素数の分布のさらに他の一例を示す概要図である。なお、図9(a)及び(d)と同様、勾配特徴量算出部2によって「無方向」と特定された画素(エッジ画素ではない画素)は、空箱として示してある。
また、図10(a)は、図9(a)及び(b)と同様、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データのさらに他の一例である。
図10(a)では、照合処理によってマッチングしたエッジ画素が、網掛け部分として示されており、右下方向、下方向、左下方向の3つの勾配方向ANG(S)がマッチングしている。
ここで、各勾配方向ANG(S)について、一致画素数を長さとするベクトル(第1方向ベクトル)を定義すると、図10(c)に示すベクトル51のような3つの第1方向ベクトルが得られる。
次に、図10(c)に示すベクトル51に示された3つの第1方向ベクトルを合成すると、図10(d)に示すベクトル52のような合成ベクトルが得られる。
ここで、図10(a)は、バックライトの光の反射光が指の腹に当たった状態を基礎として撮像された画像データの例であり、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ANG(S)とは逆向き(180度異なる向き)となると考えられる。
したがって、対象物方向特定部9は、図10(d)に示すベクトル52を逆向き(180度異なる向き)に変換した方向、すなわち、上方向を、対象物の指示方向として特定することになる(図10(e))。
なお、周囲が明るい場合の画像データについては、対象物方向特定部9は、各勾配方向ANG(S)について、上述した第1方向ベクトルを定義し、その第1方向ベクトルを全て合成した結果得られた合成ベクトルが示す方向を、そのまま、対象物の指示方向として特定することになる。
なお、以上の説明では、各勾配方向ANG(S)について、一致画素数を長さとする第1方向ベクトルを定義したが、一致画素数そのものではなく、各勾配方向ANG(S)について、一致画素数と、勾配の大きさPOW(S)との積を長さとするベクトル(第2方向ベクトル)を定義してもよい。
また、各勾配方向ANG(S)について、勾配の大きさPOW(S)の平均値を算出し、該平均値を長さとするベクトル(第3方向ベクトル)を定義してもよい。
さらに、各勾配方向ANG(S)について、勾配の大きさPOW(S)のメディアン(中央値)を算出し、該メディアンを長さとするベクトル(第3方向ベクトル)を定義してもよい。
また、以上の説明では、対象物座標特定部11は、パターンマッチング過程により、一致画素数を得ることができたエッジ画素の全てを用いて、対象物の指示位置を特定したが、このような特定方法に限定されるものではない。
例えば、予め一致画素数の下限の閾値を準備しておき、パターンマッチング過程によって得られた一致画素数の合算値が、当該閾値を下回る場合は、一致画素数が得られたエッジ画素については、対象物の指示位置の特定に用いない(一致画素数を0とする)ようにしても良い。このような構成とすることで、画像データ中のノイズ等により生じた不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。
〔第2の実施形態〕
本発明の第2の実施形態である画像処理装置1(電子機器20)について図1、図8、図11及び図12に基づいて説明すれば、以下の通りである。
本発明の第2の実施形態である画像処理装置1(電子機器20)について図1、図8、図11及び図12に基づいて説明すれば、以下の通りである。
第1の実施形態では、エッジ抽出部3がエッジ画素を特定する際の所定の閾値は、1つだけであった。
しかしながら、対象物の指示方向をより高い精度で求めたい場合、対象物の置かれる角度等の変動に対して比較的安定した勾配の大きさPOW(S)が得られる対象物の先端付近のみが、エッジ画素として特定されるよう、前記所定の閾値を大きめに設定する必要がある。
一方、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の先端付近のみならず、対象物の接触面全体が、エッジ画素として特定されるよう、前記所定の閾値をあまり大きく設定できないという問題が生じる。
第2の実施形態の画像処理装置1(電子機器20)では、以上のような問題点を解決するために、エッジ抽出部3が、エッジ画素を特定する際の閾値を2つ設定できるようにした点が、第1の実施形態と異なっており、それ以外の構成は、第1の実施形態と同様である。なお、第2の実施形態における画像処理装置1の構成は、第1の実施形態における画像処理装置1の構成と同一で動作の一部が異なっているだけなので各構成についての説明は省略し、ここでは、本実施形態の画像処理装置1の動作の概要について説明する。
なお、全体的な動作の概要については、図4に示す第1の実施形態の画像処理装置1における全体的な動作の概要とほぼ同一であるので、説明を省略する。但し、エッジ画素特定過程においては、図1に示すエッジ抽出部3が、第1閾値を用いて第1エッジ画素を特定し、第2閾値を用いて第2エッジ画素を特定する点が第1の実施形態と異なる。
次に、第1の実施形態とは異なる動作を行う本実施形態の画像処理装置1のパターンマッチング過程について、図8、図11及び図12に基づいて説明する。
図11は、本実施形態の画像処理装置1におけるパターンマッチング過程の動作を示すフローチャートである。
まず、S301では、一致画素数算出部5が、第1エッジ画素についての各勾配方向ANG(S)の一致画素数を全て「0」に初期化して、S302に進む。
S302では、一致画素数算出部5が、第2エッジ画素についての各勾配方向ANG(S)の一致画素数を全て「0」に初期化して、S303に進む。
S303では、一致画素数算出部5が、1画素ごとに、第1エッジ画素に対してモデルパターンによる照合処理を行って、S304に進む。
S304では、一致画素数算出部5が、S303での照合処理によって、モデルパターンと勾配方向ANG(S)が一致したかどうかを判定する。勾配方向ANG(S)が一致すれば(Yes)、S305に進み、一致しなければ(No)、S307に進む。
S305では、一致画素数算出部5が、第2エッジ画素に対してモデルパターンによる照合処理を行って、S306に進む。
本実施形態においては、第1エッジ画素を特定するための第1閾値よりも、第2エッジ画素を特定するための第2閾値のほうを、大きく設定する。従って、第2エッジ画素は、第1エッジ画素よりも、勾配の大きさPOW(S)が大きくなる。また、第1閾値及び第2閾値の2つの閾値の大小関係より、第2エッジ画素の位置には、必ず、第1エッジ画素が存在することになる。
よって、S305での照合処理によって、第2エッジ画素でのマッチング結果が必ず得られることになる。換言すれば、第2エッジ画素とモデルパターンの照合を行うと、必ず、勾配方向ANG(S)が一致する結果が得られることになる。
S306では、第1エッジ画素の勾配方向ANG(S)毎の一致画素数、及び第2エッジ画素の勾配方向ANG(S)毎の一致画素数について、S303及びS305でモデルパターンと勾配方向ANG(S)が一致した画素数を新たに加算して更新し、S307に進む。
S307では、一致画素数算出部5が、モデルパターンの全要素(画素)について照合を完了したかどうかを判定する。照合が完了していれば(Yes)、S308に進み、完了していなければ(No)、S303に進み、モデルパターンの次の要素について照合処理を行う。
S308では、一致画素数算出部5が、第1エッジ画素の勾配方向ANG(S)毎の一致画素数を合算した値、及び、第2エッジ画素の勾配方向ANG(S)毎の一致画素数を合算した値を出力し、S309へ進む。S308で出力された合算値は、図4のS104での対象物位置・方向特定過程で使用される。
S309では、対象物方向特定部9が、第2エッジ画素の勾配方向ANG(S)毎の一致画素数の分布に基づき、対象物の指示方向を特定して出力し、パターンマッチング過程を終了する。
次に、図8(a)及び(b)、並びに図12(a)〜(c)に基づき、対象物方向特定部9による対象物の指示方向特定処理の具体例について説明する。本実施形態における、対象物の指示方向の特定方法については、以下で詳しく述べる。
図12(a)は、勾配特徴量算出部2が算出したエッジ画素毎の勾配方向ANG(S)の分布の様子を示す概要図である。
また、図12(b)は、一致画素数算出部5が算出した第1エッジ画素の勾配方向ANG(S)毎の一致画素数の分布の一例を示す概要図であり、図12(c)は、第2エッジ画素の勾配方向ANG(S)毎の一致画素数の分布の一例を示す概要図である。
なお、図12(a)では、勾配特徴量算出部2によって「無方向」と特定された画素(エッジ画素ではない画素)は、空箱として示してある。また、図12(a)は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データのさらに他の一例である。
図12(a)では、照合処理によってマッチングしたエッジ画素は、濃い網掛け部分と薄い網掛け部分で示されている。なお、薄い網掛け部分が、第1エッジ画素かつ第2エッジ画素として特定された画素であり、濃い網掛け部分が、第1エッジ画素としてのみ特定された画素である。
ここで、上述したように、対象物の先端付近は、対象物の表示面への接触角度等にあまり影響を受けず、比較的安定した勾配の大きさPOW(S)を持つことから、第2エッジ画素として、対象物の先端付近のエッジのみが特定されるように、第2閾値を設定している。
次に、図12(b)に示す第1エッジ画素の勾配方向ANG(S)毎の一致画素数の分布を参照すると、8方向全ての勾配方向ANG(S)がマッチングしている。従って、対象物の接触部分の形状は、丸に近いものであると考えられ、パターンマッチング過程により、ノイズ等ではなく、正しく対象物を検知できていると考えられる。しかしながら、8方向全ての勾配方向ANG(S)がマッチングしていることから、このままでは対象物の指示方向を正しく特定できないおそれがある。
一方、図12(c)に示す第2エッジ画素の勾配方向ANG(S)毎の一致画素数の分布を参照すると、右方向、右下方向、下方向の3つの勾配方向ANG(S)がマッチングしている。
ここで、第2エッジ画素として、対象物の先端付近のエッジのみが特定されるようにしているから、第2エッジ画素の勾配方向ANG(S)毎の一致画素数をもとに、対象物の指示方向を特定することで、精度よく指示方向を特定することができる。
図12(a)は、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの例であることから、勾配方向ANG(S)毎の一致画素数の分布と対象物の指示方向の対応付け情報として、図8(a)に示す対応関係テーブルを参照すると、右方向、右下方向、下方向の3つの勾配方向ANG(S)がマッチングしたパターンに対応付けられた対象物の指示方向は、左上方向であると定義されている。
したがって、図12(a)の例では、対象物方向特定部9は、対象物の指示方向を、左上方向であると特定できることになる(図12(c))。
なお、周囲が明るい場合の画像データについては、対象物方向特定部9は、図8(b)の対応関係テーブルを参照することによって、対象物の指示方向を特定することになる。
以上説明したように、第2の実施形態における画像処理装置1によれば、ノイズ等の出現している位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を特定できるとともに、対象物の指示方向をより精度よく特定することができる。
なお、以上の説明では、対象物方向特定部9は、図8(a)及び(b)に示すような、方向一致パターンと、対象物の指示方向との対応関係を示す対応関係テーブルを用いる構成としたが、このような構成に限定されるものではない。例えば、第1の実施形態で説明したのと同様に、対応関係テーブルを用いずに対象物の指示方向を特定する構成としてもよい。すなわち、対象物方向特定部9を、各勾配方向ANG(S)について、一致画素数を長さとした第1方向ベクトルを定義し、その第1方向ベクトルを全て合成した結果得られた合成ベクトルが示す方向から、対象物の指示方向を特定する構成としてもよい。
また、以上の説明では、対象物座標特定部11は、パターンマッチング過程により、一致画素数を得ることができたエッジ画素全てを用いて、対象物の指示位置を特定する構成としていたが、このような構成に限定されるものではない。たとえば、第1の実施形態で説明したのと同様に、あらかじめ一致画素数の下限の閾値を準備しておき、パターンマッチング過程によって得られた一致画素数の合算値が、下限の閾値を下回る場合は、一致画素数が得られたエッジ画素については、対象物の指示位置の特定に使用しない(一致画素数を0とする)構成としてもよい。このような構成とすることで、画像データ中のノイズ等により生じた不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。
以上のように、所定の閾値は、予め定められた第1閾値と、該第1閾値よりも大きい第2閾値とを、少なくとも含んでいても良い。
また、本実施形態の画像処理装置1の一致画素数算出部5は、第1エッジ画素について照合領域とモデルパターンとの照合を行った結果から、第1エッジ画素に関する勾配方向ANG(S)毎の一致画素数(第1合致度)及び第2エッジ画素について照合を行った結果から、第2エッジ画素に関する勾配方向ANG(S)毎の一致画素数(第2合致度)を算出する。
ここで、上述したように、例えば、指の先端付近の勾配の大きさPOW(S)は比較的大きく、指の付け根側の勾配の大きさPOW(S)の大きさは小さくなる傾向がある。
そこで、例えば、指の先端付近の勾配Sを検出するための閾値を第2閾値とし、少なくとも指の付け根側の勾配Sを検出するための閾値を第1閾値とすれば、第1閾値以上の画素によって、指全体のエッジ(第1エッジ画素)を検出することができ、第2閾値以上の画素によって、指の先端付近のエッジ(第2エッジ画素)を検出することができる。
なお、第1合致度は、指全体のエッジに関係する一致画素数であり、第2合致度は、指の先端付近のエッジに関係する一致画素数となる。
一方、本実施形態の画像処理装置1の対象物座標特定部11は、第1エッジ画素毎に算出された、第1エッジ画素に関する勾配方向ANG(S)毎の一致画素数、及び第2エッジ画素毎に算出された、第2エッジ画素に関する勾配方向ANG(S)毎の一致画素数の、合致領域上の分布から指示位置を特定する。
ここで、上述したように例えば、指の先端付近の勾配Sを検出するための閾値を第2閾値とし、少なくとも指の付け根側の勾配Sを検出するための閾値を第1閾値とすれば、一致画素数が大きい第1エッジ画素は、指の腹の中心に近く、一致画素数が大きい第2エッジ画素は、指の先端付近の位置(以下、先端位置という)に近くなる傾向を示す。
よって、第1エッジ画素に関する勾配方向ANG(S)毎の一致画素数の分布から特定した指示位置は、指の腹の中心に近くなり、第2エッジ画素に関する勾配方向ANG(S)毎の一致画素数の分布から特定した指示位置は、先端位置に近くなる。
また、第1エッジ画素に関する勾配方向ANG(S)毎の一致画素数及び第2エッジ画素に関する勾配方向ANG(S)毎の一致画素数の分布から特定した指示位置は、指の腹の中心と、先端位置との中間の位置に近くなる。
よって、第1合致度及び第2合致度のうち少なくとも一方の、合致領域上の分布から指示位置を特定すれば、指の腹の中心、先端位置、又は中間の位置に近い位置を指示位置として特定することが可能となる。
また、第1エッジ画素に関する勾配方向ANG(S)毎の一致画素数、第2エッジ画素に関する勾配方向ANG(S)毎の一致画素数又はこれらの一致画素数の組合せのいずれかを選択することにより、指の腹の中心、先端位置、又は中間の位置に近い位置のいずれかを対象物の指示位置として特定することも可能となる。
〔実施の形態3〕
第1の実施形態や第2の実施形態においては、対象物の指示位置の特定方法として、画素毎の一致画素数の分布の重心位置として特定する方法、一致画素数のが最大である位置として特定する方法、合致領域を、そのまま、対象物の存在範囲(位置及び大きさ)として特定する方法、一致画素数の分布の重心又は一致画素数の分布が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物の存在範囲(位置及び大きさ)として特定する方法などを例示して説明した。
第1の実施形態や第2の実施形態においては、対象物の指示位置の特定方法として、画素毎の一致画素数の分布の重心位置として特定する方法、一致画素数のが最大である位置として特定する方法、合致領域を、そのまま、対象物の存在範囲(位置及び大きさ)として特定する方法、一致画素数の分布の重心又は一致画素数の分布が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物の存在範囲(位置及び大きさ)として特定する方法などを例示して説明した。
ところで、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の接触面全体が、エッジ画素として特定されるようにして、パターンマッチングによって、対象物の形状を比較的厳密に照合することが望ましい。したがって、第1の実施形態における、エッジ画素を特定するための閾値や、第2の実施形態における、第1エッジ画素を特定するための第1閾値は、あまり大きく設定することができない。
しかしながら、例えば、人間の手や指を検出する場合、表示面に対する手や指の角度の変動によって、接触している部位のうち、先端では無い側(指であれば、付け根側)の輝度が変動し、それに従い付け根側のエッジの面積や形状が変化する。
よって、あまり閾値(第1閾値)を小さくしすぎると、接触している部位のうち、先端では無い側の面積が大きくなり、閾値(第1閾値)を用いて特定したエッジ画素の一致画素数を用いて位置を特定した場合、安定性に欠けることになる。したがって、閾値(第1閾値)の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題点が生じる。
言い換えれば、上述した対象物の指示位置は、ノイズ等の影響や、対象物の接触面全体の形状の変化による影響を受けやすいと言える。
第3の実施形態の画像処理装置1(電子機器20)では、以上のような問題点を解決するために、まず対象物の指示方向を特定し、その後に、特定された対象物の指示方向を用いて、対象物の指示位置(又は先端位置)を特定する方法を採用している点が、上述した実施形態と異なっている。
第2の実施形態の説明で述べたように、対象物の接触面に対する角度等の変動に対して比較的安定した勾配の大きさPOW(S)が得られる対象物の先端付近のデータを用いて、対象物の指示方向を特定することにより、精度よく指示方向を特定することができる。
また、精度のよい指示方向が特定できれば、対象物の先端位置も精度よく特定できることになる。したがって、対象物の先端位置を対象物の指示位置として特定すれば、安定した位置を特定できることになる。
本発明の第3の実施形態の画像処理装置1について図1、図13及び図14に基づいて説明すれば、以下の通りである。なお、第3の実施形態における画像処理装置1の構成は、第1の実施形態及び第2の実施形態における画像処理装置1の構成と同一であるため、説明を省略する。
まず、本発明の第3の実施形態である画像処理装置1の動作の概要について説明する。
全体的な動作の概要については、図4に示す第1の実施形態の画像処理装置1における全体的な動作の概要と同一であるので、説明を省略する。
次に、第3の実施形態の画像処理装置1の動作として、第1の実施形態及び第2の実施形態とは異なる動作を行う対象物位置特定過程について、図13及び図14に基づいて説明する。
図13は、本実施形態の画像処理装置1における対象物位置特定過程の動作を示すフローチャートである。なお、ここでは、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データに対して動作することを想定している。
まず、S401では、対象物座標特定部11が、対象物方向特定部9によって特定された対象物の指示方向を、180度回転させた勾配方向ANG(S)を特定した後に、その勾配方向ANG(S)を有する合致領域内のエッジ画素を特定して、S402へ進む。
なお、S401で、対象物の指示方向を180度回転させているのは、周囲が暗い場合の画像データを想定しており、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向と、対象物の先端位置の画素の勾配方向は、互いに反対である(2つの方向は180度の角度をなす)ためである。
一方、周囲が明るい場合の画像データに対しては、S401において、対象物方向特定部9によって特定された対象物の指示方向と同一の勾配方向ANG(S)であるエッジ画素を特定するようにすればよい。
S402では、対象物座標特定部11が、S401で特定された各エッジ画素の勾配の大きさPOW(S)を調べ、最も勾配の大きさPOW(S)の大きい画素を、対象物の指示位置として特定し、対象物位置特定過程を終了する。
次に、図14(a)及び(b)に基づき、対象物座標特定部11による対象物の対象物位置特定処理の具体例について説明する。
図14(a)及び(b)は、勾配特徴量算出部2が算出したエッジ画素毎の勾配方向ANG(S)と、対象物方向特定部9が特定した対象物の指示方向の一例を示す概要図である。なお、勾配特徴量算出部2によって「無方向」と特定された画素(エッジ画素ではない画素)は、図14(b)では空箱として示してある。
また、図14(b)は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの一例である。
図14(a)に示すように、対象物の指示方向は左上方向と特定されているため、対象物の指示方向を180度回転させた勾配方向ANG(S)は右下方向となる。また、勾配方向ANG(S)が右下方向であるエッジ画素を特定すると、図14(b)の薄い網掛け部分及び濃い網掛け部分となる。そして、最も勾配の大きさPOW(S)の大きい画素は、図示していない勾配の大きさPOW(S)を参照することにより、濃い網掛け部分の画素であると特定される。したがって、対象物座標特定部11は、対象物の指示位置として、濃い網掛け部分の画素の位置を特定することになる。
ここで、例えば、対象物方向特定部9が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多い領域は、合致領域のうち、対象物の先端位置に近い領域であると考えられる。
また、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したとしても、合致領域上の先端位置に近い領域の位置や、先端位置に近い領域に含まれる画素の勾配方向はあまり変化しないと考えられる。
よって、以上説明したように、対象物座標特定部11が、対象物方向特定部9が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が存在する領域から対象物の先端位置を特定するようにすれば、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず、精度よく先端位置を特定することができる。
以上説明したように、第3の実施形態における画像処理装置1によれば、ノイズ等の出現している位置を誤って対象物の指示位置として特定されることを防ぎつつ、対象物の指示位置(先端位置)をより安定して取得することが可能となる。
また、対象物座標特定部11は、合致領域に含まれるエッジ画素毎の勾配方向ANG(S)の分布、対象物方向特定部9が特定した指示方向、及び勾配の大きさPOW(S)から、撮像画像上の対象物の先端位置を特定しても良い。
ところで、上述したように、指の付け根側から指の先端付近に向かう程、勾配の大きさPOW(S)は大きくなる傾向がある。よって、対象物方向特定部9が特定した指示方向と同一又は逆方向に近い勾配方向ANG(S)を持つ画素が多く存在する領域のうち、画勾配の大きさPOW(S)が大きい画素の位置は、対象物の先端位置に近い位置であると考えられる。
よって、対象物座標特定部11は、例えば、合致領域に含まれるエッジ画素毎の勾配方向ANG(S)の分布、対象物方向特定部9が特定した指示方向から、指の先端付近の領域を特定し、さらに指の先端付近の領域から勾配の大きさPOW(S)が大きい画素の位置を先端位置とすることができるので、より高精度に対象物の先端位置を特定することができる。
また、対象物座標特定部11は、合致領域に含まれるエッジ画素毎の勾配方向ANG(S)のうち、対象物方向特定部9が特定した指示方向と同方向の勾配方向が算出されているエッジ画素の分布から、撮像画像上の対象物の先端位置を特定しても良い。
ところで、例えば、撮像センサ内蔵型液晶ディスプレイの場合、バックライトから出射した出射光が対象物で反射した反射光と、外光との重ね合わせ光が、撮像センサによって検出される。
このような重ね合わせ光を撮像センサによって撮像した撮像画像では、周囲が明るい場合と、周囲が暗い場合とで、エッジ部分の勾配方向ANG(S)は、互いに逆向きになる傾向がある。
そこで、対象物座標特定部11は、周囲が明るい場合を想定して、エッジ画素毎の勾配方向ANG(S)のうち、指示方向と同方向の勾配方向ANG(S)が算出されているエッジ画素の分布から先端位置を特定している。
これにより、周囲が明るい場合でも精度良く先端位置を特定することができる。
また、対象物座標特定部11は、合致領域に含まれるエッジ画素毎の勾配方向ANG(S)のうち、対象物方向特定部9が特定した指示方向と逆方向の勾配方向ANG(S)が算出されているエッジ画素の分布から、撮像画像上の対象物の先端位置を特定しても良い。
対象物座標特定部11は、周囲が暗い場合を想定して、エッジ画素毎の勾配方向ANG(S)のうち、指示方向と逆方向の勾配方向ANG(S)が算出されているエッジ画素の分布から先端位置を特定している。
これにより、周囲が暗い場合でも精度良く先端位置を特定することができる。
なお、以上の説明では、対象物座標特定部11は、対象物の指示方向に対応する勾配方向ANG(S)のエッジ画素のうち、勾配の大きさPOW(S)が最も大きい画素の位置を、対象物の指示位置として特定する構成としているが、この構成に限定されるものではない。例えば、対象物の指示方向に対応する勾配方向ANG(S)を有する各エッジ画素の重心を、対象物の指示位置として特定する構成としてもよい。
また、対象物の指示方向に対応する勾配方向ANG(S)を有するエッジ画素のうち、勾配の大きさPOW(S)が最も大きい画素の位置から、指示方向又は指示方向と180度異なる方向に、所定の量だけ移動した位置を、対象物の指示位置として特定する構成としてもよい。
〔第4の実施形態〕
ところで、第1の実施形態や第2の実施形態で説明した指示位置の特定方法では、対象物の指示位置は、対象物の接触部分の中心付近に特定されることになる。
ところで、第1の実施形態や第2の実施形態で説明した指示位置の特定方法では、対象物の指示位置は、対象物の接触部分の中心付近に特定されることになる。
しかしながら、第3の実施形態の説明した通り、第1の実施形態や第2の実施形態の特定方法では、閾値(第1閾値)の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題が生じた。
一方、第3の実施形態においては、対象物の先端位置は、対象物の接触部分の先端付近に近い位置に特定されることになる。しかしながら、対象物の指示位置として、対象物の接触部分の中心付近を特定したい場合、第3の実施形態だけでは、どの位置が中心付近であるかを、安定して取得し続けることは難しいという問題点が残存している。
第4の実施形態の画像処理装置1(電子機器20)では、以上のような問題点を解決するために、対象物座標特定部11は、前回の動作で第1の実施形態又は第2の実施形態の手法により指示位置が特定されており、前回及び今回の動作で第3の実施形態の手法により先端位置が特定された場合に、前回の動作で特定された先端位置から今回の動作で特定された先端位置までの変位量だけ、前回の動作で特定された指示位置を変位させた位置を今回の対象物の指示位置とするようにしている点が、上述した実施形態と異なっている。
これにより、前回の動作で指示位置が特定されたが、何らかの原因により、今回の動作で指示位置が特定できなかったとしても、前回及び今回の動作で先端位置が特定された先端位置を用いて指示位置を特定するようにしているので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を高精度に特定することができる。
次に、第1の実施形態〜第3の実施形態とは異なる動作を行う本実施形態の画像処理装置1の対象物位置特定過程について、図1及び図15に基づいて説明する。
なお、第4の実施形態における画像処理装置1の構成は、第1の実施形態〜第3の実施形態における画像処理装置1の構成と同一であるため、説明を省略する。また、画像処理装置1の全体的な動作の概要についても、図4に示す第1の実施形態の画像処理装置1における全体的な動作の概要と同一であるので、説明を省略する。
図15は、本実施形態の画像処理装置1における対象物位置特定過程の動作を示すフローチャートである。
以下では、本実施形態の画像処理装置1における全体的な動作のうち、第1の実施形態〜第3の実施形態とは異なる動作を行う対象物位置特定過程について説明する。
まず、所定の単位時間ごとに、対象物の第1の位置(指示位置)と、第1の位置とは異なる第2の位置(先端位置)とを記憶しておく。
ここで、対象物座標特定部11は、撮像された画像データから、第1の位置として、第1の実施形態や第2の実施形態にあるような対象物の指示位置の特定方法を用いて、対象物の接触部分の中心付近の位置を特定する。
次に、対象物座標特定部11は、撮像された画像データから、第2の位置として、第3の実施形態にあるような対象物の先端位置の特定方法を用いて、対象物の先端に近い位置を特定する。
次に、対象物座標特定部11は、記憶されている第1の位置の読み出しを試みる。第1の位置の読み出しに成功した場合、すなわち、第1の位置が既に記憶されていた場合は、対象物座標特定部11は、記憶されていた第2の位置を読み出し、撮像された画像データから特定された第2の位置と、既に記憶されていた第2の位置の、座標の差分を算出し、算出された差分を、記憶されていた第1の位置と足し合わせて、新しい第1の位置を算出する。
一方、第1の位置の読み出しに失敗した場合、すなわち、第1の位置がまだ記憶されていない場合は、撮像された画像データから特定された第1の位置を、そのまま、新しい第1の位置とする。
そして、対象物座標特定部11は、新しい第1の位置を、対象物の指示位置として特定し、新しい第1の位置と、撮像された画像データから新たに特定された第2の位置とを記憶して、対象物位置特定過程を終了する。なお、第1の位置が特定されなかった場合は、記憶されている第1の位置を消去する。
次に、図15は、以上で説明した第4の実施形態における対象物位置特定過程の動作を示すフローチャートである。なお、第4の実施形態においては、画像処理装置1は、所定の単位時間ごとに、本フローチャートに示す動作を繰り返し実行するものとする。
まず、S501では、対象物座標特定部11が、対象物の第1の位置が記憶されているかどうかを調べる。記憶されていれば(Yes)、S504に進み、記憶されていなければ(No)、S502へ進む。
S502では、対象物座標特定部11が、撮像された画像データから、第1の位置として、第1の実施形態や第2の実施形態における対象物の指示位置の特定方法を用いて、対象物の接触部分の中心付近の位置の特定を試みた後に、S503へ進む。
S503では、対象物座標特定部11が、S502で中心付近の位置が特定できたかどうかを調べる。特定できていれば(Yes)、S505へ進み、特定できていなければ(No)、S512へ進む。
S504では、対象物座標特定部11が、記憶されている第1の位置を読み出し、S505へ進む。
S505では、対象物座標特定部11が、撮像された画像データから、第2の位置として、第3の実施形態における対象物の先端位置の特定方法を用いて、対象物の先端に近い位置の特定を試みた後に、S506へ進む。
S506では、対象物座標特定部11が、S505で先端付近の位置が特定できたかどうかを調べる。特定できていれば(Yes)、S507へ進み、特定できていなければ(No)、S512へ進む。
S507では、対象物座標特定部11が、対象物の第2の位置が記憶されているかどうかを調べる。記憶されていれば(Yes)、S508へ進み、記憶されていなければ(No)、S509へ進む。
S508では、対象物座標特定部11が、S505で特定された新しい第2の位置と、既に記憶されている第2の位置の、座標の差分を算出し、算出された差分を、既に記憶されている第1の位置と足し合わせて、新しい第1の位置を算出し、S509へ進む。
S509では、対象物座標特定部11が、S505で特定された新しい第2の位置を記憶し、S510へ進む。
S510では、対象物座標特定部11が、第1の位置を、対象物の指示位置として特定し、S511へ進む。ここで、対象物の指示位置として特定される位置は、S508の処理が行われていれば、新しく算出された第1の位置であり、S508の処理が行われていなければ、記憶されていた第1の位置、あるいは、S502で特定された(まだ記憶されていない)第1の位置となる。
S511では、対象物座標特定部11が、(新しい)第1の位置を記憶し、対象物位置特定過程を終了する。
S512では、対象物座標特定部11が、記憶されている第1の位置、及び第2の位置を消去したうえで、対象物の指示位置を特定せずに、対象物位置特定過程を終了する。この場合、対象物の指示位置は特定できなかったことになる。
以上説明したように、第4の実施形態における画像処理装置1によれば、対象物の接触部分の中心付近の位置を、精度よく、安定して取得し続けることが可能になる。
最後に、画像処理装置1(電子機器20)の各ブロック、特に勾配特徴量算出部2、エッジ抽出部3、一致画素数算出部5、合致領域特定部7、対象物方向特定部(方向特定手段)9及び対象物座標特定部(位置特定手段)11は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像処理装置1(電子機器20)は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、前記プログラムを格納したROM(read only memory)、前記プログラムを展開するRAM(random access memory)、前記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置1(電子機器20)の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置1(電子機器20)に供給し、そのコンピュータ(又はCPUやMPU:micro processing unit)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやコンパクトディスク−ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
また、画像処理装置1(電子機器20)を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、コンピュータ読取可能媒体内に符号化されたコンピュータプログラムであって、前記画像処理装置が、前記読取可能媒体を備え、コンピュータによって実行されるときに、前記画像処理装置における前記各手段の機能を実現するコンピュータプログラムとして実現することもできる。
また、本発明は、以下のように表現することもできる。
すなわち、本発明の画像処理装置は、撮像された撮像画像の画像データ上の画素ごとに、隣接する画素との画素値差に応じた特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量が閾値以上であるエッジ画素を特定するエッジ特定手段と、前記エッジ画素の特定結果に基づいて、前記画像データ上の一部の領域に含まれる照合領域と、あらかじめ定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物の位置を特定する位置特定手段と、前記エッジ特定手段が特定したエッジ画素の、画素ごとの分布、及び、前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定する方向特定手段とを備えていても良い。
また、本発明の画像処理装置は、前記閾値は、第1閾値と、第1閾値よりも大きい第2閾値との、少なくとも2つの閾値を含み、前記エッジ特定手段は、前記特徴量算出手段により算出された特徴量が前記第1閾値以上である第1エッジ画素と、前記特徴量算出手段により算出された特徴量が前記第2閾値以上である第2エッジ画素の、少なくとも2種類のエッジ画素を特定し、前記合致度算出手段は、前記第1エッジ画素の特定結果に基づいた第1合致度と、前記第2エッジ画素の特定結果に基づいた第2合致度の、少なくとも2種類の合致度を算出し、前記位置特定手段は、前記合致度算出手段が算出した第1合致度と第2合致度のいずれか又は両方を用いて、対象物の位置を特定し、前記方向特定手段は、前記合致度算出手段が算出した第2合致度から、対象物の方向を特定しても良い。
また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の方向を示す勾配方向を含んでも良い。
また、本発明の画像処理装置は、前記合致度算出手段は、前記勾配方向ごとに、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する一致画素数を算出しても良い。
また、本発明の画像処理装置は、あらかじめ、前記勾配方向ごとの一致画素数と、対象物が指し示す方向とを対応付けた対応付け情報が定められており、前記方向特定手段は、前記対応付け情報と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。
また、本発明の画像処理装置は、前記方向特定手段は、前記勾配方向ごとの前記一致画素数を長さとしたベクトル量と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。
また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の大きさと、画素の輝度の勾配の方向を示す勾配方向を持つベクトル量を含み、前記方向特定手段は、前記勾配方向ごとの前記一致画素数に前期勾配の大きさを乗じた量を長さとしたベクトル量と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。
また、本発明の画像処理装置は、前記位置特定手段は、前記エッジ特定手段が特定した、前記エッジ画素の画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から、前記撮像画像上の対象物の位置を特定しても良い。
また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の大きさを含み、前記位置特定手段は、前記エッジ特定手段が特定した、前記エッジ画素の輝度の勾配の大きさ及び画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から、前記撮像画像上の対象物の位置を特定しても良い。
また、本発明の画像処理装置は、前記位置特定手段は、前記方向特定手段が特定した対象物が指し示す方向と同じ勾配方向を持つ、前記エッジ画素の画素ごとの分布と、前記合致度算出手段が算出した合致度の画素ごとの分布から、対象物の位置を決定しても良い。
また、本発明の画像処理装置は、前記位置特定手段は、前記方向特定手段が特定した対象物が指し示す方向を180度回転した勾配方向を持つ、前記エッジ画素の画素ごとの分布と、前記合致度算出手段が算出した合致度の画素ごとの分布から、指先位置を決定しても良い。
また、本発明の画像処理装置は、所定の単位時間ごとに、画像を撮像し、撮像された撮像画像から、前記撮像画像上の対象物の位置及び指し示す方向を特定することを繰り返すことを特徴とする画像処理装置であって、前記所定の単位時間ごとに、少なくとも、対象物の第1の位置と、第1の位置とは異なる第2の位置とを記憶する、位置記憶手段を備え、前記位置特定手段は、前記合致度算出手段が算出した合致度の、画素ごとの分布から特定された、前記撮像画像上の対象物の位置を、第1の位置として特定し、前記エッジ特定手段が特定した、前記エッジ画素の画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から特定された、前記撮像画像上の対象物の位置を、第2の位置として特定し、前記位置記憶手段に前記第1の位置が記憶されている場合は、前記特定された第1の位置を、前記位置記憶手段に記憶されている前記第1の位置と、前記位置記憶手段に記憶されている前記第2の位置と、前記特定された第2の位置から算出し直し、前記第1の位置を、対象物の位置として特定しても良い。
また、本発明の画像処理装置は、前記合致度算出手段は、算出した前記合致度が所定の閾値未満である場合には、前記合致度を0に設定しても良い。
以上の各構成では、主として撮像された撮像画像の画像データから、所定の閾値以上の特徴量を持つ画素をエッジ画素として特定した上で、パターンマッチングの技術を用いて、撮像対象物の指示方向及び指示位置を特定している。それゆえ、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置及び指示方向を高精度に特定することができる。
なお、本発明は、上述した画像処理装置(電子機器)の例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、また、〔実施の形態1〕〜〔実施の形態4〕の各項目にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の画像処理装置は、例えば携帯電話やPDAなどのように、液晶などの表示装置のディスプレイに、指等の物体でタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機EL発光素子、無機EL発光素子、LED(Light Emitting Diode)等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ(FED)、プラズマディスプレイにも利用することができる。
1 画像処理装置
2 勾配特徴量算出部(勾配特徴量算出手段)
3 エッジ抽出部(エッジ画素特定手段)
5 一致画素数算出部(合致度算出手段)
7 合致領域特定部(合致領域特定手段)
9 対象物方向特定部(方向特定手段)
11 対象物座標特定部(位置特定手段)
31,32 撮像画像
S 勾配(画素値勾配特徴量)
Sx 横方向勾配量(画素値勾配特徴量)
Sy 縦方向勾配量(画素値勾配特徴量)
POW(S) 勾配の大きさ(画素値勾配特徴量)
ANG(S) 勾配方向(画素値勾配特徴量)
2 勾配特徴量算出部(勾配特徴量算出手段)
3 エッジ抽出部(エッジ画素特定手段)
5 一致画素数算出部(合致度算出手段)
7 合致領域特定部(合致領域特定手段)
9 対象物方向特定部(方向特定手段)
11 対象物座標特定部(位置特定手段)
31,32 撮像画像
S 勾配(画素値勾配特徴量)
Sx 横方向勾配量(画素値勾配特徴量)
Sy 縦方向勾配量(画素値勾配特徴量)
POW(S) 勾配の大きさ(画素値勾配特徴量)
ANG(S) 勾配方向(画素値勾配特徴量)
Claims (19)
- 撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、
前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、
前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、
前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、
前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えていることを特徴とする画像処理装置。 - 前記合致度算出手段は、前記照合領域上の前記エッジ画素特定手段によって特定された前記エッジ画素を含む領域と前記モデルパターンとの照合を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記合致度算出手段は、前記照合領域に含まれる注目画素を、前記画像データに含まれる全ての画素に合わせながら、前記照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、前記各照合領域に対応する各注目画素について算出することで、前記画像データに含まれる全ての画素について前記合致度を算出し、
前記合致領域に含まれる画素毎の前記合致度の分布から、前記撮像画像上の対象物の指示位置を特定する位置特定手段を備えていることを特徴とする請求項1又は2に記載の画像処理装置。 - 前記所定の閾値は、予め定められた第1閾値と、該第1閾値よりも大きい第2閾値とを、少なくとも含んでおり、
前記エッジ画素特定手段は、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが前記第1閾値以上である第1エッジ画素と、前記第2閾値以上である第2エッジ画素とを前記エッジ画素として特定し、
前記合致度算出手段は、前記第1エッジ画素について前記照合領域と前記モデルパターンとの照合を行った結果から第1合致度、及び前記第2エッジ画素について前記照合を行った結果から第2合致度を、前記合致度として算出し、
前記方向特定手段は、前記合致領域に含まれる前記第2エッジ画素毎の前記画素値勾配特徴量の分布から前記指示方向を特定し、
前記位置特定手段は、前記合致領域に含まれる画素毎の前記第1合致度及び前記第2合致度のうち少なくとも一方の分布から、前記指示位置を特定することを特徴とする請求項3に記載の画像処理装置。 - 前記画素値勾配特徴量は、少なくとも画素値の勾配方向を示す特徴量であることを特徴とする請求項3又は4に記載の画像処理装置。
- 前記合致度算出手段は、前記勾配方向毎に、前記照合領域に含まれる前記勾配方向と、前記モデルパターンに含まれる前記勾配方向とが一致する画素の数を示す一致画素数を、前記合致度として算出することを特徴とする請求項5に記載の画像処理装置。
- 前記勾配方向毎の一致画素数の分布と、前記指示方向との対応関係を示す対応付け情報が予め定められており、
前記方向特定手段は、前記対応付け情報を参照して、前記合致度算出手段が算出した前記勾配方向毎の一致画素数の分布から前記指示方向を特定することを特徴とする請求項6に記載の画像処理装置。 - 前記方向特定手段は、前記勾配方向毎の一致画素数を長さとする第1方向ベクトルの分布から、前記指示方向を特定することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記方向特定手段は、前記勾配方向毎の一致画素数と前記画素値勾配特徴量の大きさとの積を長さとする第2方向ベクトルの分布から、前記指示方向を特定することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記方向特定手段は、前記勾配方向毎の、前記画素値勾配特徴量の大きさを長さとする第3方向ベクトルの分布から、前記指示方向を特定することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、及び前記方向特定手段が特定した前記指示方向から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項6に記載の画像処理装置。
- 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、前記方向特定手段が特定した前記指示方向、及び該画素値勾配特徴量の大きさから、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項6に記載の画像処理装置。
- 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と同方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項6に記載の画像処理装置。
- 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と逆方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項6に記載の画像処理装置。
- 前記位置特定手段は、前回の動作で前記指示位置が特定されており、前回及び今回の動作で前記先端位置が特定された場合に、前回の動作で特定された前記先端位置から今回の動作で特定された前記先端位置までの変位量だけ、前回の動作で特定された前記指示位置を変位させた位置を今回の前記対象物の指示位置とすることを特徴とする請求項11から14までのいずれか1項に記載の画像処理装置。
- 前記合致度算出手段は、算出された合致度が予め定められた閾値未満である場合には、前記合致度を0に設定することを特徴とする請求項1から15までのいずれか1項に記載の画像処理装置。
- 請求項1から16までのいずれか1項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理装置の制御プログラム。
- 請求項17に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、
前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、
前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、
前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、
前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、
前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいることを特徴とする画像処理装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009266548A JP4659900B1 (ja) | 2009-11-24 | 2009-11-24 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
PCT/JP2010/063402 WO2011065069A1 (ja) | 2009-11-24 | 2010-08-06 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像処理装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009266548A JP4659900B1 (ja) | 2009-11-24 | 2009-11-24 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4659900B1 JP4659900B1 (ja) | 2011-03-30 |
JP2011113133A true JP2011113133A (ja) | 2011-06-09 |
Family
ID=43952796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009266548A Expired - Fee Related JP4659900B1 (ja) | 2009-11-24 | 2009-11-24 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4659900B1 (ja) |
WO (1) | WO2011065069A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014142737A (ja) * | 2013-01-23 | 2014-08-07 | Fujitsu Ltd | 入力プログラム、入力装置および入力方法 |
JP2020181360A (ja) * | 2019-04-25 | 2020-11-05 | 日本放送協会 | 注視領域推定装置およびそのプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09229646A (ja) * | 1996-02-26 | 1997-09-05 | Matsushita Electric Works Ltd | 物体認識方法 |
WO2008123466A1 (ja) * | 2007-03-30 | 2008-10-16 | Sharp Kabushiki Kaisha | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 |
-
2009
- 2009-11-24 JP JP2009266548A patent/JP4659900B1/ja not_active Expired - Fee Related
-
2010
- 2010-08-06 WO PCT/JP2010/063402 patent/WO2011065069A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09229646A (ja) * | 1996-02-26 | 1997-09-05 | Matsushita Electric Works Ltd | 物体認識方法 |
WO2008123466A1 (ja) * | 2007-03-30 | 2008-10-16 | Sharp Kabushiki Kaisha | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014142737A (ja) * | 2013-01-23 | 2014-08-07 | Fujitsu Ltd | 入力プログラム、入力装置および入力方法 |
JP2020181360A (ja) * | 2019-04-25 | 2020-11-05 | 日本放送協会 | 注視領域推定装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4659900B1 (ja) | 2011-03-30 |
WO2011065069A1 (ja) | 2011-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4727614B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP4790653B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP4727615B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP2008250949A5 (ja) | ||
KR101758537B1 (ko) | 이미지 소자 휘도 조정 | |
JP2008250950A5 (ja) | ||
US8406527B2 (en) | Pattern model positioning method in image processing, image processing apparatus, image processing program, and computer readable recording medium | |
JP2008250951A5 (ja) | ||
US20140321770A1 (en) | System, method, and computer program product for generating an image thumbnail | |
JP5015097B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
JP4659900B1 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 | |
CN106954022B (zh) | 图像处理方法、装置及终端 | |
JP2011118466A (ja) | 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器 | |
JP2004362443A (ja) | パラメータ決定方式 | |
WO2019180666A1 (en) | Computer vision training using paired image data | |
US20160063711A1 (en) | Non-transitory storage medium encoded with computer readable image processing program, information processing system, information processing apparatus, and image processing method | |
KR101413587B1 (ko) | 화상처리장치, 화상처리방법, 제어 프로그램 및 기록매체 | |
US10002291B2 (en) | Method and system of identifying fillable fields of an electronic form | |
US20140098991A1 (en) | Game doll recognition system, recognition method and game system using the same | |
JP4966080B2 (ja) | 対象物検出装置 | |
JP2011029710A (ja) | 画像処理装置、画像処理プログラムおよび撮像装置 | |
JP2010055578A (ja) | 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体 | |
JP2006350642A (ja) | 画像処理装置、及びプログラム | |
JP4964849B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
JP2018005543A (ja) | 画像処理装置、画像処理システム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |