JP2010211326A - 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2010211326A JP2010211326A JP2009054237A JP2009054237A JP2010211326A JP 2010211326 A JP2010211326 A JP 2010211326A JP 2009054237 A JP2009054237 A JP 2009054237A JP 2009054237 A JP2009054237 A JP 2009054237A JP 2010211326 A JP2010211326 A JP 2010211326A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- pixels
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮像対象が撮像画面の端部であっても、撮像画像データの解析処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識する。
【解決手段】画像処理装置1は、撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成部20と、画像データ合成部20により作成された合成画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定するための解析を行う画像データ解析部15と、を備えている。
【選択図】図1
【解決手段】画像処理装置1は、撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成部20と、画像データ合成部20により作成された合成画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定するための解析を行う画像データ解析部15と、を備えている。
【選択図】図1
Description
本発明は、撮像対象が撮像画面の端部であっても、撮像画像データの解析処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識することが可能な画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体に関する。
携帯電話やPDA(Personal Digital Assistants)などの各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置(以下、「液晶表示装置」と呼ぶ。)が幅広く利用されていることは周知の通りである。特に、PDAでは、古くからタッチセンサを備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備える液晶表示装置の普及が期待されている。
このようなタッチセンサを備える液晶表示装置の一例として特許文献1に開示された技術がある。
上記従来の液晶表示装置は、主としてエッジ検出回路、接触判定回路及び座標計算回路を備えている。エッジ検出回路は、撮影された画像のエッジを検出して、エッジ画像を得るようになっている。
また、接触判定回路は、エッジ検出回路によって得られたエッジ画像を用いて物体が表示画面に接触したか否かを判定するようになっている。この接触判定回路は、エッジ毎にその移動方向(エッジの座標の時間変化)を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定するようになっている。これは、物体が接触しない限りはエッジが互いに逆方向に移動することはないという原理を利用したものである。具体的には、逆方向への移動量が所定の閾値以上の場合に接触したと判定することで、判定の精度を高めるようになっている。
さらに、座標計算回路は、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算するようになっている。これにより、物体が接触する前に座標位置を計算しないようにして、位置算出の精度の向上を図ることを可能としている。
また、従来の液晶表示装置として、例えば図33に示すようなパターンマッチング処理を実現することにより、当該液晶表示装置の液晶ディスプレイに触れた例えばユーザの指を検知(撮像画像内の指腹を検出)し、その位置を特定する技術を有するものもある。以下に、図33を用いて、パターンマッチング処理について説明する。
図33は、従来技術を示すものであり、周囲が明るい場合におけるパターンマッチング処理の概要を説明するための模式図である。なお、図33(a)は、周囲が明るい場合にユーザが液晶表示装置200の表示画面201を触れた様子を示す図であり、図33(b)は、周囲が明るい場合における指腹の撮像画像と、当該撮像画像から抽出されたエッジ画素の勾配量を示す図であり、図33(c)は、パターンマッチング処理に用いられるモデルパターン204の概要を示す図である。
図33(a)のように周囲(部屋)が明るい中で、液晶表示装置200が表示画面201に接触している指を撮像した場合、液晶表示装置200は、図33(b)の撮像画像202のように、液晶表示装置200が備えたバックライト(図示せず)からの光が撮像対象(指腹)に反射して当該指腹の部分が影(指の影)になるような画像(2次元の濃淡画像)を得る。
そして、液晶表示装置200は、撮像画像202の画素毎に、注目画素の画素値と複数の隣接画素の画素値とから勾配量を求めることで、撮像画像202のエッジ部分(明るさが急激に変化する部分で、勾配量が所定の閾値以上である部分)の画素であるエッジ画素を抽出する。このエッジ画素が抽出されたときの撮像画像202の模式図が撮像画像203である。撮像画像203では、撮像画像202が指腹の影を含むため、当該指腹のエッジ部分(エッジ画素)における勾配量が、当該指腹の影を示す領域(指腹の像)の中心から外方向に向かう矢印として示されている。なお、撮像画像において明るい部分から暗い部分(画素値の高い方から低い方)に向かう方向を矢印の示す方向としている。また、撮像画像203では、エッジ画素8つ分の勾配量を矢印にて示している。
次に、液晶表示装置200は、撮像画像202と予め設定されている図33(c)に示すようなモデルパターン(指腹を特定するためのエッジ画素の勾配量を示すパターン)204との照合を行う。これにより、液晶表示装置200は、このモデルパターン204との合致度が高い領域(すなわち指腹の像)の位置を正確に検出することができ、撮像対象の大きさ、撮像対象の形の変動に強いパターンマッチング処理を実現することができる。
しかしながら、従来の液晶表示装置200では、表示画面201の端部に撮像対象がある場合には、モデルパターン204との合致度が低くなるため、当該撮像対象を認識することができない虞がある。この具体例について、図34を用いて説明する。
図34は、従来技術を示すものであり、撮像対象が表示画面201の端部に存在し、周囲が明るい場合におけるパターンマッチング処理の概要を説明するための模式図である。なお、図34(a)は、周囲が明るい場合にユーザが液晶表示装置200の表示画面201の端部を触れた様子を示す図であり、図34(b)は、周囲が明るい場合における指腹の撮像画像と、当該撮像画像から抽出されたエッジ画素の勾配量を示す図である。
図34(a)に示すように周囲が明るい中で、液晶表示装置200が表示画面201の端部に接触している指を撮像した場合、液晶表示装置200は、図33(b)の撮像画像205のような指腹の部分が影になるような画像を得る。そして、液晶表示装置200は、撮像画像205の画素毎に勾配量を求めることで、撮像画像202のエッジ画素を抽出する。このエッジ画素が抽出されたときの撮像画像205の模式図が撮像画像206である。
ここで、図34の場合、表示画面201の端部にユーザの指が触れているため、撮像画像205は、図33の撮像画像202のように指腹を全て含んでいない画像(撮像画像205における指腹の像が、撮像画像202における指腹の像に比べ、2/3程度の大きさである画像)となっている。
このため、液晶表示装置200は、撮像画像205と、図33と同様のモデルパターン204との照合を行っても、その合致度の高い領域を指腹として認識することができない。つまり、表示画面201の端部にユーザの指が触れた場合には、液晶表示装置200は、図33のようなパターンマッチング処理を行っても指腹の像を認識できないため、当該指の位置を特定することができない。
なお、ユーザの指が表示画面201の端部に触れた場合に備えて、液晶表示装置200に端部用のモデルパターン、端部用のパターンマッチング条件などを予め設定しておくことも考えられる。
しかしながら、端部用のモデルパターン及び処理条件(すなわち特殊なモデルパターン及び処理条件)を別途設けると、液晶表示装置200は、撮像画像に対する照合を複数回行う必要が生じる。従って、この場合には、パターンマッチ処理を複数回行う必要が生じ、処理コストが増大してしまう虞がある。
また、液晶表示装置200は、表示画面201の端部(端部に近い領域)に対するパターンマッチング処理のみ特殊扱いする必要があるため、通常の場合(端部の指認識ができない場合)に比べ、当該処理が煩雑になってしまう虞がある。
なお、表示画面201の端部を特殊扱いせずに処理を行う方法も考えられる。しかしながら、例えば表示画面201の中央付近で端部用のモデルパターンを用いると、当該モデルパターンにてパターンマッチング処理の実施により、指腹ではないノイズなどを誤検出してしまう虞がある。
上記課題に鑑み、本発明は、撮像対象が撮像画面の端部上に存在する場合であっても、撮像画像データの解析処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識することが可能な画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、複数の撮像センサにより撮像された撮像画像の撮像画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定する画像処理装置であって、上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成手段と、上記画像データ合成手段により作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析手段と、を備えたことを特徴としている。
また、上記目的を達成するために、本発明に係る画像処理装置の制御方法は、複数の撮像センサにより撮像された撮像画像の撮像画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定する画像処理装置の制御方法であって、上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成ステップと、上記画像データ合成ステップにより作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析ステップと、を含むことを特徴としている。
上記構成によれば、画像データ合成手段(画像データ合成ステップ)では、撮像画像の撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する。そして、画像データ解析手段(画像データ解析ステップ)は、この合成画像データに対して、撮像対象による撮像画像データにおける指示位置を特定するための解析を行う。
従来、画像処理装置に備えられた撮像画面の端部に撮像対象が存在(例えば触れている)し、撮像画像データに含まれる撮像対象の像が当該撮像対象の一部が欠けた状態である場合、画像データ解析手段は、当該欠けた部分の画素情報(特徴量)を求めることができない。このため、従来の画像処理装置において、撮像画面の端部を触れている撮像対象を認識するためには、撮像対象が撮像画面の端部を触れた場合に備えた処理条件などを設定しておく必要があった。
一方、本発明に係る画像処理装置(当該装置の制御方法)は、画像データ合成手段が画素情報を有する外周画像データを撮像画像データに合成することにより、上記のような処理条件などを設定しなくとも、上記の一部欠けた部分の画素情報を補完することができる。つまり、画像処理装置(当該装置の制御方法)は、撮像画面の端部を撮像対象が触れている場合であっても、その状況を特殊扱いして煩雑な処理を行うことなく、当該撮像対象が触れていることを認識することができる。
例えば、画像データ解析手段の解析処理がパターンマッチング処理の場合には、画像処理装置(当該装置の制御方法)は、撮像画面の端部に撮像対象が触れたときに当該撮像対象を認識するためのモデルパターン、パターンマッチング条件などが予め設定されていなくとも、当該撮像対象が触れていることを認識することができる。
これにより、画像処理装置(当該装置の制御方法)は、撮像対象が撮像画面の端部上に存在する場合であっても、撮像画像データに対する解析処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識することができる。つまり、画像処理装置(当該装置の制御方法)は、処理コスト及び計算量を抑制して、ユーザの利便性を向上させることができる。
また、画像処理装置(当該装置の制御方法)は、撮像画面の端部まで撮像対象を認識することができるので、撮像画面に対する撮像対象の認識(検出)可能な領域を広げることができる。すなわち、画像処理装置(当該装置の制御方法)は、撮像対象が撮像画面に触れているにも関わらず認識できない領域を削減することができる。
さらに、画像処理装置(当該装置の制御方法)は、撮像画面の端部に触れた撮像対象を認識することができるので、その接触位置を特定することができる。
なお、上記画素情報とは、画像データ解析手段が合成画像データを解析するときに必要となる、当該合成画像データに与えられた値である。
また、上記撮像画面とは、撮像対象が触れたときに複数の撮像センサによる当該撮像対象の撮像を可能とするものである。
さらに、本発明に係る画像処理装置は、上記画像データ合成手段は、上記撮像画像データにおける複数の画素の画素値に基づいて、上記画素情報を決定する画素情報決定手段を備えていてもよい。
上記構成によれば、画素情報決定手段は、外周画像データの画素情報を、撮像画像データにおける複数の画素の画素値に基づいて決定する。つまり、画素情報決定手段は、撮像した撮像画像データを用いて外周画像データの画素情報を決定する。このため、画像処理装置は、比較的簡単な処理にて外周画像データの画素情報を決定することができる。
また、画像処理装置は、画素情報決定手段が、画素情報を予め固定的に決定しておくのではなく、撮像画像データそのものを用いて動的に決定するので、当該画素情報の検出精度を向上させることができる。
さらに、本発明に係る画像処理装置は、上記撮像画像データにおける上記撮像対象の像とは異なる背景領域の画素値である背景画素値を推定する背景画素値推定手段を備え、上記画素情報決定手段は、上記背景画素値推定手段により推定された背景画素値を、上記画素情報として決定してもよい。
例えば画像処理装置が勾配量の大きさに基づき撮像対象の接触非接触の判定を行う場合、撮像対象が触れたときの勾配量以上に外周画像データの画素情報が設定されていると、当該画像処理装置は、撮像対象が触れていないにも関わらず、当該撮像対象を触れていると誤判定してしまう虞がある。
上記構成によれば、画素情報決定手段は、背景画素値推定手段により推定された、撮像画像データにおける背景領域の画素値である背景画素値を、外周画像データの画素情報として決定している。このため、画像処理装置は、たとえ撮像対象の接触非接触を勾配量の大きさに基づいて判定する場合であっても、当該判定を正確に行うことができる。
また、画像処理装置は、比較的簡単な処理にて外周画像データの画素情報を決定することができる。さらに、画像処理装置は、画素情報決定手段が、画素情報を予め固定的に決定しておくのではなく、撮像画像データそのものを用いて動的に決定するので、当該画素情報の検出精度を向上させることができる。
さらに、本発明に係る画像処理装置は、上記撮像画像データに含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素の画素値の高い順に並べたときの当該画素値に対応する画素の個数を計数する計数手段を備え、上記背景画素値推定手段は、上記撮像対象を取得するときの取得モードに基づいて、上記計数手段により計数された画素の個数の累積度数を求め、当該累積度数が所定の度数閾値以上となったときの画素値を、上記背景画素値としてもよい。
上記構成によれば、背景画素値推定手段は、撮像対象を取得するときの取得モードに基づいて、計数手段により計数された画素の個数の累積度数を求め、当該累積度数が所定の度数閾値以上となったときの画素値を、上記背景画素値と推定する。このため、画像処理装置は、比較的簡単な処理にて撮像画像データの背景画素値を推定することができる。
なお、取得モードしては、例えば撮像画面に入射される外光により、撮像対象を影として取得する影モード、撮像対象をバックライトから照射された光の反射光として取得する反射光モードなどが挙げられる。また、バックライトとは、撮像対象が撮像される撮像画面に対して光を照射するものである。
さらに、本発明に係る画像処理装置は、上記撮像対象の像における複数の画素の平均画素値を推定する平均画素値推定手段を備え、上記画素情報決定手段は、上記平均画素値推定手段により推定された平均画素値に基づいて、上記画素情報としての画素値を決定してもよい。
上記構成によれば、画像処理装置は、平均画素値推定手段により推定された、撮像対象の像における複数の画素の平均画素値に基づいて、外周画像データの画素情報を決定する。このため、画像処理装置は、比較的簡単な処理にて外周画像データの画素情報を決定することができる。
また、画像処理装置は、画素情報決定手段が、画素情報を予め固定的に決定しておくのではなく、撮像画像データそのものを用いて動的に決定するので、当該画素情報の検出精度を向上させることができる。
さらに、本発明に係る画像処理装置は、上記画素情報決定手段は、上記平均画素値推定手段により推定された平均画素値が、上記撮像画像データの中間階調よりも小さい場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも大きい値に決定し、上記平均画素値推定手段により推定された平均画素値が、上記撮像画像データの中間階調以上である場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも小さい値に決定してもよい。
上記構成によれば、画素情報決定手段は、平均画素値推定手段により推定された平均画素値を撮像画像データの中間階調と比較することにより、外周画像データの画素情報としての画素値を決定する。具体的には、画素情報決定手段は、平均画素値が中間階調よりも小さい場合には画素情報の階調を少なくとも中間階調よりも大きい値に、また、中間階調以上の場合には画素情報の階調を少なくとも中間階調よりも小さい値に決定する。
これにより、画像処理装置は、画素情報決定手段により、撮像対象の像の画素値の大きさに応じた画素値が外周画像データの画素情報として決定されるので、撮像画面の端部を触れた撮像対象を確実に認識することができる。
さらに、本発明に係る画像処理装置は、上記外周画像データは、上記画素情報として、上記撮像対象を取得するときの取得モードに対応付けられた所定の勾配量を有するように予め設定されていてもよい。
上記構成によれば、外周画像データは予め設定されており、かつ、当該外周画像データの有する画素情報は取得モードに対応付けられた所定の勾配量である。所定の勾配量とは、画像データ解析手段による解析処理において撮像画面の端部を触れている撮像対象を認識可能なように予め設定された値であり、例えば撮像画像データにおける注目画素の画素値と複数の隣接画素の画素値とから当該注目画素の画素値の勾配(隣接画素間での明るさの変化を示すパラメータ)として求められる値である。
上述のように、従来、画像処理装置に備えられた撮像画面の端部を撮像対象が触れており、撮像画像データに含まれる撮像対象の像が当該撮像対象の一部が欠けた状態である場合、画像データ解析手段は、当該欠けた部分の画素情報を求めることができない。このため、従来の画像処理装置において、撮像画面の端部を触れている撮像対象を認識するためには、撮像対象が撮像画面の端部を触れた場合に備えた処理条件などを設定しておく必要があった。
一方、本発明に係る画像処理装置は、外周画像データの画素情報として取得モードに対応付けられた所定の勾配量が予め設定されているので、上記のような処理条件などを設定しなくとも、上記の一部欠けた部分の画素情報を補完することができる。つまり、画像処理装置は、撮像画面の端部を撮像対象が触れている場合であっても、その状況を特殊扱いして煩雑な処理を行うことなく、当該撮像対象が触れていることを認識することができる。
これにより、画像処理装置は、撮像対象が撮像画面の端部上に存在する場合であっても、撮像画像データに対する解析処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識することができる。
さらに、本発明に係る画像処理装置は、上記撮像対象が触れたときに、上記複数の撮像センサによる当該撮像対象の撮像を可能とする撮像画面と、上記撮像対象が撮像される撮像画面に対して光を照射するバックライトと、を備え、上記所定の勾配量は、上記撮像画像データの中心から外周に向かう方向を正とするとき、上記撮像対象を影として取得する影モードの場合には、正方向を示すベクトル量に設定されており、上記撮像対象を上記バックライトから照射された光の反射光として取得する反射光モードの場合には、負方向を示すベクトル量に設定されていてもよい。
上記構成によれば、所定の勾配量は、影モードの場合には正方向を示すベクトル量に、反射光モードの場合には負方向を示すベクトル量に設定されている。このため、画像処理装置は、背景領域の画素値の大きさ(明るさ)に応じた撮像対象の認識を容易に行うことができる。
さらに、本発明に係る画像処理装置は、上記撮像対象が触れたときに、上記複数の撮像センサによる当該撮像対象の撮像を可能とする撮像画面を備え、上記所定の勾配量は、上記撮像画面に上記撮像対象が触れたときの、当該撮像対象の像のエッジ部分の勾配量よりも小さい値に設定されていてもよい。
例えば画像処理装置が勾配量の大きさに基づき撮像対象の接触非接触の判定を行う場合、撮像対象が触れたときの勾配量以上に所定の勾配量が設定されていると、当該画像処理装置は、撮像対象が触れていないにも関わらず、当該撮像対象を触れていると誤判定してしまう虞がある。
上記構成によれば、所定の勾配量が、撮像画面に撮像対象が触れたときの、当該撮像対象の像のエッジ部分の勾配量よりも小さい値に設定されているので、画像処理装置は、たとえ撮像対象の接触非接触を勾配量の大きさに基づいて判定する場合であっても、当該判定を正確に行うことができる。
さらに、本発明に係る画像処理装置は、上記所定の勾配量は、複数の方向を示すベクトル量であってもよい。
上記構成によれば、所定の勾配量が複数の方向を示すベクトル量であるため、画像処理装置は、例えば1方向を示すベクトル量に所定の勾配量が設定されている場合に比べ、撮像画面の端部に触れている撮像対象を確実に認識することができる。
さらに、本発明に係る画像処理装置は、上記画像データ解析手段は、上記画像データ合成手段により作成された合成画像データの画素毎に、予め定められたモデルパターンと照合するための特徴量を求める特徴量算出手段と、上記特徴量算出手段により求められた特徴量に基づいて、上記撮像画像の一部の領域に含まれる照合領域と上記モデルパターンとを照合し、当該照合領域と当該モデルパターンとのマッチングの度合いを示す合致度を求める合致度算出手段と、を備えていてもよい。
上記構成によれば、上記画像データ解析手段では、特徴量算出手段により求められた合成画像データの特徴量に基づいて、合致度算出手段が、照合領域とモデルパターンとのマッチングの度合いを示す合致度を求めることにより、当該合成画像データの解析処理を行う。
これにより、画像処理装置は、撮像画面に触れている撮像対象の接触位置を特定するための解析処理を行うことができる。
さらに、本発明に係る画像処理装置は、上記合致度算出手段により求められた合致度が上記合成画像データの部分領域内で最大となる照合領域の位置を特定する位置特定手段を備えていてもよい。
上記構成によれば、位置特定手段が、画像解析データ手段の合致度算出手段により求められた合致度に基づいて合成画像データの部分領域内で最大となる照合領域の位置を特定する。
これにより、画像処理装置は、撮像画面に触れている撮像対象の接触位置を正確に特定することができる。
なお、上記の画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記の画像処理装置をコンピュータにて実現させる画像処理プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る画像処理装置は、以上のように、上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成手段と、上記画像データ合成手段により作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析手段と、を備えた構成である。
また、本発明に係る画像処理装置の制御方法は、上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成ステップと、上記画像データ合成ステップにより作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析ステップと、を含む方法である。
それゆえ、本発明に係る画像処理装置及び当該装置の制御方法は、撮像対象が表示画面の端部上に存在する場合であっても、マッチング処理に要する処理コスト及び計算量を抑制して、当該撮像対象を認識することができるという効果を奏する。
〔実施形態1〕
本発明の一実施形態について、図1〜図28に基づいて説明すれば、以下のとおりである。なお、同一部分には同一符号を付し、図面で同一の符号が付いたものは、説明を省略する場合もある。なお、本実施形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。
本発明の一実施形態について、図1〜図28に基づいて説明すれば、以下のとおりである。なお、同一部分には同一符号を付し、図面で同一の符号が付いたものは、説明を省略する場合もある。なお、本実施形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。
〔画像処理装置の構成〕
図1は、本発明の一実施形態に係る画像処理装置1の構成を示すブロック図である。まず、本発明の実施形態における画像処理装置1の構成及びその撮像画像の例について説明する。以下では、便宜上、画像処理装置1について説明するが、図1に示すように、本発明の実施形態における画像処理装置1の機能を必要とする電子機器30であれば、一般の電子機器に対して適用可能である。
図1は、本発明の一実施形態に係る画像処理装置1の構成を示すブロック図である。まず、本発明の実施形態における画像処理装置1の構成及びその撮像画像の例について説明する。以下では、便宜上、画像処理装置1について説明するが、図1に示すように、本発明の実施形態における画像処理装置1の機能を必要とする電子機器30であれば、一般の電子機器に対して適用可能である。
最初に、画像処理装置1の構成の概要及び画像処理装置1の撮像原理について説明する。画像処理装置1は、表示機能を有しており、複数の画素から構成される液晶ディスプレイ(ディスプレイ、撮像画面)及び該液晶ディスプレイに光を照射するバックライトを備えている点は、通常の液晶ディスプレイと同様である。
そして、画像処理装置1における液晶ディスプレイは、各画素内に光センサ(撮像センサ)が内蔵され、該光センサによって液晶ディスプレイの表示画面に近接してきた外部の物体等(撮像対象)を撮像し、当該撮像した画像データを撮像画像データ(以下、「撮像画像データ」を単に「画像データ」と呼ぶ場合がある。)として取り込むことが可能となっている点が、通常の液晶ディスプレイと異なっている。
なお、液晶ディスプレイは、複数の画素のうち、所定数の画素毎に光センサが内蔵されているものであっても良いが、光センサによる撮像画像の解像度の観点から、光センサは全画素に内蔵されていることが好ましい。
また、画像処理装置1の液晶ディスプレイは、通常の液晶ディスプレイと同様に、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に画素が配置され、薄膜トランジスタ、及び各種容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備えているものである。
さらに、画像処理装置1の液晶ディスプレイは、例えば各画素内に光センサとしてフォトダイオードを内蔵する構成となっている。このフォトダイオードには、キャパシタが接続され、表示画面から入射された光のフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データを生成し、画像の撮像(取り込み)を行うようになっている。これが画像処理装置1の液晶ディスプレイによる撮像原理である。
なお、光センサとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイ等の各画素に内蔵できるものであれば良い。
以上の構成により、画像処理装置1は、液晶ディスプレイ本来の画像を表示する表示機能に加え、表示画面に近接してきた外部の物体の画像(撮像対象)を撮像する撮像機能を備える構成となっている。それゆえ、ディスプレイの表示画面でのタッチ入力が可能な構成とすることができる。
ここで、図2(a)〜(h)に基づき、画像処理装置1の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される撮像対象について説明する。ここでは、「指の腹(以下、「指腹」と呼ぶ場合もある。)」及び「ペン先」の例を挙げ、それぞれの撮像画像(又は画像データ)の特徴の概要について説明する。
図2(a)は、周囲が暗い場合における指腹の撮像画像の様子を示す概要図であり、図2(b)は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図である。図2(a)に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面65(撮像画面)に、人差し指の腹を接触させた場合について考える。
この場合、図2(b)の撮像画像61は、バックライトが撮像対象(指腹)に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している(ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。)。
次に、図2(c)は、周囲が明るい場合における指腹の撮像画像の様子を示す概要図であり、図2(d)は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図である。図2(c)に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面65に、人差し指の腹を接触させた場合について考える。
この場合、図2(d)の撮像画像62は、外光66が液晶ディスプレイの表示画面65に入射することによって得られる画像(接触した場合は、バックライトによる反射光も混じる。)であり、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光66で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。
図2(e)は、周囲が暗い場合におけるペン先の撮像画像の様子を示す概要図であり、図2(f)は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図である。図2(e)に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面65に、ペン先を接触させた場合について考える。
この場合、図2(f)の撮像画像63は、バックライトが撮像対象(ペン先)に反射して得られる画像であり、小さな白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。
次に、図2(g)は、周囲が明るい場合におけるペン先の撮像画像の様子を示す概要図であり、図2(h)は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。図2(g)に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面65に、ペン先を接触させた場合について考える。
この場合、図2(h)の撮像画像64は、外光66が液晶ディスプレイの表示画面65に入射することによって得られる画像(接触した場合は、バックライトによる反射光も混じる。)であり、ペンで外光が遮られることによって生じたペンの影と、液晶ディスプレイの表示画面65に接触したペン先にバックライトの光が反射してできた小さな白い円形状がぼやけた部分とからなる。これらのうち小さな白い円形状の部分における勾配方向は、上述した暗い部屋でペン先を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、小さな白い円形状の部分における勾配方向と逆向きの傾向を示している。
以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、又は先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。
また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。
次に、図1及び図21を用いて、本実施形態における画像処理装置1の構成の詳細について説明する。
画像処理装置1は、図1に示すように、複数の光センサにより撮像された撮像画像の画像データ(撮像画像データ)に対して、撮像対象による当該画像データにおける指示位置を特定するものであり、具体的には、低解像度化部2、処理画像作成部16、モード設定部17、画像データ解析部15(画像データ解析手段)及び位置特定部11(位置特定手段)を備えている。
低解像度化部2は、液晶ディスプレイに内蔵されている光センサを用いて撮像された撮像画像の画像データを低解像度化する。
処理画像作成部16は、低解像度化部2により低解像度化された画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該画像データに合成して合成画像データを作成するものである。つまり、処理画像作成部16は、後段の画像データ解析部15及び位置特定部11にて処理するための合成画像データを作成するものである。なお、処理画像作成部16の要部構成については後述する。また、処理画像作成部16は、低解像度化部2により低解像度化された画像データに対して処理を行うものではなく、光センサにより撮像された撮像画像の画像データそのもの(画像処理装置1が取得した画像データ)に対して処理を行ってもよい。
モード設定部17は、画像処理装置1が用いられる周囲の環境に基づいて、画像処理装置1が撮像対象を取得するときの取得モードを設定するものである。図2に示すように、周囲が明るい場合には、画像処理装置1が取得する画像データに含まれる撮像対象を示す部分は、外光の影響を強く受けて影となり、画素値の低い画像となる。一方、周囲が暗い場合には、画像処理装置1が取得する画像データに含まれる撮像対象を示す部分は、バックライトから照射される光の反射光の影響を強く受けて画素値の高い画像となる。
したがって、モード設定部17は、液晶ディスプレイ(表示画面)に入射される外光により、撮像対象が影として取得される影モード、又は、撮像対象をバックライトから照射された光の反射光として取得される反射光モードのどちらかに取得モードを設定する。なお、取得モードとしては、影モード及び反射光モードに限られたものではなく、例えば外光強度に応じて影モードを細分化したモードが複数設定されていても良い。
モード設定部17は、例えばユーザが画像処理装置1を用いる周囲の環境を判断して取得モードを設定する場合、操作部(図示せず)を介したユーザによる入力操作(取得モードの選択操作)に基づいて、その環境に応じた取得モードを設定する。
また、モード設定部17は、低解像度化部2から取得する画像データに基づいて、取得モードを設定する構成であってもよい。この場合、モード設定部17は、外光強度を算出するために、例えば撮像対象を含まない画像データに含まれる複数の画素(選択した画素でも全画素でもよい)について、その画素値が高い方から順に並べた画素値と当該画素値を有する画素の個数との関係を示す強度検出用ヒストグラムを作成する。そして、モード設定部17は、この強度検出用ヒストグラムの上位数%(例えば5%〜10%)の部分の画素値を外光強度と看做し、当該画素値が所定の閾値以上であるか否かを判定する。所定の閾値以上である場合には、周囲が明るいものと判断し、取得モードを影モードに設定する一方、所定の閾値未満である場合には、周囲が暗いものと判断し、取得モードを反射光モードに設定する。
画像データ解析部15は、処理画像作成部16から送信される(後述の画像データ合成部20により作成される)合成画像データに対して、撮像対象による画像データの指示位置を特定するための解析を行うものであり、具体的には、縦勾配量算出部(特徴量算出手段)3a、横勾配量算出部(特徴量算出手段)3b、エッジ抽出部(特徴量算出手段)4、方向特定部(特徴量算出手段)5、効率化部6、一致画素数算出部7、モデルパターン・比較用一致パターン格納部8、パターン合致度算出部(合致度算出手段)9、及び、スコア算出部(合致度算出手段)10を備えている。
縦勾配量算出部3a及び横勾配量算出部3bは、画像データ上の画素毎に、注目画素の画素値と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量及び横方向勾配量を算出する。具体的には、Sobel(ソベル)オペレータ、Prewitt(プリウイット)オペレータ等の公知のエッジ抽出オペレータを用いれば良い。
例えば、Sobelオペレータについて説明すると、各画素の画素位置x(i,j)における局所的な縦方向勾配Sy及び横方向勾配Sxは、次式(1)のように求められる。
Sx=xi+1j−1−xi―1j−1+2xi+1j−2xi―1j+xi+1j+1−xi―1j+1
Sy=xi−1j+1−xi−1j−1+2xij+1−2xij−1+xi+1j+1−xi+1j−1
・・・(1)
ここで、xijは画素位置x(i,j)における画素値を表し、iは水平方向に沿った画素の位置を、jは垂直方向に沿った画素の位置をそれぞれ表す。ここに、i及びjは正の整数である。
Sy=xi−1j+1−xi−1j−1+2xij+1−2xij−1+xi+1j+1−xi+1j−1
・・・(1)
ここで、xijは画素位置x(i,j)における画素値を表し、iは水平方向に沿った画素の位置を、jは垂直方向に沿った画素の位置をそれぞれ表す。ここに、i及びjは正の整数である。
ここで、式(1)は、次式(2)及び(3)の3×3のSobelオペレータ(行列演算子Sx及びSy)を、画素位置x(i,j)を注目画素とする3×3画素に適用することと等価である。
ここで、画素位置x(i,j)における勾配の大きさABS(S)及び勾配方向ANG(S)は、縦方向勾配Sy及び横方向勾配Sxに基づいて、次のように与えられる。なお、以下では、演算子としての縦方向勾配Sy及び横方向勾配Sxを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量のそれぞれを、便宜上、縦方向勾配量Sy及び横方向勾配量Sxと記載する場合がある。
ABS(S)=(Sx2+Sy2)1/2 ・・・(4)
ANG(S)=tan-1(Sy/Sx) ・・・(5)
エッジ抽出部4は、縦勾配量算出部3a及び横勾配量算出部3bが算出した各画素の縦方向勾配量Sy及び横方向勾配量Sxの算出結果から、撮像画像のエッジ部分の画素であるエッジ画素を抽出(特定)する。
ANG(S)=tan-1(Sy/Sx) ・・・(5)
エッジ抽出部4は、縦勾配量算出部3a及び横勾配量算出部3bが算出した各画素の縦方向勾配量Sy及び横方向勾配量Sxの算出結果から、撮像画像のエッジ部分の画素であるエッジ画素を抽出(特定)する。
ここで、エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分(エッジ)における画素である。具体的には、縦方向勾配量Sy及び横方向勾配量Sxのそれぞれ、又は、勾配の大きさABS(S)が所定のエッジ閾値以上である画素のことである。
なお、このエッジ画素を抽出する目的は、方向特定部5が、抽出された複数のエッジ画素については勾配方向を特定し、エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。
パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向である。
したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置を検出する際のメモリ容量を少量化し、処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減することができる。
方向特定部5は、上述したように、縦勾配量算出部3a及び横勾配量算出部3bが算出した縦方向勾配量Sy及び横方向勾配量Sxから、画素毎の勾配方向ANG(S)と、縦方向勾配量Sy及び横方向勾配量Sxのそれぞれ、又は、勾配の大きさABS(S)がエッジ閾値未満である無方向とのいずれかを特定するものである。
ここでは、無方向をエッジ閾値未満であると定義しているが、エッジ閾値以下と定義しても良い。
あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。
なお、方向特定部5は、エッジ抽出部4によって特定された複数のエッジ画素の勾配方向を特定し、エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向であると言える。
したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。
ここで、勾配方向ANG(S)は、0rad〜2πradの範囲で変化する連続量であるから、本実施形態においては、これを例えば8方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量(以下、「特徴量」と呼ぶことがある。)とする。
なお、より精度の高いパターンマッチングを行うために、16方位等に量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。また、方向の量子化とは、勾配方向ANG(S)が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。
効率化部6は、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合(以下、「パターンマッチング」と呼ぶこともある。)を行う場合に、照合領域とモデルパターンとの照合の効率化を行う。
一致画素数算出部7は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数(以下、「一致画素数」と呼ぶ。)を算出する。
モデルパターン・比較用一致パターン格納部8は、モデルパターンと比較用一致パターンとを格納する。比較用一致パターンは、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンを分析することによってあらかじめ定めたパターンである。
具体的には、この比較用一致パターンは、照合領域に含まれる画素毎の勾配方向と、モデルパターンに含まれる画素毎の勾配方向との、合致方向の種類数である。すなわち、本実施形態のように、8方向に量子化したものを勾配方向とした場合であれば、この8方向のうちいずれの方向が照合領域とモデルパターンとの間において合致しているかによって、比較用一致パターンが定められている。例えば、比較用一致パターンを8方向のうち6方向以上合致するパターンと定めるが如くである。
パターン合致度算出部9は、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度を算出する。
なお、照合領域と、あらかじめ定められたモデルパターンとの照合(パターンマッチング)に使用される量としては、画素値(濃度値)等のスカラー量も用いることができる。
一方、画素値の勾配はベクトル量であり、大きさ(勾配の大きさABS(S))と向き(勾配方向ANG(S))とを持つものである。ここで、特に、勾配方向(向き)は、例えば8方向に量子化したりすることによって、1つの画素がとり得る状態を8(無方向を含めると9)という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせることができる。
また、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。
スコア算出部10は、一致画素数算出部7が算出した一致画素数、及びパターン合致度算出部9が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。
具体的には、スコア算出部10は、パターン合致度算出部9が算出したパターン合致度が完全パターン合致度であれば、その完全パターン合致度を用いて、照合領域の形状とモデルパターン形状とのマッチングの度合いを示す完全合致度を算出する。
位置特定部11は、スコア算出部10が算出した合致度が最大となる画素(以下、「ピーク画素」と呼ぶ。)の位置から、撮像対象による撮像画像上の指示位置を特定する。
すなわち、位置特定部11は、スコア算出部10が完全合致度を算出した場合であれば、その完全合致度が最大となるピーク画素の位置から、撮像対象による撮像画像上の指示位置を特定する。
また、位置特定部11は、ピーク探索部12と、座標算出判定部13と、座標算出部14と、を有している。
ピーク探索部12は、注目画素の周囲で所定の画素数を含む探索領域(以下、「第1領域」と呼ぶ場合がある。)内で、スコア算出部10が算出した合致度が最大値をとる画素であるピーク画素を探索する。
座標算出判定部13は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域(以下、「第2領域」と呼ぶ場合がある。)内に、ピーク探索部12が発見したピーク画素が存在することを判定した場合に、座標算出部14に撮像対象による撮像画像上の指示位置を算出させる。
座標算出部14は、ピーク探索部12が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎の合致度を用いて、撮像対象による撮像画像上の指示位置を算出するものである。
次に、処理画像作成部16の要部構成について説明する。図1に示すように、処理画像作成部16は、ヒストグラム作成部18(計数手段)、画素値推定部19(平均画素値推定手段、背景画素値推定手段)、画像データ合成部20(画像データ合成手段)及び画像データ格納部23を備えている。
ヒストグラム作成部18は、低解像度化部2から取得した画像データ(撮像対象を含む)に含まれる複数の画素(選択した画素でも全画素でもよい)について、その画素値が高い方から順に並べた画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。すなわち、ヒストグラム作成部18は、画像データに含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素の画素値の高い順に並べたときの当該画素値に対応する画素の個数を計数することにより、ヒストグラムを作成するものである。
ここで、ヒストグラム作成部18が作成するヒストグラムの一例について、図21を用いて説明する。図21は、取得モードに対応した画像データのヒストグラムの一例を示すものであり、図21(a)は、周囲が明るいときの画像データ(撮像画像)と、当該画像データのヒストグラムを示すものであり、図21(b)は、周囲が暗いときの画像データ(撮像画像)と、当該画像データのヒストグラムを示すものである。
図21(a)に示すように、周囲が明るいときには、画像データは、撮像対象が外光により表示画面65(図2)上に影をなし、表示画面65における当該撮像対象の周囲(背景部分)の画素値が当該撮像対象よりも高くなっている。このため、ヒストグラム作成部18は、周囲が明るいときには、背景部分を示す画素値の分布が撮像対象の像(影部分)を示す画素値の分布よりも画素値の高い範囲に現れ、かつ、横軸方向に広がるようなヒストグラムを作成する。
一方、図21(b)に示すように、周囲が暗いときには、画像データは、撮像対象がバックライトの光を反射することにより、表示画面65における当該撮像対象の周囲(背景部分)の画素値が当該撮像対象よりも低くなっている。このため、ヒストグラム作成部18は、周囲が暗いときには、背景部分を示す画素値の分布が撮像対象の像(撮像対象がバックライトの光を反射した部分)を示す画素値の分布よりも画素値の低い範囲に現れ、かつ、横軸方向に広がるようなヒストグラムを作成する。
つまり、図21(a)及び図21(b)では、「A」の部分が撮像対象の像を示す画素値の分布となり、「B」の部分が背景部分を示す画素値の分布となる。
画素値推定部19は、ヒストグラム作成部18により作成されたヒストグラム、及び、モード設定部17により設定された取得モードに基づいて、撮像対象の像の平均画素値、又は、画像データにおける撮像対象の像とは異なる背景領域の画素値である背景画素の推定を行う。画素値推定部19の推定方法については後述する。
画像データ合成部20は、低解像度化部2により低解像度化された画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該画像データに合成して合成画像データを作成するものであり、画素情報決定部21(画素情報決定手段)及び画像データ作成部22を備えている。
画素情報決定部21は、低解像度化部2により低解像度化された画像データにおける複数の画素の画素値に基づいて、外周画像データの有する画素情報を決定するものである。すなわち、画素情報決定部21は、画素値推定部19により推定された平均画素値に基づいて、又は推定された背景画素値を、上記画素情報として決定するものである。
画像データ作成部22は、画素情報決定部21により決定された画素情報を有する外周画像データを、上記画像データに合成した合成画像データを作成する。具体的には、画像データ作成部22は、画素情報決定部21により決定された画素情報を受信すると、当該画素情報を、画像データ格納部23に格納されている外周画像データの全画素に対応付けられた画素情報として設定する。そして、画像データ作成部22は、画像データ格納部23に格納されている画像データ、及び、上記設定された画素情報を有する外周画像データを読み出し、これらを合成した合成画像データを作成する。
画像データ格納部23は、低解像度化部2により低解像化された画像データと、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データとを格納している。
この画像データは、低解像度化部2が、画像処理装置1が取得した画像データを低解像度化して、当該画像データ(画素の位置情報(座標)と、当該画素毎の画素値とを対応付けたデータ)を画像データ格納部23に格納したものである。
また、外周画像データは、画像データの外周に沿って例えば1画素分の幅を有するような画素毎の位置情報と、当該画素の画素情報とが対応付けられて画像データ格納部23に格納されている。なお、上記画素の画素情報は、例えば電源オン時、又は、位置特定部11がポインティング位置を特定したときに、例えば「Null」に設定され(初期化され)、画像データ作成部22が画素情報決定部21から画素情報を取得したときには、当該画素情報に設定される。なお、外周画像データの幅は、以降、1画素分であるものとして説明する。
ここで、画像データ及び外周画像データの位置情報について説明する。低解像度化部2により低解像化された画像データが160×120画素の場合、位置情報は、例えば左上の画素から順に設定されている。例えば、最も左上の画素の座標が(1,1)、最も右下の画素の座標が(160,120)となるように設定されている。
この場合、外周画像データが画像データの外周に沿って1画素分の幅を有するように設定されているため、当該外周画像データの位置情報は、左上の画素から順に設定されていることとなる。例えば、4隅の画素の座標(左上、右上、右下、左下)がそれぞれ(0,0)、(161,0)、(161、121)、(0,121)となるように設定されている。
なお、画像データ合成部20は、低解像度化部2により低解像度化された画像データに、外周画像データを合成して合成画像データを作成しているが、これに限らず、画像データの最外周部(例えば1画素分)を外周画像データの代わりとしても良い。この場合、画像データ合成部20は、例えば、画像データの最外周部の画素値をキャンセルし、外周画像データに設定される画素情報を、当該最外周部の画素値として設定する。
〔画像処理装置の動作の概要〕
次に、画像処理装置1の動作の概要について説明する。
次に、画像処理装置1の動作の概要について説明する。
図3は画像処理装置1の全体的な動作の概要を示すフローチャートである。ステップS101では、図1の低解像度化部2が画像データを低解像度化し、S102に進む。例えば、320×240画素の画像データであれば、160×120画素(低解像度化率1/2)、又は80×60画素(低解像度化率1/4)等のようにバイリニア縮小させる。ここで、バイリニア縮小とは、例えば2×2の各画素が持つ画素値の平均値をとり、2×2画素のデータを、該平均値を持った1×1画素のデータに置き換えることにより、全体として1/4の情報圧縮を行うことを言う。
なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報等を得るためには、例えば320×240画素(150dpi)の画像データの場合であれば、80×60画素(低解像度化率1/4)を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行わないか、低解像度化するとしても、160×120画素(低解像度化率1/2)に留めることが好ましい。
以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。
S102では、図1の処理画像作成部16が、外周画像データの画素毎の画素情報を決定し、当該決定された画素情報を有する外周画像データを、低解像度化部2により低解像化された画像データに合成した合成画像データを作成するまでの過程(処理画像作成過程)を経た上で、S103に進む。
S103では、縦勾配量算出部3a及び横勾配量算出部3bが、合成画像データ上の画素毎に、縦方向勾配量Sy及び横方向勾配量Sxを算出してから、方向特定部5が、画素毎の勾配方向と無方向とのいずれかを特定するまでの過程(勾配方向・無方向特定過程)を経た上で、S104に進む。
S104では、効率化部6で、照合領域と、モデルパターンとの照合を行う場合に、照合領域とモデルパターンとの照合の効率化を図るか否か、つまり、照合効率化の要否を選択する。照合効率化を行う場合(Yes)には、S105に進み、効率化部6で照合効率化を行った上でS106に進み、照合効率化を行わない場合(No)にはS108に進み、効率化部6は何もせず、そのままの情報(画像データ、但し、低解像度化部2で、低解像度化している場合には、低解像度化後の画像データ)でS106に進む。
S106では、一致画素数算出部7が、照合領域とモデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部9が、パターン合致度を算出してから、スコア算出部10が、一致画素数算出部7が算出した一致画素数、及び、パターン合致度算出部9が算出したパターン合致度から、合致度を算出するまでの過程(パターンマッチング過程)を経た上で、S107に進む。
S107では、位置特定部11が、スコア算出部10が算出した合致度が最大となる画素(以下、「ピーク画素」と呼ぶ。)の位置から、撮像対象による撮像画像上の指示位置を特定する(ポインティング位置特定過程)。
以上が、画像処理装置1の全体の動作の概要である。以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程及びポインティング位置特定過程における画像処理装置1の各動作について説明する。その後、処理画像作成過程における画像処理装置1の動作(本実施形態の特徴点)について説明する。
〔勾配方向・無方向特定過程〕
まず、図1、図4、図5(a)及び図5(b)に基づいて、勾配方向・無方向特定過程における画像処理装置1の動作について説明する。
まず、図1、図4、図5(a)及び図5(b)に基づいて、勾配方向・無方向特定過程における画像処理装置1の動作について説明する。
図4は、画像処理装置1の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。図5(a)は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、図5(b)は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。
図4のフローチャートでは、まず、縦勾配量算出部3a及び横勾配量算出部3bがそれぞれ、縦方向勾配量Sy及び横方向勾配量Sxを算出してからスタートする。
S201では、エッジ抽出部4が、各画素における勾配の大きさ(勾配パワー)ABS(S)がエッジ閾値以上か否かを判定し、ABS(S)≧エッジ閾値ならば(Yes)、S202に進み、ABS(S)<エッジ閾値ならば(No)、S210に進む。なお、本実施形態では、ABS(S)=Sx×Sx+Sy×Syとして計算しているが、この量は、上式(4)における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。
S210に進んだ場合には、方向特定部5は、対象となっている画素、つまり、エッジ画素以外の画素を無方向と設定(特定)し、次の画素へ進んで、S201に戻る。なお、S202に進んだ場合には、対象となっている画素は、無論、エッジ画素である。
S202では、方向特定部5が、横方向勾配量Sxが0であるか否かを判定し、Sx≠0ならば(Yes)、S203に進み、Sx=0ならば(No)、S206に進む。
S203では、方向特定部5は、横方向勾配量Sxが正の値をとるか否かを判定し、Sx>0ならば(Yes)、S204に進み、方向特定部5は、図5(a)のテーブルにしたがって、該当画素について、勾配方向ANG(S)に応じて量子化された勾配方向を設定する。
一方、Sx<0ならば(No)、S205に進み、方向特定部5は、図5(b)のテーブルにしたがって、該当画素について、勾配方向ANG(S)に応じて量子化された勾配方向を設定する。
次に、S206では、方向特定部5は、縦方向勾配量Syが0か否かを判定し、Sy≠0ならば(Yes)、S207に進み、Sy=0ならば(No)、S210に進み、該当画素を無方向と設定し、次の画素へ進んでS201に戻る。
S207では、方向特定部5は、縦方向勾配量Syが正の値をとるか否かを判定し、Sy>0ならば(Yes)、S208に進み、該当画素の勾配方向を上向きに設定して、S201に戻る。
一方、Sy<0ならば(No)、S209に進み、該当画素の勾配方向を下向きに設定して、次の画素へ進んでS201に戻る。
以上の工程は、すべての画素の勾配方向・無方向の設定が終わるまで繰り返される。
パターンマッチングにおいて重要な情報は、エッジ部分の画素であるエッジ画素における勾配方向である。
したがって、上記の動作により、あまり重要でないエッジ画素以外の画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。
〔照合効率化〕
次に、画像処理装置1における照合効率化について説明する。
次に、画像処理装置1における照合効率化について説明する。
図1に示す効率化部6は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域毎に、分割領域に含まれる画素毎の勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び前記無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。
また、スコア算出部10は、効率化部6によって照合の効率化が行われた照合領域とモデルパターンとの照合を行って、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、前記合致度として算出する。
上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。
そこで、分割領域毎に、分割領域に含まれる画素毎の勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターンマッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による前記撮像画像上の指示位置の検出処理に要するコストを削減することもできる。
以上より、パターンマッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理に要するコストを削減することができる画像処理装置1を提供することができる。
ここで、図6(a)及び図6(b)に基づき、画像処理装置1における照合効率化の具体例について説明する。
まず、図6(a)に示すように、周囲が暗い場合における画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状である、無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きの勾配方向を持つ画素が多数分布している。
次に、図6(b)は、図6(a)の画像データについて照合効率化を行った後の様子を示す概要図である。
図6(a)に示すように、14×14画素の領域(照合領域)を、複数の2×2画素の領域(分割領域)に分割すると共に、2×2画素の領域毎に、2×2画素の領域に含まれる画素毎の勾配方向及び無方向の情報を、2×2画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、14×14画素の領域とモデルパターン(モデルパターンの例については後に詳しく説明する。)との照合の効率化が行われる。
たとえば、図6(a)に示す14×14画素の領域を分割した複数の2×2画素領域のうち、上から2つめ、左から1つめの2×2画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き(勾配方向)」、左下の画素が「右向き(勾配方向)」、及び右下の画素が「右下向き(勾配方向)」となっている。この2×2画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図6(b)の上から2つめ、左から1つめのブロック(以下、便宜上「画素」と呼ぶ場合がある。)である。他のブロックも同様にして生成することができる。結果として、図6(a)に示す14×14画素領域は、合計7×7=49個の2×2画素領域に分割される。
次に、図7(a)〜図9(b)に基づき、照合領域と照合されるモデルパターンの具体例について説明する。
図7(a)は、周囲が暗い場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。また、図7(a)のモデルパターンは、図6(a)に示す14×14画素の領域とパターンマッチングを行う場合を想定したものである。また、撮像対象としては、指腹を想定している。
ところで、図7(a)のモデルパターンは、13×13画素のモデルパターンとなっている。この場合、図6(a)に示す14×14画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。
また、奇数×奇数(13×13)としているのは、中心の画素が1つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて1画素ずつ、ずらせてパターンマッチングを行う。
この場合の一致画素数は、1画素毎に照合されて算出されるので、13×13=169画素の照合が必要となる。
一方、図7(b)は、周囲が明るい場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。図7(a)のモデルパターンと比較すると各画素の勾配方向が逆向きになっている。図7(a)は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図7(b)は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
次に、図8(a)は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図8(a)のモデルパターンは、図6(b)の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、2×2画素の領域を1画素(与えられる勾配方向は1つ)と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。
図8(b)は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図8(a)は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図8(b)は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
図9(a)は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図8(a)のモデルパターンとの違いは、2×2画素分が1つの領域に纏められているが、該1つの領域毎に、2つの勾配方向(又は無方向)の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。
図9(b)は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図9(a)は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図9(b)は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。
〔パターンマッチング過程〕
次に、画像処理装置1におけるパターンマッチングの過程について説明する。
次に、画像処理装置1におけるパターンマッチングの過程について説明する。
図10は、図1に示す画像処理装置1の動作のうち、パターンマッチング過程の動作を示すフローチャートである。
S301では、一致画素数算出部7が、照合領域とモデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数(一致画素数)を算出してS302に進む。
S302では、パターン合致度算出部9が、方向特定部5又は効率化部6からパターン合致度の算出を決定した旨の通知を受けて、パターン合致度を算出し、S303に進む。
S303では、パターン合致度算出部9が、一致画素数算出部7が算出した一致画素数及びパターン合致度算出部9が算出したパターン合致度を、合算した量を照合領域とモデルパターンとのマッチングの度合いを示す合致度として算出する。
次に、図11(a)〜図13(a)に基づき、パターンマッチング過程における、スコア算出部10の具体的なスコア(合致度)算出方法について説明する。
図11(a)は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図11(b)は、その合致度算出方法の一例を示す図である。
図11(a)は、図6(a)の照合領域と、図7(a)のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の7行7列(以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。)にある1×1画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している画素を示している。
図11(b)に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、8方向のすべてについて一致した画素が存在していることを示している。
次に、図11(b)に示す、一致画素数の計算は、上記網掛けの部分を左上の1行1列の画素から、右下の13行13列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「1」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「0」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「85」であるとの算出結果を得ている。なお、この一致画素数をスコア(合致度)として用いても良いが、以下で説明するような正規化一致画素数(合致度)を用いても良い。
次に、図11(b)に示す、正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行う場合(例えば、21×21、13×13、及び7×7画素の3種類のモデルパターン)に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。
ここでは、正規化一致画素数を、次式(6)で定義する。
正規化一致画素数=適当な定数×(一致画素数/モデル中の方向成分が存在する要素数) ・・・・(6)
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が0〜10の範囲となるように、適当な定数=10と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が0〜10の範囲となるように、適当な定数=10と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。
式(6)から、図11(a)の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数=10×(85/136)=6.25≒6
次に、図12(a)は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図12(b)は、その合致度算出方法の一例を示す図である。
次に、図12(a)は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図12(b)は、その合致度算出方法の一例を示す図である。
図12(a)は、図6(b)の照合効率化後の照合領域と、図8(a)のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の4行4列にある1×1画素(2×2画素に相当するものであるが、便宜上「画素」と言う。)は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。
図12(b)に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、8方向のすべてについて一致した画素が存在していることを示している。
次に、図12(b)に示す、一致画素数の計算は、上記網掛けの部分を左上の1行1列の画素から、右下の7行7列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、1行2列では、照合領域では、勾配方向が「右下」の画素が「3つ」存在しており、一方、モデルパターンの勾配方向は、1つであるが、「右下」である。従って、この場合の一致画素数は、「3」と計算する。
他の例では、2行1列では、照合領域では、勾配方向が「右下」の画素が「2つ」と、「右」が「1つ」存在しており、一方、モデルパターンの勾配方向は、1つであるが、「右下」である。勾配方向は、「右下」が「2つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「2」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。
以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「91」であるとの算出結果を得ている。なお、この一致画素数をスコア(合致度)として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。
ここでは、正規化一致画素数を、次式(7)で定義する。
正規化一致画素数=適当な定数×(一致画素数/モデル中の方向成分が存在する要素数を4倍した値) ・・・・(7)
適当な定数=10と設定している。
適当な定数=10と設定している。
式(7)から、図11(a)の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数=10×(91/176)=5.17≒5
次に、図13(a)は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図13(b)は、その合致度算出方法の一例を示す図である。
次に、図13(a)は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図13(b)は、その合致度算出方法の一例を示す図である。
図13(a)は、図6(b)の照合効率化後の照合領域と、図9(a)のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の4行4列にある1×1画素(2×2画素に相当するものであるが、便宜上「画素」と言う。)は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。
図13(b)に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、8方向のすべてについて一致した画素が存在していることを示している。
次に、図13(b)に示す、一致画素数の計算は、上記網掛けの部分を左上の1行1列の画素から、右下の7行7列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、1行2列では、照合領域では、勾配方向が「右下」の画素が「3つ」存在しており、一方、モデルパターンの勾配方向は、2つであり、「右下」が「1つ」に「下」が「1つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「3」と計算する。
他の例では、2行1列では、照合領域では、勾配方向が「右下」の画素が「2つ」と、「右」が「1つ」存在しており、一方、モデルパターンの勾配方向は、2つであるが、「右」が「1つ」と「右下」が「1つ」である。勾配方向は、「右」が「1つ」と「右下」が「2つ」一致している。従って、この場合の一致画素数は、「3」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。
ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図12(a)の場合と比較して、一致画素数が増加しているものを示している。
この結果は、図8(a)のモデルパターンよりも図9(a)のモデルパターンを使用した場合の方が、より変形に強い(円形からの歪に対するロバスト性の高い)パターンマッチングが行えることを示している。
以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「119」であるとの算出結果を得ている。なお、この一致画素数をスコア(合致度)として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。
式(7)から、図13(a)の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数=10×(119/176)=6.76≒7
次に、図14〜図17(b)に基づき、図1のスコア算出部10が、一致画素数と合致パターンとを併用して、スコア(合致度)を算出する場合について説明する。
次に、図14〜図17(b)に基づき、図1のスコア算出部10が、一致画素数と合致パターンとを併用して、スコア(合致度)を算出する場合について説明する。
図14は、画像処理装置1におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。
図14のS401では、一致画素数算出部7が、一致画素数を初期化して、S402に進む。S402では、パターン合致度算出部9が一致パターンの初期化を行ってS403に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。
S403では、一致画素数算出部7とパターン合致度算出部9とが1画素毎に(照合効率化後の画素も含む)勾配方向の照合等を行って、S404に進む。
S404では、方向が一致すれば(Yes)、S405に進み、一致画素数算出部7が一致画素数に一致した方向の要素数(効率化処理なしの場合は「1」)を加えてS406に進み、一方、方向が一致する画素が全くなければ(No)、S401に戻る。
S406では、パターン合致度算出部9が一致した勾配方向を「有」と更新して、S407に進む。
S407では、一致画素数算出部7及びパターン合致度算出部9がモデルパターンの全要素(画素)について照合が終了した場合には(Yes)、S408に進み、照合が終了していない場合には(No)、S403に戻る。
S408では、パターン合致度算出部9が一致パターンのチェックを行い、S409に進む。この一致パターンのチェックの詳細については、後に説明する。
S409では、パターン合致度算出部9が、モデルパターン・比較用一致パターン格納部8を参照して、「許可パターン」に該当するか否かを判定し、許可パターンに該当する場合は(Yes)、S410に進む。一方、許可パターンに該当しない場合は(No)、「Return」に移行する。
なお、パターン合致度算出部9は、「許可パターン」に該当する場合にはパターン合致度を「1」とし、「許可パターン」に該当しない場合にはパターン合致度を「0」とし、スコア算出部10は、一致画素数算出部7が算出した一致画素数にこれらの数値を掛ける構成が考えられる。
S410では、スコア算出部10が、一致画素数算出部7が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア(合致度)とする。
次に、図15に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。図15は、パターン合致度算出過程の一例を示すフローチャートである。なお、ここでは、勾配方向の種類は8方向あり、勾配方向種類数の閾値(DN)を6に設定した場合について説明する。
図15に示すように、S501では、パターン合致度算出部9が、一致パターンの「有」の数が6以上の場合には、S502に進み、一致パターンの許可を行う。
一方、パターン合致度算出部9は、一致パターンの「有」の数(勾配方向種類数)が5以下の場合には、S503に進み、一致パターンの不許可を行う。
次に、図16(a)〜図16(c)に基づき、一致パターンのチェックの第1の例を説明する。
図16(a)は、パターン合致度算出過程の一例を示す概要図であり、図16(b)は、パターン合致度算出過程の他の例を示す概要図であり、図16(c)は、パターン合致度算出過程のさらに他の例を示す概要図である。
図16(a)では、一致画素数は「24」と算出している。また、勾配方向の一致パターンは、「8」方向がすべて存在しているので、閾値の6以上であり、図15のフローでは、「許可パターン」と判定される。したがって、図16(a)の場合には、パターン合致度算出部9は、パターン合致度として「1」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「24」と「1」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
図16(b)では、一致画素数は「24」と算出している。また、勾配方向の一致パターンは、「6」方向が存在しているので、閾値の6以上であり、図15のフローでは、「許可パターン」と判定される。したがって、図16(b)の場合には、パターン合致度算出部9は、パターン合致度として「1」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「24」と「1」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
図16(c)では、一致画素数は「24」と算出している。また、勾配方向の一致パターンは、「6」方向が存在しているので、閾値の6以上であり、図15のフローでは、「許可パターン」と判定される。したがって、図16(c)の場合には、パターン合致度算出部9は、パターン合致度として「1」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「24」と「1」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
次に、図17(a)〜図17(c)に基づき、一致パターンのチェックにおける第2の例を説明する。
図17(a)は、パターン合致度算出過程のさらに他の例を示す概要図であり、図17(b)は、パターン合致度算出過程のさらに他の例を示す概要図であり、図17(c)は、パターン合致度算出過程のさらに他の例を示す概要図である。
図17(a)では、一致画素数は「24」と算出している。また、勾配方向の一致パターンは、「6」方向が存在しているので、閾値の6以上であり、図15のフローでは、「許可パターン」と判定される。したがって、図17(a)の場合には、パターン合致度算出部9は、パターン合致度として「1」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「24」と「1」とを掛け算したのち、正規化一致画素数を算出してスコアとする。
図17(b)では、一致画素数は「22」と算出している。また、勾配方向の一致パターンは、「4」方向が存在しているので、閾値の6未満であり、図15のフローでは、「不許可パターン」と判定される。したがって、図17(b)の場合には、パターン合致度算出部9は、パターン合致度として「0」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「22」と「0」とを掛け算して「0」をスコアとする。
図17(c)では、一致画素数は「22」と算出している。また、勾配方向の一致パターンは、「4」方向が存在しているので、閾値の6未満であり、図15のフローでは、「不許可パターン」と判定される。したがって、図17(c)の場合には、パターン合致度算出部9は、パターン合致度として「0」を算出し、スコア算出部10は、一致画素数算出部7が算出した、一致画素数「22」と「0」とを掛け算して「0」をスコアとする。
以上のように、スコア算出部10は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数(一致画素数)、及び、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア(合致度)を算出する。
〔ポインティング位置特定過程〕
次に、画像処理装置1におけるポインティング位置特定過程について説明する。
次に、画像処理装置1におけるポインティング位置特定過程について説明する。
図18は、画像処理装置1の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。
S601では、ピーク探索部12が、注目画素の周囲で所定の画素数を含む第1領域(探索領域)内で、スコア算出部10が算出した合致度が最大値をとる画素であるピーク画素を探索して、ピーク画素を発見したらS602に進む。なお、図示していないが、ピーク探索部12が、ピーク画素を発見できない場合には、注目画素を所定数(例えば、第1領域の注目画素から端の画素までの最短コース(第2領域の一辺のサイズ))ずらしてS601に戻る。
S602では、座標算出判定部13が、第1領域と共通の注目画素をもち、第1領域の画素数よりも少ない所定の画素数を有すると共に、第1領域に完全に包含される第2領域(小領域)内に、ピーク探索部12が発見したピーク画素が存在することを判定した場合には(YES)、S603に進み、座標算出判定部13は、「ピーク画素あり」と判定し、S604に進む。一方、座標算出判定部13が、第2領域(小領域)内に、ピーク探索部12が発見したピーク画素が存在しなかった場合には(NO)、S605に進み、座標算出判定部13は、「ピーク画素なし」と判定し、注目画素を所定数(例えば、第1領域の注目画素から端の画素までの最短コース(第2領域の一辺のサイズ))ずらしてS601に戻る。
以上の手順は、座標算出部14がポインティング(補間)位置を算出するまで繰り返される。
S604では、座標算出部14が、ピーク探索部12が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎のスコアを用いて、撮像対象による撮像画像上の指示位置を算出して「END」となる。
なお、上述の説明では、座標算出部14がポインティング(補間)位置を算出するまで処理を繰り返す場合について説明したが、複数のポインティング(補間)位置を算出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第1・第2領域を移動して、図18に示すフローチャートの処理を実行すればよい。
次に、図19(a)及び図19(b)を用いて、ピーク画素の有無の判定について説明する。
図19(a)は、画像処理装置1における座標算出判定部13が、ピーク画素が無いと判定する場合を説明するための概要図であり、(b)は、座標算出判定部13が、ピーク画素が有ると判定する場合を説明するための概要図である。
図19(a)に示す実線が第1領域であり、破線が第2領域である。第1領域の画素数は、9×9画素であり、第2領域の画素数は、5×5画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が1画素となるようにするためである。
図19(a)の例では、第1領域内にピーク画素である「9」が存在しているが、該ピーク画素は、第2領域内には存在していない。したがって、この場合は、座標算出判定部13は、「ピーク画素なし」と判定する。
一方、図19(b)の例では、第1領域内にピーク画素である「9」が存在しており、かつ、第2領域内にも存在している。したがって、この場合は、座標算出判定部13は、「ピーク画素あり」と判定する。
なお、上述の例では、第1領域にピーク画素が存在している場合において、第2領域内にピーク画素が無い場合には、第1領域の注目画素から端の画素までの最短コース(第2領域の一辺のサイズ)である「5画素」だけ、第1領域及び第2領域を動かせば、必ず、ピーク画素が第2領域内に入ってくるように、第1領域と第2領域との画素数との差が設定されている。
次に、図20(a)及び図20(b)に基づき、座標算出部14のポインティング(補間)座標(撮像対象による撮像画像上の指示位置)算出方法について説明する。
図20(a)は、画像処理装置1における撮像対象による撮像画像上における指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、図20(b)は、画像処理装置1におけるポインティング(補間)座標の座標算出方法を説明するための概要図である。
図20(a)は、座標算出判定部13が「ピーク座標あり」と判定した場合であり、図19(b)の場合と同じである。
なお、図20(a)は第1領域及び第2領域とも破線の領域で示されている。一方、実線で示した5×5画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。
図20(a)に示す例では、このピーク画素領域も第2領域と同様に、第1領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第2領域の端にピーク画素が存在する場合でも、ピーク画素領域が第1領域内に包含されるように構成することが好ましい。
次に、図20(b)に基づき、座標算出部14のポインティング座標算出方法について説明する。
本例では、画像データの画素数が、320×240画素である場合に、図1の低解像度化部2が、バイリニア縮小を2回行い、さらに、効率化部6が、2×2画素について照合効率化を行い、スコア画像(スコアのデータを画素毎に付与したもの)のサイズが40×30画素になっている場合を想定している。
したがって、スコア画像の全領域を8倍に拡大したものが、画像データの全領域に相当する。したがって、補間量(スケール拡大量)=8となっている。
具体的な計算方法は、以下のとおりである。まず、ピーク画素領域における行毎のスコアの和を計算する(図20(b)の19、28、33、24、及び11)。
次に、ピーク画素領域における列毎のスコアの和を計算する(図20(b)の16、24、28、26、及び21)。また、ピーク画素領域内(5×5画素)のスコアの総和を求める(図20(b)の115)。
次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを8倍に拡大すると、次式(8)及び(9)の座標を得る。
次に、画素のサイズを考慮して目盛り位置の調整を行うと、ポインティング座標(X,Y)は、次式(10)となる。
以上によれば、ピーク探索部12は、第1領域(探索領域)内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。
例えば、第1領域の画素数が小さいということは、データ画像(スコア画像)全体(=全画素)のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第1領域に必要なメモリ容量(例えば9×9画素の第1領域の場合、9ライン分のラインバッファ)があればよい、ということになる。
このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存等、後段処理に受け渡す際にバッファメモリが介在するような実装を行う場合には、全て共通して言えることである。
さらに、座標算出部14は、ピーク探索部12が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎のスコアを用いて、ポインティング位置を算出する。例えば、エッジ画像を用いてその重心位置からポインティング位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。
しかし、画像処理装置1では、ピーク画素領域内の、画素毎のパターンマッチングによるスコアを用いて、ポインティング位置を算出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。
したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順(例えば、ピーク画素領域内でスコアの重心を算出する等)で、ポインティング位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、ポインティング位置を算出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。
以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、1フレームの画像データのみを用いたパターンマッチングを行うことで、ポインティング位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、ポインティング位置の算出において、画像処理量の軽減とポインティング位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置1を提供することができる。
また、座標算出判定部13は、第1領域と共通の注目画素をもち、第1領域の画素数よりも少ない所定の画素数を有すると共に、第1領域内に完全に包含される第2領域(小領域)内に、ピーク探索部12が発見したピーク画素が存在することを判定した場合に、座標算出部14にポインティング位置を算出させることが好ましい。
ピーク画素領域は、第2領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第1領域と共通する画素が多数存在することになる。また、ピーク画素領域と第1領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部14にポインティング位置を算出させることができる。
また、ピーク画素領域と第1領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第1領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、ポインティング位置算出のためにあらためて判明していない各画素のスコアを調べる必要が無い。
以上より、ポインティング位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第1領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装等において各処理モジュールをパイプライン処理する際等に、参照すべきスコアの保持バッファ容量を少量化(例えば画像全体ではなく9ラインのみ)できる。
〔処理画像作成過程(その1)〕
次に、勾配方向・無方向特定過程の前提として実行される処理画像作成過程の一例((以下、「第1処理画像作成過程」と呼ぶ場合もある。)について図1、図21から図24に基づいて説明する。ここでは、画像処理装置1が、撮像対象が表示画面65に触れているか否かの判定を勾配量の大きさに基づいて行う場合を想定しているものとする。
次に、勾配方向・無方向特定過程の前提として実行される処理画像作成過程の一例((以下、「第1処理画像作成過程」と呼ぶ場合もある。)について図1、図21から図24に基づいて説明する。ここでは、画像処理装置1が、撮像対象が表示画面65に触れているか否かの判定を勾配量の大きさに基づいて行う場合を想定しているものとする。
まず、図22を用いて、画像処理装置1が、撮像対象が表示画面65に触れているか否かの判定を勾配量の大きさに基づいて行う場合の概要を説明する。図22は、画像処理装置1が、撮像対象が表示画面65に触れているか否かの判定を勾配量の大きさに基づいて行う場合の概要を説明するための図であり、図22(a)は、撮像対象が表示画面65に触れている様子を示すものであり、図22(b)は、撮像対象が表示画面65に触れていない様子を示すものである。
図22(a)では、撮像対象(人差し指の腹)が表示画面65に触れているので、画像処理装置1は、外光66の影響による指腹の像を示す影部分が濃く出ている(すなわち当該部分の画素値が低い)画像データ71を取得する。このとき、画像処理装置1では、指腹の像のエッジ部分の勾配量が所定の判定閾値以上の値として算出される。すなわち、画像処理装置1は、エッジ部分の勾配量が上記判定閾値以上と判定することにより、人差し指が表示画面65に触れていると判定する。
一方、図22(b)では、撮像対象が表示画面65に触れていないので、画像処理装置1は、外光66の影響による指腹の像を示す影部分が図22(a)に比べて薄くしか出ていない(すなわち当該部分の画素値が図22(a)の場合に比べて高い)画像データ72を取得する。このとき、画像処理装置1では、指腹の像のエッジ部分の勾配量が所定の判定閾値よりも小さな値として算出される。すなわち、画像処理装置1は、エッジ部分の勾配量が上記判定閾値よりも小さいと判定することにより、人差し指が表示画面65に触れていないと判定する。
なお、所定の判定閾値とは、撮像対象が触れていることを判定できる程度に大きな値であれば、どのような値であっても良い。また、図22の画像データ71、72における矢印の大きさは、勾配量の大きさを表現するものであり、長いほどその大きさが大きいものとする。
この場合において、処理画像作成部16が、画像データに対して後述する第2処理画像作成過程の処理を行うと、例えば表示画面65に触れていない撮像対象を触れていると判定してしまうような現象が生じる場合が考えられる。この現象について、図23を用いて説明する。図23は、表示画面65の端部上に撮像対象が存在し、かつ、撮像対象が表示画面65に触れていない場合の勾配量の概要を示す図である。なお、図23では、後述する第2処理画像作成過程を経て、低解像度化部2により低解像度化された画像データ82に、画素情報としての画素値「0」を有する外周画像データ81を合成した合成画像データ80を示している。
なお、図22及び図23では、周囲が明るい場合について説明しているが、周囲が暗い場合についても、撮像対象が「影」ではなく「反射光」として取得されることが異なるだけで、原理については同様である。
通常、外周画像データ81の有する画素情報としての画素値「0」は、画像データ82における撮像対象の像とは異なる領域(撮像対象の像の周囲)である背景領域の画素値よりも小さい。このため、撮像対象の像を示す影部分の画素値と背景領域の画素値との差分よりも、当該影部分の画素値と外周画像データ81の有する画素情報としての画素値との差分の方が大きくなる。つまり、画像データ82におけるエッジ部分の勾配量よりも、外周画像データ81におけるエッジ部分(領域C)の勾配量の方が大きくなる。
この場合、画像処理装置1では、撮像対象が触れていない場合であっても、領域Cにおいて勾配量が大きく算出されてしまうため、当該勾配量が上記判定閾値以上の場合には、撮像対象が触れていると判定してしまう可能性がある。すなわち、撮像対象が触れているか否かの判定を勾配量に基づいて行う場合で、かつ、撮像対象が表示画面65の端部上に存在する場合には、誤判定を行ってしまうことが考えられる。
したがって、第1処理画像作成過程では、表示画面65の端部に撮像対象が存在する場合でも、画像データ解析部15が当該撮像対象の像のエッジ部分とパターンマッチングを行うことができ、さらに、勾配量の大きさに基づく撮像対象の接触非接触の判定を正確に行うことができるようにしたものである。以下に、その詳細について説明する。
まず、図24を用いて、処理画像作成部16による第1処理画像作成過程について説明する。図24は、処理画像作成部16による第1処理画像作成過程の流れを示すフローチャートである。
図24に示すように、ヒストグラム作成部18は、低解像度化部2が低解像度化した画像データのヒストグラム(例えば図21に示すヒストグラム)を作成する(S701)。ヒストグラム作成部18は、画像データのヒストグラムを作成すると、当該ヒストグラムを画素値推定部19に送信する。なお、低解像度化部2は、ヒストグラム作成部18に画像データを送信するときに、画像データ格納部23に当該画像データを格納する。
画素値推定部19は、画像データにおける撮像対象の像とは異なる背景領域の画素値である背景画素値を推定するものであり、上記ヒストグラムを受信すると、当該ヒストグラムに基づいて背景画素値の推定を行う(S702)。ここで、画素値推定部19による背景画素値の推定方法の一例について、上述の図21を用いて説明する。
画素値推定部19は、ヒストグラム作成部18から画像データのヒストグラムを受信すると、モード設定部17により設定された取得モード(影モード又は反射光モード)を取得する。次に、画素値推定部19は、取得モードが影モードの場合には、受信したヒストグラムの画素値の高い方から画素値毎の画素の個数の累積度数を算出し、当該累積度数が所定の度数閾値以上となったときの画素値を、背景画素値と推定する。一方、画素値推定部19は、取得モードが反射光モードの場合には、受信したヒストグラムの画素値の低い方から画素値の累積度数を算出し、当該累積度数が所定の度数閾値以上となったときの画素値を、背景部分の画素値と推定する。
つまり、画素値推定部19は、撮像対象を取得するときの取得モードに基づいて、ヒストグラム作成部18により計数された画素の個数の累積度数を求め、当該累積度数が所定の度数閾値以上となったときの画素値を、背景画素値としている。
なお、上記所定の度数閾値とは、少なくとも、例えば図21(a)及び図21(b)に示す「B」の部分における画素値を、背景部分の画素値として推定可能なように設定されていれば良い。
画素値推定部19は、背景画素値を推定すると、当該背景画素値を画素情報決定部21に送信する。画素情報決定部21は、この背景画素値を、外周画像データの画素毎の画素情報としての画素値として決定し(S703)、当該画素情報を画像データ作成部22に送信する。
画像データ作成部22は、上記画素情報としての画素値を受信すると、画像データ格納部23に格納されている外周画像データの全画素に対して、当該画素情報としての画素値を設定し、当該画素情報が設定された外周画像データと、低解像度化部2が格納した画像データとを読み出す。そして、画像データ作成部22は、これら2つのデータを合成した合成画像データを作成し(S704)、当該合成画像データを縦勾配量算出部3a及び横勾配量算出部3bに送信する。
処理画像作成部16における第1処理画像作成過程の処理結果について、図25を用いて説明する。図25は、表示画面65の端部上に撮像対象が存在し、かつ、撮像対象が表示画面65に触れていない場合の、処理画像作成部16における第1処理画像作成過程の処理結果を示す図である。なお、図25は、図22(b)と同様、撮像対象が表示画面65に触れていない場合の画像データに対する処理結果を示すものである。また、図25では、上述の第1処理画像作成過程を経て、低解像度化部2により低解像度化された画像データ92に、画素情報としての背景画素値を有する外周画像データ91を合成した合成画像データ90を示している。
上述のように、第1処理画像作成過程では、外周画像データの画像情報として背景画素値を用いているため、撮像対象の像を示す影部分の画素値及び背景領域の画素値の差分と、当該影部分の画素値及び外周画像データ91の背景画素値の差分とがほぼ同じ値となる。すなわち、画像データ92におけるエッジ部分の勾配量と、外周画像データ91におけるエッジ部分(領域D)の勾配量とがほぼ同じ値となる。
以上のように、画像処理装置1は、画像データにおける撮像対象の像とは異なる背景領域の画素値である背景画素値を推定する画素値推定部19を備え、画素情報決定部21は、画素値推定部19により推定された背景画素値を、上記画素情報として決定している。
これにより、画像処理装置は、たとえ撮像対象の接触非接触を勾配量の大きさに基づいて判定する場合であっても、勾配量の大きさに基づく撮像対象の接触非接触の判定を正確に行うことができる。
つまり、画像処理装置1が第1処理画像作成過程を用いることにより、表示画面65の端部上に撮像対象が存在する場合でも、画像データ解析部15が当該撮像対象を示すエッジ部分とパターンマッチングを行うことができ、さらに、勾配量の大きさに基づく撮像対象の接触非接触の判定を正確に行うことができる。
〔処理画像作成過程(その2)〕
ここで、勾配方向・無方向特定過程の前提として実行される処理画像作成過程の他の例(以下、「第2処理画像作成過程」と呼ぶ場合もある。)について図1、図26から図28に基づいて説明する。まず、図26を用いて、処理画像作成部16による処理画像作成過程の流れの一例について説明する。図26は、処理画像作成部16による第2処理画像作成過程の流れを示すフローチャートである。なお、以下の説明では、処理画像作成部16で処理される画像データは、8bit、256階調(画素値「0」〜「255」、中間階調「128」)のグレースケールのデータであるものとする。
ここで、勾配方向・無方向特定過程の前提として実行される処理画像作成過程の他の例(以下、「第2処理画像作成過程」と呼ぶ場合もある。)について図1、図26から図28に基づいて説明する。まず、図26を用いて、処理画像作成部16による処理画像作成過程の流れの一例について説明する。図26は、処理画像作成部16による第2処理画像作成過程の流れを示すフローチャートである。なお、以下の説明では、処理画像作成部16で処理される画像データは、8bit、256階調(画素値「0」〜「255」、中間階調「128」)のグレースケールのデータであるものとする。
図26に示すように、ヒストグラム作成部18は、低解像度化部2が低解像度化した画像データのヒストグラム(例えば図21に示すヒストグラム)を作成する(S801)。ヒストグラム作成部18は、画像データのヒストグラムを作成すると、当該ヒストグラムを画素値推定部19に送信する。なお、低解像度化部2は、ヒストグラム作成部18に画像データを送信するときに、画像データ格納部23に当該画像データを格納する。
画素値推定部19は、撮像対象の像における複数の画素の平均画素値を推定するものであり、上記ヒストグラムを受信すると、当該ヒストグラムに基づいて撮像対象の平均画素値の推定を行う(S802)。ここで、画素値推定部19による撮像対象の平均画素値の推定方法の一例について、上述の図21を用いて説明する。
画素値推定部19は、ヒストグラム作成部18から画像データのヒストグラムを受信すると、モード設定部17により設定された取得モード(影モード又は反射光モード)を取得する。次に、画素値推定部19は、取得モードが影モードの場合には、受信したヒストグラムの画素値の低い方から画素値毎の画素数を計数し、画素値毎の画素数が所定の画素数閾値以上となってから当該画素数閾値未満となるまでの画素数の合計を算出する。そして、画素値推定部19は、この画素値の合計を、当該合計を求めたときの画素値の数で割った値を、撮像対象の平均画素値とする。つまり、図21(a)の場合、画素値推定部19は、「A」の部分の画素数の合計を算出し、「A」の範囲内に存在する画素値の数で割った値を、撮像対象の平均画素値とする。
一方、画素値推定部19は、取得モードが反射光モードの場合には、受信したヒストグラムの画素値の高い方から画素値毎の画素数を計数し、画素値毎の画素数が所定の画素数閾値以上となってから当該画素数閾値未満となるまでの画素数の合計を算出する。そして、上記と同様にして撮像対象の平均画素値を推定する。つまり、図21(b)の場合も図21(a)と同様、画素値推定部19は、「A」の部分の画素数の合計を算出し、「A」の範囲内に存在する画素値の数で割った値を、撮像対象の平均画素値とする。
なお、上記所定の画素数閾値とは、画素値推定部19が、上記ヒストグラムから撮像対象の画素値の分布を認識するための画素数を示すものであり、「0」又は「0」に近い値が設定されている。「0」に近い値が設定された場合、画像のノイズ成分を除くことが可能であるため、画素値推定部19は、より正確に撮像対象を認識することが可能となる。
画素値推定部19は、撮像対象の平均画素値を推定すると、当該平均画素値を画素情報決定部21に送信する。画素情報決定部21は、画素値推定部19により推定された平均画素値に基づいて、上記画素情報としての画素値を決定するために、この平均画素値が画像データの階調閾値「128」(中間階調)よりも小さいか否かを判定する(S803)。
画素情報決定部21は、平均画素値が画像データの中間階調「128」よりも小さいと判定した場合(S803でYES)、外周画像データの画素毎の画素情報としての画素値を「255」(白、最大階調)と決定する(S804)。一方、画素情報決定部21は、平均画素値が画像データの階調閾値「128」以上であると判定した場合(S803でNO)、外周画像データの画素毎の画素情報としての画素値を「0」(黒、最小階調)と決定する(S805)。そして、画素情報決定部21は、決定した画素情報としての画素値(「0」又は「255」)を、画像データ作成部22に送信する。
なお、上記では、画素情報決定部21が判定するときの階調閾値が中間階調、画素情報として決定するときの画素値が「0」又は「255」となっているが、これに限らず、表示画面65の端部においても、周囲の環境に応じて、縦勾配量算出部3a又は横勾配量算出部3bが勾配量を算出することができる値であれば良い。
すなわち、画素情報決定部21は、画素値推定部19により推定された平均画素値が、上記画像データの中間階調よりも小さい場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも大きい値に決定し、一方、画素情報決定部21は、画素値推定部19により推定された平均画素値が、上記画像データの中間階調以上である場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも小さい値に決定する構成であれば良い。
画像データ作成部22は、上記画素情報としての画素値を受信すると、図24のS704と同様、画像データ格納部23に格納されている外周画像データの全画素に対して、当該画素情報としての画素値を設定した後、これら2つのデータを合成した合成画像データを作成する(S806)。そして、画像データ作成部22は、作成した合成画像データを縦勾配量算出部3a及び横勾配量算出部3bに送信する。
次に、図27及び図28を用いて、画像データに対して、第2処理画像作成過程を経てパターンマッチング処理が行われる様子を説明する。図27(a)は、周囲が明るい場合に、表示画面の端部を触れた撮像対象(ユーザの指)が撮像される様子を示す図であり、図27(b)は、図27(a)の状況下において得られる画像データを示す図であり、図27(c)は、図27(b)の画像データに対して、第2処理画像作成過程を経てパターンマッチング処理まで(図3に示すS102〜S106)の処理が行われたときの画像データを示す図である。また、図28(a)は、周囲が暗い場合に、表示画面の端部を触れた撮像対象(ユーザの指)が撮像される様子を示す図であり、図28(b)は、図28(a)の状況下において得られる画像データを示す図であり、図28(c)は、図28(b)の画像データに対して、第2処理画像作成過程を経てパターンマッチング処理までの処理が行われたときの画像データを示す図である。
まず、図27(a)に示すように、ユーザが、明るい部屋で表示画面65の端部に人差し指の腹を接触させた場合、処理画像作成部16は、図27(b)に示すような画像データ102を取得する。処理画像作成部16は、第2処理画像作成過程で行われる処理を行うことで、画像データ102に、画素情報決定部21により決定された画素情報としての画素値(この場合は画素値「255」(白))を有する外周画像データ101を合成した合成画像データ100を作成する。
画像データ解析部15は、処理画像作成部16により作成された合成画像データ100を解析する(すなわち図3に示すS102〜S106の過程における処理を行う)ことにより、外光66により影として現れる指腹の像のエッジ部分の勾配量を算出する。このとき、画像データ解析部15は、外周画像データ101に画素値「255」が設定されているため、図27(c)に示すように、通常では勾配量が算出されない領域Eでの勾配量を算出することができる。つまり、画像データ解析部15は、表示画面65の端部に人差し指が触れて、画像データ102に含まれる人差し指の画像が通常のパターンマッチング処理ではモデルパターンとの合致しないと判定される状況下であっても、勾配量を算出し、通常のパターンマッチング処理を行うことができる。このため、位置特定部11は、図27(c)に示す画像データ102であっても、人差し指が触れた位置を特定することができる。
同様に、図28(a)に示すように、ユーザが、暗い部屋で表示画面65の端部に人差し指の腹を接触させた場合、処理画像作成部16は、図28(b)に示すような画像データ112を取得する。処理画像作成部16は、第2処理画像作成過程で行われる処理を行うことで、画像データ112に、画素情報決定部21により決定された画素情報としての画素値(この場合は画素値「0」(黒))を有する外周画像データ111を合成した合成画像データ110を作成する。
画像データ解析部15は、処理画像作成部16により作成された合成画像データ110を解析することにより、バックライトの光を反射した指腹の像のエッジ部分の勾配量を算出する。このとき、画像データ解析部15は、外周画像データ111に画素値「0」が設定されているため、図28(c)に示すように、通常では勾配量が算出されない領域Fでの勾配量を算出することができる。そして、周囲が明るい場合と同様、位置特定部11は、図28(c)に示す画像データ112であっても、人差し指が触れた位置を特定することができる。
以上のように、画像処理装置1は、画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該画像データに合成して合成画像データを作成する画像データ合成部20と、画像データ合成部20により作成された合成画像データに対して、撮像対象による画像データにおける指示位置を特定するための解析を行う画像データ解析部15と、を備えている。
したがって、画像処理装置1は、従来の画像処理装置が表示画面の端部を触れている撮像対象を認識するために必要となる処理条件などを設定しなくとも、撮像対象の一部欠けた部分の画素情報を補完することができる。つまり、画像処理装置1は、表示画面の端部を撮像対象が触れている場合であっても、その状況を特殊扱いして煩雑な処理を行うことなく、当該撮像対象が触れていることを認識することができる。このため、画像処理装置1は、処理コスト及び計算量を抑制して、ユーザの利便性を向上させることができる。
また、画像処理装置1は、表示画面の端部まで撮像対象を認識することができるので、表示画面に対する撮像対象の認識(検出)可能な領域を広げることができる。すなわち、画像処理装置1は、撮像対象が撮像画面に触れているにも関わらず認識できない領域を削減することができる。これにより、画像処理装置1は、ユーザのタッチ入力が可能な表示画面における当該タッチ入力を取得するためのボタン配置の制限が緩和され、デザイン面においてもユーザの利便性を向上させることができる。
〔実施形態2〕
本発明に係る他の実施形態について、図29から図32に基づいて説明すれば以下のとおりである。なお、実施形態1と同様の部材に関しては、同じ符号を付し、その説明を省略する。
本発明に係る他の実施形態について、図29から図32に基づいて説明すれば以下のとおりである。なお、実施形態1と同様の部材に関しては、同じ符号を付し、その説明を省略する。
本実施形態に係る画像処理装置1aは、勾配方向・無方向特定過程の前提として実行される処理画像作成過程(以下、「第3処理画像作成過程」と呼ぶ場合もある。)を実現するための構成である。その構成の詳細について、図29を用いて説明する。図29は、本発明の他の実施形態に係る画像処理装置1aの構成を示すブロック図である。ここでは、画像処理装置1aにおいて、実施形態1に係る画像処理装置1の低解像度化部2、モード設定部17、画像データ解析部15及び位置特定部11の処理については同様であるため、その具体的な説明は省略する。
処理画像作成部16aは、実施形態1に係る処理画像作成部16と同様、低解像度化部2により低解像度化された画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該画像データに合成して合成画像データを作成するものである。処理画像作成部16aは、画像データ合成部20a及び画像データ格納部23aを備えている。
画像データ合成部20aは、画素情報として、撮像対象を取得するときの取得モードに対応付けられた所定の勾配量を有するように予め設定されている外周画像データを、低解像度化部2により低解像度化された画像データに合成して合成画像データを作成する。すなわち、外周画像データは、取得モードと、画像データの外周に沿って1画素分の幅を有するような画素の位置情報と、所定の勾配量とが対応付けられている。なお、所定の勾配量とは、画像データ解析部15による解析処理において表示画面の端部を触れている撮像対象を認識可能なように予め設定された値である。
画像データ格納部23aは、低解像度化部2により低解像化された画像データと、撮像対象を取得するときの取得モードに対応付けられた所定の勾配量を有するように予め設定されている外周画像データとを格納している。
ここで、本実施形態に係る外周画像データについて、図30を用いて説明する。図30は、画像データ格納部23aに予め格納されている外周画像データについて説明するための図である。なお、図30には、反射光モードと対応付けられた所定の勾配量を有する外周画像データの一例が示されている。
図30に示す外周画像データ120では、(0,1)〜(0,120)の画素それぞれに対し、所定の勾配量(勾配方向)を示す「01110000」の8bit情報が予め設定され、(1,121)〜(160,121)の画素それぞれに対し、所定の勾配量を示す「11000001」の8bit情報が予め設定されている。同様に、(161,1)〜(161,120)の画素それぞれに対し、所定の勾配量(勾配方向)を示す「00000111」の8bit情報が予め設定され、(1,0)〜(160,0)の画素それぞれに対し、所定の勾配量を示す「00011100」の8bit情報が予め設定されている。
ここで、8bit情報は、量子化された8方向毎に「0」又は「1」の情報が与えられたものであり、「0」が方向無しを示し、「1」が方向有りを示すものである。なお、図30および図32に示す「0」及び「1」は、例えば図11(b)に示す一致パターンにおける方向「有」及び方向「無」とそれぞれ同義である。また、8bit情報は、右から「上」、「右上」、「右」、「右下」、「下」、「左下」、「左」、「左上」を示すものとする。すなわち、反射光モードに対応する外周画像データ120は、4隅を除く各辺の勾配量が内向きとなるように設定されている。
なお、所定の勾配量は、勾配方向を示す情報しか有していないものとして説明したが、これに限らず、勾配方向と共に勾配の大きさを有するベクトル量であっても良い。この場合、勾配の大きさは、画像処理装置1aにおいて撮像対象の接触非接触が確認可能なように、触れていると判定される大きさを超えない程度の(上記所定の判定閾値より小さい)大きさに設定しておくことが好ましい。すなわち、所定の勾配量は、表示画面に撮像対象が触れたときの、当該撮像対象の像のエッジ部分の勾配量よりも小さい値に設定されていることが好ましい。
上記のように勾配の大きさを設定することにより、撮像対象が表示画面に触れているか否かの判定を勾配量の大きさに基づいて行う場合であっても、当該撮像対象の接触非接触の判定を正確に行うことができる。
また、外周画像データ120は、反射光モードに対応するものであったが、画像データ格納部23には影モードに対応する外周画像データも予め格納されている。影モードに対応する外周画像データは、撮像対象の影を認識可能なように、例えば4隅を除く各辺の勾配量が外向きとなるように設定されている。
すなわち、上記所定の勾配量は、画像データの中心から外周に向かう方向を正とするとき、影モードの場合には、正方向を示すベクトル量に設定されており、反射光モードの場合には、負方向を示すベクトル量に設定されている。このため、画像処理装置1aは、背景領域の画素値の大きさ(明るさ)に応じた撮像対象の認識を容易に行うことができる。
さらに、8bit情報は、複数の方向(ここでは3方向)を示す情報として説明したが、これに限らず、取得モードに対応して少なくとも1方向の情報を有していればよい。これは、勾配方向の種類数の設定によって適宜変更できるものである。なお、画像処理装置1aは、所定の勾配量が複数の方向を示すベクトル量であれば、1方向を示すベクトル量に所定の勾配量が設定されている場合に比べ、表示画面の端部に触れている撮像対象を確実に認識することができる。
〔処理画像作成過程(その3)〕
次に、画像処理装置1aにおける第3処理画像作成過程の流れについて、図31を用いて説明する。図31は、画像処理装置1aにおける第3処理画像作成過程の流れを示すフローチャートである。
次に、画像処理装置1aにおける第3処理画像作成過程の流れについて、図31を用いて説明する。図31は、画像処理装置1aにおける第3処理画像作成過程の流れを示すフローチャートである。
まず、画像データ合成部20aは、低解像度化部2により低解像度化された画像データを受信すると、モード設定部17から取得モードを取得し、当該取得モードが影モードであるか、反射光モードであるかを確認する(S901)。
次に、画像データ合成部20aは、取得モードを確認すると、当該取得モードに対応付けられた外周画像データを画像データ格納部23aから読み出す(S902)。このとき、画像データ合成部20aは、低解像度化部2により画像データ格納部23aに格納された画像データも読み出す。
そして、画像データ合成部20aは、読み出した外周画像データと画像データとを合成することにより合成画像データを作成し(S903)、当該合成画像データを縦勾配量算出部3a及び横勾配量算出部3bに送信する。
ここで、従来のパターンマッチング処理の処理結果、及び、第3処理画像作成過程を経た本実施形態のパターンマッチング処理の処理結果について、図32を用いて説明する。
図32は、周囲が暗い場合における従来のパターンマッチング処理の処理結果、及び、第3処理画像作成過程を経たパターンマッチング処理の結果について説明するための図であり、図32(a)は、表示画面65の中央付近をユーザの指が触れている場合における本実施形態及び従来のパターンマッチング処理の結果を示すものであり、図32(b)は、表示画面65の端部をユーザが触れている場合における従来のパターンマッチング処理の結果を示すものであり、図32(c)は、表示画面65の端部をユーザが触れている場合における本実施形態のパターンマッチング処理の結果の一例を示すものである。また、図32(d)は、表示画面65の端部をユーザが触れている場合における本実施形態のパターンマッチング処理の結果の他の例を示すものである。
なお、図32では、図8(a)のモデルパターンを用いてパターンマッチング処理を行っている。また、ここでは、パターン合致度算出部9が「許可パターン」であるか否かを判定するための許可閾値を「7」とし、スコア算出部10では、一致画素数とパターン合致度とを掛け算した結果をスコアとしているものとする。さらに、網掛けされた部分は、モデルパターンと勾配方向とが一致している画素を示している。
図32(a)に示すように、表示画面65の中央付近をユーザの指が触れている場合、網掛けで示された一致画素数は「25」であるとの算出結果を得ている。また、勾配方向の一致パターンが「7」(つまり7種類の勾配方向が合致)との算出結果を得ている。したがって、この場合には、位置特定部11による指の位置の特定を行うことができる。
次に、表示画面65の端部をユーザの指が触れている場合、従来のパターンマッチング処理では、画像データに含まれる指腹の像にしか勾配情報を求めることができない。つまり、例えば図32(b)のように、2つの列Gからは勾配情報を得ることができないため、図32(a)に比べ一致画素数及び一致パターンが減少してしまう。図32(b)では、一致画素数は「18」及び勾配方向の一致パターンが「6」との算出結果を得るが、許可閾値「7」を超えていないため、画像処理装置1aは端部を触れている指を検出できない。
なお、図32(a)に示すように、通常8bit情報は、「1」をひとつのみ含むものである。つまり、画像データの画素は、それぞれ1方向又は無方向を示す情報を有している。
一方、本実施形態の第3処理画像作成過程を経た場合、画像データに外周画像データが合成された合成画像データに対してパターンマッチング処理が行われる。ここでは、周囲が暗い場合なので、画像データ合成部20aは、モード設定部17により設定された反射光モードに対応した、所定の勾配量が3方向を示す情報を画素情報として有する外周画像データを用いて、合成画像データを作成している。
したがって、図32(c)では、列Hには1つの画素に対して予め設定された3つの勾配方向を示す画素情報が埋め込まれているので、一致画素数は「23」及び勾配方向の一致パターンが「7」との算出結果を得ることができる。
また、図32(d)のように、所定の勾配量が1方向を示す情報を画素情報として用いて合成画像データが作成された場合であっても、列Iには1つの画素に対して予め設定された1つの勾配方向を示す画素情報が埋め込まれているので、一致画素数は「21」及び勾配方向の一致パターンが「7」との算出結果を得ることができる。
以上のように、画像処理装置1aでは、外周画像データは、画素情報として、撮像対象を取得するときの取得モードに対応付けられた所定の勾配量を有するように予め設定されている構成である。
したがって、上述の画像処理装置1と同様、従来の画像処理装置が表示画面の端部を触れている撮像対象を認識するために必要となる処理条件などを設定しなくとも、撮像対象の一部欠けた部分の画素情報を補完することができる。つまり、画像処理装置1aは、表示画面の端部を撮像対象が触れている場合であっても、その状況を特殊扱いして煩雑な処理を行うことなく、当該撮像対象が触れていることを認識することができる。このため、画像処理装置1aは、処理コスト及び計算量を抑制して、ユーザの利便性を向上させることができる。
〔補足〕
なお、画像処理装置1、1aの各ブロック、特に画像データ解析部15(低解像度化部2、縦勾配量算出部3a、横勾配量算出部3b、エッジ抽出部4、方向特定部5、効率化部6、一致画素数算出部7、パターン合致度算出部9及びスコア算出部10)、位置特定部11(ピーク探索部12、座標算出判定部13及び座標算出部14)、処理画像作成部16(ヒストグラム作成部18、画素値推定部19、画像データ合成部20(画素情報決定部21及び画像データ作成部22)、画像データ合成部20a)及びモード設定部17は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
なお、画像処理装置1、1aの各ブロック、特に画像データ解析部15(低解像度化部2、縦勾配量算出部3a、横勾配量算出部3b、エッジ抽出部4、方向特定部5、効率化部6、一致画素数算出部7、パターン合致度算出部9及びスコア算出部10)、位置特定部11(ピーク探索部12、座標算出判定部13及び座標算出部14)、処理画像作成部16(ヒストグラム作成部18、画素値推定部19、画像データ合成部20(画素情報決定部21及び画像データ作成部22)、画像データ合成部20a)及びモード設定部17は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像処理装置1、1aは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)等を備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置1、1aの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置1、1aに供給し、そのコンピュータ(又はCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやコンパクトディスク−ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系等を用いることができる。
また、画像処理装置1、1aを通信ネットワークと接続可能に構成し、その通信ネットワークを介して上記プログラムコードを画像処理装置1、1aに供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
さらに、画像処理装置1、1aのモデルパターン・比較用一致パターン格納部8及び画像データ格納部23、22aは、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやコンパクトディスク−ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系等を用いることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の画像処理装置は、例えば携帯電話やPDA等のように、液晶等の表示装置のディスプレイにタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機EL発光素子、無機EL発光素子、LED(Light Emitting Diode)等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ(FED)、プラズマディスプレイにも利用することができる。
1、1a 画像処理装置
3a 縦勾配量算出部(特徴量算出手段)
3b 横勾配量算出部(特徴量算出手段)
4 エッジ抽出部(特徴量算出手段)
5 方向特定部(特徴量算出手段)
9 パターン合致度算出部(合致度算出手段)
10 スコア算出部(合致度算出手段)
11 位置特定部(位置特定手段)
15 画像データ解析部(画像データ解析手段)
18 ヒストグラム作成部(計数手段)
19 画素値推定部(平均画素値推定手段、背景画素値推定手段)
20 画像データ合成部(画像データ合成手段)
21 画素情報決定部(画素情報決定手段)
65 表示画面(撮像画面)
120 外周画像データ
3a 縦勾配量算出部(特徴量算出手段)
3b 横勾配量算出部(特徴量算出手段)
4 エッジ抽出部(特徴量算出手段)
5 方向特定部(特徴量算出手段)
9 パターン合致度算出部(合致度算出手段)
10 スコア算出部(合致度算出手段)
11 位置特定部(位置特定手段)
15 画像データ解析部(画像データ解析手段)
18 ヒストグラム作成部(計数手段)
19 画素値推定部(平均画素値推定手段、背景画素値推定手段)
20 画像データ合成部(画像データ合成手段)
21 画素情報決定部(画素情報決定手段)
65 表示画面(撮像画面)
120 外周画像データ
Claims (15)
- 複数の撮像センサにより撮像された撮像画像の撮像画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定する画像処理装置であって、
上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成手段と、
上記画像データ合成手段により作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析手段と、を備えたことを特徴とする画像処理装置。 - 上記画像データ合成手段は、上記撮像画像データにおける複数の画素の画素値に基づいて、上記画素情報を決定する画素情報決定手段を備えたことを特徴とする請求項1に記載の画像処理装置。
- 上記撮像画像データにおける上記撮像対象の像とは異なる背景領域の画素値である背景画素値を推定する背景画素値推定手段を備え、
上記画素情報決定手段は、上記背景画素値推定手段により推定された背景画素値を、上記画素情報として決定することを特徴とする請求項2に記載の画像処理装置。 - 上記撮像画像データに含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素の画素値の高い順に並べたときの当該画素値に対応する画素の個数を計数する計数手段を備え、
上記背景画素値推定手段は、上記撮像対象を取得するときの取得モードに基づいて、上記計数手段により計数された画素の個数の累積度数を求め、当該累積度数が所定の度数閾値以上となったときの画素値を、上記背景画素値とすることを特徴とする請求項3に記載の画像処理装置。 - 上記撮像対象の像における複数の画素の平均画素値を推定する平均画素値推定手段を備え、
上記画素情報決定手段は、上記平均画素値推定手段により推定された平均画素値に基づいて、上記画素情報としての画素値を決定することを特徴とする請求項2に記載の画像処理装置。 - 上記画素情報決定手段は、
上記平均画素値推定手段により推定された平均画素値が、上記撮像画像データの中間階調よりも小さい場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも大きい値に決定し、
上記平均画素値推定手段により推定された平均画素値が、上記撮像画像データの中間階調以上である場合には、上記画素情報としての画素値の階調を少なくとも上記中間階調よりも小さい値に決定することを特徴とする請求項5に記載の画像処理装置。 - 上記外周画像データは、上記画素情報として、上記撮像対象を取得するときの取得モードに対応付けられた所定の勾配量を有するように予め設定されていることを特徴とする請求項1に記載の画像処理装置。
- 上記撮像対象が触れたときに、上記複数の撮像センサによる当該撮像対象の撮像を可能とする撮像画面と、
上記撮像対象が撮像される撮像画面に対して光を照射するバックライトと、を備え、
上記所定の勾配量は、上記撮像画像データの中心から外周に向かう方向を正とするとき、上記撮像対象を影として取得する影モードの場合には、正方向を示すベクトル量に設定されており、上記撮像対象を上記バックライトから照射された光の反射光として取得する反射光モードの場合には、負方向を示すベクトル量に設定されていることを特徴とする請求項7に記載の画像処理装置。 - 上記撮像対象が触れたときに、上記複数の撮像センサによる当該撮像対象の撮像を可能とする撮像画面を備え、
上記所定の勾配量は、上記撮像画面に上記撮像対象が触れたときの、当該撮像対象の像のエッジ部分の勾配量よりも小さい値に設定されていることを特徴とする請求項7又は8に記載の画像処理装置。 - 上記所定の勾配量は、複数の方向を示すベクトル量であることを特徴とする請求項7から9の何れか1項に記載の画像処理装置。
- 上記画像データ解析手段は、
上記画像データ合成手段により作成された合成画像データの画素毎に、予め定められたモデルパターンと照合するための特徴量を求める特徴量算出手段と、
上記特徴量算出手段により求められた特徴量に基づいて、上記撮像画像の一部の領域に含まれる照合領域と上記モデルパターンとを照合し、当該照合領域と当該モデルパターンとのマッチングの度合いを示す合致度を求める合致度算出手段と、を備えたことを特徴とする請求項1から10の何れか1項に記載の画像処理装置。 - 上記合致度算出手段により求められた合致度が上記合成画像データの部分領域内で最大となる照合領域の位置を特定する位置特定手段を備えたことを特徴とする請求項11に記載の画像処理装置。
- 複数の撮像センサにより撮像された撮像画像の撮像画像データに対して、撮像対象による当該撮像画像データにおける指示位置を特定する画像処理装置の制御方法であって、
上記撮像画像データの外周に沿って、複数の画素と当該複数の画素毎に対応付けられた画素情報とを有する外周画像データを、当該撮像画像データに合成して合成画像データを作成する画像データ合成ステップと、
上記画像データ合成ステップにより作成された合成画像データに対して、上記指示位置を特定するための解析を行う画像データ解析ステップと、を含むことを特徴とする画像処理装置の制御方法。 - 請求項1から12の何れか1項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理プログラム。
- 請求項14に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009054237A JP2010211326A (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009054237A JP2010211326A (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010211326A true JP2010211326A (ja) | 2010-09-24 |
Family
ID=42971453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009054237A Pending JP2010211326A (ja) | 2009-03-06 | 2009-03-06 | 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010211326A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446780B2 (en) | 2010-09-22 | 2013-05-21 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device |
-
2009
- 2009-03-06 JP JP2009054237A patent/JP2010211326A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446780B2 (en) | 2010-09-22 | 2013-05-21 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device |
US8830765B2 (en) | 2010-09-22 | 2014-09-09 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device |
US8976603B2 (en) | 2010-09-22 | 2015-03-10 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device |
US9208884B2 (en) | 2010-09-22 | 2015-12-08 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4727614B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP4790653B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP4727615B2 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
JP2008250949A5 (ja) | ||
JP2008250950A5 (ja) | ||
US9055384B2 (en) | Adaptive thresholding for image recognition | |
JP2008250951A5 (ja) | ||
US8269842B2 (en) | Camera gestures for user interface control | |
CN109684980B (zh) | 自动阅卷方法及装置 | |
US9058536B1 (en) | Image-based character recognition | |
JP5799817B2 (ja) | 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム | |
JP2010231686A (ja) | 画像からの文書領域抽出装置、方法、及びプログラム | |
JP5015097B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
JP2011118466A (ja) | 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器 | |
JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
US10002291B2 (en) | Method and system of identifying fillable fields of an electronic form | |
EP2924610A2 (en) | Flesh color detection condition determining apparatus, and flesh color detection condition determining method | |
JP6011885B2 (ja) | 符号読取装置および符号読取方法 | |
CN108255298B (zh) | 一种投影交互系统中的红外手势识别方法及设备 | |
JP2010211326A (ja) | 画像処理装置、画像処理装置の制御方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
KR101200009B1 (ko) | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 | |
JP4964849B2 (ja) | 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法 | |
JP4659900B1 (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 | |
US10380463B2 (en) | Image processing device, setting support method, and non-transitory computer-readable media | |
JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム |