JP2011198344A - 位置検出装置及びタッチパネル - Google Patents

Abstract

【課題】屋外でも精度良く指示体の位置を検出することができる位置検出装置と、当該位置検出装置を備えたタッチパネルと、を提供する。
【解決手段】位置検出装置１は、表示領域２２面上を左側から撮像することで左側画像を生成する左側撮像部１１Ｌと、表示領域２２面上を右側から撮像することで右側画像を生成する右側撮像部１１Ｒと、を表示領域２２の上辺の両端に備える。左側撮像部１１Ｌ及び右側撮像部１１Ｒは、それぞれ可視光を撮像することで左側画像及び右側画像を生成する。
【選択図】図１

Description

本発明は、検出面上の指示体の位置を検出する位置検出装置や、当該位置検出装置を備えたタッチパネルに関する。

画像を表示する表示装置と、ユーザが指示する位置を検出する位置検出装置とを備え、ユーザが指示する表示装置上の位置を検出する、いわゆるタッチパネルが広く普及している。タッチパネルは、表示装置に表示される画像を視認したユーザが、当該画像を手がかりにして、例えば指やスタイラスなどの指示体で表示装置上（当該画像上）の所定の位置に触れるという直感的かつ簡易的な動作によって操作される。

タッチパネルに備えられる位置検出装置の方式として、例えば、静電容量方式がある。静電容量方式とは、表示装置上に導電膜を設けて電流を通じ、指が導電膜に接触または近接することで生じる静電容量の変化を電流の変化として検出することで、指が接触または近接した位置を検出するものである。

しかしながら、静電容量方式では、表示装置上に導電膜などを設ける必要があるため、表示装置上の光透過性が低下し、屋外などで画像の視認性が劣化することが問題となる。そこで、この問題を解決する方式として、例えば、赤外線マトリクス方式（検出面の端部に複数の発光部及び受光部を敷き詰め、それぞれの受光部で生成される信号から指示体の位置を検出する方式）や、特許文献１に記載の方式（検出面の２つの隅に赤外線の発光部及びイメージセンサをそれぞれ備えるとともに検出面の端部に赤外線の反射材を備え、イメージセンサで生成される画像からユーザが触れた位置を検出する方式）などが提案されている。

特許第４２２９９６４号

上記のような赤外線を用いた方式であれば、表示装置上に導電膜などの追加部材を備える必要がないため、表示装置上の光透過性の低下（屋外での視認性の劣化）を防止することが可能となる。しかしながら、屋外では発光部以外（例えば、太陽など）から放射される赤外線の影響を受けることで検出精度が劣化するため、問題となる。

さらに、赤外線に限らず、屋外では外乱（検出環境の変動）の影響が大きい。そのため、屋内での使用には支障をきたさない検出精度を実現する位置検出装置であっても、屋外では使用に堪えないものとなる場合がある。

そこで本発明は、屋外でも精度良く指示体の位置を検出することができる位置検出装置と、当該位置検出装置を備えたタッチパネルと、を提供することを目的とする。

上記目的を達成するために、本発明における位置検出装置は、検出面上の指示体の位置を検出する位置検出装置であって、異なる場所から前記検出面上を撮像して画像を生成する２つ以上の撮像部と、前記撮像部の撮像により生成される画像中の前記指示体に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部と、を備え、前記撮像部が、可視光を撮像することで画像を生成することを特徴とする。

また、前記撮像部の撮像により生成される画像が、一つの画素に複数の信号値を備えたものであることとしても構わない。

このように構成すると、複数の指標に基づいて画像中の指示体を認識することとなる。そのため、一つの画素が単一の信号値のみを備える画像中の指示体を認識するよりも、外乱の影響を受けにくくすることが可能となる。したがって、画像中から精度良く指示体を認識することが可能となる。

また、上記構成の位置検出装置において、前記撮像部が、矩形となる検出面の一つの端辺の両端に配置されることとしても構わない。

このように構成すると、検出面に近い位置からの撮像により、検出面上の全体を効果的に画角内に収めた画像を生成することが可能となる。そのため、外乱の影響を受けにくくかつ死角の少ない画像を生成することが可能となる。

また、上記構成の位置検出装置において、前記位置検出部が、前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、前記撮像部の撮像により生成された画像である対象画像と、前記背景画像記憶部に記憶されている背景画像との差分を求め、当該差分が所定の大きさ以上となる領域の位置から、前記撮像部に対する前記指示体の方向を求める画像処理部と、前記画像処理部で求められた前記指示体の方向から、前記検出面上の前記指示体の位置を算出する指示体位置算出部と、を備えることとしても構わない。

このように構成すると、位置検出部が、簡易な処理で検出面上の指示体の位置を検出することが可能となる。特に、対象画像中の指示体の大きさや形状の解析を要することなく、検出面上の指示体の位置を検出することが可能となる。

また、上記構成の位置検出装置において、前記画像処理部が、順次撮像されて生成される所定の数以上の対象画像について、差分が所定の大きさ以上となる領域が所定の大きさ以上となる状態を確認する場合、前記背景画像記憶部に記憶されている背景画像を、新たに前記撮像部で撮像されて生成された画像に更新することとしても構わない。

このように構成すると、撮像環境の変動に対応して背景画像を更新することが可能となる。そのため、外乱の影響を抑制して、精度良く画像中の指示体を認識することが可能となる。

また、上記構成の位置検出装置において、前記検出面の周囲の少なくとも一部に配置される枠体をさらに備え、前記枠体の色が、光の反射が少ない色または前記指示体の補色であることとしても構わない。

さらに、上記構成の位置検出装置において、前記検出面の周囲の少なくとも一部に配置される枠体は模様を有するものであることとしても構わない。

このように構成すると、枠体によって検出面上の撮像環境の変動が抑制されるため、精度よく画像中の指示体を認識することが可能となる。また、枠体の色を光の反射が少ない色（例えば、黒色または灰色）にすると、撮像環境の変動をさらに抑制することが可能となる。一方、枠体の色を指示体の補色にすると、可視光の撮像により生成される画像中で、枠体と指示体とをより明確に区別することが可能となる。そのため、画像中の指示体をさらに精度よく認識することが可能となる。

また、上記構成の位置検出装置において、前記撮像部で撮像された画像中の所定の範囲を抽出する画像抽出部をさらに備え、前記位置検出部が、前記画像抽出部で抽出された所定の範囲の画像に基づいて、前記検出面上の前記指示体の位置を検出することとしても構わない。

このように構成すると、位置検出部の演算量や記憶量を低減することが可能となる。なお、上記構成の位置検出装置において、前記画像抽出部が、画像中の前記検出面上の範囲を抽出することとしても構わない。また、前記画像抽出部が、画像中の前記枠体が表示される範囲を抽出することとしても構わない。 また、上記構成の位置検出部は、撮像部が撮像した画像の特徴点が連続して移動する場合に指示体であると判断する。また、特徴点が第１の所定時間より長い時間移動しない場合に指示体でないと判断し、第２の所定時間より短い時間に所定距離以上移動した場合にも指示体でないと判断することで、指示体であることの認識精度を向上させることができる。

また、本発明のタッチパネルは、表示領域に画像を表示する表示装置と、前記表示領域を検出面とする上記の位置検出装置と、を備えることを特徴とする。

本発明の構成とすると、撮像部が可視光を撮像することで画像を生成し、位置検出部が、当該画像中の指示体に基づいて検出面上の指示体の位置を検出することとなる。そのため、精度良く指示体の位置を検出することが可能となる。

特に、位置検出装置を屋外で使用する場合、検出面上に指示体が進入することで種々の外乱が発生するが、本発明の位置検出装置であれば、精度良く外乱と指示体とを区別することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

は、本発明の実施の一形態であるタッチパネルの第１実施例の構成を示す平面図及び側面図である。 は、位置検出装置の構成の一例を示すブロック図である。 は、左側撮像部について説明する図である。 は、右側撮像部について説明する図である。 は、位置検出装置の動作の一例について説明する図である。 は、処理範囲の設定方法の一例について説明する左側画像の模式図である。 は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。 は、本発明の実施の一形態であるタッチパネルの第２実施例の構成を示す平面図及び側面図である。 は、図８に示す左側撮像部及び右側撮像部により生成される左側画像及び右側画像の一例を示す模式図である。 は、本発明の実施の一形態であるタッチパネルの第３実施例の構成を示す平面図及び側面図である。 は、第３の実施例の枠体の模様の一例について説明する図である。 は、第４の実施例の動作の一例について説明する図である。 は、第４の実施例の動作の一例について説明する図である。 は、第４の実施例の処理を説明する図である。

本発明の実施の一形態であるタッチパネルについて、以下図面を参照して説明する。最初に、第１実施例のタッチパネルについて図面を参照して説明する。

＜第１実施例＞
図１は、本発明の実施の一形態であるタッチパネルの第１実施例の構成を示す平面図及び側面図である。なお、図１（ａ）は、タッチパネルの画像が表示される面を示す平面図である。一方、図１（ｂ）は、図１（ａ）に示す面を右に向けた場合のタッチパネルの左側面を示す側面図である。また、図２は、位置検出装置の構成の一例を示すブロック図である。

図１に示すように、本実施例のタッチパネル１は、非表示領域２１に囲まれる表示領域２２に画像を表示する表示装置２０を備える。また、タッチパネル１は、タッチパネル１の左側から表示領域２２面上を撮像する左側撮像部１１Ｌと、タッチパネル１の右側から表示領域２２面上を撮像する右側撮像部１１Ｒと、を備えた位置検出装置１０（図２参照）を備える。なお、左側撮像部１１Ｌ及び右側撮像部１１Ｒが撮像する方向を、図１（ａ）及び図１（ｂ）において矢印で示している。また、非表示領域２１面と表示領域２２面とは、略同一の平面内に存在する。なお、左側撮像部１１Ｌ及び右側撮像部１１Ｒの一部（例えば、撮像素子やレンズなどの一部）が、非表示領域２１内に埋め込まれるように配置されても構わない。

また、図２に示すように、位置検出装置１０は、上記の左側撮像部１１Ｌ及び右側撮像部１１Ｒと、左側撮像部１１Ｌの撮像により生成された左側画像を処理する左側画像処理部１２Ｌと、左側画像処理部１２Ｌでの処理に用いられる左側背景画像を一時的に記憶する左側背景画像記憶部１３Ｌと、右側撮像部１１Ｒの撮像により生成された右側画像を処理する右側画像処理部１２Ｒと、右側画像処理部１２Ｒでの処理に用いられる右側背景画像を一時的に記憶する右側背景画像記憶部１３Ｒと、左側画像処理部１２Ｌによる左側画像の処理結果と右側画像処理部１２Ｒによる右側画像の処理結果とに基づいて表示領域２２面上（検出面上）の指示体の位置を算出し指示体位置情報として出力する指示体位置算出部１４と、を備える。なお、指示体とは、ユーザの指やスタイラスなどの、ユーザが検出面上の任意の位置を指示するために用いるものである。以下では説明の具体化のため、指示体として指を例示して説明する。

左側撮像部１１Ｌは、矩形の表示領域２２の左上に配置される。右側撮像部１１Ｒは、表示領域２２の右上に配置される。即ち、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、表示領域２２の上辺の両端に配置される。また、左側撮像部１１Ｌの撮像により生成される左側画像及び右側撮像部１１Ｒの撮像により生成される右側画像は、それぞれ画角が９０°以上であり表示領域２２面上の全体が画角内に収まるものであると、好ましい。さらに、左側撮像部１１Ｌ及び右側撮像部１１Ｒは、例えば単板式ベイヤ配列のイメージセンサや、三板式のイメージセンサなどの、可視光を検出する受光素子を備えカラー画像を生成可能な撮像素子を備えるものであると、好ましい。

また、左側撮像部１１Ｌ及び右側撮像部１１Ｒについて、図３及び４を参照して説明する。図３は、左側撮像部について説明する図であり、図４は、右側撮像部について説明する図である。図３（ａ）は、左側撮像部１１Ｌの撮像により生成される左側画像の画角を示す平面図であり、タッチパネルの平面について示した図１（ａ）に相当するものである。また、図３（ｂ）は、左側画像の一例を示す模式図であり、図３（ａ）に示す左側撮像部１１Ｌの撮像素子に映る画像を示している。同様に、図４（ａ）は、右側撮像部１１Ｒの撮像により生成される右側画像の画角を示す平面図であり、タッチパネルの平面について示した図１（ａ）に相当するものである。また、図４（ｂ）は、右側画像の一例を示す模式図であり、図４（ａ）に示す右側撮像部１１Ｒの撮像素子に映る画像を示している。なお、図３（ｂ）及び図４（ｂ）では、左側撮像部１１Ｌ及び右側撮像部１１Ｒのそれぞれの光軸が、表示領域２２面と略同一の平面内に存在する場合に撮像される左側画像及び右側画像を例示している。

図３（ａ）及び図３（ｂ）に示すように、左側撮像部１１Ｌは、自身を中心として表示領域２２の上辺から左辺までを含む左側画像を生成する。ここで、左側撮像部１１Ｌが配置される表示領域２２の左上を中心とした角度を考え、上辺を０°、左辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、時計回り（右回り）の角度αで表現される。なお、本例の左側画像には、非表示領域２１及び表示領域２２の右下角ＲＢが映り込んでいる。また、上述のように左側撮像部１１Ｌの一部が非表示領域２１内に埋め込まれる場合、左側画像中に非表示領域２１の断面や側面（図３（ｂ）中、表示領域２２の下側部分）などが映り込み得る。

右側撮像部１１Ｒについても同様である。図４（ａ）及び図４（ｂ）に示すように、右側撮像部１１Ｒは、自身を中心として表示領域２２の上辺から右辺までを含む右側画像を生成する。ここで、右側撮像部１１Ｒが配置される表示領域２２の右上を中心とした角度を考え、上辺を０°、右辺を９０°と定義すると、画角内の指示体Ｄが存在する方向は、反時計回り（左回り）の角度βで表現される。なお、本例の右側画像には、非表示領域２１及び表示領域２２の左下角ＬＢが映り込んでいる。また、上述のように右側撮像部１１Ｒの一部が非表示領域２１内に埋め込まれる場合、右側画像中に非表示領域２１の断面や側面（図４（ｂ）中、表示領域２２の下側部分）などが映り込み得る。

上記の角度α及び角度βは、図３（ｂ）及び図４（ｂ）に示すように、左側画像中及び右側画像中における指示体Ｄの左右方向の位置から算出することができる。ただし、実際に角度α及び角度βを算出するためには、左側画像及び右側画像のそれぞれの中から指示体Ｄを認識する必要がある。本実施例では、左側画像処理部１２Ｌが、左側画像中の指示体Ｄを認識することで角度αを算出し、右側画像処理部１２Ｒが、右側画像中の指示体Ｄを認識することで角度βを算出する。なお、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒによる左側画像中及び右側画像中の指示体Ｄの認識方法の詳細については、後述する。

指示体位置算出部１４は、例えば、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒが算出した角度α及び角度βと、既知である表示領域２２上辺の長さｋと、を用いた三角測量により、指示体Ｄの表示領域２２面上の位置を算出する。具体的には、表示領域２２上の任意の位置を座標（ｘ，ｙ）で表現し、左上を（０，０）、右方ほどｘ座標の値が大きく下方ほどｙ座標の値が大きくなるように定義する場合、以下の連立方程式を解くことで指示体Ｄの表示領域２２面上の座標（ｘ₁，ｙ₁）を求めることができる。

ｘ₁×ｔａｎα＝ｙ₁
（ｋ−ｘ₁）×ｔａｎβ＝ｙ₁
表示装置２０は、指示体位置算出部１４から出力される指示体位置情報（即ち、ユーザによるタッチパネル１の操作内容）に基づいて、例えば表示領域２２に表示する画像を切り替えるなどの各種制御動作を行う。

次に、位置検出装置１０の動作の一例について、図面を参照して説明する。図５は、位置検出装置の動作の一例について説明する図である。なお、本実施例では、左側撮像部１１Ｌ及び右側撮像部１１Ｒ、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒが、それぞれ同様の動作を行う。そのため、以下では説明の簡略化のために、左側撮像部１１Ｌ、左側画像処理部１２Ｌ及び左側背景画像記憶部１３Ｌのそれぞれの動作を代表させて説明し、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの動作については同様のものとして、その説明を省略する。

図５に示すように、位置検出装置１０が動作を開始すると、最初に、左側撮像部１１Ｌの撮像により生成された左側画像を左側画像処理部１２Ｌが取得する（ＳＴＥＰ１）。なお、左側画像処理部１２Ｌは、左側撮像部１１Ｌから取得する左側画像の信号値の種類を必要に応じて変換しても構わない。なお、左側画像処理部１２Ｌが処理する左側画像は、例えば、一つの画素がＲ（赤）Ｇ（緑）Ｂ（青）の各色の信号値を備えたものであっても構わないし、Ｙ（輝度）Ｕ，Ｖ（色差）の各種類の信号値を備えたものであっても構わないし、Ｈ（色相）Ｓ（彩度）Ｂ（輝度）の各種類の信号値を備えたものであっても構わない。

左側画像処理部１２Ｌは、取得した左側画像が１フレーム目（即ち、動作の開始後最初に取得した左側画像）であるか否か、または、取得した左側画像中の表示領域２２が以前に取得した（例えば、前フレームの）左側画像中の表示領域２２からずれたか否かを判定する（ＳＴＥＰ２）。

左側画像処理部１２Ｌは、取得した左側画像が１フレーム目であると判定する場合、または、取得した左側画像中の表示領域２２がずれたと判定する場合（ＳＴＥＰ２、ＹＥＳ）、左側画像中から表示領域２２を検出する（ＳＴＥＰ３）。このとき、例えば所定の目印などを検出することで表示領域２２の位置を確認しても構わないし、表示領域２２で表示される画像（光）などに基づいて表示領域２２の位置を確認しても構わない。

左側画像処理部１２Ｌは、検出された表示領域２２に基づいて、左側画像中で処理を行う範囲（以下、処理範囲とする）を設定する（ＳＴＥＰ４）。処理範囲について図６を参照して説明する。図６は、処理範囲の設定方法の一例について説明する左側画像の模式図であり、図３（ｂ）に相当するものである。図６は、左側画像中で表示領域２２面上となる範囲が、処理範囲Ａとして設定される例を示したものである。

左側画像処理部１２Ｌは、処理範囲Ａを設定する（ＳＴＥＰ４）、または、取得した左側画像が１フレーム目ではなく表示領域２２がずれていないと判定する（ＳＴＥＰ２、ＮＯ）と、次に撮像環境（例えば、画角内全体の光の強度）が変動したか否かを判定する（ＳＴＥＰ５）。このＳＴＥＰ５の動作の詳細について、図７を参照して説明する。図７は、撮像環境の変動の有無を判定する動作の一例を示すフローチャートである。

図７に示すように、左側画像処理部１２Ｌは、最初に左側差分画像を算出する（ＳＴＥＰ５１）。例えば左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶している左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、の対応する位置の画素ごとに信号値の差分値を求め、当該差分値を各画素の信号値とする左側差分画像を算出する。なお、左側背景画像及び左側画像の各画素が複数種類の信号値を備える場合、信号値の種類ごとに差分値を算出すると好ましい。また、左側背景画像及び左側画像に含まれる全ての画素について差分値を算出しても構わないが、算出する画素を処理範囲Ａ内に限ると、演算量を低減することができるため好ましい。

ところで、左側背景画像は、例えば図５に示す動作の開始前に、予め左側背景画像記憶部１３Ｌに記憶されることとしても構わない。例えば、左側画像処理部１２Ｌが、連続して取得される複数フレームの画像を所定時間監視して、信号値の変動（差分値）が小さくなったフレームを左側背景画像として左側背景画像記憶部１３Ｌに記憶しても構わない。また例えば、１フレーム目の左側画像を左側背景画像として記憶しても構わない。なお、左側背景画像記憶部１３Ｌに記憶される左側背景画像を、処理範囲Ａ内の画像に限ると、記憶量を低減することができるため、好ましい。

次に、ＳＴＥＰ５１で算出された左側差分画像について、処理範囲Ａ内の画素の中で差分値が閾値以上となる画素が、所定数以上（所定の大きさ以上）存在するか否かを判定する（ＳＴＥＰ５２）。即ち、撮像環境の空間方向における変動の有無を判定する。

このとき、左側差分画像の各画素が複数種類の信号値の差分値を備える場合、信号値の種類ごとにそれぞれの閾値と比較しても構わないし、複数種類の信号値の差分値を合算した総合的な差分値と閾値とを比較しても構わない。また、この「閾値」は、撮像環境が変動したとみなせる程度に大きい値とする。また、この「所定数」は、処理範囲Ａ全体が変動した（即ち、指示体Ｄが画角内に進入することによる画像の局所的な変動ではなく、撮像環境が変動した）とみなせる程度の数とする。

差分値が閾値以上となる画素が所定数より少ない場合（ＳＴＥＰ５２、ＮＯ）、撮像環境は変動していないものと判定する（ＳＴＥＰ５、ＮＯ）。一方、差分値が閾値以上となる画素が所定数以上となる場合（ＳＴＥＰ５２、ＹＥＳ）、次に、ＳＴＥＰ５２の条件を満たす（ＳＴＥＰ５２がＹＥＳとなる）フレームが、継続して所定数以上となったか否かを判定する（ＳＴＥＰ５３）。即ち、撮像環境の時間方向における変動の有無を判定する。なお、この「所定数」は、撮像環境の変動が継続的なものであり、一過性のものではないとみなせる程度の数とする。

ＳＴＥＰ５２の条件を満たすフレームが所定数より少ない場合、撮像環境は変動していないものと判定する（ＳＴＥＰ５、ＮＯ）。一方、ＳＴＥＰ５２の条件を満たすフレームが所定数以上となる場合、撮像環境が変動したと判定する（ＳＴＥＰ５、ＹＥＳ）。左側画像処理部１２Ｌは、撮像環境が変動したと判定すると、左側背景画像記憶部１３Ｌに記憶している左側背景画像を更新する（ＳＴＥＰ６）。例えば、直近のＳＴＥＰ１で取得した左側画像を、背景画像として記憶し直す。

左側背景画像記憶部１３Ｌが左側背景画像を更新する（ＳＴＥＰ６）、または、左側画像処理部１２Ｌが撮像環境が変動していないと判定すると（ＳＴＥＰ５、ＮＯ）、左側画像処理部１２Ｌは、左側背景画像記憶部１３Ｌに記憶されている左側背景画像と、直近のＳＴＥＰ１で取得した左側画像と、から左側差分画像を算出する（ＳＴＥＰ７）。なお、左側差分画像の算出方法は、ＳＴＥＰ５１において述べた方法と同様であっても構わない。また、ＳＴＥＰ５で撮像環境が変動していないと判定される場合、ＳＴＥＰ５１で算出した左側差分画像を以降の動作に適用することとして、ＳＴＥＰ７を省略しても構わない。

そして、左側画像処理部１２Ｌは、生成された左側差分画像の各画素から、指示体Ｄを表示する画素（以下、指示体表示画素とする）と、背景を表示する画素（以下、背景表示画素とする）とを特定する（ＳＴＥＰ８）。例えば、ＳＴＥＰ５２と同様の方法により、差分値がある閾値以上となる画素を指示体表示画素とし、差分値が閾値よりも小さくなる画素を背景表示画素とする。なお、この「閾値」は、指示体Ｄであると精度良く判定できる程度に大きい値とする。また、左側画像処理部１２Ｌは、左側背景画像の指示体表示画素と背景表示画素とを異なる信号値で表現した画像（いわゆる、二値化画像）を生成しても構わない。

さらに、左側画像処理部１２Ｌは、左側差分画像（二値化画像を含む）中の指示体表示画素が、検出範囲内で所定数以上存在するか否かを判定する（ＳＴＥＰ９）。なお、検出範囲は、少なくとも処理範囲内の範囲であると好ましく、例えば、指示体Ｄが表示領域２２に触れたと判断され得る範囲としても構わない。また、この「所定数」は、指示体Ｄであると精度良く判定できる程度の数であり、例えばノイズなどに起因する画素単位の変動を排除可能な数とする。

左側画像処理部１２Ｌは、左側差分画像（または二値化画像）中の指示体表示画素が、検出範囲内で所定数以上存在すると判定する場合（ＳＴＥＰ９、ＹＥＳ）に、左側撮像部１１Ｌに対して指示体Ｄが存在する方向を特定する（ＳＴＥＰ１０）。例えば、上述の方法によって角度αを算出する（図３参照）。

指示体位置算出部１４は、例えば上述の方法により、ＳＴＥＰ１０で得られた角度α及び角度βに基づいて、表示領域２２面上の指示体Ｄの位置を算出する（ＳＴＥＰ１１）。そして、指示体位置算出部１４は、算出した指示体Ｄの位置を指示体位置情報として、表示装置２０に出力する。

指示体位置算出部１４が表示領域２２面上の指示体Ｄの位置を算出する（ＳＴＥＰ１１）、または、左側画像処理部１２Ｌが指示体表示画素が所定数より少ないと判定した後（ＳＴＥＰ９、ＮＯ）、位置検出装置１０の動作を終了する場合は（ＳＴＥＰ１２、ＹＥＳ）、動作を終了する。一方、終了せずに動作を継続する場合は（ＳＴＥＰ１２、ＮＯ）、ＳＴＥＰ１に戻る。

ところで、上述のＳＴＥＰ１〜ＳＴＥＰ１０の各説明中における「左」、「Ｌ」及び「α」を、「右」、「Ｒ」及び「β」に適宜読み替えることで、右側撮像部１１Ｒ、右側画像処理部１２Ｒ及び右側背景画像記憶部１３Ｒのそれぞれの具体的な動作を把握することができる。

以上のように構成すると、左側画像及び右側画像が可視光を撮像することで生成されるとともに、左側画像中及び右側画像中の指示体Ｄに基づいて、表示領域２２面上の指示体の位置が検出されることとなる。そのため、精度良く指示体Ｄの位置を検出することが可能となる。

特に、屋外に配置されるタッチパネル１では、検出面である表示領域２２面上に指示体Ｄが進入することで種々の外乱が発生するため、検出精度が劣化する。しかしながら、上述のように可視光を撮像することで生成される左側画像及び右側画像を利用することで、精度良く外乱と指示体Ｄとを区別することが可能となる。

また、左側画像及び右側画像を、一つの画素に複数種類の信号値を備えるものとすることで、複数の指標に基づいて左側画像中及び右側画像中から指示体Ｄを認識することとなる。そのため、上述の従来技術のような、一つの画素が単一の信号値（赤外線の強度を示す信号値）のみを備える画像中の指示体Ｄを認識するよりも、外乱の影響を受けにくくすることが可能となる。したがって、左側画像中及び右側画像中から精度良く指示体Ｄを認識することが可能となる。

また、検出面である矩形の表示領域２２の一つの端辺の両端に、左側撮像部１１Ｌ及び右側撮像部１１Ｒを備えることで、表示領域２２に近い位置からの撮像により、表示領域２２面上の全体を効果的に画角内に収めた左側画像及び右側画像を生成することが可能となる。そのため、外乱の影響を受けにくくかつ死角の少ない左側画像及び右側画像を生成することが可能となる。

また、図３及び図４に示す角度α及び角度βに基づいて、表示領域２２上の位置を検出するため、簡易な処理で指示体Ｄの位置を検出することが可能となる。特に、左側画像中及び右側画像中の指示体Ｄの大きさや形状の解析を要することなく、指示体Ｄの位置を検出することが可能となる。

また、ＳＴＥＰ５で左側画像処理部１２Ｌ（または右側画像処理部１２Ｒ）が、撮像環境に変動が生じたと判定する場合、左側背景画像記憶部１３Ｌ（または右側背景画像記憶部１３Ｒ）が記録している左側背景画像（または右側背景画像）を更新する。そのため、撮像環境の変動に対応して、背景画像を更新することが可能となる。したがって、外乱の影響を抑制して、精度良く左側画像中及び右側画像中の指示体Ｄを認識することが可能となる。

なお、図３及び図４に示す角度α及び角度βの定義や、左側撮像部１１Ｌ及び右側撮像部１１Ｒによる画像の撮像方法（例えば、使用するレンズなど）は一例に過ぎず、表示領域２２面上の指示体Ｄの位置が検出可能である限り、他のどのような定義及び撮像方法を適用しても構わない。例えば、非表示領域２１の上辺を基準として角度α及び角度βを定義しても構わない。また例えば、表示領域２２の端辺が湾曲する画像が撮像される撮像方法を適用しても構わないし、左側撮像部１１Ｌ及び右側撮像部１１Ｒが非表示領域２１面の上方に配置されて表示領域２２の面上を俯瞰する撮像方法を適用しても構わない。

また、左側撮像部１１Ｌ及び右側撮像部１１Ｒの２つの撮像部を備える構成について例示したが、３つ以上の撮像部を備える構成としても構わない。画像処理部や背景画像記憶部についても同様である。

また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒ、左側背景画像記憶部１３Ｌ及び右側背景画像記憶部１３Ｒを、図２に示すブロック図上で別体として表示したが、ハードウェア上では一体としても構わない。

また、左側画像処理部１２Ｌが左側画像と左側背景画像とから左側差分画像を算出し、右側画像処理部１２Ｒが右側画像と右側背景画像とから右側差分画像を算出することで、左側画像及び右側画像のそれぞれから指示体Ｄを認識する方法について例示したが、指示体Ｄの認識方法はこの限りではない。例えば、連続的な撮像により生成される少なくとも２つの左側画像を比較（例えば、上述のような差分画像を算出）し、同様に少なくとも２つの右側画像を比較することで、指示体Ｄを認識しても構わない。

また、図５において、左側画像及び右側画像の少なくとも一方に対してＳＴＥＰ４の処理範囲Ａの設定を行った場合や、左側背景画像及び右側背景画像の少なくとも一方に対してＳＴＥＰ６の更新を行った場合、ＳＴＥＰ１に戻り左側撮像部１１Ｌが新たに撮像した左側画像を左側画像処理部１２Ｌが取得し直し、右側撮像部１１Ｒが新たに撮像した右側画像を右側画像処理部１２Ｒが取得し直しても構わない。また、左側画像処理部１２Ｌ及び右側画像処理部１２Ｒの一方が、ＳＴＥＰ４の処理範囲Ａの設定や、ＳＴＥＰ６の左側背景画像または右側背景画像の更新を行う場合、他方も同様の動作を行うこととしても構わない。

＜第２実施例＞
次に、タッチパネルの第２実施例について、図面を参照して説明する。図８は、本発明の実施の一形態であるタッチパネルの第２実施例の構成を示す平面図及び側面図である。なお、図８（ａ）は、タッチパネルの画像が表示される面を示す平面図であり、第１実施例について示した図１（ａ）に相当するものである。一方、図８（ｂ）は、図８（ａ）に示す面を右側としたタッチパネルの左側面を示す側面図であり、第１実施例について示した図１（ｂ）に相当するものである。また、図９は、図８に示す左側撮像部及び右側撮像部により生成される左側画像及び右側画像の一例を示す模式図である。なお、図９（ａ）は、左側画像の一例を示すものであり、第１実施例について示した図３（ｂ）に相当するものである。一方、図９（ｂ）は、右側画像の一例を示すものであり、第１実施例について示した図４（ｂ）に相当するものである。

図８（ａ）に示すように、本実施例のタッチパネル１ａは、非表示領域２１上に配置される枠体Ｆを備える。なお、枠体Ｆを備える構成である以外は、第１実施例のタッチパネル１と同様である。そのため、ここでは枠体Ｆについて詳細に説明し、それ以外の構成や動作については第１実施例と同様のものとして、その詳細な説明については省略する。

枠体Ｆは、位置検出装置１０の検出面である表示領域２２の周囲に配置される。図８（ａ）では、枠体Ｆが表示領域２２の左辺、右辺及び下辺に配置される例を示しているが、表示領域２２の周囲の少なくとも一部に配置される構成であれば、どのように配置しても構わない。例えば、表示領域２２の全周を囲うように枠体Ｆを配置しても構わない。

枠体Ｆは、どのような色としても構わない。ただし、光の反射が少ない色（例えば、黒色または灰色）や、指示体Ｄと反対の色（即ち補色であり、例えば、左側画像及び右側画像において枠体Ｆ及び指示体Ｄのそれぞれを表示する画素のＲＧＢ、ＹＵＶ、ＨＳＢなどの信号値の差分値が大きくなる色）とすると、好ましい。

以上のように構成すると、枠体Ｆによって表示領域２２面上の撮像環境の変動が抑制される。そのため、左側画像中及び右側画像中の指示体Ｄを、精度よく認識することが可能となる。

また、枠体Ｆの色を光の反射が少ない色（例えば、黒色または灰色）にすると、撮像環境の変動をさらに抑制することが可能となる。

一方、枠体Ｆの色を指示体Ｄの補色にすると、可視光の撮像により生成される左側画像中及び右側画像中で、枠体Ｆ（即ち、背景）と指示体Ｄとをより明確に区別する（例えば、差分画像中の指示体表示画素の信号値（差分値）をより大きくする）ことが可能となる。そのため、左側画像中及び右側画像中の指示体Ｄを、さらに精度よく認識することが可能となる。

なお、第１実施例の位置検出装置１０について述べた動作の説明（図５参照）を、本実施例の位置検出装置１０に適用する場合、ＳＴＥＰ２及びＳＴＥＰ３の「表示領域」を「枠体」と読み替えても構わない。さらにＳＴＥＰ４で、左側画像中及び右側画像中で枠体Ｆを表示する範囲を、処理範囲として設定しても構わない。

また、本実施例のタッチパネル１ａに備えられる位置検出装置１０が、図５に示すＳＴＥＰ５（撮像環境の変動の有無の判定）及びＳＴＥＰ６（左側背景画像及び右側背景画像の更新）を行わないこととしても構わない。

＜第３実施例＞
本発明にかかる第３実施例について、図面を参照して説明する。この実施例は第２実施例の枠体Ｆに模様を施した枠体Ｆ２とする構成とし、この模様を用いてさらに指示体の検出精度を向上させるものである。

図１０は、本発明の実施の一形態であるタッチパネルの第３実施例の構成を示す平面図及び側面図である。枠体Ｆ２以外の構成は第２実施例と同様であり、ここでは枠体Ｆ２およびこれを用いた指示体検出について説明し、それ以外の構成や動作については第１実施例および第２実施例と同様のものとして、その詳細な説明については省略する。

この図１０では枠体Ｆ２の内面すなわち右側撮像部１１Ｒ、左側撮像部１１Ｌにより撮影される面に模様を施している。この図１０では市松模様を施した場合を示しているが、図１１に示すような格子様（ａ）や縞模様（ｂ）等を用いてもよい。

このような模様は、通常指などの指示体には存在しないものであり、指示体と背景との信号成分の差が顕著に生じるため、差分画像により対象物を抽出する際の誤検出は起らない。すなわち、図５のステップ７において差分画像を算出する際の量子化誤差や閾値の大きさに起因してデータが消失する事態を防ぐことができる。そして、ＳＴＥＰ８において、画像処理部１２Ｒ，１２Ｌで枠体と指示体との差分画像の各画素から、指示体表示画素と、背景表示画素とを特定する。この際に、枠体に模様が施されている場合、差分画像と模様のパターンや色情報等の特徴をさらに比較することで、指示体のみを抽出する。これにより、指示体の誤検出を防止することができる。また、使用する模様を細かい模様とすることで位置検出精度を向上させることができる。また、例えば２値画像データのような少ない情報量のデータに基づいて差分画像を検出しても指示体を確実に検出することができる。

なお、枠体Ｆ２は、第２実施例と同様、位置検出装置１０の検出面である表示領域２２の周囲に配置される。図１０（ａ）では、枠体Ｆ２が表示領域２２の左辺、右辺及び下辺に配置される例を示しているが、表示領域２２の周囲の少なくとも一部に配置される構成であれば、どのように配置しても構わない。また、上記の模様を施す部分も枠体の一部とする構成としてもよい。

＜実施例４＞
本発明にかかる第４の実施例について説明する。この実施例は、指示体と背景とを区別する際に、指示体の動きの連続性により判別を行うものである。図１２に示すように検出した指示体の特徴点ｐの位置の動きが連続している場合の特徴点の位置により、例えば、図１２（ｃ）のフレームの下端からの位置に基づいて、装置に指示を与える。

図１３に示すように、対象物の特徴点ｐが所定の時間連続して検出できれば指示体として認識し（ａ）、所定の時間に満たない場合（ｂ）あるいは所定の時間以上検出し続ける場合（ｃ）は指示体でないものとする。すなわち、所定の時間に満たない場合（ｂ）は一瞬に入った閃光等のノイズであるとして指示体でないものとして扱い、所定の時間以上移動せずに検出し続ける場合（ｃ）も外光等が入っているとして指示体でないものとして扱う。これにより、指示体の誤った検出を防ぐことができる。

この実施例の動作は実施例１にかかる図５の説明図と一部同じであるが、開始時に処理に用いる位置パラメータＰｌａｓｔ、Ｐｏｌｄの初期値設定を行ない、ＳＴＥＰ１１の指示体の認定を行なう点を異にする。

図５のＳＴＥＰ１１の代わりに、図１４に示すＳＴＥＰ１１ａに従った処理を行う。ＳＴＥＰ１１ａでは、まず、指示体の位置を算出しＰｎｅｗとする（ＳＴＥＰ１１１）。この位置と後述するＰｌａｓｔとして記憶されている位置との距離を算出し、距離が第１の所定の値（Ｄ１）より大きいか否かを判別する（ＳＴＥＰ１１２）。Ｄ１より大きい場合、所定以上の距離を動いた場合に指示体フラグＳを０として、指示体ではないことを示す。なお、Ｄ１は指示体である人の指の移動が第１の所定時間に移動可能な距離を基準に設定する。

また、ＳＴＥＰ１１２でＰｎｅｗとＰｌａｓｔの距離がＤ１以下の場合は、さらに、ＳＴＥＰ１１３でＰｎｅｗの位置と後述するＰｏｌｄとして記憶した位置との距離を第２の所定の値Ｄ２と比較する。Ｄ２よりも小さい場合は、タイマＴの値がＴ１に達しているか否かを判断する（ＳＴＥＰ１１６）。達していれば、指示体フラグＳを０とする（ＳＴＥＰ１１７）。ここで、Ｔ１は指示体である人の指の移動が通常静止できる時間を基準として設定する。すなわち、Ｔ１以上、動きがなければ指示体として判断しないようにする。
さらに、ＳＴＥＰ１１８でタイマをリセットし、ＰｏｌｄにＰｎｅｗを新たな値として格納する（ＳＴＥＰ１１９）。

ＳＴＥＰ１１３で算出したＰｎｅｗの位置とＰｏｌｄとして記憶した位置との距離が第２の所定の値Ｄ２以上の場合は、指示体フラグＳを１に設定する（ＳＴＥＰ１１４）。さらに、ＰｌａｓｔにＰｎｅｗを新たな値として格納する（ＳＴＥＰ１１５）。これにより、ＳＴＥＰ１１ａの動作が図５のフローチャートに従い繰り返し行われると、新しく検出した位置と前回に検出した位置とに基づいて移動距離を逐次算出し、連続して指示体が移動したか否かを判別することができる。

すなわち、対象物の現在の特徴点の位置を指示体位置情報として記憶させ、撮像装置から画像を取り込む間隔である第１の所定時間ごとに繰り返し指示体位置情報を算出する。算出された指示体位置情報と記憶させた指示体位置情報から変化した量、すなわち第１の時間に指示体が移動した移動量を求める。この移動量が所定の値Ｄ１よりも大きい場合、対象物は連続して移動していないとして指示体ではないと判断する。さらに、移動量がＤ１以下であって新たに指示対を検出してから所定時間Ｔ１にＤ２の動きがない場合の場合も指示体でないものとする。

その結果、図１３（ｂ）に示すように、一瞬だけ検出される物体あるいは光等を誤って指示体として認識することを防止できる。さらに、タイマにより図１３（ｃ）に示すような長時間（Ｔ１）動きがない物体等を指示体として誤って認識することを防止できる。

＜変形例＞
本発明の実施の形態における位置検出装置１０について、一部または全部の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１や図８に示すタッチパネル１，１ａや、図２に示す位置検出装置１０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いてタッチパネル１，１ａや位置検出装置１０の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、検出面上の指示体の位置を検出する位置検出装置や、当該位置検出装置を備えたタッチパネルに利用可能である。

１，１ａ タッチパネル
１０ 位置検出装置
１１Ｌ 左側撮像部
１１Ｒ 右側撮像部
１２Ｌ 左側画像処理部
１２Ｒ 右側画像処理部
１３Ｌ 左側背景画像記憶部
１３Ｒ 右側背景画像記憶部
１４ 指示体位置算出部
２０ 表示装置
２１ 非表示領域
２２ 表示領域
Ｄ 指示体
Ｆ 枠体

Claims (10)

1. 検出面上の指示体の位置を検出する位置検出装置であって、
   異なる場所から前記検出面上を撮像して画像を生成する２つ以上の撮像部と、
   前記撮像部の撮像により生成される画像中の前記指示体に基づいて、前記検出面上の前記指示体の位置を検出する位置検出部と、を備え、
   前記撮像部が、可視光を撮像することで画像を生成することを特徴とする位置検出装置。
2. 前記撮像部の撮像により生成される画像が、一つの画素に複数の信号値を備えたものであることを特徴とする請求項１に記載の位置検出装置。
3. 前記位置検出部が、
   前記撮像部の撮像により生成された画像である背景画像を記憶する背景画像記憶部と、
   前記撮像部の撮像により生成された画像である対象画像と、前記背景画像記憶部に記憶されている背景画像との差分を求め、当該差分が所定の大きさ以上となる領域の位置から、前記撮像部に対する前記指示体の方向を求める画像処理部と、
   前記画像処理部で求められた前記指示体の方向から、前記検出面上の前記指示体の位置を算出する指示体位置算出部と、
   を備えることを特徴とする請求項１または請求項２に記載の位置検出装置。
4. 前記画像処理部が、順次撮像されて生成される所定の数以上の対象画像について、差分が所定の大きさ以上となる領域が所定の大きさ以上となる状態を確認する場合、
   前記背景画像記憶部に記憶されている背景画像を、新たに前記撮像部で撮像されて生成された画像に更新することを特徴とする請求項３に記載の位置検出装置。
5. 前記検出面の周囲の少なくとも一部に配置される枠体をさらに備え、
   前記枠体の色が、光の反射が少ない色または前記指示体の補色であることを特徴とする請求項１〜請求項４のいずれかに記載の位置検出装置。
6. 前記検出面の周囲の少なくとも一部に配置される枠体をさらに備え、
   前記枠体は模様を有することを特徴とする
   請求項１〜請求項５のいずれかに記載の位置検出装置。
7. 前記位置検出部は、
   前記撮像部が撮像した画像の特徴点が連続して移動している場合に指示体であるとすることを特徴とする請求項１〜請求項６のいずれかに記載の位置検出装置。
8. 前記位置検出部は、
   前記撮像部が撮像した画像の特徴点が第１の所定時間より長い時間移動しない場合に指示体でないとすることを特徴とする請求項７に記載の位置検出装置。
9. 前記位置検出部は、
   前記撮像部が撮像した画像の特徴点が第２の所定時間より短い時間に所定距離以上移動した場合に指示体でないとすることを特徴とする請求項７または請求項８に記載の位置検出装置。
10. 表示領域に画像を表示する表示装置と、
    前記表示領域を検出面とする請求項１〜請求項９のいずれかに記載の位置検出装置と、
    を備えることを特徴とするタッチパネル。