JP2013196348A

JP2013196348A - 位置検出装置

Info

Publication number: JP2013196348A
Application number: JP2012062541A
Authority: JP
Inventors: Takeshi Kasahara; 毅笠原
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2012-03-19
Filing date: 2012-03-19
Publication date: 2013-09-30
Anticipated expiration: 2032-03-19
Also published as: JP5924577B2

Abstract

【課題】外光が強い環境下でも良好に操作位置を検出することが可能な位置検出装置を提供する。
【解決手段】タッチスクリーン装置１は、表示画像が背面側から投影される透過型のスクリーン越しに被写体を撮像する撮像部４０と、前記スクリーンに照射される外光の強度を検出する照度センサ５０と、制御装置７０と、を備える。制御装置７０のＣＰＵ７１は、撮像部４０が撮像した撮像画像における被写体２の領域を検出し、照度センサ５０が検出した外光の強度に基づいて前記被写体の領域を検出する感度を調整し、検出した被写体２の領域内の所定位置を操作位置として検出する。
【選択図】図１

Description

本発明は、操作位置を検出する位置検出装置に関する。

従来の位置検出装置としては、例えば、特許文献１に開示されるタッチスクリーン装置がある。このタッチスクリーン装置は、半透明のスクリーンと、プロジェクタと、カメラと、制御装置と、から構成されており、スクリーンの背後からプロジェクタによって映像を投影し、操作者がスクリーンに指先等で触れた状態をスクリーンの背後からカメラで撮影し、撮影画像を制御装置内で解析することにより被写体であるスクリーン上の操作者の指先等を検出して操作位置を検出するものである。

特開２００７−２２３４１６号公報

しかしながら、特許文献１記載のタッチスクリーン装置は、操作者側から強い外光がスクリーンに照射した場合に、撮影画像が外光の影響で全体的に明るくなり、撮像画像におけるスクリーンに指先等が触れた場合と触れていない場合の輝度変化や別途設けられる照明光が指先等に照射されている場合と照射されていない場合の輝度変化が小さくなることで、操作位置が良好に検出できなくなる場合があるという問題点があった。

そこで本発明は、この問題に鑑みてなされたものであり、外光が強い環境下でも良好に操作位置を検出することが可能な位置検出装置を提供することを目的とする。

本発明は、前述の課題を解決するために、
表示画像が背面側から投影される透過型のスクリーン越しに被写体を撮像する撮像手段と、
前記スクリーンに照射される外光の強度を検出する外光検出手段と、
前記撮像手段が撮像した撮像画像における前記被写体の領域を検出する被写体領域検出手段と、
前記外光検出手段が検出した外光の強度に基づいて被写体領域検出手段が前記被写体の領域を検出する感度を調整する検出感度調整手段と、
前記被写体領域検出手段が検出した前記被写体の領域内の所定位置を操作位置として検出する操作位置検出手段と、備えてなることを特徴とする。

また、前記検出感度調整手段は、前記外光検出手段が検出した外光の強度が大きいほど、前記感度を高く調整することを特徴とする。

また、前記被写体の撮像を２つのフィールドの撮像に分けて行う前記撮像手段と、
前記スクリーンの背面側から照明光を照射する光源と、
前記２つのフィールドの撮像うちの一方のフィールドの撮像においてのみ前記光源を発光させる発光制御手段と、
前記撮像画像を前記２つのフィールドで分離して第１、第２の撮像画像を生成する撮像画像生成手段と、
前記第１、第２の撮像画像を比較した場合の輝度差が閾値以上である領域を前記被写体の領域として検出する前記被写体領域検出手段と、
前記外光検出手段が検出した外光の強度に基づいて前記閾値を設定して前記感度を調整する前記検出感度調整手段と、を備えてなることを特徴とする。

また、前記外光検出手段が検出した外光の強度に基づいて前記撮像手段の感度を調整する撮像感度調整手段を備えてなることを特徴とする。

また、前記外光検出手段が検出した外光の強度に基づいて前記光源の点灯時間を設定する点灯時間設定手段を備えてなることを特徴とする。

本発明は、外光が強い環境下でも良好に操作位置を検出することが可能となるものである。

本発明の実施形態であるタッチスクリーン装置の概略構成を示すブロック図である。制御装置の機能を説明するためのブロック図である。フレームの構成を説明するための図である。（ａ）〜（ｃ）は光源制御処理において、光源制御信号の送信タイミングを説明するためのタイミングチャートである。閾値設定テーブルを説明するための図である。光源制御処理のフローチャートである。操作位置検出処理のフローチャートである。フレーム画像の一例を示した図である。（ａ）は奇数フィールド画像の一例を示した図であり、（ｂ）は偶数フィールド画像の一例を示した図である。（ａ）は補間奇数フレーム画像の一例を示した図であり、（ｂ）は補間偶数フレーム画像の一例を示した図である。被写体検出画像の一例を示した図である。（ａ）、（ｂ）は、操作者の指先を被写体として、操作位置検出処理を実行した場合に、どのような被写体検出画像が得られるかを説明するための図である。（ａ）、（ｂ）は、重心検出処理を説明するための図である。

以下、添付図面に基づいて本発明を適用した実施形態について図１〜図１３を参照して説明する。

本実施形態にかかる位置検出装置は、図１及び図２に示す車両用のタッチスクリーン装置１である。タッチスクリーン装置１は、図示するように、スクリーン１０と、プロジェクタ（投影手段）２０と、光源３０と、撮像部（撮像手段）４０と、照度センサ（外光検出手段）５０と、入力装置６０と、制御装置７０と、を備える。

このような構成からなるタッチスクリーン装置１においては、制御装置７０が、プロジェクタ２０にスクリーン１０の背面側から表示画像を示す表示光ＬＤを投影させ、また、撮像部４０に被写体２（本実施形態においては図２に示すように操作者の指先）をスクリーン１０越しに撮像させると共に、予め設定された点灯時間で光源３０により被写体２に照明光ＬＩをスクリーン１０越しに照射させる。そして、後述の操作位置検出処理を実行することによって、撮像画像における被写体２が写っている領域(以下、被写体領域という)を検出し、被写体２の位置を検出する。

スクリーン１０は、プロジェクタ２０からの表示光ＬＤを透過して表示画像を表示する透過型のスクリーンであり、例えば光透過性の樹脂材料からなる基材に外光の差し込みを防止するルーバー層、着色層、拡散層あるいはハードコート層などを形成してなる。スクリーン１０は、車両のインストルメントパネルに設けられる開口部（図示しない）に配置される。また、スクリーン１０は、インストルメントパネルの表面形状に応じて上下方向に傾斜し、また、左右方向に湾曲しており、平面状でない曲面状のスクリーンである。

プロジェクタ２０は、制御装置７０のビデオメモリの内容を表示画像として表示し、表示光ＬＤをスクリーン１０に向けて出射するものであり、例えば、ＬＣＤ（Liquid Crystal Display）と光源とから構成される。

光源３０は、被写体２に照明光ＬＩを照射するものである。光源３０は、例えば、照明光ＬＩとして赤外線を出射する赤外線ＬＥＤ（Light Emitting Diode）であり、制御装置７０から出力される光源制御信号に基づいて点灯、消灯する。

撮像部４０は、被写体２を撮像するものである。撮像部４０は、例えば、複数のレンズと、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）、シャッター等の周知の固体撮像素子とを含むビデオカメラである。撮像部４０は、シャッターが開いているときにレンズによって固体撮像素子の受光面に被写体２の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号から画像信号を含むビデオ信号を制御装置７０に出力する。なお、本実施形態においては、撮像部４０は、固体撮像素子の受光面に赤外線を受光する構成であるため、撮像部４０の前方には赤外線透過フィルタ（図示しない）を設けることが望ましい。

撮像部４０の固体撮像素子の受光面に、被写体２の画像が、例えば図３に示すような２Ｍ行Ｎ列の画素からなるフレーム画像Ａとして結像された場合について説明する。この場合、固体撮像素子を構成する格子状に配置されたフォトダイオード（前記の各画素に１対１で対応するように配置されている）は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部４０は、シャッターが閉じた後に、同期信号発生回路により出力される垂直同期信号、及び、水平同期信号に同期して、画像を構成する各ラインのフォトダイオードの電荷を電気信号として読み取る。

ここで、画像を構成する画素の横一行のラインを上から順に数えたときの番号をライン番号という（つまり、２Ｍ行Ｎ列のフレーム画像Ａにおいてライン番号１は１行目を示し、ライン番号２Ｍは２Ｍ行目を示す）。そして、奇数番号のラインから構成されるライン群を「奇数フィールド」といい、偶数番号のラインから構成されるライン群を「偶数フィールド」という。また、あるフレーム画像Ａにおいて奇数フィールドに対応する画像を「奇数フィールド画像」といい、偶数フィールドに対応する画像を「偶数フィールド画像」という。つまり、フレーム画像Ａは、奇数フィールド画像と偶数フィールド画像とで構成されており、フレーム画像Ａにおいて、奇数フィールド画像に係るラインと偶数フィールド画像に係るラインとは各々隣り合う。

撮像部４０は、１つのフレーム画像Ａの撮像において、奇数フィールドの撮像と偶数フィールドの撮像との２つのフィールドの撮像を行う。撮像部４０は、各撮像において、シャッターを開閉し、受光素子に電荷を蓄積する。撮像部４０は、フォトダイオードの電荷を読み取る際に、奇数フィールドの撮像では、奇数フィールドの各電荷を読み取り、偶数フィールドの撮像では、偶数フィールドの各電荷を読み取る。撮像部４０は、このような読み取りを、水平同期信号に同期して行う。

具体的には、撮像部４０は以下の手順で電荷の読み取りを行う。
１）垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が奇数のラインの電荷の読み取りを開始し、全ての奇数ラインの電荷を読み取る。すなわち、撮像部４０は、ライン番号１、３、・・・、２Ｍ−１の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部４０は、奇数フィールドの電荷を読み取ることとなる。
２）次の垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が偶数のラインの電荷の読み取りを開始し、全ての偶数ラインの電荷を読み取る。すなわち、撮像部４０は、ライン番号２、４、・・・、２Ｍの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部４０は、偶数フィールドの電荷を読み取ることとなる。
つまり、撮像部４０は、被写体２の撮像を奇数フィールドの撮像と偶数フィールドの撮像とに分けて行う。

このような１つのフレーム画像Ａを構成する奇数フィールド画像と偶数フィールド画像の電荷の読み取りは、それぞれ、例えば１／６０秒の間隔で行われる。つまり、１フレーム当たりの電荷の読み取りは、１／３０秒間隔で行われる。即ち、撮像部４０は、１秒当たり３０フレームの画像を撮影する。

そして、撮像部４０は、読み取った電荷が表す電気信号である画像信号と、垂直同期信号と、水平同期信号を重畳した信号を、出力ビデオ信号として制御装置７０に出力する。

図１に戻って、照度センサ５０は、スクリーン１０に照射される外光ＬＯの強度（照度）を検出（測定）するものである。照度センサ５０は、スクリーン１０の背面側に設けられ、スクリーン１０を透過した外光ＬＯを受光し、受光した外光ＬＯの強度に応じた光検出信号を制御装置７０に供給する。照度センサ５０は、例えば、フォトダイオードからなる。

入力装置６０は、ユーザの所定の入力操作を受け付けるものであり、例えば、電源スイッチや、ユーザの数値入力や上下左右の方向指示を受け付けるキーボード、マウス、タッチパネルから構成される。入力装置６０に入力されたデータは、制御装置７０に出力される。

制御装置７０は、例えば、マイクロコンピュータから構成され、ＣＰＵ７１（Central Processing Unit）と、ＲＯＭ７２（Read-Only Memory）と、汎用メモリ７３と、ビデオメモリ７４と、同期分離回路７５と、フィールド識別回路７６と、外部デバイスインターフェース７７（Ｉ／Ｆ）と、を備える。

ＣＰＵ７１は、ＲＯＭ７２内に予め記憶された、後述の光源制御処理、操作位置検出処理を実行する為のプログラムを読み出し、実行する。そして、ＣＰＵ７１は、撮像部４０から取得したビデオ信号、処理後の演算結果、画像データ等、を汎用メモリ７３に一時的に記憶させる。また、ＣＰＵ７１は、汎用メモリ７３に記憶された出力画像データをビデオメモリ７４に転送し、転送した出力画像データに基づいてプロジェクタ２０に出力画像データが表す画像を出力する。また、ＣＰＵ７１は、必要に応じて時間を計測することが可能なタイマ（図示せず）を内蔵するものとする。
なお、ＣＰＵ７１は、後述する光源制御処理、操作位置検出処理を実行して、請求項における発光制御手段、撮像画像生成手段、被写体領域検出手段、検出感度調整手段及び操作位置検出手段として機能する。

ＲＯＭ７２には、前記プログラムの他に、後述の光源制御処理において参照される光源３０の点灯時間を規定するためのＴ_ＯＦＦ、Ｔ_ＯＮ（図４（ｃ）参照）の初期値や、後述の操作位置検出処理において参照される検出閾値設定テーブルＴ１（図５）が、予め格納されている。

図５に示す、検出閾値設定テーブルＴ１は、「照度センサ出力」から「検出閾値」を算出するためのテーブルである。図５において、「照度センサ出力」は、照度センサ５０から供給される光検出信号の出力値、すなわち外光ＬＯの強度であり、「検出閾値」は、後述する操作位置検出処理において被写体領域を検出する感度を定める検出閾値θである。検出閾値設定テーブルＴ１は、「照度センサ出力」の複数の設定値と、これら複数の設定値で定まる「検出閾値」を予め表した格納データである。ＣＰＵ７１は、この検出閾値設定テーブルＴ１を参照して、照度センサ５０から供給された光検出信号に対応した検出閾値θを設定する。例えば、図示するように、「照度センサ出力」が“０〜４９”であった場合、「検出閾値」は“２４０”と設定される。なお、図５に示す検出閾値設定テーブルＴ１は、「照度センサ出力」の値が増加するに従って（外光ＬＯの強度が大きくなるに従って）、「検出閾値」の値が減少する（感度が高くなる）ように構成されている。これは、外光ＬＯの強度が強くなると外光ＬＯの回り込みによって撮像画像における被写体２が明るくなり、また、光源３０から照明光ＬＩを照射したとしても撮像部４０によって変換できる光の強弱には限界があるため後述する第１補間フレーム画像と第２補間フレーム画像との間における輝度差が小さくなることによる。

図１に戻って、同期分離回路７５は、撮像部からのビデオ信号を、画像信号と、垂直同期信号（図４（ａ）参照）と、水平同期信号とに分離する回路である。

フィールド識別回路７６は、同期分離回路７５により分離された、垂直同期信号、及び、水平同期信号から、ビデオ信号に含まれる画像信号が奇数フィールドと偶数フィールドの何れであるかを示すフィールド識別信号を生成する。フィールド識別信号は、一例として、図４（ｂ）に示すように構成され、このようなフィールド識別信号に基づいて、ＣＰＵ７１は、撮像部から取得した画像信号が、奇数フィールドか、または、偶数フィールドかを判別することができる。

外部デバイスＩ／Ｆ７７は、プロジェクタ２０、光源３０、撮像部４０、照度センサ５０、入力装置６０のような制御装置７０以外の外部装置と、制御装置７０とを接続するものである。

（光源制御処理）
制御装置７０のＣＰＵ７１が実行する光源制御処理を、図６等を参照して説明する。この処理は、例えば、制御装置７０の起動を条件に開始される。

ＣＰＵ７１は、光源制御処理を開始すると、まず、ステップＳ１０１において、奇数フィールドの開始を検出したか否かを判定する。具体的には、垂直同期信号の立ち下り（図４（ａ）参照）と、フィールド識別信号の立ち上がり（図４（ｂ）参照）と、が両方検出された場合に奇数フィールドの開始を検出したと判定する。これらの信号は、前述のように、撮像部４０からのビデオ信号から同期分離回路７５によって分離された信号である。ＣＰＵ７１は、奇数フィールドの開始を検出したと判定した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に処理を進める。一方、ＣＰＵ７１が、奇数フィールドの開始を検出したと判定しなかった場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０３に処理を進める。

ステップＳ１０２で、ＣＰＵ７１はタイマの時刻ｔをｔ＝０に設定し、タイマに時間の計測を開始させる。

続いて、ステップＳ１０３で、ＣＰＵ７１は、時刻ｔがＴ_ＯＮ≦ｔ≦Ｔ_ＯＦＦを満たすか否かを判定する。ここで、Ｔ_ＯＮとＴ_ＯＦＦは、撮像部４０の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドに対応するフォトダイオードが受光している光量に応じた電荷の蓄積の開始時刻及び終了時刻に対応する。また、Ｔ_ＯＮとＴ_ＯＦＦは、予めＲＯＭ７２にデフォルト値として記憶されているか、ユーザにより入力装置６０を介して設定され、記憶される。なお、光源３０の点灯時間は（Ｔ_ＯＦＦ−Ｔ_ＯＮ）であり、Ｔ_ＯＮとＴ_ＯＦＦの設定によって点灯時間を設定することができる。

時刻ｔがＴ_ＯＮ≦ｔ≦Ｔ_ＯＦＦを満たすと判定した場合（ステップＳ１０３；Ｙｅｓ）、ＣＰＵ７１は、点灯を示す光源制御信号（図４（ｃ）参照）を光源３０に出力する（ステップＳ１０４）。そして、処理をステップＳ１０１に戻す。一方、時刻ｔがＴ_ＯＮ≦ｔ≦Ｔ_ＯＦＦを満たさないと判定した場合（ステップＳ１０３；Ｎｏ）、ＣＰＵ７１は、消灯を示す光源制御信号を光源３０に出力する（ステップ１０５）。そして、処理をステップ１０１に戻す。

以上の処理からなる光源制御処理を、ＣＰＵ７１は、例えば、制御装置７０の電源がオフされるまで繰り返す。本処理により、撮像部４０が奇数フィールドを撮像しているタイミングで光源３０を点灯させ、偶数フィールドを撮像しているタイミングで光源３０を消灯させることができる。

（操作位置検出処理）
次に、制御装置７０のＣＰＵ７１が実行する操作位置検出処理を、図７等を参照して説明する。この処理は、例えば制御装置７０の起動を条件に開始される。

ＣＰＵ７１は、操作位置検出処理を開始すると、最初に、照度センサ５０から光検出信号を取得する（ステップＳ２０１）。

次に、ＣＰＵ７１は、照度センサ５０からの光検出信号の出力値と、図５の検出閾値設定テーブルＴ１とに基づき、検出閾値θを設定する（ステップＳ２０２）。

続いて、ステップＳ２０３で、ＣＰＵ７１は、撮像部４０が出力するビデオ信号から、垂直同期信号に基づいて１フレーム分の画像信号が表すフレーム画像を取得する。具体的には、ＣＰＵ７１は、垂直同期信号に同期して、撮像部４０から出力されたビデオ信号から、１つの奇数フィールドの画像信号と１つの偶数フィールドの画像信号とにより構成される1フレーム分の画像信号を取得する。例えば、撮像部４０が、図３に示すような被写体２を撮像した場合、ＣＰＵ７１が取得するフレーム画像は、図８に示すようなフレーム画像Ｂである。撮像部４０の撮像中において、ＣＰＵ７１は、前述の光源制御処理を実行する為、フレーム画像Ｂでは、奇数フィールド中の被写体２の像は明るく、偶数フィールド中の被写体２の像は暗く撮像される。これは、撮像部４０に撮像される被写体２を照らす光源３０を、撮像部４０が奇数フィールドを撮像しているタイミングで光源３０を点灯させ、偶数フィールドを撮像しているときに光源３０を消灯させる為である。なお、図３に示す背景３は照明光ＬＩが反射されない部分であるため、この背景３に対応するフレーム画像Ｂの背景部分は光源３０の影響を受けず、奇数フィールドでも偶数フィールドでもその明るさは変わらない。

続いて、ステップＳ２０４で、ＣＰＵ７１は、ステップＳ２０３で取得したフレーム画像を、奇数フィールドと偶数フィールドに分離して、各フィールドから構成される奇数フィールド画像と偶数フィールド画像とを取得する。具体的には、例えば、図８に示すフレーム画像Ｂを取得した場合、ＣＰＵ７１は、図9（ａ）に示す奇数フィールドの画像を示す奇数フィールド画像Ｃ１と、図9（ｂ）に示す偶数フィールドの画像を示す偶数フィールド画像Ｃ２と、を取得する。奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２とを構成するライン数は、ともにフレーム画像Ｂのライン数の半分となる。

続いて、ステップＳ２０５で、ＣＰＵ７１は、ステップＳ２０３で取得した奇数フィールド画像と偶数フィールド画像から、第１補間フレーム画像（第１の撮像画像）と第２補間フレーム画像（第２の撮像画像）とを生成し、取得する。

ここで、第１補間フレーム画像は、奇数フィールド画像を構成する各ライン間に新しいラインを補間して生成したフレーム画像である。また、第２補間フレーム画像は、偶数フィールド画像を構成する各ライン間に新しいラインを補間して生成したフレーム画像である。具体的には、
図９（ａ）と（ｂ）に示す奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２のそれぞれについて、各ライン間に新しいラインを補間することにより、図１０（ａ）と（ｂ）に示す第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とを生成し、各々を取得する。

補間方法の一例として、奇数フィールド画像、または、偶数フィールド画像の各ラインの間に、輝度値として上下の画素の平均値を有するラインを補間することで、第１補間フレーム画像、または、第２補間フレーム画像を生成できる。具体的には、２Ｍ行Ｎ列の画素数を有し、ｉ行ｊ列目の画素の輝度値がＩ_ｉｊで表されるフレーム画像Ｂを撮像部４０で取得した場合、第１補間フレーム画像Ｄ１の輝度値Ｉ^Ｏ _ｉｊは以下の（式１）で表すことができ、第２補間フレーム画像Ｄ２の輝度値Ｉ^Ｅ _ｉｊは、以下の（式２）で表すことができる。

なお、Ｉ_ｍｉｎは、フレーム画像Ｂの輝度値Ｉの取りうる最小値である。

図７に戻って、ＣＰＵ７１は、ステップＳ２０５において、第１補間フレーム画像と第２補間フレーム画像とを取得すると、ステップＳ２０６に処理を進める。

ステップＳ２０６で、ＣＰＵ７１は、第１補間フレーム画像と第２補間フレーム画像との比較に基づいて、被写体検出画像を取得する。具体的には、ＣＰＵ７１は、図１０（ａ）、（ｂ）に示すような第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とについて、対応する位置にある画素の輝度値Ｉ^Ｏ _ｉｊ、Ｉ^Ｅ _ｉｊを比較し、その画素の輝度値の差（Ｉ^Ｏ _ｉｊ−Ｉ^Ｅ _ｉｊ）がステップＳ２０２で設定された検出閾値θ以上である場合に（｜Ｉ^Ｏ _ｉｊ−Ｉ^Ｅ _ｉｊ｜≧θ）、その位置の画素は被写体領域内の画素であると判別する。そして、ＣＰＵ７１は、この判別処理を、第１補間フレーム画像Ｄ１及び第２補間フレーム画像Ｄ２の全域に対して行い、被写体領域内の画素であると判別する画素について、フレーム画像Ｂの輝度値の最大値Ｉ_ｍａｘを輝度値とし、それ以外の画素については、輝度値の最小値Ｉ_ｍｉｎを輝度値として有する被写体検出画像Ｅを取得する（図１１参照）。数式で表現すると、被写体検出画像Ｅの輝度値Ｉ^Ｄ _ｉｊは、以下の（式３）のように表すことができる。

例えば、本処理において取得できる被写体検出画像のより具体的な例を示せば、図１２（ａ）に示すような、スクリーン１０をタッチしている指先を撮像部４０で撮像した場合、ＣＰＵ７１が取得する被写体検出画像は、図１２（ｂ）に示すような被写体検出画像Ｅ１となる。なお、被写体検出画像Ｅ１においては白色で示される部分が被写体領域である。このように、本処理によれば、撮像対象（被写体）である操作者の指先（被写体領域の一例）を検出し、取得することができる。

図７に戻って、ステップＳ２０７で、ＣＰＵ７１は重心検出処理を実行し、ステップＳ２０６で取得した被写体検出画像上における被写体領域内の重心位置を検出する。具体的には、ＣＰＵ７１は被写体領域内と判定された全画素の座標の平均をとる。例えば、ステップＳ２０７で得た被写体検出画像上における被写体領域の重心座標（ｉ^Ｄ、ｊ^Ｄ）は、以下の（式４）で与えられる。

例えば、本処理において、図１２（ｂ）及び図１３（ａ）に示す被写体検出画像Ｅ１における被写体領域に対して、ＣＰＵ７１が（式４）を用いて検出する重心座標は、図１３（ｂ）の＋印で示した座標となる。このように、重心検出処理によれば、撮像部４０で撮影したフレーム画像中の被写体領域を代表する所定の位置座標、即ち、操作位置座標として重心座標を検出し、取得することができる。なお、操作位置座標として被写体領域の重心座標以外の座標を検出してもよい。

続いて、ステップＳ２０８で、ＣＰＵ７１は、検出した重心座標に基づき、スクリーン１０上における操作位置座標に割り振られた機能を発揮させる操作信号を対象機器に出力する。例えば、ＣＰＵ７１は、操作信号をプロジェクタ２０に出力し、スクリーン１０に表示される表示画像の表示内容を更新する。さらに具体的には、スクリーン１０に表示されるカーソルの位置を移動させる、表示内容を上位階層の選択項目に応じた下位階層の表示に切り替えるなどが挙げられる。また、ナビゲーション装置やオーディオ機器などの外部機器を対象機器として操作信号を出力し、ナビゲーション機能や音声再生機能などの外部機器が備える機能を実行させることも一例として挙げられる。

以上の処理からなる操作位置検出処理を、ＣＰＵ７１は、例えば制御装置７０の電源がオフされるまで繰り返し実行する。

以上のように、本実施形態に係るタッチスクリーン装置１は、撮像部４０によって透過型のスクリーン１０越しに被写体２を撮像し、また、ＣＰＵ７１によって、照度センサ５０が検出した外光ＬＯの強度に基づいて撮像部４０が撮像した撮像画像（フレーム画像）における被写体領域を検出する感度を調整し、また、検出した被写体領域内の所定位置を操作位置として検出する。このような構成からなるタッチスクリーン装置１によれば、外光ＬＯの強度が強い環境下でもそれに応じて操作位置を検出する処理の感度を変更することができるため、良好に操作位置を検出することが可能となる。

また、制御装置７０のＣＰＵ７１は、照度センサ５０が検出した外光ＬＯの強度が大きいほど、感度を高く調整する。このようにすれば、フレーム画像における被写体２の像が明るくなり、第１補間フレーム画像と第２補間フレーム画像における輝度差が小さくなる場合であっても、良好に操作位置を検出することが可能となる。また、外光ＬＯの強度が小さい場合には、感度を低く調整できるため、誤検出を抑制することができる。

また、撮像部４０は、被写体２の撮像を奇数フィールドと偶数フィールドの２つのフィールドの撮像に分けて行い、ＣＰＵ７１は、２つのフィールドの撮像うちの一方のフィールド（奇数フィールド）の撮像においてのみスクリーン１０の背面側から照明光ＬＩを照射する光源３０を発光させ、撮像したフレーム画像を各フィールドで分離して第１、第２補間フレーム画像を生成し、第１、第２補間フレーム画像を比較した場合の輝度差が検出閾値θより大きい領域を被写体領域として検出し、照度センサ５０が検出した外光の強度に基づいて検出閾値θを設定して前記感度を調整する。これにより、タッチスクリーン装置１は、背景の影響を受けにくい操作位置の検出を行うことができ、良好に操作位置を検出することが可能となる。また、高速撮影が可能なカメラを必要とすることなく、簡単な構成で画像中の被写体が存在する領域を検出することが可能である。

（変形例）
なお、本発明は、以上の実施形態に限定されず、種々の変形及び応用が可能である。本実施形態においては照度センサ５０が検出した外光ＬＯの強度に基づいて被写体領域を検出する感度のみを調整するものであったが、さらに、ＣＰＵ７１は、照度センサ５０が検出した外光ＬＯの強度に基づいて、撮像部４０の感度を調整するものであってもよい。すなわち、ＣＰＵ７１が請求項の撮像感度調整手段として機能する。具体的には、外光ＬＯの強度に基づいて撮像部４０のシャッター時間を変更することで撮像部４０の感度を調整することができる。これによれば、外光ＬＯの強度が大きい環境下において、撮像部４０の出力が飽和することを抑制でき、適切なコントラストを有する明瞭なフレーム画像を取得することができる。

また、さらに、ＣＰＵ７１は照度センサ５０が検出した外光ＬＯの強度に基づいて、光源３０の点灯時間を設定するものであってもよい。すなわち、ＣＰＵ７１が請求項の点灯時間設定手段として機能する。これによれば、外光ＬＯの強度が大きい環境下においては、照明光ＬＩの発光量を増やすことで第１補間フレーム画像と第２補間フレーム画像との間の輝度差を大きくすることができ、検出の感度の調整を合わせて被写体２の周囲の環境に適した設定で、操作位置を良好に検出することができる。

また、上記の実施形態においては、ＣＰＵ７１は、光源３０が点灯した環境下の第１補間フレーム画像と光源３０が消灯した環境下の第２補間フレーム画像との間に輝度差によって被写体領域を検出するものであったが、操作位置検出処理における被写体領域の検出方法はこれに限定されるものではない。例えば、被写体２によるプロジェクタ２０の表示光ＬＤの反射による輝度差、すなわち、操作者がスクリーン１０をタッチしない場合の撮像画像とタッチした場合の操作画像との間で生じる輝度差（輝度変化）によって被写体領域を検出する処理を行ってもよい。また、高速撮影が可能なカメラを撮像部４０として用い、光源３０を所定時間間隔で点滅させ、ほぼ同時刻の光源３０が点灯した環境下における撮像画像と光源３０が消灯した環境下における撮像画像との輝度差によって被写体領域を検出する処理を行ってもよい。これらの場合も、検出の感度の調整は、輝度差の検出閾値を設定することで行う。

また、上記の実施形態では、ＣＰＵ７１が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定している。しかし、ＣＰＵ７１が、垂直同期信号の立ち上がりを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定してもよい。この場合もＣＰＵ７１は、光源３０を制御することができる。

また、上記の実施形態では、ＣＰＵ７１は、撮像部４０が奇数フィールドを撮像しているときに光源３０を点灯させ、偶数フィールドを撮像しているときに光源３０を消灯させたが、これに限られない。撮像部４０が偶数フィールドを撮像しているときに光源３０を点灯させ、奇数フィールドを撮像しているときに光源３０を消灯させてもよい。

本発明は、操作位置を検出する位置検出装置に適用できる。

１タッチスクリーン装置（位置検出装置）
１０スクリーン
２０プロジェクタ（投影手段）
３０光源
４０撮像部（撮像手段）
５０照度センサ（外光検出手段）
６０入力装置
７０制御装置
７１ＣＰＵ
７２ＲＯＭ
７３汎用メモリ
７４ビデオメモリ
７５同期分離回路
７６フィールド識別回路
７７外部デバイスインターフェース
２被写体
３背景

Claims

表示画像が背面側から投影される透過型のスクリーン越しに被写体を撮像する撮像手段と、
前記スクリーンに照射される外光の強度を検出する外光検出手段と、
前記撮像手段が撮像した撮像画像における前記被写体の領域を検出する被写体領域検出手段と、
前記外光検出手段が検出した外光の強度に基づいて被写体領域検出手段が前記被写体の領域を検出する感度を調整する検出感度調整手段と、
前記被写体領域検出手段が検出した前記被写体の領域内の所定位置を操作位置として検出する操作位置検出手段と、備えてなることを特徴とする位置検出装置。
前記検出感度調整手段は、前記外光検出手段が検出した外光の強度が大きいほど、前記感度を高く調整することを特徴とする請求項１に記載の位置検出装置。
前記被写体の撮像を２つのフィールドの撮像に分けて行う前記撮像手段と、
前記スクリーンの背面側から照明光を照射する光源と、
前記２つのフィールドの撮像うちの一方のフィールドの撮像においてのみ前記光源を発光させる発光制御手段と、
前記撮像画像を前記２つのフィールドで分離して第１、第２の撮像画像を生成する撮像画像生成手段と、
前記第１、第２の撮像画像を比較した場合の輝度差が閾値以上である領域を前記被写体の領域として検出する前記被写体領域検出手段と、
前記外光検出手段が検出した外光の強度に基づいて前記閾値を設定して前記感度を調整する前記検出感度調整手段と、を備えてなることを特徴とする請求項１または請求項２に記載の位置検出装置。
前記外光検出手段が検出した外光の強度に基づいて前記撮像手段の感度を調整する撮像感度調整手段を備えてなることを特徴とする請求項１から請求項３の何れかに記載の位置検出装置。
前記外光検出手段が検出した外光の強度に基づいて前記光源の点灯時間を設定する点灯時間設定手段を備えてなることを特徴とする請求項３または請求項４に記載の位置検出装置。