JP2019207451A - 映像表示装置、映像表示方法 - Google Patents

Abstract

【課題】検出の精度を向上できる技術を提供する。【解決手段】映像表示装置１は、表示面３に対応付けて設定された操作面４に対するユーザの手指を含む操作物７による接触を含む操作を検出する操作検出装置２と、操作面４上の操作物７による像を検出する光学センサであるカメラ５と、操作面４での操作物７の接触によって生じる音または振動を検出する非光学センサであるマイク６とを備える。操作検出装置２は、光学センサの第１検出情報および非光学センサの第２検出情報を用いて、操作面４に対する操作物７による接触または非接触を含む状態を検出し、検出データを出力する。操作検出装置２は、第１検出情報から操作面４と操作物７との接触有りの状態を検出し、かつ、第２検出情報から接触有りの状態に対応する音または振動を検出した場合に、総合的に接触状態であると判定する。【選択図】図１

Description

本発明は、映像表示技術や情報処理技術に関し、ユーザの手指等の操作物による操作面に対する接触等の操作の状態を検出するための技術に関する。

投射型映像表示装置（プロジェクタ）等の映像表示装置では、映像が表示される表示面を持つ面状の物体に対して重畳するように設けられた操作面を持つ場合がある。その操作面に対し、ユーザは、手指や手に持った棒等の操作物によって、接触等の操作を行う。映像表示装置または操作検出装置は、操作面に対する操作物による接触有無等の状態や接触点位置座標等を検出する。映像表示装置または操作検出装置は、検出した状態や位置に応じて、所定の動作を判定し、その動作に応じて、対応付けられる所定の制御処理を実行する。

上記操作の状態を検出するための技術として、光学センサを用いる技術がある。例えば、操作検出装置は、操作面および手指に対する照明に基づいて形成される影を含む像を、カメラで撮像して抽出し、影の状態から手指による操作の状態を推定する。

上記光学センサを用いた操作検出技術に関する先行技術例として、特開２０１４−１７４８３２号公報（特許文献１）が挙げられる。特許文献１には、操作検出装置等として、操作面に異なる位置から照明する第１および第２の照明と、操作面を撮像するカメラとを備え、撮像画像から第１および第２の影を抽出し、各影の輪郭線間の距離から接触点を検出する旨が記載されている。

また、上記操作の状態を検出するための技術として、マイク、超音波センサ、または歪センサ等の非光学センサを用いる技術がある。この技術では、例えばマイクを用いて、物体からの音波等の振動を検出し、操作面に対する操作物の接触の状態を推定する。

上記非光学センサを用いた操作検出技術に関する先行技術例として、特開平８―２６３１９２（特許文献２）が挙げられる。特許文献２には、超音波座標入力装置として、高精度の座標検出を可能とする旨、座標検出が一定の休止時間を置いて繰り返し行われる旨が記載されている。

特開２０１４−１７４８３２号公報 特開平８―２６３１９２号公報

上記操作検出に係わる先行技術例では、検出の精度の観点で改善余地がある。例えば、カメラ等の光学センサを用いた技術の場合、特許文献１の例では、指の影の輪郭線等の不変特徴量を抽出し、操作面への接触を判定する接触認識を行っている。しかし、このような接触認識技術では、例えば実際に指先が操作面に近いが接触していない状態の場合でも、接触している状態と誤認識される可能性がある。上記光学センサを用いた操作検出方式では、状況によって高精度な検出が難しい場合がある。

また、マイク等の非光学センサを用いた技術の場合、音波等の振動のみからは状況によって高精度の判断が難しい場合がある。例えば、操作面に接触した指先が操作面から離れる場合、殆ど音が生じないので、非接触状態の検出は難しい。

本発明の目的は、光学センサを用いた操作検出技術に関して、検出の精度を向上できる技術を提供することである。

本発明のうち代表的な実施の形態は、映像表示装置であって、以下に示す構成を有することを特徴とする。一実施の形態の映像表示装置は、表示面に映像を表示する映像表示装置であって、前記表示面に対応付けて設定された操作面と、前記操作面に対するユーザの手指を含む操作物による接触を含む操作を検出する操作検出装置と、前記操作面上の前記操作物による像を検出する光学センサと、前記操作面での前記操作物の接触によって生じる音または振動を検出する非光学センサと、を備え、前記操作検出装置は、前記光学センサの第１検出情報および前記非光学センサの第２検出情報を用いて、前記操作面に対する前記操作物による接触または非接触を含む状態を検出し、検出データを出力し、前記第１検出情報から前記操作面と前記操作物との接触有りの状態を検出し、かつ、前記第２検出情報から前記接触有りの状態に対応する音または振動を検出した場合に、総合的に接触状態であると判定する。

本発明のうち代表的な実施の形態によれば、光学センサを用いた操作検出技術に関して、検出の精度を向上できる。

本発明の実施の形態１の映像表示装置を含むシステムの構成を示す図である。 実施の形態１で、映像表示装置の構成を示す図である。 実施の形態１で、映像表示装置の設置構成例等を示す図である。 実施の形態１で、表示面と操作面との対応関係を示す図である。 実施の形態１で、第１検出方式の非接触時の影等を示す図である。 実施の形態１で、第１検出方式の接触時の影等を示す図である。 実施の形態１で、第１検出方式の距離に応じた影形状等を示す図である。 実施の形態１で、操作物として棒を用いる場合を示す図である。 実施の形態１で、状態や動作、検出データの例を示す図である。 実施の形態１で、第１検出の処理フローを示す図である。 実施の形態１で、第２検出の処理フローを示す図である。 実施の形態１で、画像処理と音処理との関係を示す図である。 実施の形態１で、接触認識の処理フローを示す図である。 実施の形態１の変形例で、接触認識の処理フローを示す図である。 実施の形態１の変形例で、操作検出装置等の構成を示す図である。 実施の形態１の変形例で、映像表示装置の設置構成例を示す図である。 実施の形態１の変形例で、第２検出方式の操作面の構成を示す図である。 本発明の実施の形態２の映像表示装置の設置構成例を示す図である。 本発明の実施の形態３の映像表示装置の設置構成例を示す図である。 実施の形態３の第１変形例の映像表示装置の設置構成例を示す図である。 実施の形態３の第２変形例の映像表示装置の設置構成例を示す図である。 本発明の実施の形態４の映像表示装置の設置構成例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。なお、説明上、方向として、Ｘ方向、Ｙ方向、Ｚ方向を用いる。Ｘ方向、Ｙ方向は、操作面（あるいは表示面）を構成する直交する２つの方向とし、例えばＸ方向は面内水平方向（左右方向）、Ｙ方向は面内垂直方向（上下方向）とする。Ｚ方向は、操作面のＸ−Ｙ面に対して垂直な方向とする。

（実施の形態１）
図１〜図１７を用いて、本発明の実施の形態１の映像表示装置および映像表示方法について説明する。実施の形態１の映像表示方法は、実施の形態１の映像表示装置において実行されるステップを有する方法である。

［概要等］
実施の形態１の映像表示装置では、表示面に重畳される操作面においてユーザが手指を操作物として用いて接触等の操作を行う。その際、映像表示装置の操作検出装置では、光学センサ（カメラ）と非光学センサ（マイク）とを併用することで、手指と操作面との接触の状態および接触点位置座標を、高精度に検出する。実施の形態１の映像表示装置は、操作面に対して異なる位置から照明する第１および第２照明装置と、操作面を含む像を撮像するカメラと、操作面で生じる音波を検出するマイクとを備える。実施の形態１の映像表示装置は、光学センサであるカメラを用いた方式（第１検出方式とする）と、非光学センサであるマイクを用いた方式（第２検出方式とする）とを組み合わせた方式で、操作面上の操作物による接触等の操作の状態を検出する。これにより、実施の形態１の映像表示装置では、光学センサのみを用いた技術あるいは非光学センサのみを用いた技術では正確な接触認識が難しい場合でも、高精度の接触認識を可能とする。

［映像表示装置を含むシステム］
図１は、実施の形態１の映像表示装置１を含むシステムの構成を示す。実施の形態１の映像表示装置１は、操作検出装置２、制御部１１、映像表示部１２、動作判定部１３を含む。映像表示装置１は、映像表示部１２により表示面３に対し映像を表示する。

制御部１１は、映像表示部１２を含め、映像表示装置１の全体を制御する。制御部１１は、ユーザの操作物７による操作面４の操作の状態に基づいた、操作検出装置２の検出データに基づいて、および動作判定部１３の動作判定結果データに基づいて、所定の制御を行う。所定の制御は、映像表示部１２の映像表示の制御を含む。

映像表示部１２は、制御部１１からの制御および映像データに基づいて、表示面３に対する映像の表示を行う。表示面３では、画素の行列に基づいて、映像・画像が表示される。表示面３に対し、対応付けられるように、操作面４が構成されている。操作面４は、表示面３と少なくとも一部が重畳する面、または表示面３とは重畳せずに独立した面である（図４）。操作面４は、ユーザが手指（あるいは手に持った棒状の物体）を操作物７として接触等の操作を行う面である。

操作面４の近傍には、照明装置５０（５１，５２）と、光学センサであるカメラ５と、非光学センサであるマイク６とが設置されている。照明装置５０（５１，５２）は、操作面４に対して異なる位置に設置される２つの照明装置として、照明装置（第１照明装置）５１、照明装置（第２照明装置）５２を有する。照明装置５１，５２は、操作面４に対して異なる位置からそれぞれの照明（第１照明および第２照明）を与える。

光学センサであるカメラ５は、第１照明および第２照明に基づいて、操作面４をユーザの操作物７の像とともに撮像して画像を得る撮像装置である。カメラ５は、画像を含む第１検出情報を出力する。

非光学センサであるマイク６は、操作面４に操作物７が接触する動作等によって発生する音波（振動）を音信号／音データとして検出する音検出装置である。マイク６は、音信号／音データを含む第２検出情報を出力する。

操作検出装置２は、操作面４に対するユーザの操作物７による接触等の操作の状態を検出する接触認識機能を有する装置である。図１の構成では、映像表示装置１内に操作検出装置２が実装されている。操作検出装置２は、接触認識部２０、第１検出部２１、第２検出部２２を含む。第１検出部２１は、照明装置５０およびカメラ５と接続されており、影接触検出部２１Ａを含む。第２検出部２２は、マイク６と接続されており、振動接触検出部２２Ａを含む。

第１検出部２１は、カメラ５の画像データ（第１検出情報）を入力し、記憶して、第１検出処理を行う。第１検出部２１は、第１検出方式として、光学センサであるカメラ５を用いた第１検出（特に影に基づいた接触検出）を行う部分である。第１検出部２１は、照明装置５０の照明によって形成される操作面４上の操作物７の影を含む光学像を、カメラ５の画像として得る。第１検出部２１は、その画像に基づいて、操作面４に対する操作物７の接触有無を含む状態を検出し、第１検出結果の情報／データを出力する。第１検出部２１は、照明装置５１，５２による操作面４への照明の点灯（オン）／消灯（オフ）や光量等の制御、およびカメラ５による操作面４の撮像の制御を行う。

影接触検出部２１Ａは、特に影に基づいた接触検出の処理を行う部分である。影接触検出部２１Ａは、カメラ５の画像に基づいて、操作物７の影を抽出して、影の形状等の状態の判断に基づいて、操作面４に対する操作物７の接触有無（接触／非接触）の状態、および接触の場合の接触候補点の位置座標等を、計算によって検出する。

第２検出部２２は、マイク６の音信号／音データを入力し、記憶して、第２検出処理を行う。第２検出部２２は、第２検出方式として、非光学センサであるマイク６を用いた第２検出（特に音に基づいた接触検出）を行う部分である。第２検出部２２は、操作面４で生じる音波（振動）を、マイク６の音信号として入力し、その音信号に基づいて、操作面４に対する操作物７による接触音の有無を含む状態を検出し、第２検出結果の情報／データを出力する。振動接触検出部２２Ａは、音（振動）に基づいた接触検出の処理を行う部分である。振動接触検出部２２Ａは、マイク６の音信号に基づいて、音の大きさや周波数等の解析を行い、操作面７に対する接触音の有無等を、計算によって検出する。

接触認識部２０は、時間軸で対応して得られた第１検出部２１の第１検出結果と第２検出部２２の第２検出結果とを用いて、総合的に、操作面４に対する操作物７の接触／非接触の状態や接触点の位置座標等を判定する。このような総合的な判定を、接触認識または操作検出と記載する場合がある。接触認識部２０は、接触認識の結果である状態や位置座標等の情報を含む検出データを出力する。接触認識部２０は、例えば、第１検出結果で接触（接触有り）の状態が検出され、かつ、第２検出結果で接触（接触音有り）の状態が検出された場合には、接触状態であると総合判定する。このように、操作検出装置２では、２種類の検出方式のＡＮＤ条件を用いて状態を判定するので、高精度の接触認識が可能である。

映像表示装置１または操作検出装置２は、さらに、動作判定部１３を備えてもよい。図１の構成では、映像表示装置１内で操作検出装置２の外側に動作判定部１３を備える。接触認識部２０では基本的に静的な状態を検出し、動作判定部１３では動的な状態（所定の動作）を検出する。なお、動作判定部１３は、制御部１１に統合されてもよいし、接触認識部２０に統合されてもよい。

動作判定部１３は、接触認識部２０の検出データを入力し、その検出データにおける接触の状態や位置座標等の情報を用いて、操作面４に対する操作物７の所定の動作を判定する。動作判定部１３は、動作判定結果を表すデータを出力する。動作判定部１３は、接触認識部２０の検出データに基づいて、時系列上の複数の状態をみることで、所定の動作を判定する（図９）。動作判定部１３は、例えば、時系列における第１時点での非接触（接触無し）の状態から第２時点での接触（接触有り）の状態に変化した場合には、接触面４に対する接面動作と判定する。動作判定部１３は、例えば、第１時点での接触（接触有り）の状態から第２時点での非接触（接触無し）の状態に変化した場合には、接触面４に対する離面動作と判定する。

［映像表示装置、操作検出装置］
図２は、図１の実施の形態１の映像表示装置１のより詳しい構成例を示す。図２の実施の形態１の映像表示装置１は、プロジェクタ（投射型映像表示装置）である場合を示す。映像表示装置１は、操作検出装置２を含み、制御部（制御装置）１１、映像表示部（投射表示部）１２、通信装置１５、冷却装置１６、操作装置１７等を有し、それらがバス等で接続されている。制御装置１１は、動作判定部１３を含む。

実施の形態１では、操作検出装置２の接触認識機能に関して、映像表示装置１の本体の制御装置１１が、操作対象装置に相当する。すなわち、ユーザは、接触認識機能を利用して操作面４に対する接触操作を行うことで、映像表示装置１の本体が持つ所定の機能を操作することができる。所定の機能は、例えば投射映像の表示状態を変更する機能等の、予め規定された機能である。

投射表示部１２は、映像表示部であり、投射表示面である表示面３に対する投射映像表示を行う。投射表示部１２は、駆動部、光源、表示素子、投射光学系等の公知の要素で構成される。通信装置１５は、所定の通信インタフェースを備え、操作検出装置２の通信装置１４との通信処理等を行う。通信装置１４，１５は、例えば、ＬＡＮ通信装置、ＵＳＢ通信装置、Bluetooth（登録商標）通信装置、超音波通信装置、赤外線通信装置等で構成されてもよい。冷却装置１６は、冷却ファン等を含み、送風によって映像表示装置１を冷却する。操作装置１７は、ユーザが基本的な操作入力等を行う部分であり、例えば操作パネルやリモコン等を有する。

操作検出装置２は、プロセッサ１００、光学センサであるカメラ５、非光学センサであるマイク６、照明装置５０（５１，５２）、通信装置１４等を備え、それらがバス等で接続されている。プロセッサ１００は、制御部１１０、出力部１１１、影領域抽出部１０１、接触候補検出部１０２、接触音検出部１０３、接触状態検出部１０４等を有する。プロセッサ１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むＬＳＩ等のハードウェアに基づいて、ソフトウェアプログラム処理によって、制御部１１０、影領域抽出部１０１等の各部を実現する。なお、実装は、これに限らず可能であり、例えば影領域抽出部１０１等の各部が個別の回路等で実装されてもよい。プロセッサ１００は、処理する情報／データを、適宜に、操作検出装置２内のメモリ、または外部メモリ等に記憶する。

照明装置５０（５１，５２）は、例えば発光ダイオード（ＬＥＤ）素子、回路基板、拡散板等で構成できる。照明装置５１，５２は、カメラ５の撮像範囲を含む所定の照明範囲に照明する。カメラ５は、イメージセンサ、レンズ等で構成され、操作面４を含む所定の撮像範囲を撮像する。カメラ５は、リアルタイムで動画（時系列の画像フレーム）を撮影できるものを用いる。カメラ５は、画像メモリや画像処理回路等を備えてもよい。

マイク６は、操作面４を含む所定の範囲での音波を入力する。マイク６は、操作物７が操作面４に接触した際に生じる接触音（振動音）を電気信号として検出する。マイク６は、一般的な構成例としては、振動板、電気信号変換部、コネクタ等で構成される。マイク６では、音波に基づいて振動板で捉えられた振動が、電気信号変換部で電気信号に変換され、コネクタ等を経由して音信号として出力される。マイク６には、録音や所定の音処理のための回路やメモリ等を備えてもよい。

実施の形態１では、第１検出方式の照明光は、非可視光とする。そのため、特に、照明装置５０（５１，５２）は、赤外光を照射する赤外照明装置で構成される。カメラ５は、赤外光を赤外画像として撮像できる赤外カメラで構成される。これにより、表示面３の可視光の映像と操作検出用の赤外光とが視覚的に分離され、相互干渉影響が小さい。ユーザは、表示面３の映像を見ている際に、操作検出用の赤外光は殆ど見えない。映像光による影と、赤外光による影とは区別される。第１検出方式では、赤外光による影の光学像を用いる。上記方式に限らず可能であり、他の実施の形態では、照明装置５０の光源としてレーザ光源等を用いてもよい。

制御部１１０は、実施の形態１の第１検出方式および第２検出方式を併用した操作検出機能（接触認識機能）に関する全体的な制御処理を行う。制御部１１０は、操作検出（接触認識）の際に、タイミングを合わせて、照明装置５１，５２、カメラ５およびマイク６等の各部の動作を制御する。制御部１１０は、照明装置５１，５２による点灯や消灯、光量等を制御する。制御部１１０は、カメラ５による撮像を制御する。制御部１１０は、マイク６による音入力を制御する。

影領域抽出部１０１および接触候補検出部１０２は、図１の第１検出部１１と対応し、第１検出方式として光学センサであるカメラ５を用いた第１検出処理を行う部分である。接触音検出部１０３は、図１の第２検出部１２と対応し、第２検出方式として非光学センサであるマイク６を用いた第２検出処理を行う部分である。接触状態検出部１０３は、図１の接触認識部２０と対応し、第１検出結果および第２検出結果に基づいた総合的な判定処理を行う部分である。

影領域抽出部１０１は、カメラ５の画像から影領域を抽出し、影領域の輪郭線や先端点等を検出する処理を行う（図７）。影領域は、輝度（階調等）を持つ画素の集まりから成る。影領域抽出部１０１は、抽出した情報を記憶および出力する。影領域抽出部１０１では、影領域は、例えば、予め撮像された背景画像と最新の画像との差分画像を生成し、差分画像を所定の輝度の閾値で二値化することで得られる。

影領域抽出部１０１は、影領域の輪郭（輪郭線）を検出する。この輪郭は、画素の二値のうち影を表す一方の値と背景を表す他方の値との境界部分における、影を表す一方の値が隣接して連続している曲線や直線等の部分として抽出できる。影領域抽出部１０１で、輪郭は、例えば、最初に影領域の一端、例えば左上端の画素を求め、その画素から逐次的に隣接する画素を探索する公知のアルゴリズムを用いることで得られる。上記一端の画素は、例えばカメラ５の画像に対して照明装置５１，５２が縦方向（Ｙ方向）の上方にあるという位置関係に基づいて、画像のうちの上側に近い一端の画素とされる。また、例えば、画像における行列状の複数の画素を調べる際に、例えば左上の画素から右方向へ線的に走査し、線順次に下方へ走査する走査方式を用いる場合、上記一端の画素は、左上端の画素とされる。

接触候補検出部１０２は、影領域抽出部１０１で抽出した影領域の情報に基づいて、操作面４に対する操作物７の接触有無の状態や、接触候補点の位置座標等を検出する処理を行う（図１０）。接触候補検出部１０２は、検出した情報を、第１検出結果として記憶および出力する。接触候補検出部１０２は、影領域の輪郭の形状や画像内の位置や距離に基づいて、操作面４に対する操作物７の接触有無を推定し、接触候補点の位置座標を計算する。

接触音検出部１０３は、マイク６の音信号に基づいて、音の大きさ（音圧）や周波数の解析によって、操作面４に対する操作物７の接触音の有無の状態を検出する処理を行う（図１１、図１２）。接触音検出部１０３は、入力音信号を記憶する。接触音検出部１０３は、検出した情報を、第２検出結果として記憶および出力する。

接触状態検出部１０４は、接触候補検出部１０２からの第１検出結果と、接触音検出部１０３からの第２検出結果との両方を用いて、操作面４に対する操作物７の接触に関する状態を総合判定し、状態や接触点位置座標等を検出する処理を行う（図１３）。接触状態検出部１０４は、判定結果（検出データ）を記憶および出力する。

出力部１１１は、接触状態検出部１０４からの検出データに基づいて、操作検出機能に関する検出データＤ１を出力データとして構成し、出力する。実施の形態１では、制御部１１０の制御に基づいて、出力部１１１は、検出データＤ１を、通信装置１４および通信装置１５を介して、制御装置１１に送信する。検出データＤ１は、時系列の所定の時点毎に出力される情報であり、時点毎に、接触有無（接触状態／非接触状態）と、接触有り（接触状態）の場合の接触点位置座標とを含む。

制御装置１１は、投射表示部１２等を制御する部分であり、制御プログラム等を含む。制御装置１１は、検出データＤ１や、動作判定部１３による判定結果データに応じて、ユーザによる操作の状態や動作を把握し、その状態や動作に応じて、所定の制御を行う。動作判定部１３は、検出データＤ１に基づいて、時系列の複数の時点間での状態等の情報を判断することで、所定の動作（接面動作等）を判定して検出する。制御装置１１は、例えば、表示面３の映像における所定のボタンが押される動作に対応する接面動作がある場合、その動作（対応するボタン）に応じた投射映像表示制御処理を、投射表示部１２に対して行う。

また、制御装置１１は、第２検出方式に関する制御処理を、冷却装置１６や制御部１１０に対して行う。この制御処理は、音に関する制御処理であり、第２検出部２１（振動音検出部１０３）による振動音検出がしやすくなるようにするための制御処理である。この制御処理は、例えば、冷却装置１６の動作状態を制御することで、冷却ファン等が出す動作音を抑制する処理が挙げられる。冷却ファン等の動作音を抑制することで、マイク６を用いた接触音検出をしやすくする。これにより、接触認識の精度をより高めることができる。制御装置１１は、制御部１１０との連携で、投射映像表示の運転状況に応じて、冷却装置１６の動作を変更する。例えば、制御装置１１は、制御部１１０からの要求に応じて、操作検出装置２の接触音検出の際に、冷却装置１６の動作を一時的に休止させる、あるいは、冷却ファン回転数を減少させる。

また、この制御処理は、例えば、制御部１１０を通じて、接触音検出部１０３での接触音検出のための閾値等のパラメータを、その時の環境および状況に合わせて調整する処理が挙げられる。制御部１１０は、制御装置１１との連携で、接触音検出部１０３等のパラメータを可変に設定する。例えば、制御装置１１は、運転状況を制御部１１０に通知する。制御部１１０は、通知された運転状況に応じて、振動音検出の際の音圧や時間等の閾値を、増減調整して設定する。これにより、冷却装置１６の動作音等の状況に合わせて、接触音を検出しやすくできる。

なお、変形例の映像表示装置１としては、接触状態検出部１０４の後段に動作判定部１０５を備え、制御装置１１内の動作判定部１３を省略してもよい。動作判定部１０５は、動作判定部１３と同様に所定の動作の判定処理を行う。

［設置構成例、接触操作］
図３は、図２の操作検出装置２を内蔵する映像表示装置１の外観および設置構成例や、操作面４に対するユーザによる接触操作の様子を示す。図３の（Ａ）は操作面４を見た正面図（Ｘ−Ｙ面）、（Ｂ）は側面図（Ｙ−Ｚ面）を示す。壁面２０１は、面状物体の一例として室内の側壁等であり、鉛直に立つ平面（Ｘ−Ｙ面）を持つ場合を示す。映像表示装置１は、壁面２０１の一箇所に、取り付け器具を介して固定されている。映像表示装置１は、壁面２０１からＺ方向で所定の距離の位置Ｚ１に配置されている。すなわち、照明装置５０、カメラ５、マイク６は、撮像範囲２０３等に対し、やや斜め上に配置されている。

壁面２０１において、一部の領域には、映像表示装置１からの投射の映像光２０５によって、矩形の表示面３が、操作範囲２０３と同じ範囲で構成されている。図３では、表示面３にすべて重畳した矩形の操作面３が、操作範囲２０３と同じ範囲で構成されている。操作範囲２０３は、表示面３および操作面４に対応する範囲を示す。

また、照明装置５０（５１，５２）は照明範囲２０４を有する。左右の各々の照明装置５１，２５の照明範囲２０４は、操作範囲２０３を包含している。また、カメラ５による撮像範囲２０２を有する。撮像範囲２０２は、操作範囲２０３を包含している。また、マイク６による音検出範囲は、操作範囲２０３を包含している。

映像表示装置１は、操作範囲２０３に対し、Ｙ方向（縦）の上方の位置Ｙ１で、Ｘ方向（横）の中央の位置Ｘ１に配置されている。カメラ５およびマイク６は、概略的にその位置（Ｘ１，Ｙ１）に配置されている。また、照明装置５１，５２は、カメラ５の位置に対して左右対称で等距離の所定の位置に配置されている。照明装置５１，５２は、左右の各位置から、操作範囲２０３へ向けて、照明範囲２０４で照明する。カメラ５は、中央の位置から操作範囲２０３へ向けて、撮像範囲２０２を撮像する。マイク６は、操作範囲２０３で生じる音を、空気を介して、中央の位置で入力する。

ユーザは、表示面３の映像を見ながら、壁面２０１に対し、操作範囲２０３内で、操作物７である指を接触させる等の操作を行う。操作検出装置２は、カメラ５の画像およびマイク６の音に基づいて、その接触の状態や接触点を検出する。

［表示面と操作面との関係］
図４は、表示面３と操作面４との関係や設定例について示す。表示面３と操作面４とは、少なくとも一部の領域が重畳している。あるいは、表示面３と操作面４とは、全く重畳せずに独立した位置関係を有する。図４の（Ａ）は、図３の（Ａ）と対応した実施の形態１での設定例であり、表示面３の全領域に対し、操作面４の全領域が重畳している。この設定例では、ユーザは、表示面３の映像を指し示しながら、所定の操作を行うことができる。

（Ｂ）は、他の設定例であり、表示面３の一部の領域に対し、操作面４の領域が重畳している。この設定例では、ユーザは、表示面３の非重畳の領域の映像を見ながら、操作面４のみで所定の操作を行うことができる。操作面４の領域には、例えば専用のコマンド等が表示されてもよい。

（Ｃ）は、他の設定例であり、壁面２０１の表示面３とは全く重畳せずに独立した位置に、例えば水平面を持つ台やパッド等の物体上に、操作面４が設けられている。表示面３の座標系と操作面４の座標系とが相関しており、面内位置が対応関係を有する。この設定例では、ユーザは、表示面３から離れた位置で、表示面３を見ながら、手元の操作面４で所定の操作を行うことができる。

［第１検出方式−光および影］
図５〜図７は、第１検出方式で、照明装置５０（５１，５２）の照明に基づいた、操作物７である指３００と壁面２０１の操作範囲２０３との接触有無に応じた影の形状の例等を示す。図５は、非接触状態の指３００に対する照明光および影について示す。図５の（Ａ），（Ｂ）は、正面図（Ｘ−Ｙ面）を示す。図５の（Ｃ），（Ｄ）は、（Ａ），（Ｂ）に対応して、鉛直上方から見た上面図（Ｘ−Ｚ面）を示す。（Ｃ），（Ｄ）のように、指３００（例えば人差し指）は、壁面２０１（撮像範囲２０３）との間に距離ＤＦを有し、接触していない状態（「非接触状態」）である。

この場合、（Ｃ）のように、右側の照明装置５２が点灯である場合には、右側の照明装置５２からの照明光（赤外光）が指３００に当たって遮断されて影が投影されることで、（Ａ）のように、左側の影３０１が生じている。同様に、（Ｄ）のように、左側の照明装置５１が点灯である場合には、左側の照明装置５１からの照明光（赤外光）が指３００に当たって遮断されて影が投影されることで、（Ｂ）のように、右側の影３０２が生じている。左右の照明装置５１，５２の両方が点灯している場合には、それらの影３０１，３０２が同時に生じる。このように、非接触状態では、撮像範囲２０３の光学像（カメラ５の画像）において、指３００と左右の影３０１，３０２との間の距離が大きい。

図６は、同様に、接触状態の指３００に対する照明光および影について示す。図６の（Ｃ），（Ｄ）のように、指３００は、壁面２０１（撮像範囲２０３）との距離ＤＦが０であり、接触している状態（「接触状態」）である。この場合、（Ａ），（Ｃ）のように、右側の照明装置５２による左側の影３０１と、（Ｂ），（Ｄ）のように、左側の照明装置５１による右側の影３０２とが生じる。このように、接触状態では、撮像範囲２０３の光学像（カメラ５の画像）において、指３００と左右の影３０１，３０２との間の距離が小さい。

図７は、第１検出方式において、操作物７である指３００と壁面２０１の撮像範囲２０３との距離ＤＦに応じた影の形状の違いを比較で示す。図７では、左側の影３０１および右側の影３０２が１つの画像で得られた場合の様子を模式的に示す。図７の（Ａ）は、指３００と壁面３０２との距離ＤＦが小さいまたは０の場合であり、（Ｂ）は、距離ＤＦが中程度の場合であり、（Ｃ）は、距離ＤＦが大きい場合である。

指３００と壁面２０１との距離が最も近い場合、（Ａ）のように、左側の影３０１と右側の影３０２とが指３００の指先位置で接近した状態となる。指先に関する影３０１と影３０２との距離ｄ１が小さい。指３００と壁面２０１とが離れるほど、影３０１と影３０２との距離が次第に大きくなる。距離ＤＦが中程度である（Ｂ）の場合では、その距離が距離ｄ２となる。指３００と壁面２０１との距離が最も遠い場合では、（Ｃ）のように、左側の影３０１と右側の影３０２とが指先位置に対してそれぞれ離れた状態となる。指先に関する影３０１と影３０２との距離ｄ３が大きい。このように、左側の影３０１と右側の影３０２との距離（ｄ１，ｄ２，ｄ３）は、指３００と壁面２０１との距離ＤＦと相関している。

例えば、（Ａ）で、左側の影３０１の領域における左外周側の輪郭線Ｌ１や、右側の影３０２の領域における右外周側の輪郭線Ｌ２を有する。さらに、影３０１の領域および輪郭線Ｌ１のうちＹ方向で最も先端にある先端点ｐ１の画素や、影３０２の領域および輪郭線Ｌ２のうちＹ方向で最も先端にある先端点ｐ２の画素を有する。同様に、（Ｂ），（Ｃ）の場合でも、それぞれの輪郭線Ｌ１，Ｌ２、先端点ｐ１，ｐ２を有する。また、例えば、（Ａ）で、左右の先端点ｐ１，ｐ２の画素間の距離を、距離ｄ１で示す。指３００の指先点（先端点間の中間点）を点Ｐ１で示す。同様に、（Ｂ）の場合、距離ｄ２、点Ｐ２を有する。（Ｃ）の場合、距離ｄ３、点Ｐ３を有する。ｄ１＜ｄ２＜ｄ３である。影領域抽出部１０１は、上記のような影領域、輪郭線、先端点等を検出する。

接触候補検出部１０２は、このような左右の影の先端点間の距離（影間距離）を算出し、その距離を閾値と比較することで、撮像範囲２０３（操作面４）に対する指先（操作物７）の接触有無を判定できる。具体的には、接触候補検出部１０２は、その距離（影間距離）が、距離閾値以下である場合には、接触状態と推定し、距離閾値より大きい場合には、非接触状態と推定する。また、接触候補検出部１０２は、左右の影の先端点ｐ１，ｐ２における中間点の画素を、接触候補点として推定することができる。例えば、（Ａ）の場合、接触候補点として、点Ｐ１（対応する画素の位置座標）が得られる。

［棒状の物体の場合］
図８は、操作面４に接触する操作物７が、指ではなく棒状の物体８００である場合の、照明および影について示す。（Ａ）は接触状態、（Ｂ）は非接触状態の場合を示す。ユーザは、手に棒状の物体８００、例えば指示棒を持ち、その物体８００の先端によって、操作面４に対する操作を同様に行う。（Ａ）の接触状態では、左側の影８０１と右側の影８０２との距離が小さい。（Ｂ）の非接触状態では、左側の影８０１と右側の影８０２との距離が大きい。このように、操作物７が棒状の物体８００である場合にも、同様の機能が実現できる。

なお、物体８００は、光や音や他の信号を自ら発生する機構を備えていない。特許文献２の例では、操作物から発信される信号を検出する構成を採っている。本発明における基本的な仕組みでは、操作物から発信される信号を検出する構成は採らない。各実施の形態で、操作物７である指または棒状の物体は、自ら信号を発生する物ではない。操作検出装置２は、操作物７から発する信号を用いて検出を行う物ではない。

［状態と動作の例］
図９の（Ａ）は、操作面４に対する操作物７（指）の状態と動作の例を示し、（Ｂ）は、（Ａ）に対応する時系列の検出データＤ１の例を示す。操作検出装置２は、総称して「接触の状態」（state of contact）を検出、認識する装置であるが、より詳しくは、静的な状態としての「接触（contact）」（接触有り、接触状態と記載する場合がある）と「非接触（non-contact）」（接触無し、非接触状態と記載する場合がある）とを区別して認識する接触認識機能を少なくとも備える装置である。

（Ａ）で、時系列上の各時点の操作物７（指）の状態の例として、指７１〜指７５を示す。第１時点ｔ１での第1状態として、指７１は非接触状態である。第２時点ｔ２での第２状態として、指７２は接触状態である。第１状態から第２状態への変化は、動作として、接面動作に対応する。第２時点ｔ２の第２状態の第１接触点の位置座標を（ｘ１，ｙ１）とする。この際、指先が操作面４の物体（壁面２０１）を例えば叩くように接触することで、接触音が発生する。

次に、ユーザは、第１接触点から指を接触させたまま横に移動させている。第３時点ｔ３での第３状態として、指７３は接触状態である。第３時点ｔ３の第３状態の第２接触点の位置座標を（ｘ２，ｙ２）とする。第４時点ｔ４での第４状態として、指７４は接触状態である。第４時点ｔ４の第４状態の第３接触点の位置座標を（ｘ３，ｙ３）とする。この際、指先が操作面４の物体（壁面２０１）上を例えば擦るように接触したまま移動することで、接触音が発生する。第２状態から第３状態、第４状態への変化は、動作として、接触移動動作に対応する。

次に、ユーザは、第３接触点から指を離している。第５時点での第５状態として、指７５は、非接触状態である。第４状態から第５状態への変化は、動作として、離面動作に対応する。この離面動作の際には、接触音が生じない。

操作検出装置２（接触認識部２０）は、第１検出結果と第２検出結果との両方を判断することで、上記のような各状態を判定でき、動作判定部１３は、時系列の複数の状態を判断することで、各動作を判定することができる。

（Ｂ）で、時系列上の複数の検出データＤ１の例を示す。第１時点ｔ１〜第５時点ｔ５では、検出データｄ１〜ｄ５が得られる。第１時点ｔ１の検出データｄ１は、非接触状態を表す値、例えば値０を含む。第２時点ｔ２の検出データｄ２は、接触状態を表す値、例えば値１と、第１接触点位置座標（ｘ１，ｙ１）とを含む。第３時点ｔ３の検出データｄ３は、接触状態の値１と、第２接触点位置座標（ｘ２，ｙ２）とを含む。第４時点ｔ４の検出データｄ４は、接触状態の値１と、第３接触点位置座標（ｘ３，ｙ３）とを含む。第５時点ｔ５の検出データｄ５は、非接触状態の値０を含む。動作判定部１３は、これらの時系列の時点毎の検出データＤ１の情報から、分析によって、指に関する接面動作、接触移動動作、離面動作等を判定できる。

実施の形態１の接触認識処理では、図９のように、接面動作に係わる状態を判定する際には、画像と音との両方から状態を判定し、離面動作に係わる状態を判定する際には、接触音を伴わないので、画像から状態を判定する。

なお、動作判定部１３で判定される所定の動作の例は、タッチ動作、タップ動作、スワイプ動作、フリック動作が挙げられる。なお、ここでは、タッチパネルでの用語を流用している。タッチ動作は、一定時間以上同じ位置を接触し続ける動作である。タップ動作は、ある位置に短い時間で接触してから離す動作である。スワイプ動作は、ある位置から接触したまま別の位置へ移動する動作である。フリック動作は、ある位置に接触してから離しつつ別の位置へ移動する動作である。

［第１検出方式−処理］
図１０は、第１検出方式の第１検出処理の処理フローを示す。第１検出部２１（影領域検出部１０１および接触候補検出部１０２）は、この第１検出処理を行う。図１０の処理フローは、ステップＳ１０１〜Ｓ１０４を有する。図１０のフローは、ある時点の１回分の処理を示すが、この処理がループで時点毎に同様に連続して繰り返される。以下、各フローについては、ステップの順に説明する。

（Ｓ１０１） 影領域検出部１０１では、入力画像に基づいて、図７のように、指３００の左側の影３０１の領域、右側の影３０２の領域を検出し、特に、左側の影３０１の領域の先端点ｐ１、右側の影３０２の領域の先端点ｐ２を検出する。先端とは、照明装置５０、カメラ５、操作面４、および操作物７の位置関係に応じて決まる方向の先端であり、実施の形態１では、Ｙ方向で最も上側にある画素である。

（Ｓ１０２） 接触候補検出部１０２は、左側の影３０１の先端点ｐ１と右側の影３０２の先端点ｐ２との距離（ｄ）を計算する。接触候補検出部１０２は、その距離（ｄ）が、設定された閾値（ｄｔ）以下であるか否かを判断する。その距離（ｄ）が閾値（ｄｔ）以下である場合（Ｙ）にはＳ１０３へ進み、閾値（ｄｔ）より大きい場合（Ｎ）にはＳ１０４へ進む。

（Ｓ１０３） 接触候補検出部１０２は、指が壁面２０１の操作範囲２０３に接触している「接触状態」であると推定する。そして、接触候補検出部１０２は、図７のように、先端点ｐ１と先端点ｐ２との中間点（Ｐ）の画素をとり、その画素の位置座標を、接触候補点として検出する。接触候補検出部１０２（第１検出部２１）は、上記「接触状態」（例えば値１）および接触候補点位置座標を含む第１検出結果情報を記憶し、出力する。

（Ｓ１０４） 接触候補検出部１０２は、指が壁面２０１の操作範囲２０３に接触していない「非接触状態」であると推定する。接触候補検出部１０２は、「非接触状態」（例えば値０）を含む第１検出結果情報を記憶し、出力する。なお、上記「非接触状態」の時には何の情報も出力しない形態としてもよく、同様の効果が得られる。

影領域抽出部１０１等で行う画像処理等のアルゴリズムは、上述のものに限らず、同様の機能を果たすものであれば、他のアルゴリズムを用いてもよい。

［第２検出方式−処理］
図１１は、第２検出方式の第２検出処理の処理フローを示す。第２検出部２２（接触音検出部１０３）は、この第２検出処理を行う。図１１の処理フローは、ステップＳ２０１〜Ｓ２０４を有する。図１１のフローは、ある時点の１回分の処理を示すが、この処理はループで時点毎に同様に連続して繰り返される。

（Ｓ２０１） 接触音検出部１０３は、マイク６による入力音データに対し、設定された一定の時間区間（図１２の音処理単位ＳＵ）毎に、音の大きさ（例えば音圧［dB］）を計算する。この時間区間（音処理単位ＳＵ）の長さは、図１２のように、第１検出方式の画像フレームの時間よりも短い。

（Ｓ２０２） 接触音検出部１０３は、Ｓ２０１で計算された時間区間毎の音の大きさに基づいて、設定された一定の時間閾値（Ｔｔ）以上で連続して、かつ、設定された一定の音の大きさの閾値（Ｓｔ）以上で、その音が生じているかどうかを判断する。言い換えると、接触音検出部１０３は、閾値（Ｓｔ）以上の音の大きさとなった時間区間（音処理単位ＳＵ）が連続している数が、所定数以上であるかを判断する。Ｓ２０２の条件を満たした場合（Ｙ）にはＳ２０３に進み、満たさない場合（Ｎ）にはＳ２０４へ進む。

（Ｓ２０３） 接触音検出部１０３は、操作面４に操作物７が接触することで音が生じている状態に対応する「接触音有り」の状態と判断する。接触音検出部１０３は、「接触音有り」（例えば値１）を含む第２検出結果情報を記憶し、出力する。

（Ｓ２０４） 接触音検出部１０３は、操作面４から音が生じていない状態に対応する「接触音無し」の状態と判断する。接触音検出部１０３は、「接触音無し」（例えば値０）を含む第１検出結果情報を記憶し、出力する。なお、上記「接触音無し」の時には何の情報も出力しない形態としてもよく、同様の効果が得られる。

なお、前述の図２の構成のように、操作検出装置２の近くに、冷却装置１６等の動作音を生じる部分が存在する場合、その動作音が、マイク６での入力を通じて、上記第２検出処理に影響する恐れがある。そのため、前述のように、音に関する制御を行う機能を有することがより好ましい。その機能により、上記処理フローにおける音の大きさの閾値（Ｓｔ）等の閾値について、環境や動作音の状況を考慮して適応的に好適な値が設定される。接触音検出部１０３で行う音処理のアルゴリズムは、上述のものに限らず、同様の機能を果たすものであれば、他のアルゴリズムを用いてもよい。例えば、壁面２０１や操作物７に応じて、接触音に特定の周波数が含まれる場合に、その特定の周波数から接触音を検出するアルゴリズムを用いてもよい。

［画像処理および音処理］
図１２は、第１検出方式の画像処理と第２検出方式の音処理との時間関係および処理例を模式的に示す。図１２は、横軸を時間とし、縦方向の各行には、画像、第１検出、音波、音処理単位ＳＵ、第２検出を示す。１行目の画像は、カメラ５の動画の画像フレームであり、例えば、画像フレームｆ１、画像フレームｆ２を示す。フレームレートは例えば３０〜６０フレーム／秒である。２行目の第１検出は、第１検出処理の検出結果を示す。例えば、画像フレームｆ１については「非接触状態」、次の画像フレームｆ２については「接触状態」と推定されている。３行目の音波は、マイク６の入力音信号を示す。４行目の音処理単位ＳＵは、音処理のための時間区間を示し、例えば、各画像フレームの時間において、区間ｓ１〜ｓ８の８個の区間を有する場合を示す。５行目の第２検出は、第２検出処理の検出結果を示す。図１１のＳ２０２のように、時間区間毎に、音の大きさが閾値（Ｓｔ）以上であるか等が判断される。丸印（○）は、音の大きさ（音圧）が閾値（Ｓｔ）以上であることを示し、バツ印（×）は閾値（Ｓｔ）未満であることを示す。例えば、画像フレームｆ２の時間のうちの区間ｓ２〜ｓ４では、閾値（Ｓｔ）以上の状態（○）となっている。音圧が閾値（Ｓｔ）以上となる区間が連続する時間の例を、継続時間ＴＣとして示す。図１１のＳ２０２のように、継続時間ＴＣが閾値（Ｔｔ）以上である場合、「接触音有り」と判断される。

画像に現れる接触の状態と、音に現れる接触の状態とでは、時間差が生じる場合がある。時間差の例を、時間差ＴＤで示す。時間差ＴＤは、ある画像フレームで「接触状態」と推定されたタイミングと、それよりも細かい時間単位で「接触音有り」と推定されたタイミングとの差である。操作検出装置２は、時間差ＴＤが、所定の時間差閾値以内である場合には、その状態の推定を有効とし、所定の時間差閾値を越える場合には、無効とする。

［接触認識処理（１）］
図１３は、接触認識部２０（接触状態検出部１０４）による接触認識処理（接触状態検出処理）の処理フローを示す。図１３の処理フローは、ステップＳ３０１〜Ｓ３０５を有する。図１３のフローは、１回分の処理を示すが、実際にはループで同様に連続して繰り返される。

（Ｓ３０１） 接触状態検出部１０４は、第１検出結果情報において、「接触状態」と推定され、接触候補点位置座標が検出されているかどうかを確認、判定する。「接触状態」とされている場合（Ｙ）にはＳ２０２に進み、検出されていない場合（Ｎ）にはＳ３０５に進む。

（Ｓ３０２） 接触状態検出部１０４は、第２検出結果情報において、「接触音有り」と推定されているかどうかを確認、判定する。「接触音有り」とされている場合（Ｙ）にはＳ３０３に進み、されていない場合（Ｎ）にはＳ３０５に進む。

（Ｓ３０３） 接触状態検出部１０４は、第１検出結果の「接触状態」の検出タイミングと、第２検出結果の「接触音有り」の検出タイミングとの時間差（図１２の時間差ＴＤ）が、設定された所定の時間差閾値（ＴＤｔ）以内であるかどうかを確認、判定する。その時間差が、時間差閾値（ＴＤｔ）以内である場合（Ｙ）にはＳ３０４へ進み、時間差閾値（ＴＤｔ）を超える場合（Ｙ）にはＳ３０５へ進む。両方の検出タイミングの時間差が大きい場合、第２検出結果の接触音が第１検出結果の接触状態および接触候補点に対応する接触音ではないと推定できる。そのため、本処理フローでは、Ｓ３０３の判断を行っている。

（Ｓ３０４） 接触状態検出部１０４は、上記のように、Ｓ３０１、Ｓ３０２、Ｓ３０３の条件をＡＮＤ条件として満たす場合に、Ｓ３０４で、総合判定として、「接触状態」と判定する。そして、接触状態検出部１０４は、第１検出結果情報における「接触状態」に対応する接触候補点の位置座標を、接触点の位置座標として決定する。接触状態検出部１０４は、時点の識別情報と共に、「接触状態」（例えば値１）および接触点の位置座標を含む情報を記憶し、検出データとして出力する。

（Ｓ３０５） 接触状態検出部１０４は、総合判定として、「非接触状態」と判定する。接触状態検出部１０４は、時点の識別情報と共に、「非接触状態」（例えば値０）を含む情報を記憶し、検出データとして出力する。なお、「非接触状態」と判定した場合には何の情報も出力しない形態としてもよい。図１３の処理フローの１回のループは、ある時点での指に関する静的な状態を認識する処理を示す。この処理で得られた検出データが、同様に時系列の時点毎に得られる。

図１３の処理によれば、図９の接面動作や離面動作の際に各状態を検出可能である。特に、接面動作の際に、接触音に関する判断をＡＮＤ条件として反映するので、接面動作の際の接触状態を高精度に検出可能である。例えば、ユーザが、指先を、操作面４のぎりぎりまで近付けているが、接触していない場合、接触音が無いので、図１３の処理によれば、Ｓ３０１でＹ、Ｓ３０２でＮとなり、Ｓ３０５で「非接触状態」と判定できる。また、ユーザが、指先を、ゆっくりと静かに操作面４に接触させた場合、接触音が殆ど無いので、図１３の処理によれば、Ｓ３０１でＹ、Ｓ３０２でＮとなり、Ｓ３０５で「非接触状態」と判定される。

［接触認識処理（２）］
図１４は、図１３の接触認識処理に関する変形例の処理フローを示す。図１４の処理フローは、図１３の処理フローを一部変更して拡張したものである。図１４では、図１３に対し、Ｓ３０１とＳ３０２との間に、ステップＳ３０６，Ｓ３０７が追加されている。

例えば、図９中の接触移動動作の例のように、操作面４に指が接触した後に接触したまま移動する動作の際にも、図１３と同様の処理を行うことで、各状態および動作を検出可能である。さらに、より高精度を実現するために、図１４の処理を適用してもよい。

（Ｓ３０６） Ｓ３０１の後のＳ３０６では、接触認識部２０（接触状態検出部１０４）は、時間的に前の画像フレーム（１つ前のループの処理）で、結果として「接触状態」および接触点が検出されているかどうかを確認、判定する。検出されている場合（Ｙ）にはＳ３０７へ進み、検出されていない場合（Ｎ）にはＳ３０２へ進む。このＳ３０６で、検出されている場合（Ｙ）とは、前画像フレームおよび現画像フレームで「接触状態」が続いたことに対応する。すなわち、Ｓ３０６では、操作面４に指が一旦接触した後に離れていないという状態が判断可能である。

（Ｓ３０７） Ｓ３０７では、接触認識部２０は、前画像フレームの接触点と現画像フレームで検出された接触候補点との距離（Ｌとする）をみる。接触認識部２０は、その距離Ｌが、設定された所定の閾値（Ｌｔ）以下で小さいかどうかを確認、判定する。閾値（Ｌｔ）以下の場合（Ｙ）にはＳ３０４へ進み、閾値（Ｌｔ）より大きい場合（Ｎ）にはＳ３０２へ進む。Ｓ３０４では、前述のように、「接触状態」と最終判定される。Ｓ３０２では、前述のように、第２検出結果が確認される。Ｓ３０７では、時点間（画像間）での指の動きを判断している。Ｓ３０７でＹの場合、指が移動していないことに対応し、Ｓ３０７でＮの場合、指が移動していることに対応する。

上記変形例の場合、図９の接触移動動作等の動作を行った場合にも、より確実にその状態や動作を検出できる。例えば、ユーザが、指先を、操作面４に接触させてからそのままの状態とした場合、接触音は最初の接触時のみであるが、Ｓ３０６でＹ、Ｓ３０７でＹとなり、Ｓ３０４で「接触状態」と判定できる。また、例えば、ユーザが、指先を、操作面４に接触させてから接触したまま移動させた場合、接触音が継続して生じるが、Ｓ３０６でＹ、Ｓ３０７でＮ、Ｓ３０２でＹ、Ｓ３０３でＹとなり、Ｓ３０４で「接触状態」と判定できる。なお、図１４の処理フローでは、一部に動作判定が含まれているといえる。すなわち、操作検出装置２の接触認識部２０に、動作判定部１３の一部の処理を含む形態となっている。

［ＧＵＩ操作例］
映像表示装置１が表示面３にＧＵＩ（グラフィカル・ユーザ・インタフェース）等の情報を表示し、ユーザが操作物７によって表示面３上の操作面４に対し動作を行い、動作に応じて所定の制御が行われる場合の具体例は以下である。映像表示装置１の制御部１１は、表示面３の映像において、ボタン等のＧＵＩ部品や、操作物７の位置座標に合わせたカーソル（操作物７の位置を表す画像）を表示する。操作検出装置２は、表示面３に重畳された操作面４に対する操作物７の接触や位置座標を検出し、検出データＤ１を出力する。映像表示装置１の制御部１１は、検出データＤ１に基づいて、操作物７の位置座標に合わせて、カーソルを表示する。また、制御部１１は、検出データＤ１および動作判定部１３に基づいて、操作物７の接触点の位置座標が、所定のボタンの位置にあり、接面動作である場合には、ユーザが指でそのボタンを押した動作（例えばタッチ動作）であると判断する。制御部１１は、そのボタンを押した動作に応じて、そのボタンに対応付けられて規定されているコマンド処理を実行する。

［効果等（１）］
上記のように、実施の形態１の映像表示装置１によれば、光学センサと非光学センサとを併用した操作検出を実現し、従来技術例の光学センサのみの検出方式の場合よりも、検出の精度を向上できる。高精度の接触認識の実現によって、ユーザが違和感少なく操作できる等、ユーザの操作性を向上できる。従来、操作面に対しユーザの操作物による接触の操作が行われた場合に、光学センサのみの方式の場合では、高精度に接触を認識できないような場合がある。実施の形態１によれば、この場合でも、非光学センサを同時利用することで、高精度に接触を認識することができる。また、従来、非光学センサのみを用いて接触音から接触を検出する方式の場合、操作面から操作物が離れる動作等の場合には、非接触状態が検出できない。実施の形態１によれば、その場合でも、光学センサを同時利用することで、高精度に非接触を認識することができる。

ユーザは、壁面２０１や他の面状物体に、操作検出装置２を設置することで、指等による接触操作が可能な操作面４を利用可能となる。検出精度が上がることで、操作面４を構成できる面状物体やそれを含む環境が増えるので、ユーザの利便性が高くなる。

また、例えばユーザが壁面で指を接触させたまま移動させる動作、特に指の動きが速い動作（タッチパネルでいうフリック等の動作）の場合、カメラの画像からのみでは検出しにくい場合がある。実施の形態１によれば、その場合でも、第２検出方式の併用で、指の移動時の接触音を利用して検出することができる。

他の実施の形態（変形例）として以下も可能である。各実施の形態で、各構成要素は、１つまたは複数の部分として構成されてもよい。例えば、図２の影領域抽出部１０１および接触候補検出部１０２が１つの回路で構成されてもよい。例えば、影領域抽出部１０１が、影領域を抽出する処理部、輪郭線を抽出する処理部、等に分けて構成されてもよい。

（１） 図２のように、操作検出装置２内に、さらに動作判定部１０５を備えてもよい。この場合、映像表示装置１の制御部１１側には、動作判定部１３を備えなくてもよい。動作判定部１０５は、接触状態検出部１０４（または接触認識部２０）の出力する検出データを用いて、所定の動作（例えば図９の接面動作等）を判定し、判定結果の動作情報を含む検出データを出力する。操作検出装置２は、状態および動作を含む検出データを、映像表示装置１の制御部１１へ出力する。

（２） 実施の形態１では、左右の２つの照明装置５０（５１，５２）を同時に点灯させた状態でカメラ５によって撮像する構成としたが、これに限らず可能である。変形例では、２つの照明装置５１，５２を時間的に分離した各タイミングで交互に点灯させて、カメラ５で各タイミングに合わせて第１画像と第２画像とを交互に撮像してもよい。この場合、図５のような２つの画像が得られる。操作検出装置２は、２つの画像をそれぞれ処理し、１つの画像に統合して、図７のような判定等を行えばよい。

（３） 実施の形態１では、操作検出装置２から検出データＤ１を映像表示装置１の制御部１１に出力する構成としたが、これに限らず可能である。例えば、映像表示装置１には、さらに、ＰＣ等の外部の１台以上の装置が接続される場合がある。例えば、ＰＣは、表示対象の映像データを映像表示装置１に送信する。操作検出装置２から検出データを映像表示装置１の制御部１１に送信し、さらに映像表示装置１の制御部１１から検出データまたはそれに基づいた制御データ等を、ＰＣ等の外部の１台以上の装置へ出力してもよい。ＰＣ等の装置は、検出データや制御データを用いて所定の制御を行うことができる。

（４） 実施の形態１では、図３のように、特に、映像表示装置１の１つの筐体に、各要素を統合的に具備することを優先した構成を示した。これに限らず、映像表示装置１（あるいは操作検出装置２）から各要素を分離して配置する各種の構成も可能である。実施の形態１における、操作面４に対する、照明装置５０、カメラ５、マイク６等の各要素の配置位置については、図３の設置構成例に限らず、基本的にはある程度の自由な範囲内で他の配置位置が可能である。例えば、カメラ５については、２つ以上のカメラを設け、それらのカメラを異なる位置に配置してもよい。この変形例では、２つ以上のカメラによって１つの撮像範囲２０２を分担または重複して撮像し、２つ以上のカメラによる複数の画像を用いて、接触の状態を検出する。

（５） 図３の壁面２０１は、操作面４が構成される面状物体として平面を持つ場合を示したが、操作面４が構成される面状物体としては、平面を持つ物体に限らず、曲面等を持つ任意の物体も適用可能である。例えば、学校のホワイトボード等の曲面を持つ物体に対しても、操作面４を構成可能である。

（６） 第１検出方式の照明装置５０やカメラ５の設定、第２検出方式のマイク６の設定、各処理の閾値等のパラメータの調整・設定については、映像表示装置１の起動時等に、環境に合わせた初期化処理等で、その調整・設定処理を行うようにしてもよい。

［変形例（１−１）］
図１５は、変形例の映像表示装置１および操作検出装置２の構成を示す。この変形例では、映像表示装置１と操作検出装置２とが別の装置として分離されて構成されており、映像表示装置１と操作検出装置２とが通信で接続され連携する。また、操作検出装置２は、動作判定部１０５を備えており、映像表示装置１は動作判定部１３を備えていない。操作検出装置２は、実施の形態１と同様に操作検出機能（接触認識機能）を有し、検出データＤ１Ｂを、通信を通じて、映像表示装置１へ送信する。

動作判定部１０５は、接触状態検出部１０４の検出データを入力し、その検出データの分析に基づいて、前述と同様に、所定の動作を判定し、判定結果の動作情報を含む検出データを出力する。制御部１１０は、動作判定部１０５からの検出データを用いて、状態および動作情報を含む検出データＤ１Ｂを構成し、出力部１１１を制御して、映像表示装置１の制御装置１１へ送信させる。映像表示装置１は、操作検出装置２からの検出データＤ１Ｂを受信し、その検出データＤ１Ｂ内の状態や位置座標や動作の情報を用いて、所定の制御処理を行う。この変形例の場合、映像表示装置１と操作検出装置２とを異なる位置に設置することができる。

［変形例（１−２）］
実施の形態１では、第１検出方式として、光学センサであるカメラ５の画像を用いて、影の判断によって接触の状態を検出する方式としたが、この方式に限らず適用可能である。具体的には、以下の方式が挙げられる。第１例の方式として、操作面４（例えば図３のＸ−Ｙ面）に対して平行な面において、線状のレーザ光等の光を投射して、その投射光の指（操作物７）からの反射光を検出し、その反射光に基づいて指の接触の状態を検出する方式が挙げられる。

図１６は、その第１例の方式に対応する変形例の映像表示装置１の設置構成例および第１検出方式を示す。図１６ではＹ−Ｚ面を示す。机等の物体１６０の水平面（Ｘ−Ｙ面）上に、映像表示装置１が設置されている。物体１６０の水平面に操作範囲２０３が構成されている。映像表示装置１は、光学センサとして、光投射・検出部１６１を備える。光投射・検出部１６１は、操作範囲２０３からＺ方向の上方に所定の距離で離れた平行面に、線状の光（投射光）１６２を投射し、操作範囲２０３をカバーするように、その光１６２による走査を行う。その光１６２は、ユーザの指等の操作物７に当たると反射される。光投射・検出部１６１は、その反射された光（反射光）１６３を検出する。光投射・検出部１６１は、この検出光の信号に基づいて、操作面４に対する操作物７の接触／非接触の状態を検出でき、接触時の接触候補点を検出できる。

第２例の方式として、ＴＯＦ（Time Of Flight）センサまたはＴＯＦカメラ等の、対象物の３次元情報（対象物距離情報）が取得可能な光学センサを用いる方式が挙げられる。この方式では、例えばＴＯＦカメラで撮像した画像内に写っている指に関して、ＴＯＦカメラからその指までの距離を、ＴＯＦ原理に基づいて計算する。この方式では、その距離に基づいて、指の画像に関する３次元空間内の位置座標が計算可能である。すなわち、そのような３次元情報から、操作面４に対する操作物７の接触／非接触の状態を検出でき、接触時の接触候補点を検出できる。他の方式として、ステレオカメラを用いる場合、例えば左右の２つのカメラからの２つの画像を用いて、操作物の３次元空間内の位置座標を、ある程度の精度で推定可能である。

［変形例（１−３）］
第２検出方式の非光学センサ（接触の音や振動を検出するための技術的手段）については、マイク６に限らず、類似の機能を持つ他の非光学センサを用いてもよい。そのような非光学センサとしては、例えば、歪センサ、曲げセンサ等が適用可能である。これにより、実施の形態１と類似の効果が得られる。具体的には、例えば図３の壁面２０１または他の面状物体に、直接的に接する状態で、操作範囲２０３に対応する面に、歪センサまたは曲げセンサが設置される。歪センサまたは曲げセンサには、検出回路等が接続されてもよい。操作検出装置２は、操作物７が操作面４に接触した際に発生する振動を、その歪センサまたは曲げセンサを用いて検出する。

図１７は、変形例の映像表示装置の第２検出方式における操作面４の構成例を示す。面状物体１７０上の操作面４において、必要な数の複数の歪センサ（歪ゲージ）１７１が配列されている。歪センサ１７１は、公知の構成を有する。歪センサ１７１は、絶縁体ベース上に、金属箔または半導体を用いた抵抗体がジグザグ形状に配置されている。抵抗体の両端には引き出し線および回路が接続されている。操作面４に対する操作物７の接触によって、歪センサ１７１の抵抗体に対し外力が作用した場合、抵抗体に応力が発生し、応力に比例する歪（ひずみ）が変形として発生し、その歪に応じて電気的抵抗値が変化する。歪センサ１７１は、その抵抗値の変化を電圧値の変化として検出し、ひずみ量を計算する。操作検出装置２は、歪センサ１７１の検出情報を用いて、例えばひずみ量を所定の閾値と比較することで、操作面４に対する操作物７の接触音の有無や、接触候補点の位置座標を推定可能である。公知の曲げセンサを用いる場合、曲げセンサは、材料である抵抗体の曲げに応じた抵抗値の変化を検出するセンサであり、原理的には歪センサと類似である。

（実施の形態２）
図１８を用いて、実施の形態２の映像表示装置について説明する。実施の形態２等における基本的な構成は実施の形態１と同様である。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２では、第２検出方式に関して、操作面の近傍の異なる位置に設置された２つのマイクを用いて、接触音を検出する。

［映像表示装置］
図１８は、実施の形態２の映像表示装置１における設置構成例を示す。（Ａ）は、鉛直に立った壁面２０１（Ｘ−Ｙ面）の操作範囲２０３等を見た正面図、（Ｂ）はＹ−Ｚ面を見た側面図を示す。映像表示装置１は、図３と概略同様に、操作範囲２０３の上方の中央の位置Ｘ１に設置されている。

実施の形態２の映像表示装置１は、非光学センサであるマイク６として、特に２つのマイクとしてマイク６１，６２を備える。（Ａ）で、実施の形態２では、特に２つのマイク６（６１，６２）が、映像表示装置１の本体から接続線１８１を介して分離されて、離れた位置に設置されている。Ｘ方向で中央の位置Ｘ１に対し、左右の２つの位置ＸＬ，ＸＲに、マイク６１，６２が設置されている。本例では、左側のマイク６１が操作範囲２０３の左上の付近の位置ＸＬ、右側のマイク６２が操作範囲２０３の右上の付近の位置ＸＲに配置されている。

（Ｂ）で、マイク６（６１，６２）は、壁面２０１に接して、操作範囲２０３の上方の近傍の位置Ｙ２に設置されている。マイク６（６１，６２）は、操作範囲２０３で発生する音を検出しやすい位置に設置されている。ユーザの操作物７が操作範囲２０３（操作面４）に接触した場合、その際の接触音が壁面２０１を伝わる。マイク６（６１，６２）は、壁面２０１からその接触音を直接的に入力する。なお、実施の形態１の場合、壁面２０１とマイク６とが離れているので、接触音は、壁面２０１から空気を介してマイク６に入力される。

第２検出部２２（接触音検出部１０３）は、２つのマイク６（６１，６２）の入力音データを用いて、操作面４に対する操作物７の接触音の有無を推定する。また、さらに、第２検出部２２（接触音検出部１０３）は、左右の２つの入力音の解析に基づいて、接触有りの場合の接触候補点の位置座標を推定してもよい。なお、マイク６と操作検出装置２との接続は、ＬＡＮやＵＳＢ等の有線接続でもよいし、Ｗｉ−ＦｉやBluetooth（登録商標）等の無線接続でもよい。

［第２検出方式−処理］
実施の形態２の映像表示装置１での第２検出方式の処理フローは以下である。この処理フローは、前述の実施の形態１の図１１の処理フローに対して異なる構成点として以下を有する。図１１のＳ２０１の前に、初期化ステップを有する。操作検出装置２は、まず、この初期化ステップで、以下のような初期化処理を行う。操作検出装置２の接触音検出部１０３は、第２検出方式に関する複数（２つ）のマイク６（６１，６２）について、位置関係等を初期化し、第１検出方式の座標系と第２検出方式の座標系とを合わせる。具体的には、例えば、操作検出装置２は、壁面２０１上の指定位置をユーザの指で接触してもらい、その際の接触音がそれぞれのマイク６１，６２に入力された時刻の差を用いて、２つのマイク６１，６２と壁面２０１の操作範囲２０３との位置関係を初期化する。

その後、Ｓ２０１で、接触音検出部１０３は、２つのマイク６１，６２からのそれぞれの入力音データについて、前述と同様に、区間毎の音の大きさを計算する。Ｓ２０２で、接触音検出部１０３は、それぞれの入力音が、閾値以上の時間および音の大きさで生じているかを判断することで、接触音の有無を推定する。また、接触音検出部１０３は、複数（２つ）の各々の入力音についての判断結果（接触音有無）におけるすべて（両方）において「接触音有り」となった場合（Ｙ）にはＳ２０３へ進み、そうでない場合（Ｎ）にはＳ２０４へ進む。Ｓ２０３では、接触音検出部１０３は、第２検出結果として「接触音有り」と判定する。また、接触音検出部１０３は、複数（２つ）の入力音の情報、例えば２つのマイク６１，６２の接触音の入力の時刻の差から、接触候補点の位置座標を計算できる場合には計算する。接触音検出部１０３は、「接触音有り」の状態および接触候補点の位置座標を出力する。接触音検出部１０３は、Ｓ２０４では「接触音無し」と判定する。

［接触認識処理］
実施の形態２での接触認識処理の処理フローは以下である。この処理フローは、前述の実施の形態１の図１３の処理フローに対して異なる構成点として以下を有する。この処理フローでは、Ｓ３０３とＳ３０４の間に、位置確認のステップが追加されている。Ｓ３０３でＹの場合、このステップに進む。このステップで、操作検出装置２の接触認識部２０（接触状態検出部１０４）は、第１検出結果（Ｓ１０３）の接触候補点の位置座標と、第２検出結果（Ｓ２０３）の接触候補点（音源）の位置座標とを比較し、それらの位置座標の差の距離をみる。接触状態検出部１０４は、その差の距離が、所定の距離閾値以下であるかどうか、すなわち一定の範囲内の近い位置であるかどうかを判断する。接触状態検出部１０４は、その差の距離が、所定の距離閾値以下である場合（Ｙ）には、Ｓ３０４へ進み、否の場合（Ｎ）にはＳ３０５へ進む。

Ｓ３０４で、接触状態検出部１０４は、総合的に「接触状態」と判定し、第１検出結果の接触候補点の位置座標を、接触点位置座標として決定する。Ｓ３０４で、接触状態検出部１０４は、総合的に「非接触状態」と判定する。Ｓ３０４で、他の処理例としては、接触状態検出部１０４は、第１検出結果の接触候補点の位置座標と、第２検出結果の接触候補点の位置座標との中間点をとり、その中間点を、接触点の位置座標として決定してもよい。

上記位置確認のステップで、２つの検出方式の各検出位置のずれが大きい場合、第２検出方式の接触候補点の接触音は、第１検出方式の接触候補点の指による接触音ではない可能性が高いと考えられる。そのため、それらの検出位置が近い場合のみ、指による接触音であると判定している。なお、上記処理フローの変形例として、図１４と同様の変形例が可能であり、Ｓ３０６，Ｓ３０７のステップが同様に追加される。

［効果等（２）］
上記のように、実施の形態２によれば、複数（２つ）のマイク６を用いて接触音に関する推定を行うので、より高精度の接触認識が可能である。

実施の形態２の変形例として、マイク６については、３つ以上を設置し、３つ以上の入力音データを用いて、同様に接触音に関する推定を行ってもよい。また、実施の形態２の変形例として、複数のマイク６が、映像表示装置１等の本体に設けられていてもよいし、マイク６の方向が可変に設定できる形態でもよい。また、マイク６として音入力の指向性を持つマイクを用いて、そのマイク６の指向性の方向が操作範囲２０３を向くように設定してもよい。

（実施の形態３）
図１９等を用いて、実施の形態３の映像表示装置について説明する。実施の形態３では、水平面に映像表示装置１が設置され、水平面に操作面４が構成され、水平面にマイク６が設置されている。

図１９は、実施の形態３の映像表示装置１の設置構成例を示す。（Ａ）は机や台等の物体（面状物体）１９０を鉛直上方から見た上面図（Ｘ−Ｙ面）を示す。（Ｂ）は、物体１９０を横から見た側面図（Ｙ−Ｚ面）を示す。なお、座標系（Ｘ，Ｙ，Ｚ）は図３とは異なる。物体１９０の水平面（Ｘ−Ｙ面）上に、映像表示装置１が設置され、表示面３および操作面４に対応する操作範囲２０３が構成されている。ユーザからみて操作範囲２０３に対しＹ方向の奥側の中央の位置（Ｘ１，Ｙ１）に映像表示装置１が配置されている。映像表示装置１の映像光２０５の投射方向、照明装置５０の照明方向、カメラ５の撮像方向は、物体１９０の水平面上のやや上方の位置から斜め下への方向である。

（Ｂ）で、マイク６は、映像表示装置１の本体の底面に内蔵されている。マイク６は、物体１９０の水平面に接する位置で、操作範囲２０３の近傍の位置に配置されている。実施の形態２と同様に、操作範囲２０３での操作物７の接触音は、物体１９０を伝わり、直接的にマイク６に入力される。

［効果等（３）］
上記のように、実施の形態３によれば、実施の形態１と概略同様の効果が得られる。実施の形態３では、特に、本体に各要素を統合して実装することよりも、音検出の精度を高めることを優先して本体から要素（マイク６）が分離される実装例を示した。物体１９０は、机等の一般的な物体としてもよいし、映像表示装置１とセットで設けられる専用の平板状の物体としてもよい。その専用の物体が、机等の水平面上や、壁面等に設置され、映像表示装置１と接続される。その専用の物体は、表示面３を持つ表示装置やスクリーン媒体としてもよい。その専用の物体には、マイク６が内蔵されてもよいし、照明装置５０やカメラ５等が設けられてもよい。マイク６は、実施の形態２と同様に、複数のマイクとしてもよい。

［変形例（３−１）］
図２０は、実施の形態３の第１変形例の映像表示装置１の設置構成例を示す。図２０では、机等の物体１９０を横から見た側面図（Ｙ−Ｚ面）を示す。この変形例では、同様に、水平面（Ｘ−Ｙ面）に操作範囲２０３が構成されている。映像表示装置１は、水平面の操作範囲２０３に対し、鉛直上方（Ｚ方向）に離間した位置に、例えば室内天井から器具を介して吊り下げられた状態で設置されている。映像表示装置１の映像光２０５の投射方向、照明方向、および撮像方向は、鉛直上方から下方への方向である。また、この変形例では、マイク６は、映像表示装置１の本体から接続線を介して分離されており、物体１９０に接した位置で、操作範囲２０３の近傍の位置に配置されている。マイク６等の接続線および通信インタフェースは、有線でもよいし無線でもよい。

［変形例（３−２）］
図２１は、実施の形態３の第２変形例の映像表示装置１の設置構成例を示す。この変形例の映像表示装置１では、図３の壁面２０１の代わりに、専用の面状物体としてスクリーン媒体２１０を有する。スクリーン媒体２１０は、鉛直に立った壁面等に設置され、Ｘ−Ｙ面を有する。この変形例では、図１５の構成と同様に、本体のプロジェクタである映像表示装置１と、操作検出装置２とが分離されて、接続線２１１（有線または無線）を通じて接続されている。映像表示装置１は、スクリーン媒体２１０に対して手前の所定の距離に位置に配置されている。映像表示装置１からの映像光２０５が、概略的にＺ方向に出射され、スクリーン媒体２１０の表示面３（投射表示面）に投影される。スクリーン媒体２１０のＸ−Ｙ面において、表示面３および操作面４に対応する操作範囲２０３が構成されている。

操作検出装置２は、スクリーン媒体２１０の操作範囲２０３の上方の中央の位置（Ｘ１，Ｙ１）に設置されている。その中央の位置（Ｘ１，Ｙ１）にはカメラ５が配置されている。また、その中央の位置に対し、左右の各位置（ＸＬ，ＸＲの付近）には、接続線を通じて、左右の照明装置５０（５１，５２）が配置されている。また、その中央の位置に対し、左右の各位置（ＸＬ，ＸＲの付近）には、接続線を通じて、左右のマイク６（６１，６２）が配置されている。なお、スクリーン媒体２１０に、照明装置５０やマイク６や接続線が内蔵されていてもよい。スクリーン媒体２１０と操作検出装置２とが一体に実装されていてもよい。スクリーン媒体２１０に対する照明装置５０（５１，５２）やマイク６（６１，６２）の配置位置は、取り付け器具を介してユーザによる調節が可能である。

（実施の形態４）
図２２を用いて、実施の形態４の映像表示装置について説明する。実施の形態４では、映像表示装置の本体と操作範囲との間の位置に、音検出器が配置されている。

図２２は、実施の形態４の映像表示装置１の設置構成例を示す。図２２では、図３と同様に、壁面２０１に、表示面３および操作面４に対応する操作範囲２０３が構成され、操作範囲２０３の上方の位置（Ｘ１，Ｙ１）に映像表示装置１の本体が設置されている。映像表示装置１の本体は、図２２の例では横長形状として、本体の中央のカメラ５に対し左右の位置に照明装置５０（５１，５２）を設けている。

映像表示装置１の本体と、操作範囲２０３の上辺との間の位置（Ｘ１，Ｙ４）には、音検出器６０が設置されている。音検出器６０は、マイク６と、発光部６３と、図示しない内部の回路とを含む。内部の回路は、音検出器６０を制御する制御回路と、接触音検出回路とを含む。制御回路は、発光部６３の発光状態等を制御する。接触音検出回路は、前述の接触音検出部１０３に相当する処理を行う。音検出器６０は、ＩＣ基板等で実装されている。実施の形態４では、音検出器６０内に接触音検出回路があるので、操作検出装置２内の接触音検出部１０３は省略される。

マイク６は、例えば音入力の指向性を持つマイク６とし、そのマイク６の指向性の方向が、操作範囲２０３を向く方向、すなわちＹ方向の下向きとして設定される。マイク６は、Ｙ方向の下側の操作範囲２０３からの音を検出し、上側の映像表示装置１の動作音等を検出しない。

音検出器６０の接触音検出回路は、マイク６の入力音に基づいて、接触音検出部１０３の処理に相当する所定の処理を行って、操作物７による接触音の有無を推定して検出する。そして、音検出器６０の制御回路は、「接触音有り」の状態が検出された場合には、その状態を検出している時間に対応させた時間で、発光部６３を発光させる。発光部６３の発光は、可視光に限らず、カメラ５が撮像可能な波長の発光であればよく、赤外光等でもよい。

本体のカメラ５の撮像範囲２０２は、操作範囲２０３および発光部６３を含む広さで規定されている。カメラ５は、操作範囲２０３と共に、発光部６３での発光または非発光の状態を、画像として得る。操作検出装置２の接触認識部２０（接触状態検出部１０４）は、カメラ５の画像内の発光部６３の領域の発光または非発光の状態を検出することにより、接触音有無の状態を検出し、前述と同様に判定を行う。

［効果等（４）］
上記のように、実施の形態４によれば、実施の形態１と概略同様の効果が得られる。実施の形態４では、特に、マイク６および音処理を行う部分が、映像表示装置１の本体の外部の音検出器６０として実装されている場合を示した。

実施の形態４の変形例として、操作検出装置２に、カメラ５とは別に、音検出器６０の発光部６３と対応させた、発光検出部を設けてもよい。その発光検出部は、音検出器６０の発光部６３の発光状態を検出し、その発光状態に対応する接触音有無を検出し、検出情報を接触状態検出部１０４に出力する。

実施の形態４の変形例として、音検出器６０に発光部６３を備えず、音検出器６０と映像表示装置１（または操作検出装置２）の本体とが、接続線を通じて通信で接続される形態でもよい。この音検出器６０は、接触音有無を含む情報を、接続線を通じて映像表示装置１の本体に送信する。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…映像表示装置、２…操作検出装置、３…表示面、４…操作面、５…カメラ（光学センサ）、６…マイク（非光学センサ）、７…操作物（手指）、１１…制御部、１２…映像表示部、１３…動作判定部、２０…接触認識部、２１…第１検出部、２１Ａ…影接触検出部、２２…第２検出部、２２Ａ…接触音検出部、５０（５１，５２）…照明装置。

Claims (15)

1. 表示面に映像を表示する映像表示装置であって、
   前記表示面に対応付けて設定された操作面と、
   前記操作面に対するユーザの手指を含む操作物による接触を含む操作を検出する操作検出装置と、
   前記操作面上の前記操作物による像を検出する光学センサと、
   前記操作面での前記操作物の接触によって生じる音または振動を検出する非光学センサと、
   を備え、
   前記操作検出装置は、
   前記光学センサの第１検出情報および前記非光学センサの第２検出情報を用いて、前記操作面に対する前記操作物による接触または非接触を含む状態を検出し、検出データを出力し、
   前記第１検出情報から前記操作面と前記操作物との接触有りの状態を検出し、かつ、前記第２検出情報から前記接触有りの状態に対応する音または振動を検出した場合に、総合的に接触状態であると判定する、
   映像表示装置。
2. 請求項１記載の映像表示装置において、
   前記操作検出装置は、前記第１検出情報に基づいて、前記操作面に対する前記操作物の前記接触の場合の接触候補点の位置座標を計算し、前記総合的な判定結果で前記接触状態である場合には、前記接触候補点の位置座標を、接触点の位置座標として、前記検出データの一部として出力する、
   映像表示装置。
3. 請求項２記載の映像表示装置において、
   前記操作面に照明を与える照明装置である第１照明装置および第２照明装置を備え、
   前記非光学センサは、前記第１照明装置の第１照明による第１像と、前記第２照明装置の第２照明による第２像とを含む画像を撮像するカメラを有し、
   前記操作検出装置は、前記カメラの前記第１検出情報である前記画像から、前記操作面上の前記操作物の影を検出し、前記影の状態の判断に基づいて、前記接触の有無の状態を判断し、前記接触候補点の位置座標を計算する、
   映像表示装置。
4. 請求項１記載の映像表示装置において、
   前記非光学センサは、音を入力するマイクを有し、
   前記操作検出装置は、前記マイクの前記第２検出情報である音信号から、時間区間毎の音の大きさまたは周波数の判断に基づいて、前記操作面での前記操作物の接触音の有無の状態を判断する、
   映像表示装置。
5. 請求項１記載の映像表示装置において、
   動作判定部を備え、
   前記操作検出装置は、時系列の時点毎に、前記状態を表す前記検出データを出力し、
   前記動作判定部は、前記検出データにおける時点毎の状態の変化を判断することで、前記操作面に対する前記操作物による動作を判定し、判定結果を含むデータを出力し、
   前記動作は、前記操作面に前記操作物が接触した接面動作と、前記操作面から前記操作物が離れた離面動作と、前記操作面に前記操作物が接触したまま移動する接触移動動作と、を含む、
   映像表示装置。
6. 請求項１記載の映像表示装置において、
   前記操作検出装置は、前記第１検出情報に基づいた前記接触有りの状態のタイミングと、前記第２検出情報に基づいた前記音または振動のタイミングとの時間差が、閾値以下である場合には、前記総合的な判定結果を前記接触状態とする、
   映像表示装置。
7. 請求項１記載の映像表示装置において、
   前記非光学センサは、音を入力する複数のマイクを有し、
   前記操作検出装置は、前記複数のマイクの各々のマイクの前記第２検出情報である音信号に基づいて、前記接触有りの状態に対応する接触音の有無を推定し、前記複数のマイクの各々のマイクに基づいた複数の各々の推定結果のすべてにおいて接触音有りである場合には、前記総合的な判定結果を前記接触状態とする、
   映像表示装置。
8. 請求項２記載の映像表示装置において、
   前記非光学センサは、音を入力する複数のマイクを有し、
   前記操作検出装置は、
   前記複数のマイクの各々のマイクの前記第２検出情報である音信号に基づいて、前記接触有りの状態に対応する接触音の有無を推定し、推定結果において接触音有りである場合には、接触候補点の位置座標を計算し、
   前記第１検出情報に基づいた前記接触候補点の位置座標と、前記第２検出情報に基づいた前記接触候補点の位置座標との距離が、閾値以内である場合には、前記総合的な判定結果を前記接触状態とする、
   映像表示装置。
9. 請求項１記載の映像表示装置において、
   前記非光学センサは、音を入力するマイクを有し、
   前記マイクは、前記操作面が構成される面状物体の面に接する位置に配置されている、
   映像表示装置。
10. 請求項１記載の映像表示装置において、
    前記非光学センサを含む検出器を備え、
    前記操作面の一辺の外側の第１位置に、前記映像表示装置の本体が配置され、前記操作面の一辺と前記第１位置との間の第２位置に、前記検出器が配置され、
    前記検出器は、前記第２検出情報から前記接触有りの状態に対応する音または振動を検出した場合、検出情報を前記操作検出装置に送信し、または前記検出情報を表す発光を行い、
    前記操作検出装置は、前記検出器からの前記検出情報を受信する、または前記発光を検出することで前記検出情報を取得する、
    映像表示装置。
11. 表示面に映像を表示する映像表示装置における映像表示方法であって、
    前記表示面に対応付けて設定された操作面に対するユーザの手指を含む操作物による接触を含む操作を検出する操作検出ステップを有し、
    前記操作検出ステップは、
    光学センサを用いて前記操作面上の前記操作物による像を検出する第１検出ステップと、
    非光学センサを用いて前記操作面での前記操作物の接触によって生じる音または振動を検出する第２検出ステップと、
    前記光学センサの第１検出情報および前記非光学センサの第２検出情報を用いて、前記操作面に対する前記操作物による接触または非接触を含む状態を検出し、検出データを出力する接触認識ステップと、
    を含み、
    前記接触認識ステップでは、前記第１検出情報から前記操作面と前記操作物との接触有りの状態を検出し、かつ、前記第２検出情報から前記接触有りの状態に対応する音または振動を検出した場合に、総合的に接触状態であると判定する、
    映像表示方法。
12. 請求項１１記載の映像表示方法において、
    前記操作検出ステップでは、前記第１検出情報に基づいて、前記操作面に対する前記操作物の前記接触の場合の接触候補点の位置座標を計算し、前記総合的な判定結果で前記接触状態である場合には、前記接触候補点の位置座標を、接触点の位置座標として、前記検出データの一部として出力する、
    映像表示方法。
13. 請求項１２記載の映像表示方法において、
    前記第１検出ステップでは、前記操作面に照明を与える照明装置である第１照明装置および第２照明装置と、前記非光学センサとして、前記第１照明装置の第１照明による第１像と前記第２照明装置の第２照明による第２像とを含む画像を撮像するカメラと、を用いて、前記カメラの前記第１検出情報である前記画像から、前記操作面での前記操作物の影を検出し、前記影の形状の判断に基づいて、前記接触の有無の状態を判断し、前記接触候補点の位置座標を計算する、
    映像表示方法。
14. 請求項１１記載の映像表示方法において、
    前記第２検出ステップでは、前記非光学センサとして、音を入力するマイクを用いて、前記マイクの前記第２検出情報である音信号から、時間区間毎の音の大きさまたは周波数の判断に基づいて、前記操作面での前記操作物の接触音の有無の状態を判断する、
    映像表示方法。
15. 請求項１１記載の映像表示方法において、
    動作判定ステップを有し、
    前記操作検出ステップでは、時系列の時点毎に、前記状態を表す前記検出データを出力し、
    前記動作判定ステップでは、前記検出データにおける時点毎の前記状態の変化を判断することで、前記操作面に対する前記操作物による動作を判定し、判定結果を含むデータを出力し、
    前記動作は、前記操作面に前記操作物が接触した接面動作と、前記操作面から前記操作物が離れた離面動作と、前記操作面に前記操作物が接触したまま移動する接触移動動作と、を含む、
    映像表示方法。

Images