JP2017139012A - 入力装置、空中像インタラクションシステム、及び入力方法 - Google Patents

Abstract

【課題】ユーザが行う仮想的な接触動作を従来よりも正確に検出できる、光源と光検出器とを用いた入力装置を提供する。【解決手段】所定の検出領域４０を走査する検出光を出射する光源１０と、指示体８０によって反射された反射光を検出する光センサ２０と、コントローラ３０とを備え、コントローラ３０は、指示体８０によって仮想的に接触される接触面４２の、検出境界面４１を基準にした位置を表す接触面定義情報を保持し、前記反射光の検出結果から、指示体８０の検出領域４０への進入量と、指示体８０と検出境界面４１との交点から前記接触面定義情報によって表される接触面４２までの距離と、を比較することに基づき、接触面４２上の位置を、接触位置として特定する。【選択図】図１

Description

本発明は、入力装置に関し、特に、空間に結像される空中像に対してユーザが行う仮想的な接触動作を検出する技術に関する。

従来、光線の光路が屈曲することとなる１つの平面を構成する光線屈曲面の一方側に配置される被投影物から発せられる光をその光線屈曲面の反対面側に前後を反転させて結像させて空中映像として観察可能とする結像光学系と、空中映像に近接させた物体の位置を特定する物体特定手段とを備えた空中映像インタラクション装置が知られている（例えば、特許文献１）。当該物体特定手段は、例えば、当該物体を撮影する１台以上のカメラと、当該カメラで撮影された映像から当該物体の位置を解析する画像解析装置とで構成される。ここで、当該物体は、ユーザの指やペンといった、ユーザによって動かされかつ前記空中映像に近づけられる指示体である。

このような空中映像インタラクション装置によれば、装置の簡素化を実現しつつ、映像に対するユーザのアクセスを的確に把握することができ、映像とユーザとの好適なインタラクションをもたらすことができる。

国際公開第２００８／１２３５００号

本発明者らは、従来の空中映像インタラクション装置と類似の装置として、空間に投影される空中像に対するユーザの仮想的な接触動作を検出する入力装置を検討している。

当該入力装置では、ユーザが空中像に近づけた指示体の位置を、検出光を出射する光源と、当該検出光の指示体からの反射光を検出する光検出器とを用いて検出する。このような構成では、カメラや、画像解析のための高度なソフトウェアを用いることなく指示体の位置を検出できる反面、特許文献１で指摘されているように、ユーザのアクセス（つまり、指示体の位置）を３次元的に検知することが困難である。そのため、例えば、奥行きのある立体的な空間像への仮想的な接触動作において、ユーザが意図したとおりの接触感が得られず違和感があるといった問題が起こり得る。

本発明は、かかる事情に鑑みてなされたものであり、光源と光検出器とを用いて指示体の位置を検出する入力装置及び入力方法において、ユーザが行う仮想的な接触動作を従来よりも正確に検出できる入力装置及び入力方法を提供することを目的とする。

上記目的を達成するために、開示される入力装置の１つの態様は、所定の検出領域を走査する検出光を出射する光源と、指示体によって反射された反射光を検出する光センサと、前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を保持し、前記反射光の検出結果から、前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、コントローラと、を備える。

この構成によると、入力装置は、接触面の形状を任意に定義する接触面定義情報を参照して、接触面定義情報で表される接触面への指示体の到達を検出し、接触した位置を特定する。そのため、曲面形状を含む任意の形状の接触面を、入力装置の単一の構成で統一的に取り扱うことができる。また、空中像の表面形状と同じ形状の接触面を自在に定義することができるので、ユーザは、あらゆる形状の空中像に対する仮想的な接触感を違和感なく得ることができる。

また、例えば、前記光源は、前記検出光によって前記検出境界面を既知のタイミングで走査し、前記コントローラは、前記検出光が前記検出境界面を１回走査する間に前記光センサから１つ以上の検出パルスが得られた場合に、前記検出パルスのうち最初又は最後の検出パルスのタイミングから前記交点の位置を特定し、前記検出パルスの個数から前記進入量を特定してもよい。

この構成によると、光源、光センサ、及びコントローラによる簡素なソフトウェア処理のみによって、前述した効果が得られる。

また、例えば、前記コントローラは、前記接触面定義情報として、前記検出境界面上の複数の点のそれぞれに対応する前記接触面上の点の位置を示す数表を保持してもよい。

この構成によると、数表を用いるので、あらゆる形状の接触面を正確に定義できる。

また、例えば、前記コントローラは、前記接触面定義情報として、前記検出境界面上の任意の点に対応する前記接触面上の点の位置を示す数式を保持してもよい。

この構成によると、数表のデータ量が嵩む場合や、接触面の形状が比較的低い次数の数式で良好に近似できる場合において、接触面定義情報のデータ量を削減するために適している。

上記目的を達成するために、開示される空中像インタラクションシステムの１つの態様は、前述した入力装置と、前記検出領域内に空中像を投影する空中像投影装置と、を備え、前記コントローラは、前記接触面定義情報として、前記空中像の表面形状を表す情報を保持する。

この構成によると、ユーザは、空中像に対する仮想的な接触感を得ることができる。

また、例えば、前記コントローラは、前記空中像の表面形状が変化したとき、前記空中像の変化後の表面形状を表すように、前記接触面定義情報を変更してもよい。

この構成によると、空中像の変化に追従して、ユーザは、変化後の空中像に対する仮想的な接触感を得ることができる。

また、例えば、前記コントローラは、前記空中像投影装置を用いて既知の校正点に校正用アイコンを表示させ、前記指示体が前記校正用アイコンに仮想的に接触したときの、前記指示体と前記検出境界面との交点である校正用境界点の位置と前記指示体の前記検出領域への進入量である校正用進入量とを特定し、前記校正用境界点の位置と前記校正用進入量とを用いて前記接触面定義情報を補正してもよい。

この構成によると、ユーザの検出境界面に対する位置や指示体の形状など、様々な要因で生じ得る接触面定義情報の誤差が補正されるので、ユーザは、あらゆる形状の空中像に対する仮想的な接触感を違和感なく得ることができる。

また、例えば、前記空中像投影装置は、映像を表示する映像表示パネルと、前記映像表示パネルに表示された前記映像を前記空中像として前記検出領域に投影する反射素子集合基板と、有し、前記空中像インタラクションシステムは、さらに、前記反射素子集合基板に対して前記映像表示パネルと対称な位置に前記検出境界面が来るように、前記映像表示パネルと前記光センサとを、前記反射素子集合基板を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構を備え、前記コントローラは、前記校正用境界点の位置と前記校正点との位置との差分を用いて前記指示体の前記検出領域への進入方向を検出し、検出された進入方向に応じて、前記映像表示パネルと前記光センサとを回転させてもよい。

この構成によると、空中像や接触面を、ユーザにとってより見やすくかつより操作しやすい方向に向け直すことができるので、ユーザの操作性が向上する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本発明の構成によると、光源と光検出器とを用いて指示体を検出する入力装置及び入力方法において、ユーザが行う仮想的な接触動作を従来よりも正確に検出できる入力装置及び入力方法が得られる。

第１の実施の形態に係る空中像インタラクションシステムの構成の一例を示す模式図である。 第１の実施の形態に係る入力装置の機能的な構成の一例を示すブロック図である。 第１の実施の形態に係る空間座標検出の原理を説明する模式図である。 第１の実施の形態に係る空間座標検出で用いられる主要な信号の一例を示す波形図である。 第１の実施の形態に係る接触面定義情報の一例を示す図である。 第１の実施の形態に係る接触検出の動作の一例を示すフローチャートである。 第２の実施の形態に係る接触面定義情報の一例を示す図である。 第３の実施の形態に校正用アイコンの一例を示す図である。 第３の実施の形態に係る校正用アイコンを用いて検出される配置の一例を示す図である。 第３の実施の形態に係る校正用アイコンを用いて検出される配置の一例を示す図である。 第３の実施の形態に係る接触面の一例を概念的に示す図である。 第４の実施の形態に係る空中像インタラクションシステムの要部の構成の一例を示す模式図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（第１の実施の形態）
第１の実施の形態では、空間に投影された空中像に対するユーザの仮想的な接触動作を検出する空中像インタラクションシステムについて説明する。

図１は、空中像インタラクションシステム１００の構成の一例を示す模式図である。

図１に示されるように、空中像インタラクションシステム１００は、光源１０、光センサ２０、コントローラ３０、映像表示パネル５０、及び反射素子集合基板６０を備える。光源１０、光センサ２０、及びコントローラ３０は、入力装置１を構成する。映像表示パネル５０、及び反射素子集合基板６０は、空中像投影装置を構成する。

光源１０は、空間中に定められる検出境界面４１を走査する検出光１７を出射する。検出光１７は、例えば、赤外レーザのコリメート光であってもよい。

光センサ２０は、検出境界面４１から光源１０に向かって定められる検出領域４０に指示体８０が進入した際に、検出光１７の指示体８０からの反射光１８を検出する。指示体８０は、例えば、ユーザの指、又はユーザが手に持って動かすペンなどである。検出領域４０内には、指示体８０によって仮想的に接触される対象である接触面４２が定義される。

コントローラ３０は、指示体８０の接触面４２に対する仮想的な接触動作を検出して接触面４２上での接触位置を特定する。

映像表示パネル５０は、映像６１を表示するパネルである。映像表示パネル５０は、例えば、液晶表示パネルであってもよい。映像６１は、例えば、高度に陰影処理され、正確な立体感が与えられた映像オブジェクトであってもよい。本明細書では、説明及び図示の簡明のため、映像６１として鉢状の映像オブジェクトを例示する。

反射素子集合基板６０は、映像表示パネル５０に表示された映像６１を空中像６２として検出領域４０内に投影する光学素子である。反射素子集合基板６０は、例えば、特許文献１に開示される、２面コーナーリフレクタアレイであってもよい。反射素子集合基板６０によって、映像６１の奥行きが反転した実像が空中像６２として検出領域４０内に結像される。コントローラ３０において、空中像６２の表面形状と同じ形状の接触面４２を定義することで、ユーザは、空中像６２に対する仮想的な接触感を得ることができる。

次に、入力装置１の構成について説明する。

図２は、入力装置１の機能的な構成の一例を示すブロック図である。

図２に示されるように、光源１０は、レーザドライバ１１、赤外レーザ素子１２、コリメートレンズ１３、走査ドライバ１４、アクチュエータ１５、及びミラー１６を有する。

レーザドライバ１１は、コントローラ３０の制御下で、赤外レーザ素子１２を駆動する。赤外レーザ素子１２は、検出光１７としての赤外レーザ光を出射する。コリメートレンズ１３は、赤外レーザ素子１２から入射された赤外レーザ光を平行光に変換する。

走査ドライバ１４は、コントローラ３０の制御下で、アクチュエータ１５を駆動する。アクチュエータ１５は、ミラー１６の方向を変更することにより、ミラー１６で反射した検出光１７で検出境界面４１をラスタ走査する。検出境界面４１のラスタ走査は、図１に示されるように、検出光１７で検出境界面４１をＸ方向に走査する主走査とＹ方向に走査する副走査とで構成されてもよい。

光センサ２０は、集光レンズ２１、及び光電変換素子２２を有する。

集光レンズ２１は、検出光１７の指示体８０からの反射光１８を光電変換素子２２に集光し、光電変換素子２２は、集光レンズ２１を介して入射した反射光１８を検出信号に変換する。

コントローラ３０は、接触面４２の検出境界面４１を基準にした位置を表す接触面定義情報３４を保持し、指示体８０による接触面４２への仮想的な接触動作を検出し、接触面４２上での接触位置を特定するコントローラである。

コントローラ３０は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３などからなるコンピュータシステムとして構成されてもよい。コントローラ３０の一部又は全部の機能は、ＣＰＵ３１がＲＡＭ３２を作業用のメモリとして用いてＲＯＭ３３に記録されたプログラム（図示せず）を実行することによって達成されてもよい。また、コントローラ３０の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。接触面定義情報３４は、ＲＯＭ３３に保持されてもよい。

次に、入力装置１による空間座標検出の原理について説明する。

図３は、入力装置１による空間座標検出の原理を説明する模式図である。図３は、図１の模式図をＸ方向に見た図に対応する。

図４は、入力装置１による空間座標検出で用いられる主要な信号の一例を示す波形図である。

図３に示されるように、光センサ２０は、検出境界面４１から光源１０に向かって定められる検出領域４０に指示体８０が進入した際に、検出光１７の指示体８０からの反射光１８を検出する。光センサ２０は、検出領域４０以外の不感領域で指示体８０に反射した反射光１８を検出しない。

図４に示されるように、コントローラ３０は、走査ドライバ１４に、Ｙ方向の走査位置をレベルによって指定するＹ走査信号、及びＸ方向の走査位置をレベルによって指定するＸ走査信号を供給する。一例として、Ｙ走査信号は増加する階段波であり、Ｘ走査信号は三角波であってもよい。

このようなＹ走査信号及びＸ走査信号に従って、アクチュエータ１５がミラー１６の方向を調整することによって、検出光１７は、図１に示されるように検出境界面４１をジグザグにラスタ走査する。

検出光１７が検出境界面４１を１回ラスタ走査する間に、例えば、図３に示されるように、検出領域４０内の指示体８０からの反射光１８が光センサ２０で検出された場合、図４に示されるように、光センサ出力として４つの検出パルスが出力される。

図３から理解されるように、４つの検出パルスのうちの最後の検出パルスが、指示体８０と検出境界面４１との交点である境界点４３からの反射光１８に対応し、検出パルスの個数が指示体８０の検出領域４０への進入量に対応する。

コントローラ３０は、最後の検出パルスが得られたときのＹ走査信号のレベル及びＸ走査信号のレベルをそれぞれ境界点４３のＹ座標値及びＸ座標値として特定し、検出パルスの個数を指示体８０の検出領域４０への進入量として特定する。

なお、Ｙ走査信号として減少する階段波を用いてラスタ走査を行う場合は、最初の検出パルスが境界点４３からの反射光１８に対応する。この場合、コントローラ３０は、最初の検出パルスが得られたときのＹ走査信号のレベル及びＸ走査信号のレベルをそれぞれ境界点４３のＹ座標値及びＸ座標値として特定する。

次に、入力装置１による接触検出動作について説明する。

図５は、接触面定義情報３４の一例を示す図である。図５に示されるように、接触面定義情報３４は、例えば、検出境界面４１上の複数の点のそれぞれに対応する接触面４２上の点の位置を示す数表３４ａであってもよい。数表３４ａにおいて、ｘ、ｙは、ユーザから検出境界面４１上の点（Ｘ，Ｙ）に対応して見える接触面４２上の点のＸ、Ｙ座標を表し、ｚは、検出境界面４１上の点（Ｘ，Ｙ）から接触面４２までの距離を表す。

図６は、入力装置１による接触検出動作の一例を示すフローチャートである。

コントローラ３０は、図３及び図４で説明したように、光源１０を制御して検出光１７で検出境界面４１を走査する。

検出光１７が検出境界面４１を１回走査する間に光センサ２０から１つ以上の検出パルスが得られた場合（Ｓ１１でＹＥＳ）、コントローラ３０は、前記検出パルスのうち最初又は最後の検出パルスが得られたときのＸ走査信号のレベル及びＹ走査信号のレベルから境界点４３の位置Ｘ、Ｙを特定し、前記検出パルスの個数から進入量Ｚを特定し（Ｓ１２）、接触面定義情報３４を参照して、境界点４３から接触面４２までの距離ｚを特定する（Ｓ１３）。

距離ｚ≦進入量Ｚであれば（Ｓ１４でＹＥＳ）、コントローラ３０は、指示体８０が接触面４２に到達していると判定し、接触面定義情報３４を参照して、境界点４３に対応する接触面４２の点のＸＹ座標（ｘ，ｙ）を、接触位置として特定する（Ｓ１５）。

他方、距離ｚ＞進入量Ｚであれば（Ｓ１４でＮＯ）、コントローラ３０は、指示体８０が接触面４２に到達していないと判定する（Ｓ１６）。

このような構成によれば、入力装置１は、接触面４２の形状を任意に定義する接触面定義情報３４を参照して、接触面定義情報３４で表される接触面４２への指示体８０の到達を検出し、接触位置を特定する。

そのため、曲面形状を含む任意の形状の接触面を、入力装置１の単一の構成で統一的に取り扱うことができる。また、空中像６２の表面形状と同じ形状の接触面４２を自在に定義することができるので、ユーザは、あらゆる形状の空中像６２に対する仮想的な接触感を違和感なく得ることができる。

なお、コントローラ３０は、それぞれ異なる立体像に対応する複数の接触面定義情報３４を保持してもよく、また、立体像が動く場合は、立体像の動きに追従して接触面定義情報３４を変更してもよい。

（第２の実施の形態）
上記では、接触面定義情報３４が数表３４ａで表される例を説明したが、接触面定義情報３４は数表３４ａに限定されない。

図７は、接触面定義情報３４の他の一例を示す図である。図７に示されるように、接触面定義情報３４は、例えば、検出境界面４１上の任意の点に対応する接触面４２上の点の位置を示す数式３４ｂであってもよい。

数式３４ｂにおいて、ｘ_ｋ、ｙ_ｋは、ユーザから検出境界面４１上の点（Ｘ，Ｙ）に対応して見える接触面４２上の点のＸ、Ｙ座標の近似値を表し、ｚ_ｋは、検出境界面４１上の点（Ｘ，Ｙ）から接触面４２までの距離の近似値を表す。ここで、ｘ_ｋ、ｙ_ｋ、ｚ_ｋは、複数の立体像ｋのそれぞれに対応して定義されてもよい。

このような構成によれば、例えば、数表３４ａのデータ量が嵩む場合や、接触面４２の形状が比較的低い次数の数式３４ｂで良好に近似できる場合において、接触面定義情報３４のデータ量を削減するために適している。

（第３の実施の形態）
上記では、接触面定義情報３４によって、ユーザから検出境界面４１上の点に対応して見える接触面４２上の点が定義されることを説明した。ユーザから検出境界面４１上の点に対応して見える接触面４２上の点は、例えば、ユーザの検出境界面４１に対する位置や指示体８０の形状など、様々な要因で変化し得る。そこで、接触面定義情報３４を補正してもよい。

以下では、接触面定義情報３４の補正について説明する。

図８は、接触面定義情報３４の補正に用いられる校正用アイコンの一例を示す図である。

入力装置１のコントローラ３０は、映像表示パネル５０を制御することにより、既知の校正点４６に校正用アイコン６３を表示し、表示された校正用アイコン６３に対して指示体８０で仮想的な接触を行うようユーザを促す。

コントローラ３０は、指示体８０が校正用アイコン６３に仮想的に接触したときの、指示体８０と検出境界面４１との交点である校正用境界点４５の位置と、指示体８０の検出領域４０への進入量である校正用進入量とを特定する。

図９Ａ、図９Ｂは、指示体８０が校正用アイコン６３に仮想的に接触したときに、指示体８０、検出境界面４１、校正用境界点４５ａ、４５ｂ、及び校正点４６が取り得る配置の一例を示す図である。

図９Ａには、ユーザが、検出境界面４１にほぼ正対する位置から、指示体８０を検出境界面４１に進入させた場合の例が示される。図９Ａに示される例では、校正用境界点４５ａのＹ座標は校正点４６のＹ座標よりもΔＹａ大きく、かつ校正用進入量は校正点４６のＺ座標とほぼ一致する（ΔＺａがほぼ０）。

図９Ｂには、ユーザが、検出境界面４１を見下ろす位置から、指示体８０を検出境界面４１に進入させた場合の例が示される。図９Ｂに示される例では、校正用境界点４５ｂのＹ座標は校正点４６のＹ座標とほぼ一致し（ΔＹｂがほぼ０）、かつ校正用進入量Ｚｂは校正点４６のＺ座標よりもΔＺｂ小さい。

ここで、コントローラ３０が、例えば、図９Ａに示される配置を想定した接触面定義情報３４を保持しているものとする。このとき、指示体８０による校正用アイコン６３への仮想的な接触において図９Ａの配置が特定された場合、ユーザは、接触面定義情報３４の想定どおりの位置で、指示体８０を接触面４２に接触させると考えられる。そのため、接触面定義情報３４は補正なしでそのまま用いられる。

他方、図９Ｂの配置が特定された場合は、ユーザは、同一の境界点に対応して、図９Ａの場合よりもΔＹａ大きなＹ座標とΔＺｂ小さなＺ座標で示される点を見ていることが分かる。そのため、接触面定義情報３４は、Ｙ座標でΔＹａ大きく、Ｚ座標でΔＺｂ小さい座標値を表すように補正して用いられる。

図１０は、接触面定義情報３４を補正しない場合と補正した場合とで異なる接触面４２ａ、４２ｂが定義されることを概念的に示す図である。

なお、図示及び説明は省略したが、Ｘ座標についてもＹ座標と同様にして、校正用境界点４５と校正点４６とのずれが特定され、接触面定義情報３４の補正が行われる。校正用境界点４５と校正点４６とのＸ座標及びＹ座標でのずれを統合して、立体角で表してもよい。検出境界面４１に直交する方向から、Ｘ座標のずれとＹ座標のずれに対応する立体角ずれた方向を、指示体８０の進入角度として定義してもよい。

このように、校正用アイコンを用いて校正用境界点４５の位置と校正用進入量とを特定することによって現在の配置を特定することにより、特定された現在の配置と接触面定義情報３４が想定している配置とのずれに応じて接触面定義情報３４を補正できる。

その結果、ユーザは、空中像６２に対する仮想的な接触感を、指示体８０の進入角度によらず違和感なく得ることができる。このような接触面定義情報３４の補正処理は、例えば、ユーザが空間像へのインタラクション動作を開始するときに行ってもよい。

（第４の実施の形態）
空中像インタラクションシステム１００では、空中像６２や接触面４２に対するユーザの位置によって、空中像６２の見易さや、接触面４２に対する仮想的な接触操作のやり易さが異なる。そこで、校正用境界点４５と校正点４６とのずれ（指示体８０の進入角度として定義される）に基づいて、空中像６２や接触面４２を、ユーザにとってより見やすくかつより操作しやすい方向に向け直してもよい。

以下では、校正用アイコン６３を用いて特定された指示体８０の進入角度を基に、映像表示パネル５０及び検出境界面４１の配置を変更することができる空中像インタラクションシステム１０１について説明する。検出境界面４１の配置は、光センサ２０の配置を変更することによって、変更される。

図１１は、空中像インタラクションシステム１０１の要部の構成の一例を示す模式図である。空中像インタラクションシステム１０１では、空中像インタラクションシステム１００に対し、さらに、映像表示パネル５０と光センサ２０とを、反射素子集合基板６０を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構７０が追加される。回転機構７０は、コントローラ３０からの制御下で、検出境界面４１が反射素子集合基板６０に対して映像表示パネル５０と対称な位置に来るように、映像表示パネル５０と光センサ２０とを回転させる。

例えば、図９Ａに示される配置が、ユーザにとって空中像６２が見易くかつ接触面４２に対する仮想的な接触操作がやり易い配置である場合、コントローラ３０は、図９Ａの配置において特定される指示体８０の進入角度を、あらかじめ保持しておく。

指示体８０による校正用アイコン６３への仮想的な接触において図９Ａの配置に対応する指示体８０の進入角度が特定された場合、映像表示パネル５０と光センサ２０とは、既に好ましい方向を向いているので、コントローラ３０は、回転機構７０を駆動せず、映像表示パネル５０と光センサ２０との現状の向きを維持する。

他方、図９Ｂの配置に対応する指示体８０の進入角度が特定された場合、映像表示パネル５０と光センサ２０とは、好ましい方向からずれていることが分かるので、コントローラ３０は、回転機構７０を駆動することにより、映像表示パネル５０と光センサ２０とを、指示体８０の進入角度のずれが縮小する方向に回転させる。

空中像インタラクションシステム１０１によれば、校正用境界点４５と校正点４６とのずれ（つまり、指示体８０の進入角度）に基づいて、空中像６２や接触面４２を、ユーザにとってより見やすくかつより操作しやすい方向に向け直すので、ユーザの操作性が向上する。

以上、本発明の入力装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態や、異なる実施の形態における構成要素を組み合わせて構築される形態が、本発明の１つまたは複数の態様の範囲内に含まれてもよい。

本発明は、空中像への仮想的な接触動作に基づいて情報機器とインタラクションするためのユーザインターフェースとして、広範な分野で利用できる。

１ 入力装置
１０ 光源
１１ レーザドライバ
１２ 赤外レーザ素子
１３ コリメートレンズ
１４ 走査ドライバ
１５ アクチュエータ
１６ ミラー
１７ 検出光
１８ 反射光
２０ 光センサ
２１ 集光レンズ
２２ 光電変換素子
３０ コントローラ
３１ ＣＰＵ
３２ ＲＡＭ
３３ ＲＯＭ
３４ 接触面定義情報
３４ａ 数表
３４ｂ 数式
４０ 検出領域
４１ 検出境界面
４２、４２ａ、４２ｂ 接触面
４３ 境界点
４５、４５ａ、４５ｂ 校正用境界点
４６ 校正点
５０ 映像表示パネル
６０ 反射素子集合基板
６１ 映像
６２ 空中像
６３ 校正用アイコン
７０ 回転機構
８０ 指示体
１００、１０１ 空中像インタラクションシステム

Claims (9)

1. 所定の検出領域を走査する検出光を出射する光源と、
   指示体によって反射された反射光を検出する光センサと、
   前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を保持し、前記反射光の検出結果に基づく前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、コントローラと、
   を備える入力装置。
2. 前記光源は、前記検出光によって前記検出境界面を既知のタイミングで走査し、
   前記コントローラは、前記検出光が前記検出境界面を１回走査する間に前記光センサから１つ以上の検出パルスが得られた場合に、前記検出パルスのうち最初又は最後の検出パルスのタイミングから前記交点の位置を特定し、前記検出パルスの個数から前記進入量を特定する、
   請求項１に記載の入力装置。
3. 前記コントローラは、前記接触面定義情報として、前記検出境界面上の複数の点のそれぞれに対応する前記接触面上の点の位置を示す数表を保持する、
   請求項１又は２に記載の入力装置。
4. 前記コントローラは、前記接触面定義情報として、前記検出境界面上の任意の点に対応する前記接触面上の点の位置を示す数式を保持する、
   請求項１又は２に記載の入力装置。
5. 請求項１から４の何れか１項に記載の入力装置と、
   前記検出領域内に空中像を投影する空中像投影装置と、を備え、
   前記コントローラは、前記接触面定義情報として、前記空中像の表面形状を表す情報を保持する、
   空中像インタラクションシステム。
6. 前記コントローラは、前記空中像の表面形状が変化したとき、前記空中像の変化後の表面形状を表すように、前記接触面定義情報を変更する、
   請求項５に記載の空中像インタラクションシステム。
7. 前記コントローラは、
   前記空中像投影装置を用いて既知の校正点に校正用アイコンを表示させ、
   前記指示体が前記校正用アイコンに仮想的に接触したときの、前記指示体と前記検出境界面との交点である校正用境界点の位置と前記指示体の前記検出領域への進入量である校正用進入量とを特定し、
   前記校正用境界点の位置と前記校正用進入量とを用いて前記接触面定義情報を補正する、
   請求項５に記載の空中像インタラクションシステム。
8. 前記空中像投影装置は、
   映像を表示する映像表示パネルと、
   前記映像表示パネルに表示された前記映像を前記空中像として前記検出領域に投影する反射素子集合基板と、有し、
   前記空中像インタラクションシステムは、さらに、
   前記反射素子集合基板に対して前記映像表示パネルと対称な位置に前記検出境界面が来るように、前記映像表示パネルと前記光センサとを、前記反射素子集合基板を含む平面上に設けられる回転軸周りに互いに逆方向に回転させる回転機構を備え、
   前記コントローラは、
   前記校正用境界点の位置と前記校正点との位置との差分を用いて前記指示体の前記検出領域への進入方向を検出し、
   検出された進入方向に応じて、前記映像表示パネルと前記光センサとを回転させる、
   請求項７に記載の空中像インタラクションシステム。
9. 所定の検出領域を走査する検出光を出射し、
   指示体によって反射された反射光を検出し、
   前記指示体によって仮想的に接触される接触面の、検出境界面を基準にした位置を表す接触面定義情報を参照し、前記反射光の検出結果に基づく前記指示体の前記検出領域への進入量と、前記指示体と前記検出境界面との交点から前記接触面定義情報によって表される前記接触面までの距離と、を比較することに基づき、前記接触面上の位置を、接触位置として特定する、
   入力方法。

Images