JP2018097388A - ユーザインタフェース装置及びユーザインタフェースシステム - Google Patents

Abstract

【課題】画像を表示する表示面近傍におけるユーザの操作の誤検出を低減する。
【解決手段】入力デバイス１は、指５などの物体の動きに基づきユーザの操作を検出する。入力デバイス１は、表示部２と、ＴＯＦセンサ３と、制御部１０とを備える。表示部２は、表示面に画像を表示する。ＴＯＦセンサ３は、ＬＥＤ光を照射するとともにＬＥＤ光の反射光を受光して、ＬＥＤ光を反射した物体までの距離を検出する。制御部１０は、ＴＯＦセンサ３によって検出された距離に基づいて、ユーザの操作を検出する。制御部１０は、３Ｄ画像Ｇ１の表示期間と表示停止期間とを交互に繰り返すように表示部２を制御する。ＴＯＦセンサ３は、表示停止期間中にＬＥＤ光を発光して、物体までの距離を検出する。
【選択図】図１

Description

本発明は、ユーザの操作を検出するユーザインタフェース装置及びユーザインタフェースシステムに関する。

ユーザの手や指などによるジェスチャーを検出して、ジェスチャーによるコンピュータ等の操作を可能にするユーザインタフェース装置が知られている。例えば、特許文献１は、ディスプレイを見ながら行われるユーザのジェスチャーを撮影し、ＴＯＦセンサなどによりユーザの指示ポイントまでの距離を求め、検出した指示ポイントの移動軌跡をディスプレイ画面に表示する３次元ジェスチャー入力システムを開示している。従来のユーザインタフェース装置では、ディスプレイ画面中に表示される画像を遠隔操作するためのジェスチャーを検出するために、画像から離れた位置において距離検出が行われている。

また、ホログラフィやインテグラル方式などの表示面から立体的に浮かび上がる画像、所謂三次元画像を形成する技術が知られている。特許文献２は、ライトフィールドカメラ等によって生成された三次元情報に対応する三次元画像が表示される三次元画像表示装置を開示している。特許文献１では、液晶表示器などの表示画素から輻射される光束を、表示用マイクロレンズを介して投影することにより、奥行きを有する空中像が表示される。

特開２０１２−１３７９８９号公報 特開２０１３−６４９９６号公報

本発明者は、上記の技術を組み合わせて、三次元画像に対するユーザの操作を検出し、三次元画像に触って操作するような感覚をユーザに与えるという新たなユーザインタフェース装置を考案した。このような発明者の検討の下で、表示面の近傍においては、三次元画像を形成するために表示面から発光する光が距離検出の障害となり、ユーザの操作の誤検出が生じるという課題が明らかになった。

本発明は、画像を表示する表示面近傍におけるユーザの操作の誤検出を低減することができるユーザインタフェース装置及びシステムを提供することを目的とする。

本発明の一態様に係るユーザインタフェース装置は、物体の動きに基づきユーザの操作を検出するユーザインタフェース装置である。ユーザインタフェース装置は、表示部と、第１の距離検出部と、制御部とを備える。表示部は、表示面に画像を表示する。第１の距離検出部は、第１の光を照射するとともに第１の光の反射光を受光して、第１の光を反射した物体までの距離を検出する。制御部は、第１の距離検出部によって検出された距離に基づいて、ユーザの操作を検出する。制御部は、画像を表示する表示期間と画像の表示を停止する表示停止期間とを交互に繰り返すように表示部を制御する。第１の距離検出部は、表示停止期間中に第１の光を照射して、物体までの距離を検出する。

本発明の一態様に係るユーザインタフェースシステムは、ユーザインタフェース装置と、ユーザインタフェース装置に接続される電子機器とを備える。ユーザインタフェース装置は、ユーザの操作の検出結果を示す情報を前記電子機器に入力する。

本発明に係るユーザインタフェース装置及びシステムによると、表示部の表示停止期間中に距離検出部による距離検出が行われるため、表示部と距離検出部とが干渉せず、表示面近傍におけるユーザの操作の誤検出を低減することができる。

本発明の実施の形態１に係る入力デバイスの概要を示す模式図 入力デバイスによるユーザの操作の検出方法を説明するための図 実施の形態１に係る入力デバイスの構成を示すブロック図 入力デバイスによる三次元画像の表示方法を説明するための図 入力デバイスに接続された電子機器の構成を示すブロック図 入力デバイスの動作を示すフローチャート 実施の形態１に係る入力デバイスの動作タイミングの一例を示すタイミングチャート 実施の形態２に係るユーザインタフェースシステムの概要を示す模式図 実施の形態２に係るユーザインタフェースシステムの構成を示すブロック図 実施の形態２に係る入力デバイスの動作タイミングの一例を示すタイミングチャート 実施の形態２に係る入力デバイスの動作タイミングの他の例を示すタイミングチャート 実施の形態３に係る入力デバイスの概要を示す模式図 実施の形態３に係る入力デバイスの構成を示すブロック図 実施の形態３に係る入力デバイスの動作タイミングの一例を示すタイミングチャート

以下、添付の図面を参照して本発明に係るユーザインタフェース装置の一例として、実施の形態に係る入力デバイスについて説明する。

各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施の形態２以降では実施の形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。

（実施の形態１）
０．概要
実施の形態１に係る入力デバイスの概要について、図１及び図２（ａ）、（ｂ）を参照して説明する。図１は、本発明の実施の形態１に係る入力デバイスの概要を示す模式図である。図２（ａ）は、入力デバイスに対するユーザの操作を説明するための図である。図２（ｂ）は、入力デバイスの表示面の上の空間におけるユーザの操作の検出方法を説明するための図である。

図１に示すように、本実施形態に係る入力デバイス１は、表示部２と、ＴＯＦ（Time-of-Flight）センサ３とを備える。入力デバイス１は、表示部２が表示する画像に対するユーザの操作を検出して、検出結果を示す情報を電子機器４等に入力するデバイスである。

表示部２は、表示面から画像Ｇ１が立体的に飛び出した位置（表示面よりもユーザ側の位置）に、ユーザによって視認されるように、表示面上に画像Ｇ１と対応する画像を表示する。以下、説明の便宜上、ユーザにより表示面から飛び出した位置に視認される画像を「３Ｄ画像（三次元画像）」という。又、３Ｄ画像Ｇ１が立体的に視認されるように、表示部２が表示面上に３Ｄ画像Ｇ１と対応する画像を表示することを、「３Ｄ画像Ｇ１を表示する」という。３Ｄ画像Ｇ１の表示方法の詳細については後述する。

３Ｄ画像Ｇ１は、奥行きを有する立体画像、又は表示面から離れて表示される平面画像であり、例えばスイッチ、ボタン、キーボード、カーソル、アイコンなどの操作部材を示す画像である。３Ｄ画像Ｇ１は、動画であってもよいし、静止画であってもよい。

ＴＯＦセンサ３は、ＴＯＦ方式の距離画像センサであり、被測定物までの距離を検出し、検出結果を距離画像として出力する。

本実施形態に係る入力デバイス１は、ＴＯＦセンサ３を用いてユーザが３Ｄ画像Ｇ１を視認する空間的位置に近接するユーザの手や指５などの動きを感知して、３Ｄ画像Ｇ１に対するユーザの操作を検出する。例えば、図２（ａ）に示すようにユーザが３Ｄ画像Ｇ１の表示位置に指５を重ねた場合、入力デバイス１は、ＴＯＦセンサ３の距離画像に基づき、ユーザが３Ｄ画像Ｇ１を視認する空間的位置に近づく指５の位置を検出し（図２（ｂ）参照）、３Ｄ画像Ｇ１が指５の動きに合わせて押し込まれるように表示部２を制御する。このように、ＴＯＦセンサ３を用いて、３Ｄ画像Ｇ１に対するユーザの操作を検出することにより、ユーザに、３Ｄ画像Ｇ１を触って操作していると感じる様な感覚を与えることができる。以下、本実施形態に係る入力デバイス１及び入力デバイス１が接続される電子機器４の構成について説明する。

１．構成
１−１．入力デバイスの構成
図３は、本実施形態に係る入力デバイス１の構成を示すブロック図である。入力デバイス１は、表示部２及びＴＯＦセンサ３を備えるとともに、制御部１０と、外部インタフェース１１とをさらに備える。

制御部１０は、ＣＰＵやＭＰＵなどで構成され、入力デバイス１全体の動作を制御する。制御部１０は、画像データ等の各種のデータやプログラムを格納する内部メモリ（ＲＯＭ，フラッシュメモリ等）を有する。制御部１０は、内部メモリに格納された所定のプログラムを実行することによって、後述する各種の機能を実現する。制御部１０は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）のみで実現されてもよい。

外部インタフェース１１は、外部機器と情報通信を行うためのインタフェース回路で構成される。外部インタフェース１１は、外部機器に有線接続され、ＵＳＢやＨＤＭＩ（登録商標）等の所定のインタフェース規格に準拠して情報通信を行う。なお、外部インタフェース１１は、外部機器等に無線接続するインタフェース回路であってもよい。例えば、外部インタフェース１１は、Ｗｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、ＬＴＥ等の通信方式に従い外部機器と無線通信を行ってもよい。

表示部２は、例えばバックライトを有する液晶ディスプレイで構成される。バックライトは、例えば白色ＬＥＤ（発光ダイオード）で構成され、バックライトから発光される光には、可視光とともに近赤外領域の光も含まれ得る。表示部２は、制御部１０の制御により、表示面上に画像データに基づく画像を生成する。なお、表示部２は、自発光する有機ＥＬディスプレイで構成されてもよい。表示部２による３Ｄ画像Ｇ１の表示方法については後述する。

ＴＯＦセンサ３は、ＬＥＤ３１と、受光素子３２とを備える。ＬＥＤ３１は、近赤外領域の波長帯を有する光（以下、「ＬＥＤ光」という）を発光する。ＬＥＤ３１は、例えば表示面近傍に設けられた半球レンズの近傍に設置される。半球レンズは、入力デバイス１の外部からの光を受光素子３２に集光する。受光素子３２は、複数の画素を有し、各画素で近赤外領域の波長帯を有する光を受光する。ＴＯＦセンサ３は、ＬＥＤ光をパルス変調した光を照射するとともに照射したＬＥＤ光の反射光を受光し、ＬＥＤ光の発光タイミングからの反射光の受光タイミングの遅延情報を受光素子３２の画素毎に取得する。ＴＯＦセンサ３は、画素毎の遅延情報に基づき、反射光を反射した物体までの距離を示す距離画像を生成し、出力する。ＴＯＦセンサ３は、ユーザインタフェース装置における第１の距離検出部の一例である。

１−１−１．３Ｄ画像の表示方法
次に、図４を参照して、入力デバイス１の表示部２による３Ｄ画像Ｇ１の表示方法について説明する。本実施形態に係る入力デバイス１では、図４に示すように、マイクロレンズアレイ２１が表示部２の表示面を覆うように設置されている。マイクロレンズアレイ２１は、複数のマイクロレンズをマトリクス状に配列して構成される。マイクロレンズアレイ２１は、同一の焦点距離を有するマイクロレンズ群で構成されてもよいし、異なる焦点距離を有するマイクロレンズを含んでもよい。マイクロレンズアレイ２１は、表示部２の表示面から各マイクロレンズの焦点距離程度（例えば各マイクロレンズの焦点距離の平均値）の間隔をあけて設置される。

ここで、表示部２に対向する空間領域に３Ｄ画像Ｇ１を形成するために、マイクロレンズアレイ２１の各マイクロレンズは、表示部２の表示面から入射した光を空間領域に出射する。この場合、各マイクロレンズから出射した光が３Ｄ画像Ｇ１を再現できるように、表示部２の表示面には、マイクロレンズ毎に対応した画像が投影されることとなる。本実施形態では、表示面から発する表示光がマイクロレンズアレイ２１を介して表示部２に対向する空間領域において集光して、３Ｄ画像Ｇ１を形成する。

制御部１０の内部メモリには、表示部２の表示面に投影される画像を示す画像データが格納されている。制御部１０は、この画像データを内部メモリから読み出し、表示部２を制御して、表示面において読み出した画像データが示す画像を表示する。表示面からの光がマイクロレンズアレイ２１を介して集光されることにより、ユーザは、あたかも３Ｄ画像Ｇ１が浮き出ているように視認することができる。３Ｄ画像が形成される位置は、表示部２の表示面の近傍の位置であり、例えば、表示部２の表示面からの距離が１ｃｍ以上２ｃｍ以下の領域の範囲内にある。なお、マイクロレンズを用いた３Ｄ画像表示の技術については、例えば特許文献２に開示がある。

１−２．電子機器の構成
次に、図５を参照して、入力デバイス１が接続される電子機器４の構成について説明する。図５は、電子機器４の構成を示すブロック図である。電子機器４は、制御部４０と、記憶部４１と、表示部４２と、操作部４３と、外部インタフェース４４と、通信インタフェース４５とを備える。電子機器４は、例えばＰＣ（パーソナルコンピュータ）やタブレット端末、スマートフォン、携帯電話などである。電子機器４に対して入力デバイス１が接続され、入力デバイス１及び電子機器４は、ユーザインタフェースシステムを構成する。

制御部４０は、例えばＣＰＵやＭＰＵで構成され、電子機器４全体の動作を制御する。制御部４０は、所定のプログラムを実行することによって、各種の機能を実現する。制御部４０は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）のみで実現されてもよい。

記憶部４１は、制御部４０の各種の機能を実現するために必要なパラメータ、データ、及びプログラムを記憶する記憶媒体であり、制御部４０で実行される制御プログラムや、各種のデータを格納している。記憶部４１は、例えばハードディスク（ＨＤＤ）や半導体記憶装置（ＳＳＤ）で構成される。

表示部４２は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。

操作部４３は、キーボード、マウス、タッチパネルなどで構成され、電子機器４に対してユーザが指示を行うための装置である。

外部インタフェース４４は、入力デバイス１等の外部機器と有線接続して情報通信を行うためのインタフェース回路である。外部インタフェース４４は、ＵＳＢやＨＤＭＩ（登録商標）等の所定のインタフェース規格に準拠して、外部機器とデータやコマンドの通信を行う。

通信インタフェース４５は、外部機器と無線信号により情報通信を行うためのインタフェース回路である。通信インタフェース４５は、例えばＷｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、ＬＴＥ等の通信方式に従い外部機器と無線通信を行う。

本実施形態では、入力デバイス１の外部インタフェース１１（図３参照）は、電子機器４の外部インタフェース４４に有線接続されている。入力デバイス１の外部インタフェース１１が無線通信可能である場合、これに代えて、又は加えて、外部インタフェース１１は通信インタフェース４５に無線接続されてもよい。

２．動作
以下、本実施形態に係る入力デバイス１の動作について説明する。

２−１．動作の概要
まず、図１〜４を参照して、入力デバイス１におけるユーザの操作の検出動作の概要について説明する。本実施形態において、入力デバイス１は、表示部２の表示面を覆う空間中に３Ｄ画像Ｇ１を表示し（図１参照）、ＴＯＦセンサ３を用いて、３Ｄ画像Ｇ１を押したり触ったりするようなユーザの操作を検出する（図２（ａ）参照）。ユーザの操作の検出において、まず、ＴＯＦセンサ３は、図２（ｂ）に示すように、ＬＥＤ光を照射して指５などの物体で反射した反射光を半球レンズから受光することにより、表示部２の表示面を覆う空間に存在する物体までの距離を検出し、検出結果を示す距離画像を出力する。入力デバイス１の制御部１０は、ＴＯＦセンサ３から距離画像を取得し、例えば、距離画像におけるＴＯＦセンサ３から指５までの距離に基づき、指５から表示面までの距離や３Ｄ画像Ｇ１の表示位置までの距離を算出する。この算出結果から、制御部１０は、指５の動きを感知し、その動きに基づいてユーザの操作を検出する。

ここで、３Ｄ画像Ｇ１の表示位置を含む表示面近傍の空間では、３Ｄ画像Ｇ１を表示するために表示部２から発光した光束の密度が大きいので（図４参照）、指５が表示面近傍の空間に到達した場合、表示面からの光が指５に散乱されやすい。表示部２から発光した光（表示光）は、可視光とともに近赤外領域の光も含み得る。そのため、表示面近傍の空間において、表示部２から発光して指５に散乱された光がＴＯＦセンサ３に入射すると、ＴＯＦセンサ３が誤検出を起こしてしまうという問題が想定される。

そこで、本実施形態では、画像の表示を間欠的に行うように表示部２を制御し、表示停止期間中にのみＴＯＦセンサ３からＬＥＤ光を照射して、表示面近傍の空間の距離画像を取得する。これにより、表示部２からの光を誤検出することなく、ＴＯＦセンサ３によって表示面近傍の空間の距離画像の検出を精度良く行うことができる。なお、表示面近傍の空間は、例えば表示部２の表示面からの距離が５ｃｍ以内の空間であり、２ｃｍ以内の空間であってもよいし、１ｃｍ以内の空間であってもよい。

２−２．入力デバイスの動作
次に、図１〜３，６，７を参照して、入力デバイス１の動作について説明する。図６は、入力デバイス１の動作を示すフローチャートである。図７は、入力デバイス１の動作タイミングの一例を示すタイミングチャートである。

本フローチャートが示す処理は、入力デバイス１の制御部１０によって、所定の周期で繰り返し実行される（図７参照）。なお、以下の説明では、フレームレートは一例として３０ｆｐｓとする。

制御部１０は、表示部２を制御し、３Ｄ画像Ｇ１を表示させる（Ｓ１）。このとき、制御部１０は、内部メモリから３Ｄ画像Ｇ１に対応する画像データを読み出し、表示部２を制御して、表示面から３Ｄ画像Ｇ１を形成する。これにより、図１に示すように、表示部２の表示面を覆う空間中に３Ｄ画像Ｇ１が表示される。

制御部１０は、所定期間、３Ｄ画像Ｇ１を表示した後に、３Ｄ画像Ｇ１の表示を停止する（Ｓ２）。表示部２において、画像の表示の停止は、バックライトを消灯（ＯＦＦ）したり、表示面の全領域が黒となる画像を表示したり、その双方の制御を行うことを含む。図７に示す例では、表示部２の画像の表示期間は２９フレームであり、表示停止期間は１フレームである。

表示部２の表示の停止後、制御部１０は、ＴＯＦセンサ３を制御して、図３のＬＥＤ３１からＬＥＤ光を所定期間（例えば１フレーム）だけ発光させる（Ｓ３）。このとき、ＴＯＦセンサ３は、図３の受光素子３２において画素毎にＬＥＤ光の反射光を受光して、表示面の上の空間における距離画像を検出する。

次に、制御部１０は、ＴＯＦセンサ３から距離画像を取得して、物体までの距離を測定する（Ｓ４）。例えば、制御部１０は、距離画像におけるＴＯＦセンサ３から物体（例えばユーザの指）までの距離に基づいて、物体から表示面までの距離を算出する。

次に、制御部１０は、ステップＳ４の測定結果に基づいて、表示面に表示する画像の画像データを更新し（Ｓ５）、ステップＳ１に戻る。

例えば、ステップＳ４において測定された距離が表示面から３Ｄ画像Ｇ１の表示位置までの距離などの所定の閾値以下である場合、３Ｄ画像Ｇ１の表示位置を物体の位置に追従させるように画像データを更新する。また、このような場合、制御部１０は、「３Ｄ画像Ｇ１を押す」という操作がなされたと判断し、ユーザの操作を示す情報を電子機器４に出力する。

以降、ステップＳ１〜Ｓ５の処理を繰り返す。以上の処理を繰り返し実行することにより、制御部１０は、距離画像に映る物体の距離を連続的に測定する。これにより、制御部１０は、手や指などの物体の動きを感知して、ジェスチャーなどによるユーザの操作を検出する。

以上のように、表示部２の画像表示（Ｓ１，Ｓ２）とＴＯＦセンサ３の距離検出（Ｓ３，Ｓ４）とを排他的に制御することにより、表示部２とＴＯＦセンサ３とが干渉せず、３Ｄ画像Ｇ１に対するユーザの操作の誤検出を低減することができる。

以上の処理において、ステップＳ１〜Ｓ５の一連の処理の周期や表示部２の表示期間、ＴＯＦセンサ３の発光期間は、それぞれ一定でなくてもよい。例えば、ステップＳ４において測定された物体の距離が閾値以下である場合や、物体の動きが所定値以上速い場合などに、ＴＯＦセンサ３の発光期間を長くしたり、ＴＯＦセンサ３の発光サイクルを短くしたりしてもよい。この場合、表示部２の表示期間は、ＴＯＦセンサ３の発光期間中には発光させないように設定する。例えば、表示部２の発光期間１０フレームに対してＴＯＦセンサ３の発光期間を２フレームなどとしてもよい。

また、ＴＯＦセンサ３の発光期間は、例えば表示部２の表示停止期間１フレームに対して１／４０秒というように、表示部２の表示停止期間よりも短く設定して、マージンを持たせてもよい。

３．まとめ
以上のように、本実施形態に係る入力デバイス１は、指５などの物体の動きに基づきユーザの操作を検出するユーザインタフェース装置の一例である。入力デバイス１は、表示部２と、ＴＯＦセンサ３と、制御部１０とを備える。表示部２は、表示面に画像を表示する。ＴＯＦセンサ３は、ＬＥＤ光を照射するとともにＬＥＤ光の反射光を受光して、ＬＥＤ光を反射した物体までの距離を検出する。制御部１０は、ＴＯＦセンサ３によって検出された距離に基づいて、表示画像に対するユーザの操作を検出する。制御部１０は、３Ｄ画像Ｇ１を表示する表示期間と３Ｄ画像Ｇ１の表示を停止する表示停止期間とを交互に繰り返すように表示部２を制御する。ＴＯＦセンサ３は、表示停止期間中にＬＥＤ光を照射して、物体までの距離を検出する。

以上の入力デバイス１によると、表示部３の表示期間とＴＯＦセンサ３の発光期間とを間欠的に制御し、表示部３の画像表示の停止中にのみＴＯＦセンサ３から距離検出のための光を照射する。これにより、表示面近傍におけるユーザの操作の誤検出が低減される。

また、表示部２は、表示面からユーザ側の空間中に、ユーザに３Ｄ画像Ｇ１が視認されるように表示面に画像を表示する。制御部１０は、ＴＯＦセンサ３によって検出された距離に基づいて、３Ｄ画像に対するユーザの操作を検出する。これにより、３Ｄ画像Ｇ１を表示するための光の密度が大きい表示面の近傍の空間中であっても、ＴＯＦセンサ３を用いてユーザの操作を検出することができる。

また、制御部１０は、ＴＯＦセンサ３によって検出された距離に基づいて、ユーザの操作が、ユーザに視認される３Ｄ画像Ｇ１の位置において行われたことを判断し、判断結果に応じて表示部２によって表示される画像を制御してもよい。これにより、ユーザに、３Ｄ画像Ｇ１を触って操作していると感じる様な感覚を与えることができる。

３Ｄ画像Ｇ１は、表示面から発する表示光によって、表示面からユーザ側の空間中に形成されてもよい。これにより、表示光によって形成された３Ｄ画像Ｇ１を触って操作する感覚が得られる。３Ｄ画像Ｇ１は、操作部材を示す画像であってもよい。これにより、ユーザに、表示面に浮き出た操作部材を操作している様な感覚を与えることができる。

（実施の形態２）
実施の形態１では、１つの入力デバイス１を用いる場合について説明したが、複数の入力デバイス１を同時に使用してもよい。実施の形態２では、２つの入力デバイスを使用する場合のユーザインタフェースシステムについて説明する。

図８は、実施の形態２に係るユーザインタフェースシステムの概要を示す模式図である。図９は、実施の形態２に係る入力デバイス及び電子機器の構成を示すブロック図である。本実施形態に係るユーザインタフェースシステムは、第１及び第２の入力デバイス１Ａ，１Ｂと、電子機器４とを含む。第１及び第２の入力デバイス１Ａ，１Ｂは、図８に示すように、互いに隣接して配置されている。図９に示すように、第１及び第２の入力デバイス１Ａ，１Ｂの構成は、それぞれ実施の形態１に係る入力デバイス１の構成と同様である。第１及び第２の入力デバイス１Ａ，１Ｂは、電子機器４により、表示部２の画像表示タイミングと、ＴＯＦセンサ３の発光タイミングとが制御される。

第１及び第２の入力デバイス１Ａ，１Ｂは、共に電子機器４に接続されており、それぞれ独立してユーザの操作を受け付けて、電子機器４に情報を入力する。ここで、各入力デバイス１Ａ，１Ｂがユーザの操作を検出する際、第１及び第２の入力デバイス１Ａ，１Ｂのうちの一方のＴＯＦセンサ３のＬＥＤ３１から発したＬＥＤ光が、他方のＴＯＦセンサ３の受光素子３２に入射することがある。そのため、各入力デバイス１Ａ，１ＢのＴＯＦセンサ３同士が干渉してしまうことがある。

そこで、本実施形態では、表示停止期間中に各入力デバイス１Ａ，１ＢのＴＯＦセンサ３を発光させるとともに、２つの入力デバイス１Ａ，１ＢのＴＯＦセンサ３間においても、発光タイミングをずらす。これにより、各入力デバイス１Ａ，１ＢのＴＯＦセンサ３間の干渉を抑制することができる。また、本実施形態では、各入力デバイス１Ａ，１Ｂが接続されている電子機器４の制御部４０により、各入力デバイス１Ａ，１Ｂに対する上記のタイミング制御を行う。

図１０は、本実施形態に係るユーザインタフェースシステムの各入力デバイス１Ａ，１Ｂの動作タイミングの一例を示すタイミングチャートである。図１０（ａ）は、第１の入力デバイス１Ａの表示部２の画像表示タイミングを示し、図１０（ｂ）は、第１の入力デバイス１ＡのＴＯＦセンサ３の発光タイミングを示す。図１０（ｃ）は、第２の入力デバイス１Ｂの表示部２の画像表示タイミングを示し、図１０（ｂ）は、第２の入力デバイス１ＢのＴＯＦセンサ３の発光タイミングを示す。

図１０（ａ），（ｃ）に示すように、第１及び第２の入力デバイス１Ａ，１Ｂは、それぞれ間欠的に、３Ｄ画像を表示している。各入力デバイス１Ａ，１Ｂの表示部２が画像を表示するタイミングは、例えば電子機器４の制御部４０によって制御されている。電子機器４の制御部４０は、表示部２での画像表示を停止すると、まず、第１の入力デバイス１ＡのＴＯＦセンサ３を発光させ、第１の入力デバイス１ＡのＴＯＦセンサ３の発光が終了した後に、第２の入力デバイス１ＢのＴＯＦセンサ３を発光させる。そして、制御部４０は、表示部２の表示停止期間中に、第２の入力デバイス１ＢのＴＯＦセンサ３の発光を終了する。制御部４０は、以上の処理を繰り返し実行する。これにより、各入力デバイス１Ａ，１ＢのＴＯＦセンサ３は、それぞれの発光期間が重ならないので、互いに干渉することなく距離画像を検出することができる。

以上のように、本実施形態に係るユーザインタフェースシステムは、入力デバイス１Ａ，１Ｂと、入力デバイス１Ａ，１Ｂに接続される電子機器４とを備える。入力デバイス１Ａ，１Ｂは、ユーザの操作の検出結果を示す情報を電子機器４に入力する。複数の入力デバイス１Ａ，１ＢのそれぞれのＴＯＦセンサ３は、それぞれ異なるタイミングでＬＥＤ光を照射する。これにより、それぞれのＴＯＦセンサ３が干渉することなく、各入力デバイス１Ａ，１Ｂを隣接して使用できる。

また、本実施形態では、電子機器４が、入力デバイス１Ａ，１ＢのそれぞれのＴＯＦセンサ３の発光を制御した。しかし、ＴＯＦセンサ３の発光の制御はこれに限定されない。例えば、複数の入力デバイス１Ａ，１Ｂ同士を有線又は無線接続して、一方又は両方の制御部１０が、それぞれ異なるタイミングでＬＥＤ光を照射するように制御してもよい。

また、図１０に示す一例では、一回の表示部２の表示停止期間中に第１及び第２の入力デバイス１Ａ，１Ｂの両方のＴＯＦセンサ３を発光させたが、ＴＯＦセンサ３の発光タイミングの制御はこれに限らない。図１１に示すように、一回の表示部２の表示停止期間中に第１及び第２の入力デバイス１Ａ，１Ｂの片方のみのＴＯＦセンサ３を発光させてもよい。

また、第１及び第２の入力デバイス１Ａ，１Ｂの各ＴＯＦセンサ３の発光タイミングは、３Ｄ画像の表示と表示停止を繰り返す周期の全てにおいて一定であってもよいし、周期毎に変化させてもよい。例えば、第１の入力デバイス１Ａの発光後に第２の入力デバイス１Ｂを発光させるタイミングを、表示部２の表示停止期間中に収まる範囲内で変化させてもよい。また、各入力デバイス１Ａ，１ＢのＴＯＦセンサ３は交互に発光してもよいし、順番が入れ替わってもよい。また、各入力デバイス１Ａ，１ＢのＴＯＦセンサ３の発光期間は、同一であってもよいし、異なってもよい。また、第１及び第２の入力デバイス１Ａ，１Ｂの表示部２の表示期間及び表示停止期間についても、周期毎に変化させてもよい。

また、３つ以上の入力デバイスを用いる場合についても、上記の説明と同様に、それぞれの発光期間が重ならないようにタイミング制御を行うことで、隣接する入力デバイスのＴＯＦセンサ間の干渉を抑制することができる。

（実施の形態３）
実施の形態１では、１つの入力デバイス１が１つのＴＯＦセンサ３を備えたが、入力デバイスにおいて複数のＴＯＦセンサを設けてもよい。実施の形態３では、２つのＴＯＦセンサを備える入力デバイスについて説明する。

図１２は、実施の形態３に係る２つのＴＯＦセンサを備えた入力デバイスの概要を示す模式図である。図１３は、実施の形態３に係る入力デバイスの構成を示すブロック図である。本実施形態に係る入力デバイス１Ｃは、実施の形態１に係る入力デバイス１の構成に加えて、第２のＴＯＦセンサ３’をさらに備える。図１２において、第２のＴＯＦセンサ３’は、入力デバイス１Ｃの表示部２の表示面において第１のＴＯＦセンサ３と対向する位置に配置されている。第２のＴＯＦセンサ３’は、ユーザインタフェース装置における第２の距離検出部の一例である。２つのＴＯＦセンサ３，３’を用いることにより、ユーザの操作の検出精度を向上することができる。

ここで、入力デバイス１Ｃの２つのＴＯＦセンサ３，３’も、実施形態２における２つの入力デバイス１Ａ，１Ｂの各ＴＯＦセンサ３と同様に、干渉を起こす可能性がある。そのため、本実施形態においても、表示停止期間中に、タイミングをずらして入力デバイス１ＣのＴＯＦセンサ３，３’を発光させる。また、本実施形態では、入力デバイス１Ｃの制御部１０により、上記のタイミング制御を行う。

図１４は、本実施形態に係る入力デバイス１Ｃの動作タイミングの一例を示すタイミングチャートである。図１４では、実施の形態２において図１０に示した例と同様に、一回の表示部２の表示停止期間中に第１及び第２のＴＯＦセンサ３，３’の両方を排他的に発光させている。なお、本実施形態においても、実施の形態２における図１１に示した例と同様に、一回の表示停止期間中に第１及び第２のＴＯＦセンサ３，３’の片方のみを発光させてもよい。また、各ＴＯＦセンサ３，３’の発光タイミングや発光期間についても、第１及び第２の入力デバイス１Ａ，１Ｂの各ＴＯＦセンサ３と同様に、全周期において一定であってもよいし、周期毎に変化させてもよい。

以上のように、本実施形態に係る入力デバイス１Ｃは、第２のＴＯＦセンサ３’をさらに備える。第２のＴＯＦセンサ３’は、表示部２の表示停止期間中に、第１の光が照射されるタイミングとは異なるタイミングで第２の光を照射するとともに第２の光の反射光を受光し、第２の光を反射した物体までの距離を検出する。これにより、２つのＴＯＦセンサ３，３’を干渉させずに使用でき、ユーザの操作の検出精度を向上することができる。

（他の実施の形態）
上記の各実施形態では、マイクロレンズアレイを用いて、表示面から浮き出すように３Ｄ画像を表示したが、マイクロレンズアレイを用いなくてもよい。例えば、ホログラフィ技術を用いて、表示部２の表示面内に、３Ｄ画像に対応する干渉縞を示す画像（ホログラム画像）を生成することにより、表示面から浮き出すように３Ｄ画像を表示（形成）してもよい。また、高密度指向性表示やインテグラルイメージングなどの空間像方式によって表示部２の画像表示を制御してもよい。

また、上記の各実施形態では、マイクロレンズを用いて表示面から浮き出すように３Ｄ画像を表示したが、これに限らず、例えば、ユーザの視差等を利用して、３Ｄ画像が表示面から浮き出して観察されるようにしてもよい。例えば、偏光眼鏡やレンチキュラ、パララックスバリア等を用いて、二眼式や多眼式の画像を表示面に表示してもよい。以上のような方法で３Ｄ画像が表示面から浮き出して観察されるようにした場合においても、表示面に間欠的に画像表示するとともに画像表示の停止期間中にＴＯＦセンサ３で距離検出を行うことで、３Ｄ画像を触るような感覚の操作を実現できる。

また、３Ｄ画像ではなく２Ｄ画像（立体視できない画像）を表示面に表示してもよい。この場合であっても、表示面近傍では２Ｄ画像を表示するための光の密度が大きい。そこで、このような場合においても、画像表示を間欠的に制御するとともに画像表示の停止期間中にＴＯＦセンサ３のＬＥＤ光を照射させるようにすることで、ＴＯＦセンサ３の誤検出を低減できる。２Ｄ画像に対するこのようなＴＯＦセンサ３の制御は、表示面を触らないユーザの操作を検出するようなアプリケーションに有効である。表示面を触らないユーザの操作を実現することで、例えば医療現場や給仕場などにおける衛生面の安全性を向上できる。

また、上記各実施形態に係る入力デバイスは、電子機器４に通信接続されたが、これに限らず、電子機器に一体的に搭載されてもよい。例えば、入力デバイスはスマートフォンやタブレット端末などに搭載されてもよいし、家電やゲーム機などに操作インタフェースとして搭載されてもよい。

また、上記各実施形態において、距離検出部の一例としてＴＯＦセンサを示したが、距離検出部はＴＯＦセンサに限らず、例えば、パターン照射型の距離画像センサや、ステレオカメラ、赤外線カメラなどであってもよい。

１，１Ａ，１Ｂ，１Ｃ 入力デバイス
１０ 制御部
１１ 外部インタフェース
２ 表示部
３，３’ ＴＯＦセンサ
４ 電子機器
Ｇ１ ３Ｄ画像

Claims (8)

1. 物体の動きに基づきユーザの操作を検出するユーザインタフェース装置であって、
   表示面に画像を表示する表示部と、
   第１の光を照射するとともに第１の光の反射光を受光して、第１の光を反射した前記物体までの距離を検出する第１の距離検出部と、
   前記第１の距離検出部によって検出された距離に基づいて、ユーザの操作を検出する制御部とを備え、
   前記制御部は、前記画像を表示する表示期間と前記画像の表示を停止する表示停止期間とを交互に繰り返すように前記表示部を制御し、
   前記表示停止期間中に、前記第１の距離検出部は、前記第１の光を照射して、前記物体までの距離を検出する
   ユーザインタフェース装置。
2. 前記表示部は、前記表示面からユーザ側の空間中に、ユーザに三次元画像が視認されるように、前記表示面に画像を表示し、
   前記制御部は、前記第１の距離検出部によって検出された距離に基づいて、前記三次元画像に対するユーザの操作を検出する
   請求項１に記載のユーザインタフェース装置。
3. 前記制御部は、
   前記第１の距離検出部によって検出された距離に基づいて、ユーザの操作が、ユーザに視認される三次元画像の位置において行われたことを判断し、
   判断結果に応じて、前記表示部によって表示される画像を制御する
   請求項２に記載のユーザインタフェース装置。
4. 前記三次元画像は、前記表示面から発する表示光によって前記表示面からユーザ側の空間中に形成される
   請求項２又は３に記載のユーザインタフェース装置。
5. 前記三次元画像は、操作部材を示す画像である
   請求項２〜４のいずれか１項に記載のユーザインタフェース装置。
6. 前記表示停止期間中に、前記第１の光が照射されるタイミングとは異なるタイミングで第２の光を照射するとともに第２の光の反射光を受光し、第２の光を反射した物体までの距離を検出する第２の距離検出部をさらに備える、
   請求項１〜５のいずれか１項に記載のユーザインタフェース装置。
7. 請求項１〜６のいずれか１項に記載のユーザインタフェース装置と、
   ユーザインタフェース装置に接続される電子機器とを備え、
   ユーザインタフェース装置は、ユーザの操作の検出結果を示す情報を前記電子機器に入力するユーザインタフェースシステム。
8. 前記電子機器は、複数のユーザインタフェース装置に接続され、
   複数のユーザインタフェース装置のそれぞれの第１の距離検出部は、それぞれ異なるタイミングで第１の光を照射する
   請求項７に記載のユーザインタフェースシステム。

Images