JP2013167938A

JP2013167938A - 情報入力装置

Info

Publication number: JP2013167938A
Application number: JP2012029359A
Authority: JP
Inventors: Shinichi Okada; 信一岡田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-02-14
Filing date: 2012-02-14
Publication date: 2013-08-29

Abstract

【課題】多様な入力選択を可能とすることができる情報入力装置を得る。
【解決手段】表示パネル１２では、入力選択肢を示す複数の画面のうち、いずれかの画面を表示する。３次元位置検出部３０は、操作体の３次元座標値を検出する。キューブエリア判定部３１は、表示パネル１２手前側の３次元空間を複数の立方体状に分割した仮想空間を想定した場合に、操作体の３次元座標値がどの仮想空間に含まれるかを判定する。仮想空間毎に入力選択肢の画面が割り当てられ、キューブエリア判定部３１で仮想空間が判定された場合は、その仮想空間に対応した入力選択肢の画面を表示パネル１２で表示する。
【選択図】図２

Description

この発明は、主としてタッチパネルを用いて情報入力を行う情報入力装置に関し、特に、３次元空間座標の検出により多様な入力方法を実現できる情報入力装置に関するものである。

従来の情報入力においては、タッチパネルに代表される２次元座標入力が主であり、３次元座標の使用はユーザの指の接近を報知する等の補助的な意味合いが主であった（例えば、特許文献１参照）。特許文献１に示された装置は、本体に取り付けられた複数台のカメラを用いてユーザの指とタッチパネルとの距離を計算し、指の接近を表示パネルへの影映像表示、または音により報知している。これにより、ユーザの入力を補助し、確実性を上げている。

特開２０１０−２４４４２２号公報

しかしながら、３次元座標の使用の情報入力装置として公知である上記の装置については、３次元座標を利用してユーザ入力を補助しているが、最終的な入力選択項目は２次元的に配置されており、入力選択項目の３次元的な配置には対応していない。一方、情報入力装置として、更に多様な入力選択を行うことができる構成の実現が求められていた。

この発明は上記のような課題を解決するためになされたもので、多様な入力選択を可能とすることができる情報入力装置を得ることを目的とする。

この発明に係る情報入力装置は、それぞれが入力選択肢を示す複数の画面のうちいずれかの画面を表示する表示手段と、所定の形状を有する操作体の３次元座標値を検出する３次元座標検出手段と、表示手段の手前の３次元空間を、複数の立方体状に分割した仮想空間を想定して、３次元座標検出手段が検出した操作体の３次元座標値がどの仮想空間に含まれるかを判定するエリア判定手段とを備え、エリア判定手段で計算された仮想空間に対応した入力選択肢の画面を表示手段で表示する画面とするようにしたものである。

この発明の情報入力装置は、表示手段の手前の３次元空間を複数の立方体状に分割した仮想空間を想定して、操作体の３次元座標値がどの仮想空間に含まれるかを計算し、計算された仮想空間に対応した画面を、複数の画面の中から選択するようにしたので、多様な入力選択を可能とすることができる。

この発明の実施の形態１による情報入力装置の外観を示す正面図である。この発明の実施の形態１による情報入力装置を示す構成図である。この発明の実施の形態１による情報入力装置の仮想空間の説明図である。この発明の実施の形態１による情報入力装置の仮想空間におけるキューブエリア２−１とその表示画面を示す説明図である。この発明の実施の形態１による情報入力装置の操作体の位置に対応した表示画面を示す説明図である。この発明の実施の形態２による情報入力装置を示す構成図である。この発明の実施の形態２による情報入力装置の３次元移動ベクトルを示す説明図である。

実施の形態１．
図１は、実施の形態１による情報入力装置の外観を示す正面図である。情報入力装置は、図示のように、本体１の左右の、ステレオ視可能な位置に、カメラ２ａ，２ｂを実装する。これらのカメラ２ａ，２ｂは、操作体であるユーザの手指の動きを撮影するよう配置されている。なお、この例では、カメラ２ａ，２ｂを２個としたが、さらに多くのカメラを実装しても良い。表示画面３により、ユーザに情報を提示する。

図２は、実施の形態１における情報入力装置の構成図である。情報入力装置は、制御部１０、表示コントローラ１１、表示パネル１２、カメラ２ａ，２ｂ、カメラコントローラ２０ａ，２０ｂ、３次元位置検出部３０、キューブエリア判定部３１、入力決定判定部３２、バス４０を備えている。制御部１０は、カメラ２ａ，２ｂの制御や表示パネル１２における表示制御等、情報入力装置における各部を統括制御するものである。表示コントローラ１１は、表示パネル１２における表示データの制御を行うための表示制御部である。表示パネル１２は、図１における表示画面３を生成するための表示手段である。カメラコントローラ２０ａ，２０ｂは、それぞれカメラ２ａ，２ｂの制御を行うためのカメラ制御部である。

３次元位置検出部３０は、カメラ２ａ，２ｂで撮影されたユーザの手指の３次元座標を検出する３次元座標検出手段である。即ち、この３次元位置検出部３０は、一般的に知られている視差を利用した距離計測により、ユーザの指先の３次元位置を検出する。キューブエリア判定部３１は、表示パネル１２の手前の３次元空間を、複数の立方体状に分割した仮想空間を想定して、３次元位置検出部３０が検出したユーザの指先の３次元座標が、立方体状に分割した仮想空間の、どの立方体に含まれるかを判定するエリア判定手段である。即ち、キューブエリア判定部３１は、後述するキューブエリアと呼称することとした３次元空間を直方体状に分割して、各々に識別番号を付けた各エリアのどこに、ユーザの指先が位置しているかを判定する。入力決定判定部３２は、ユーザの手指の形状を検出し、この検出された形状に基づいて入力選択操作中か、入力決定操作中かを判定する入力決定判定手段である。ここで、入力決定判定部３２における判定については、例えば、指１本の時は選択動作、その後、指２本を立てたら入力決定といったルールを予め設定しておくこととする。尚、手指の形の識別には、一般的に知られるパターンマッチングの手法等を利用する。また、バス４０は、制御部１０、キューブエリア判定部３１〜入力決定判定部３２と、表示コントローラ１１およびカメラコントローラ２０ａ，２０ｂとを接続するための信号路である。

なお、図２に示した例では、図１に対応して２台のカメラ２ａ，２ｂを備えた構成としたが、２台に限定されるものではなく、さらに多くのカメラを実装するようにしてもよい。
また、情報入力装置はコンピュータを用いて構成されており、制御部１０、３次元位置検出部３０、キューブエリア判定部３１、入力決定判定部３２は、それぞれの機能に対応したソフトウェアと、これを実行するためのＣＰＵやメモリといったハードウェアとで構成されている。あるいは、少なくともいずれかの機能部を専用のハードウェアで構成してもよい。

次に、このように構成された情報入力装置の動作について説明する。
図３を使用して、前述したキューブエリアと呼称することとした３次元空間を直方体状に分割して、各々に識別番号を付けた各エリアの説明を行う。図３では、画面に平行な方向に、縦２分割、横２分割の、合計４分割しており、また、奥行方向に距離ゼロ〜Ａ、距離Ａ〜Ｂ、距離Ｂ〜Ｃの３分割を行っている。距離Ｃより遠い空間は対象外である。なお、距離ゼロは画面の位置である。この例では、奥行方向に距離ゼロ〜Ａの４分割された空間をキューブエリア１−１〜１−４、距離Ａ〜Ｂの４分割された空間をキューブエリア２−１〜２−４、距離Ｂ〜Ｃの４分割された空間をキューブエリア３−１〜３−４と識別番号を割り付けている。

図４に、例としてキューブエリア２−１の空間を示している。このように、３次元空間を直方体状に分割し、各々の空間領域に入力選択肢を割り当てることで、従来の２次元入力に比して多様な入力方法を提供する。

実施の形態１の情報入力装置では、図３に示すように、分割された１２個のキューブエリアに、各々、個別の入力選択肢を与えている（例えば、キューブエリア１−１対応メニューやキューブエリア２−１対応メニュー等）。制御部１０は、３次元位置検出部３０によるユーザの指との距離判定結果に従い、キューブエリア判定部３１によって該当キューブエリアが特定された後、該当キューブエリアが属する距離の入力選択肢画面を表示する画面として表示コントローラ１１に送る。

さらに、図５に示すように、該当キューブエリアが属する距離の選択肢画面を表示した後、該当キューブエリアを示すエリアの表示色を変える等して、ユーザに示す。例えば、（ａ）は指の位置がキューブエリア２−１に入っている場合であり、（ｂ）は指の位置がキューブエリア２−２に入っている場合である。

入力決定判定部３２における入力選択肢の決定は、例えば、選択動作中は指１本での指示と決めておき、指２本を立てた時に入力決定というように、予め決めておく。この場合、２本目の指は入力決定の判定のみに用いることとし、選択動作時に使用した方の指を追跡してたどり着いたキューブエリア（入力決定が判定されたキューブエリア）を最終的な入力選択肢の表示画面とする。

上記の例では、空間分割数を１２個としたが、他のどんな分割数でも構わない。また、選択肢の決定動作に指の本数を用いた例を示したが、カメラで認識できる限り、他のどんな動作を用いても構わない。

上記の例では、複数のカメラ２ａ，２ｂの視差による距離計測を使用したが、距離センサ等を実装する等、他の方法で距離計測を行っても構わない。

このように、実施の形態１では、あたかも３次元空間上に、立方体形状の選択エリアを多数配置したかのような入力方法を可能とし、指の３次元的な動きにより多数の選択肢からの入力を実現できる。

以上説明したように、実施の形態１の情報入力装置によれば、それぞれが入力選択肢を示す複数の画面のうちいずれかの画面を表示する表示手段と、所定の形状を有する操作体の３次元座標値を検出する３次元座標検出手段と、表示手段の手前の３次元空間を、複数の立方体状に分割した仮想空間を想定して、３次元座標検出手段が検出した操作体の３次元座標値がどの仮想空間に含まれるかを判定するエリア判定手段とを備え、エリア判定手段で計算された仮想空間に対応した入力選択肢の画面を表示手段で表示する画面とするようにしたので、多様な入力選択が可能になる。

また、実施の形態１の情報入力装置によれば、エリア判定手段は、操作体の３次元座標値における奥行方向の座標値に基づいて、操作体がどの仮想空間に含まれるかを判定すると共に、操作体の形状を検出し、検出された形状に基づいて入力選択操作中か、入力決定操作中かを判定する入力決定判定手段を備え、入力決定判定手段で入力決定操作中と判定された時点の仮想空間に対応した画面を最終的な入力選択肢の画面とするようにしたので、最終的な入力選択肢の画面の決定を容易に行うことができる。

また、実施の形態１の情報入力装置によれば、操作体は、操作者の手指であり、入力決定判定手段は、入力選択操作中か入力決定操作中かを手指の形状で判定するようにしたので、入力選択操作や入力決定操作を簡易な手段で実現することができる。

実施の形態２．
図６は、実施の形態２における情報入力装置を示す構成図である。実施の形態２の情報入力装置では、実施の形態１の構成に加えて、３次元座標及びベクトル計算部５０、蓄積データベース５１、コマンド推定部５２を備えている。３次元座標及びベクトル計算部５０は、３次元位置検出部３０で検出された３次元座標値を直線で結んで、奥行方向の距離が等間隔のポイントに合わせてサンプルし直すと共に、サンプルし直したポイントの前後で検出された３次元座標値の差分から３次元移動ベクトルを計算する経路情報算出手段である。蓄積データベース５１は、指の軌跡の３次元座標値と３次元移動ベクトルを最終的に入力された入力選択肢毎に分類して蓄積するデータベースである。コマンド推定部５２は、蓄積データベース５１の情報と、現在の指の軌跡の３次元座標値と３次元移動ベクトルのマッチングにより最終的に入力される入力選択肢を推定するコマンド推定手段である。その他の各構成は図１に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

以下、実施の形態２の動作について、実施の形態１との差異に絞って説明する。実施の形態１では、処理速度によっては、３次元座標検出の処理遅延による表示の遅れが発生する場合があり得る。これを補償するために、実施の形態２では、以下のように学習による入力推定を行い、指が推定された入力に対する距離に近づくまでは、キューブエリアの奥行方向の境界を超える前に、画面表示を前もって切り替えることで、スムーズな操作を可能とする。

図３で、例えば、最終的に入力される選択肢として、キューブエリア１−２が推定された場合、距離Ｂ、及び、距離Ａにて、画面表示を切り替える際、処理遅延を考慮して、予め決めてある少し手前の距離に達した段階で、画面表示を前もって切り替える。

３次元座標及びベクトル計算部５０において、３次元位置検出部３０で検出された３次元座標値は、これらの３次元座標値を直線で結んで、奥行方向（Ｚ軸方向）の距離が等間隔のポイントに合わせてサンプルし直す。蓄積データベース５１に蓄積する座標も同様である。このようにすることにより、３次元座標値のＺ軸方向の値を等間隔のポイントに統一することができるため、蓄積データベース５１における容量の削減や３次元座標値の算出処理の演算量の削減を図ることができる。また、経路間の計算も√（ｘ²＋ｙ²）の２次元演算で済むため、経路間の距離を求めるための演算量も抑制することができる。

また、座標のみではなく、サンプルし直したポイントの前後で検出された３次元座標値の差分から３次元移動ベクトルも計算する。蓄積データベース５１に蓄積する３次元移動ベクトルも同様である。
図７は、３次元移動ベクトルの計算を示す説明図である。なお、図７において、奥行方向をｚ軸とし、ＸＹ平面をｒ軸として表している。３次元座標及びベクトル計算部５０では、ユーザの指の座標を取り込む際に、直前の取り込み座標を記憶しておき、例えば図７中では、点Ａ→点Ｂを（ｘ₂−ｘ₁，ｙ₂−ｙ₁，ｚ₂−ｚ₁）として計算することで、特定のＺ軸上での値でサンプルし直す前に、リアルタイムの移動方向を高精度に取得して利用する。上記の差分（ｘ₂−ｘ₁，ｙ₂−ｙ₁，ｚ₂−ｚ₁）を３次元移動ベクトルとする。ただし、記憶容量の削減を図るため、３次元移動ベクトルも記録するのは特定のＺ軸上の値でサンプルされた点のみとし、例えば、図中の点Ａ→点Ｂは記録するが、点Ｂ→点Ｃは記録しない。このようにすることにより、Ｚ軸上のサンプル点がまばらで、指先の座標を取り込む頻度の方が多い場合でも精度を向上させることができる。

蓄積データベース５１には、最終的に入力された入力選択肢毎に分類して、指の軌跡の３次元座標値と３次元移動ベクトルを記憶するものとし、最終的に入力選択肢が入力される毎に更新してゆくものとする。

コマンド推定部５２におけるコマンド推定に関しては、まず、蓄積データベース５１の座標データを見て、奥行方向座標が検出した３次元座標のものと等しいもので、検出した３次元座標との差分絶対値が予め設けた閾値以下のものを選択する。すなわち、Ｚ軸方向の座標値が同一で、ＸＹ座標の差分絶対値が閾値以下のものを選択する。
次に、これら選択されたデータから、最終入力選択肢が同一で、最多のものに絞り、蓄積データベース５１の３次元移動ベクトルを見て、検出した３次元移動ベクトルとの差分絶対値が予め設けた閾値以下のものを選択する。すなわち、蓄積データベース５１は、特定のｚサンプル点での３次元座標と３次元移動ベクトルと最終の入力選択肢の項目でカップリングされデータが蓄積されているため、３次元座標に基づいて選択されたデータのうち、最終の入力選択肢が最も多いものをまず取り出す。そして、取り出されたデータの中から３次元移動ベクトルの差分絶対値が閾値以下のものを選択する。

最終的に選択されたデータの数が、予め設けた閾値以上であれば、コマンド推定を有効とし、最終の入力選択肢を上記の蓄積データベース５１で検出された最多のものに設定する。データの数を見ることで、まれにしか発生しないパターンを排除する。また、コマンド推定が有効とならなかった場合は、画面表示を前もって切り替えることはしない。

制御部１０は、コマンド推定部５２からのコマンド推定結果に基づいて、実施の形態１のキューブエリア判定部３１の判定による画面の切り替えよりも先行して画面の切替を行う。すなわち、３次元位置検出部３０からの指のＺ軸方向の値の変化に基づいて、キューブエリアの奥行方向の境界を超える少し手前の距離に達した段階で、画面表示を前もって切り替える。

このように、実施の形態２では、過去の入力データからの推定により、画面表示を前もって切り替えることで、処理遅延による表示の遅れを補償し、スムーズな操作を実現できる。

以上説明したように、実施の形態２の情報入力装置によれば、操作体の移動する経路の情報を最終入力選択肢毎に蓄積する蓄積データベースと、３次元座標検出手段が検出した３次元座標値に基づいて、操作体の移動する経路の情報を算出する経路情報算出手段と、経路情報算出手段で算出された経路の情報と蓄積データベースの経路の情報とを照合し、条件に一致した経路の情報に対応した最終入力選択肢を求めるコマンド推定手段とを備え、コマンド推定手段で推定された最終入力選択肢に達するまでの画面を、エリア判定手段で計算された立方体に基づく画面の切り替えよりも先行して切り替えるようにしたので、円滑な入力操作を実現することができる。

また、実施の形態２の情報入力装置によれば、経路情報算出手段は、奥行方向の座標値を表示手段から等間隔の位置の値とした３次元座標値を求めると共に、３次元座標値における奥行方向の値の前後で検出された３次元座標値の差分を３次元移動ベクトルとして、３次元ベクトルと３次元座標値とを操作体の経路の情報とし、蓄積データベースは、入力選択肢毎に３次元ベクトルと３次元座標値とを操作体の経路の情報として予め蓄積するようにしたので、経路情報を求めるための演算量の削減や記憶容量の削減を図ることができると共に、高精度で経路情報を求めることができる。

なお、上記実施の形態１，２では、操作体をユーザの手指としたが、これに限定されるものではなく、形状に基づくエリア判定や入力判定が行えるものであればどのようなものであってもよい。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１本体、２ａ，２ｂカメラ、３表示画面、１０制御部、１１表示コントローラ、１２表示パネル、２０ａ，２０ｂカメラコントローラ、３０３次元位置検出部、３１キューブエリア判定部、３２入力決定判定部、４０バス、５０３次元座標及びベクトル計算部、５１蓄積データベース、５２コマンド推定部。

Claims

それぞれが入力選択肢を示す複数の画面のうちいずれかの画面を表示する表示手段と、
所定の形状を有する操作体の３次元座標値を検出する３次元座標検出手段と、
前記表示手段の手前の３次元空間を、複数の立方体状に分割した仮想空間を想定して、前記３次元座標検出手段が検出した前記操作体の３次元座標値がどの仮想空間に含まれるかを判定するエリア判定手段とを備え、
前記エリア判定手段で計算された仮想空間に対応した入力選択肢の画面を前記表示手段で表示する画面とすることを特徴とする情報入力装置。
エリア判定手段は、操作体の３次元座標値における奥行方向の座標値に基づいて、当該操作体がどの仮想空間に含まれるかを判定すると共に、
前記操作体の形状を検出し、当該検出された形状に基づいて入力選択操作中か、入力決定操作中かを判定する入力決定判定手段を備え、
前記入力決定判定手段で入力決定操作中と判定された時点の仮想空間に対応した画面を最終的な入力選択肢の画面とすることを特徴とする請求項１記載の情報入力装置。
操作体は、操作者の手指であり、入力決定判定手段は、入力選択操作中か入力決定操作中かを手指の形状で判定することを特徴とする請求項２記載の情報入力装置。
操作体の移動する経路の情報を最終入力選択肢毎に蓄積する蓄積データベースと、
３次元座標検出手段が検出した３次元座標値に基づいて、前記操作体の移動する経路の情報を算出する経路情報算出手段と、
前記経路情報算出手段で算出された経路の情報と前記蓄積データベースの経路の情報とを照合し、条件に一致した経路の情報に対応した最終入力選択肢を求めるコマンド推定手段とを備え、
前記コマンド推定手段で推定された最終入力選択肢に達するまでの画面を、エリア判定手段で計算された立方体に基づく画面の切り替えよりも先行して切り替えるようにしたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の情報入力装置。
経路情報算出手段は、奥行方向の座標値を表示手段から等間隔の位置の値とした３次元座標値を求めると共に、前記３次元座標値における奥行方向の値の前後で検出された３次元座標値の差分を３次元移動ベクトルとして、当該３次元ベクトルと前記３次元座標値とを操作体の経路の情報とし、
蓄積データベースは、入力選択肢毎に前記３次元ベクトルと前記３次元座標値とを操作体の経路の情報として予め蓄積することを特徴とする請求項４記載の情報入力装置。