JP2021177313A - 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム - Google Patents

Abstract

【課題】操作性に優れた非接触入力操作が可能なユーザインターフェースに関する技術を提供する。【解決手段】本発明は、ディスプレイに表示された画面に従って非接触操作を行うことが可能なユーザインターフェースに適合される情報処理装置である。前記情報処理装置は、所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスに基づいて、所定の入力操作を特定する入力操作特定部と、特定される前記所定の入力操作に基づいて所定の処理を実行する処理実行部とを備える。前記入力操作特定部は、前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあった後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあると判断する場合に、前記所定の入力操作を特定する、情報処理装置。【選択図】図１

Description

本開示は、ユーザインターフェースの技術に関し、特に、ユーザインターフェースを介したユーザの入力操作に基づいて処理を実行する情報処理装置及び情報処理方法並びに該方法を実行するためのコンピュータプログラムに関する。

ユーザが指先を画面に直接的に触れることなく、コンピューティングデバイスをインタラクティブに操作するためのユーザインターフェースが提案されている。ユーザがコンピューティングデバイスをインタラクティブに非接触操作するためのユーザインターフェースは、物理的なディスプレイの画面に表示された例えばボタンを表現するアイコン又はオブジェクトに対するユーザのジェスチャーを擬似的な入力操作として検出する。

例えば、下記特許文献１は、コントローラを用いずに非接触操作を行う場合に、ユーザへのフィードバックを行うことができる技術を開示する。具体的には、特許文献１は、検出部を介して、ユーザの特定部位についての空間座標を連続的に取得し、更新される空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う場合において、マーカーの初期形状は、任意の形状を分割した複数の形状として、空間座標系における所定の面に対して、空間座標の距離が大きいほど、表示画面の対応する位置から複数の形状を互いに離隔させ、当該距離が小さいほど、表示画面の対応する位置に複数の形状を互いに接近させる表示制御を行う技術を開示する。また、特許文献１は、表示画面の前方に空間座標系における所定の面（仮想タッチパネルの面）を定義し、連続的に取得され更新されるユーザの特定部位についての空間座標が仮想タッチパネルの面を通過した場合に、ユーザの押下操作として検出する技術を開示する。

特開２０１４−２１９９３８号公報

上記従来の特許文献１では、ユーザによる押下操作を検出するために、表示画面の前方に空間座標系における仮想タッチパネルを定義する必要があった。しかしながら、ユーザは、実際には仮想タッチパネルを視覚的に認識できないにも拘わらず、仮想タッチパネルの空間的な位置を常に意識しながら指を動かす等のジェスチャーをしなければならず、操作性が十分とはいえないという課題があった。

そこで、本開示では、操作性に優れた非接触入力操作が可能なユーザインターフェースに関する技術を提供する。

具体的には、本開示のある一つの目的は、ユーザが物理的なディスプレイの画面に対して非接触で入力操作を行う際に、仮想タッチパネル等を意識することなく該入力操作を可能にするユーザインターフェースに関する技術を提供することである。

また、本開示のある一つの目的は、ユーザが物理的なディスプレイの画面に表示されたアイコン等を非接触によるシンプル及び／又は直感的な操作で選択することを可能にするユーザインターフェースに関する技術を提供することである。

上記課題を解決するための本開示に係る技術（本技術）は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。

ある観点に従う本技術は、ディスプレイに表示された画面に従って非接触の入力操作を行うことが可能なユーザインターフェースに適合される情報処理装置である。前記情報処理装置は、所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスに基づいて、所定の入力操作を特定する入力操作特定部と、前記入力操作特定部により特定される前記所定の入力操作に基づいて所定の処理を実行する処理実行部とを備える。そして、前記入力操作特定部は、前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断し、前記滞留の状態にあると判断した場合に、更に、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断する。前記入力操作特定部は、前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定する。
また、別の観点に従う本技術は、非接触ユーザインターフェースを介したユーザの入力操作に基づく情報処理方法である。前記情報処理方法は、ディスプレイに所定の画面を表示することと、前記所定の画面に対する所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスを取得すること、取得した、前記位置情報のシーケンスに基づいて、所定の入力操作を特定することと、特定される前記所定の入力操作に基づいて所定の処理を実行することとを含む。そして、前記所定の入力操作を特定することは、前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断することと、前記ユーザの特定部位が前記滞留の状態にあると判断した後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断することと、前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定することと、を含む。

更に、別の観点に従う本技術は、情報処理装置に、非接触ユーザインターフェースを介したユーザの入力操作に基づく前記情報処理方法を実現させるためのコンピュータプログラムである。

なお、本開示において、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。また、「手段」とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されても良い。また、「手段」は、例えば「部（unit）」や「モジュール」といった用語に読み替えが可能であり、本開示における特定の「物」に限定的に解釈されるべきではない。

本技術の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。また、本開示に記載された効果はあくまで例示であってこれに限定されるものではなく、また他の効果があっても良い。

図１は、本技術の一実施形態に係る情報処理装置を用いたユーザインターフェースを説明するための概略図である。 図２は、本技術の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロックダイアグラムである。 図３は、本技術の一実施形態に係る情報処理装置の機能的構成の一例を示すブロックダイアグラムである。 図４Ａは、本技術の一実施形態に係る情報処理装置のユーザインターフェースに対するユーザの入力操作の画面の一例を説明するための図である。 図４Ｂは、本技術の一実施形態に係る情報処理装置のユーザインターフェースに対するユーザの入力操作の画面の一例を説明するための図である。 本技術の一実施形態に係る情報処理装置のユーザインターフェース処理におけるアイコン選択の状態の遷移の一例を説明するための図である。 図６は、本技術の一実施形態に係る情報処理装置のユーザインターフェース処理の一例を説明するためのフローチャートである。

以下、図面を参照して本技術の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本技術は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

図１は、本技術の一実施形態に係る情報処理装置を用いたユーザインターフェースを説明するための概略図である。本実施形態の情報処理装置１は、非接触のインタラクティブな操作が可能なユーザインターフェースに適合されたコンピューティングデバイスである。非接触のインタラクティブな操作とは、例えば、ディスプレイに表示された画面に対して、ユーザが該画面に触れることなく、ユーザの特定部位（例えば指等）の動きにより入力乃至は指示を可能にする操作である。同図に示すように、情報処理装置１は、メインボード１０とユーザインターフェース２０とを含み構成される。メインボード１０は、ユーザインターフェース２０を制御するためのコンピューティングデバイス本体である。ユーザインターフェース２０は、撮像カメラ２２と、ディスプレイ２４とを含む。本例では、撮像カメラ２２は、前方の対象物を照射するための光源２２ａと、対象物からの反射光を受光する受光部２２ｂとを含む。同図では、ディスプレイ２４から離れて対向したユーザが、ディスプレイ２４に表示されたメニュー画面のボタンアイコンを指差して、その指先の前方に指示アイコン（カーソルアイコン）ＩＣＯＮが重畳的に表示されている様子を示している。

図２は、本技術の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロックダイアグラムである。同図では、情報処理装置１を構成する各種のハードウェア資源のうち、本開示に特に関連するものが示されている。

同図に示すように、本例に示される情報処理装置１は、典型的には、１又は２以上のプロセッサモジュール１１と、チップセット１２と、メモリモジュール１３と、Ｉ／Ｏコントローラ１４と、各種のペリフェラルインターフェース１５とを含み得るメインボード１０と、各種の入出力デバイス２２〜２６を含み得るユーザインターフェース２０とを備える。

プロセッサモジュール１１は、例えば、プロセッサ（プロセッサコア）、マイクロコントローラ、デジタル信号プロセッサ及び／又はこれらの組み合わせを含むが、これらに限定されない。チップセット１２は、プロセッサモジュール１１、メモリモジュール１３、及びＩ／Ｏコントローラ１４等を接続するバスに対するブリッジや、情報処理装置１を構成するために必要な他のコンポーネントを集積した回路からなる。

メモリモジュール１３は、典型的には、揮発性メモリ（例えばＲＡＭ）、不揮発性メモリ（例えばＲＯＭやフラッシュメモリ等）及び／又はこれらの組み合わせからなる１次記憶装置である。メモリモジュール１３は、各種のソフトウェア資源、例えば、デバイスドライバ、オペレーティングシステム（ＯＳ）プログラム、１又は２以上のアプリケーションプログラム及びデータ等の全部又は一部を保持し、プロセッサモジュール１１の利用に供される。本実施形態では、メモリモジュール１３は、ユーザインターフェース２０を制御するためのプログラム（ユーザインターフェースデバイスドライバ）を保持し得る。データは、例えば、ユーザインターフェース２０を実現するための各種の表示データを含む。

Ｉ／Ｏコントローラ１４は、各種のペリフェラルインターフェース１５（例えば、入出力インターフェース１５１及び通信インターフェース１５２等）との間の入出力を制御する回路である。入出力インターフェース１５１は、例えば、撮像カメラ２２、ディスプレイ２４、及びスピーカ２６等の外部の入出力デバイスの動作を制御する。通信インターフェース１５２は、外部の装置とのネットワーク通信を可能にする回路である。

撮像カメラ２２は、ディスプレイ２４前方の撮像エリア内のユーザの動きを撮像する画像センサ（図示せず）を含み構成されるデバイスである。本開示では、画像センサは対象物（例えばユーザの顔や指等）までの距離を測定し、その測距データを出力し得る測距センサである。測距センサは、例えば、ＴＯＦセンサが知られている。ＴＯＦセンサは、光源から照射された光に基づく対象物からの反射光を受光することにより、該対象物までの距離に関する測距データを出力し得る。ＴＯＦセンサとして、例えば直接ＴＯＦセンサや間接ＴＯＦセンサが知られている。測距データは、プロセッサモジュール１１の処理により、距離画像データに変換される。距離画像データは、３次元（ＸＹＺ）空間座標系における深度情報（奥行き情報）を含む。撮像カメラ２２及びディスプレイ２４は、プロセッサモジュール１１の制御の下、非接触タイプのユーザインターフェース２０を構成する。なお、本開示では、画像センサとして測距センサを用いているが、これに限られず、３次元位置情報を取得することができる装置乃至は構成であれば良い。

ディスプレイ２４は、テキストや画像からなるユーザインターフェース画面を表示するためのデバイスである。典型的には、ディスプレイ２４は、液晶ディスプレイや有機ディスプレイが該当するが、これに限られず、例えば、プロジェクタのような投影型の表示デバイスであっても良い。

スピーカ２６は、サウンドプロセッサ（図示せず）によって生成されたオーディオ信号に基づいて、オーディオないしはサウンドを出力するデバイスである。スピーカ２６は、プロセッサモジュール１１の制御の下、例えば、非接触ユーザインターフェース２０を介したユーザの入力操作を補助又は演出する音声や効果音等を出力する。

図３は、本技術の一実施形態に係る情報処理装置の機能的構成の一例を示すブロックダイアグラムである。同図では、情報処理装置１の各種の構成要素（コンポーネント）のうち、本開示に特に関連するものが示されている。かかる構成要素は、上述したハードウェア資源そのもの又はその一部によって、及び／又は、例えば、情報処理装置１のプロセッサモジュールが、ＯＳ上で各種のデバイスドライバやプログラムを実行することにより、各種のハードウェア資源と協働して、実現され得る。

同図に示すように、本例の情報処理装置１は、Ｉ／Ｏ制御部３１０と、表示部３３０と、撮像部３２０と、制御部３４０とを含み構成される。

Ｉ／Ｏ制御部３１０は、撮像部３２０及び表示部３３０等との間の入出力を制御する。撮像部３２０は、光源２２ａから光を照射して表示部３３０の画面前方のユーザを受光部２２ｂにより撮像し（図１参照）、その測距データを、Ｉ／Ｏ制御部３１０を介して制御部３４０に出力する。表示部３３０は、Ｉ／Ｏ制御部３１０を介して表示制御部３４３に接続され、表示制御部３４３の制御の下、ユーザに提供される画面を表示する。ユーザに提供される画面は、例えば、テキストやグラフィカル画像からなるメニュー画面やキーボード画面等であり得る。また、撮像部３２０により撮像されたユーザの特定部位（例えば指先等）の動きに応じて、制御部３４０の制御の下、表示部３３０の画面には、ユーザの特定部位の動きに応じて所定のアイコン等が表示され、これにより、非接触のユーザインターフェースを実現する。

制御部３４０は、情報処理装置１上に実現されるユーザインターフェース２０の機能を統括的に制御する。制御部３４０は、上述したプロセッサモジュール１１が、所定のプログラムを実行することにより他のハードウェア資源と協働することにより実現される。制御部３４０は、例えば、画像処理部３４１と、フィーチャ認識部３４２と、表示制御部３４３と、入力操作特定部３４４と、処理実行部３４５とを含み得る。

画像処理部３４１は、撮像部３２０から時々刻々と出力される測距データのシーケンスをＩ／Ｏ制御部３１０を介して取得し、取得した測距データのシーケンスに基づいて、フレームごとの距離画像データを生成する。距離画像データは、深度情報を含む３次元空間座標データである。画像処理部３４１は、生成した距離画像データをフィーチャ認識部３４２に引き渡す。

フィーチャ認識部３４２は、生成された距離画像データに対してフレームごとに画像認識処理を行って、ユーザの特定部位に係るフィーチャを抽出乃至は認識し、その位置情報のシーケンスを生成し、出力する。フィーチャは、例えば、３次元空間座標系における位置情報（ベクトル情報）のシーケンスからなる。フィーチャ認識部３４２は、例えば、距離画像データに基づいて、ユーザの姿勢乃至は体動を推定し、更に、その特定部位を３次元的に推定することで、フィーチャの位置／姿勢／動きを認識する。フィーチャ認識部３４２は、認識したフィーチャを表示制御部３４３及び入力操作特定部３４４に引き渡す。

表示制御部３４３は、表示部３３０の画面表示に適合した２次元画像データ（以下単に「画像データ」という。）を生成し、Ｉ／Ｏ制御部３１０を介して、表示部３３０に出力する。一例として、表示制御部３４３は、フィーチャ認識部３４２により認識された特定部位のフィーチャに基づいて、指示アイコンを含む画像データを生成する。他の例として、表示制御部３４３は、後述する入力操作特定部３４４により特定された入力操作に合わせてアニメーション表示がなされるように画像データを生成する。

入力操作特定部３４４は、フィーチャ認識部３４２により認識された特定部位のフィーチャに基づいて、表示された画面の内容に従った入力操作を特定する。入力操作は、ユーザの特定部位の単純な位置及び／又は動きに基づく場合もあるし、複数の動きの組み合わせで特定される場合もある。例えば、入力操作特定部３４４は、フィーチャ認識部３４２により認識された特定部位のフィーチャの位置情報と、画面に表示された例えばボタンアイコン等の位置情報とに基づいて、該ボタンアイコンを指し示したか否かを判断し、該アイコンを指し示したと判断する場合には、これをユーザの入力操作として特定する。また、入力操作特定部３４４は、フィーチャの位置情報のシーケンスに基づいて、特定部位の動きを認識し得る。例えば、入力操作特定部３４４は、ユーザの特定部位が３次元空間座標系における所定の場所に滞在しているか否かを、フィーチャの位置情報の第１のシーケンスに基づいて、判断し得る。また、入力操作特定部３４４は、ユーザの特定部位が３次元空間座標系における該滞留している場所からＺ方向に移動にしたか否かを、フィーチャの位置情報の第２のシーケンスに基づいて、判断し得る。入力操作特定部３４４は、特定した入力操作を表示制御部３４３及び処理実行部３４５に通知する。

処理実行部３４５は、特定された入力操作に応じた所定の処理を実行する。例えば、処理実行部３４５は、特定された入力操作がボタンアイコンの選択操作である場合、該ボタンアイコンに関連付けられた処理を実行し、及び／又は図示しない他の構成要素に処理の実行を命令する。処理実行部３４５は、処理の実行により、表示部３３０に表示された画面を変化させる場合には、画面の変化に応じた画像データを生成するように、表示制御部３４３に命令する。

図４Ａ及び４Ｂは、本技術の一実施形態に係る情報処理装置のユーザインターフェースに対するユーザの入力操作の画面の一例を説明するための図である。また、図５は、本技術の一実施形態に係る情報処理装置のユーザインターフェース処理におけるアイコン選択の状態の遷移の一例を説明するための図である。図５に示される各状態は、図４Ａ及び４Ｂに示される各操作に対応付けられる。

図４Ａ（ａ）は、ディスプレイ２４（表示部３３０）の画面にメニューが表示され、ユーザがその指が指し示す方向でアイテムＢのボタンアイコンを選択しようとしている様子を示している。このとき、情報処理装置１の制御部３４０は、未選択状態Ｓ４０１にある（図４）。なお、本開示のユーザインターフェースは、非接触ユーザインターフェースであり、画面と指とはある程度の距離だけ離れている（図１参照）。制御部３４０は、例えばユーザの指の動きに合わせて指示アイコンが画面に表示されるように制御する。

次に、ユーザは、図４Ａ（ｂ）に示すように、選択しようとするアイテムＢのボタンアイコンに指の方向を合わせ、例えば、アイテムＢのボタンアイコン上で指をぐるりと輪を描くように動かす。或いは、ユーザは、アイテムＢのボタンアイコン上で指を、チェックマークを描くように動かしても良い。これにより、制御部３４０は、指がアイテムＢのボタンアイコンの近傍に滞留していると判断して、アイテムＢのボタンアイコンの仮選択状態Ｓ４０２に遷移する（図５）。この場合、制御部３４０は、仮選択状態であることをユーザに認識させるために、アイテムＢのボタンアイコンが視覚的に区別されるように画面の表示を制御しても良い。例えば、制御部３４０は、アイテムＢのボタンアイコンの色を他の色に変更したり、図４Ａ（ｃ）に示すように強調アイコンが重畳的に表示されるように制御したりしても良い。これにより、ユーザは、自身の意図どおりに、アイテムＢのボタンアイコンが仮選択状態になったことを認識することができる。なお、同図（ｃ）では、ユーにボタンアイコンの押し下げ動作を促すためのメッセージ「押して決定」が表示されている。

次に、ユーザは、図４Ｂ（ｄ）に示すように、画面上のアイテムＢのボタンアイコンをあたかも押下するように、指を動かす。制御部３４０は、仮選択状態のアイテムＢのボタンアイコン上で指が押し下げられたと判断して、選択確定状態Ｓ４０３に遷移する（図５）。このとき、制御部３４０は、ボタンアイコンの押し下げをユーザに認識させるために、押し下げアニメーションを表示し、効果音を鳴らしても良い。制御部３４０は、選択確定状態Ｓ４０３に遷移後、例えば、アイテムＢのボタンアイコンに関連付けられた所定の処理を実行することにより、未選択状態Ｓ４０１に戻る。

なお、アイテムＢのボタンアイコンの仮選択状態Ｓ４０２において、制御部３４０は、所定の時間、押し下げの動作がない場合には、仮選択状態を解除して、未選択状態Ｓ４０１に戻る。

図６は、本技術の一実施形態に係る情報処理装置のユーザインターフェース処理の一例を説明するためのフローチャートである。かかる処理は、例えば、情報処理装置１のプロセッサモジュール１１が所定のユーザインターフェースデバイスドライバを実行することにより上述したハードウェア資源と協働することによって実現される。

同図に示すように、情報処理装置１の制御部３４０において、画像処理部３４１は、撮像部３２０から出力される測距データのシーケンスに基づいて画像処理を行ってフレームごとの距離画像データを生成する（Ｓ６０１）。続いて、フィーチャ認識部３４２は、生成された距離画像データに基づいて、ユーザの特定部位のフィーチャを抽出乃至は認識する（Ｓ６０２）。本開示では、フィーチャ認識部３４２は、特定部位として、ユーザの指を認識するものとする。フィーチャ認識部３４２は、距離画像データに基づいてユーザの指を認識した場合（Ｓ６０２のＹｅｓ）、その位置情報のシーケンスを取得する（Ｓ６０３）。なお、フィーチャ認識部３４２がユーザの指を認識できなかった場合（Ｓ６０２のＮｏ）、当該入力操作の特定処理はリセットされ、次のフレームの距離画像データの処理に移行する。

続いて、表示制御部３４３は、取得されたフィーチャの位置情報のシーケンスに従って指示アイコンが画面に表示されるように制御を行う（Ｓ６０４）。これにより、画面とユーザの指との位置関係に従って指示アイコンが画面内に表示されることになる。なお、指示アイコンは、第１のアイコンの一例である。

入力操作特定部３４４は、フィーチャの位置情報のシーケンスに基づいて、ユーザの指が静止状態にあるか否かを判断する（Ｓ６０６）。静止状態とは、完全な静止でなくとも、ある程度の時間、略その位置に止まっているとみなせる状態を含み得る。ユーザの指が静止状態にある位置は、後述する滞留状態を判定するための基準位置となる。例えば、ユーザが画面に表示されたアイテムのボタンアイコンを指し示す場合では、ユーザの指が多少揺らいでいても、該ボタンアイコンを一定時間指し示しているとみなせる限り、静止状態として判断され得る。入力操作特定部３４４がユーザの指が静止状態にあると判断する場合（Ｓ６０６のＹｅｓ）、強調アイコンを画面に表示するよう表示制御部３４３に指示し、表示制御部３４３は、強調アイコンが画面に表示されるように制御を行う（Ｓ６０７）。強調アイコンは、第２のアイコンの一例である。なお、入力操作特定部３４４がユーザの指の静止状態を認識できなかった場合（Ｓ６０６のＮｏ）、当該入力操作の特定処理はリセットされ、次のフレームの距離画像データの処理に移行する。

続いて、入力操作特定部３４４は、ユーザの指が、所定の時間、滞留状態にあるか否かを判断する（Ｓ６０８）。所定の時間は、例えば、ユーザの指が静止状態であると判断された時点から計測される。また、ユーザの指が静止状態にある位置（基準位置）から例えば所定の範囲内に留まっている場合、入力操作特定部３４４は、これを滞留状態であると判断する（Ｓ６０８のＹｅｓ）。或いは、ユーザの指が所定の範囲内で特徴的な動き、例えば輪を描くような動きやチェックマークを描くような動きをした場合、入力操作特定部３４４は、滞留状態であると判断しても良い。特徴的な動きは、例えば、画面に平行な面内で行われる動き（Ｘ−Ｙ方向のベクトル成分が主として含まれる。）である。なお、入力操作特定部３４４がユーザの指の滞留状態を認識できなかった場合（Ｓ６０８のＮｏ）、当該入力操作の特定処理はリセットされ、次のフレームの距離画像データの処理に移行する。

続いて、入力操作特定部３４４は、取得された位置情報のシーケンスに基づいて、ユーザが指の押し下げ動作を行ったか否か、すなわち、ユーザの指がＺ方向に所定の移動量だけ移動したか否かを判断する（Ｓ６０９）。つまり、入力操作特定部３４４は、ユーザの指が滞留状態の位置から画面方向に近づいたか否かによって押し下げ動作がなされたか否かを判断する。このように、本開示では、仮想タッチパネルの面を定義することなく、滞留状態の位置を基準にして、奥行き方向の動きを検出する。

入力操作特定部３４４は、ユーザの指が滞留状態の位置から画面方向に近づいたと判断する場合（Ｓ６０９のＹｅｓ）、ユーザの指の動きによる入力操作を特定し、これに伴い、表示制御部３４３は、押し下げ中のアニメーションを画面に表示されるように制御を行う（Ｓ６１０）。また、処理実行部３４５は、表示された画面に基づいてなされた入力操作に応じた処理を実行する。なお、入力操作特定部３４４がユーザの指の押し下げ動作を認識できなかった場合（Ｓ６０９のＮｏ）、当該入力操作の特定処理はリセットされ、次のフレームの距離画像データの処理に移行する。

以上のように、本開示のユーザインターフェースを備えた情報処理装置１は、Ｘ−Ｙ平面におけるユーザの特定部位の動きにより、ユーザから離れたディスプレイの画面上の指示アイコンを動かすことができ、また、Ｘ−Ｙ平面内での該特定部位の滞留状態を検出した後、該特定部位の滞留状態を基準に、該特定部位のＺ方向の動きにより、選択決定の入力操作を受け付けることができ、これにより、非接触操作における誤動作を低減することができるようになる。

上記各実施形態は、本技術を説明するための例示であり、本技術をこれらの実施形態にのみ限定する趣旨ではない。本技術は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。

例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。

また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本技術の要旨に含まれる。

また、本技術は、以下のような技術的事項を含み構成されても良い。
（１）ディスプレイに表示された画面に従って非接触の入力操作を行うことが可能なユーザインターフェースに適合される情報処理装置であって、
所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスに基づいて、所定の入力操作を特定する入力操作特定部と、
前記入力操作特定部により特定される前記所定の入力操作に基づいて所定の処理を実行する処理実行部と、を備え、
前記入力操作特定部は、
前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断し、前記滞留の状態にあると判断した場合に、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断し、前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定する、
情報処理装置。
（２）取得される測距データに基づいて、フレームごとの距離画像データを生成する画像処理部と、
前記画像処理部により生成される距離画像データに基づいて、前記所定の空間座標系における前記ユーザの特定部位を認識するフィーチャ認識部と、
前記フィーチャ認識部により認識された前記特定部位の前記所定の空間座標系における位置に対応する前記画面における位置に第１のアイコンが表示されるように制御を行う表示制御部と、を更に備える、
上記（１）に記載の情報処理装置。
（３）光源から照射された光に基づく対象物からの反射光を受光することにより、前記対象物までの距離を測定する測距センサを含む撮像部を更に含み、
前記撮像部は、測定された前記距離に関する前記測距データを出力する、
上記（２）に記載の情報処理装置。
（４）前記入力操作特定部は、前記特定部位が、所定の時間の間、前記所定の空間座標系において静止していると判断される場合に、該静止している位置を前記基準位置に設定する、
上記（２）に記載の情報処理装置。
（５）前記表示制御部は、前記滞留の状態において、該滞留している位置に対応する前記画面における位置に第２のアイコンが表示されるように制御を行う、
上記（４）に記載の情報処理装置。
（６）前記表示制御部は、前記移動の状態において、前記移動が表現されるように前記画面の表示を制御する、
上記（４）に記載の情報処理装置。
（７）前記入力操作特定部は、
前記ユーザの特定部位が、前記基準位置に基づく所定の範囲内にある場合に、前記ユーザの特定部位が滞留していると判断する、
上記（１）に記載の情報処理装置。
（８）前記入力操作特定部は、
前記ユーザの特定部位が、前記画面に平行な面において移動する場合に、前記ユーザの特定部位が滞留していると判断する、
上記（７）に記載の情報処理装置。
（９）前記入力操作特定部は、前記ユーザの特定部位が、前記ユーザから前記画面に対する方向に所定の移動量だけ移動したと判断する場合に、前記移動の状態にあると判断する、
上記（１）に記載の情報処理装置。
（１０）前記表示制御部は、少なくとも１つのアイコンを含むメニュー画面が前記ディスプレイに表示されるように制御を行い、
前記入力操作特定部は、前記少なくとも１つのアイコンに対する入力操作を特定する、
上記（２）に記載の情報処理装置。
（１１）前記表示制御部は、特定された前記少なくとも１つのアイコンに対応する前記画面における位置に前記第１のアイコンが表示されるように制御する、
上記（１０）に記載の情報処理装置。
（１２）非接触ユーザインターフェースを介したユーザの入力操作に基づく情報処理方法であって、
ディスプレイに所定の画面を表示することと、
前記所定の画面に対する所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスを取得すること、
取得した、前記位置情報のシーケンスに基づいて、所定の入力操作を特定することと、
特定される前記所定の入力操作に基づいて所定の処理を実行することと、を含み、
前記所定の入力操作を特定することは、
前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断することと、
前記ユーザの特定部位が前記滞留の状態にあると判断した後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断することと、
前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定することと、を含む、
情報処理方法。
（１３）コンピューティングデバイスに、非接触ユーザインターフェースを介したユーザの入力操作に基づく情報処理方法を実現させるためのコンピュータプログラムであって、
前記情報処理方法は、
ディスプレイに所定の画面を表示することと、
前記所定の画面に対する所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスを取得すること、
取得した、前記位置情報のシーケンスに基づいて、所定の入力操作を特定することと、
特定される前記所定の入力操作に基づいて所定の処理を実行することと、を含み、
前記所定の入力操作を特定することは、
前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断することと、
前記ユーザの特定部位が前記滞留の状態にあると判断した後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断することと、
前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定することと、を含む、
コンピュータプログラム。

１…情報処理装置
１０…メインボード
１１…プロセッサモジュール
１２…チップセット
１３…メモリモジュール
１４…Ｉ／Ｏコントローラ
１５…ペリフェラルインターフェース
１５１…入出力インターフェース
１５２…通信インターフェース
２０…ユーザインターフェース
２２…撮像カメラ
２２ａ…光源
２２ｂ…受光部
２４…ディスプレイ
２６…スピーカ
３１０…Ｉ／Ｏ制御部
３２０…撮像部
３３０…表示部
３４０…制御部
３４１…画像処理部
３４２…フィーチャ認識部
３４３…表示制御部
３４４…入力操作特定部
３４５…処理実行部

Claims (13)

1. ディスプレイに表示された画面に従って非接触の入力操作を行うことが可能なユーザインターフェースに適合される情報処理装置であって、
   所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスに基づいて、所定の入力操作を特定する入力操作特定部と、
   前記入力操作特定部により特定される前記所定の入力操作に基づいて所定の処理を実行する処理実行部と、を備え、
   前記入力操作特定部は、
   前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断し、前記滞留の状態にあると判断した場合に、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断し、前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定する、
   情報処理装置。
2. 取得される測距データに基づいて、フレームごとの距離画像データを生成する画像処理部と、
   前記画像処理部により生成される距離画像データに基づいて、前記所定の空間座標系における前記ユーザの特定部位を認識するフィーチャ認識部と、
   前記フィーチャ認識部により認識された前記特定部位の前記所定の空間座標系における位置に対応する前記画面における位置に第１のアイコンが表示されるように制御を行う表示制御部と、を更に備える、
   請求項１に記載の情報処理装置。
3. 光源から照射された光に基づく対象物からの反射光を受光することにより、前記対象物までの距離を測定する測距センサを含む撮像部を更に含み、
   前記撮像部は、測定された前記距離に関する前記測距データを出力する、
   請求項２に記載の情報処理装置。
4. 前記入力操作特定部は、前記特定部位が、所定の時間の間、前記所定の空間座標系において静止していると判断される場合に、該静止している位置を前記基準位置に設定する、
   請求項２に記載の情報処理装置。
5. 前記表示制御部は、前記滞留の状態において、該滞留している位置に対応する前記画面における位置に第２のアイコンが表示されるように制御を行う、
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記移動の状態において、前記移動が表現されるように前記画面の表示を制御する、
   請求項４に記載の情報処理装置。
7. 前記入力操作特定部は、
   前記ユーザの特定部位が、前記基準位置に基づく所定の範囲内にある場合に、前記ユーザの特定部位が滞留していると判断する、
   請求項１に記載の情報処理装置。
8. 前記入力操作特定部は、
   前記ユーザの特定部位が、前記画面に平行な面において移動する場合に、前記ユーザの特定部位が滞留していると判断する、
   請求項７に記載の情報処理装置。
9. 前記入力操作特定部は、前記ユーザの特定部位が、前記ユーザから前記画面に対する方向に所定の移動量だけ移動したと判断する場合に、前記移動の状態にあると判断する、
   請求項１に記載の情報処理装置。
10. 前記表示制御部は、少なくとも１つのアイコンを含むメニュー画面が前記ディスプレイに表示されるように制御を行い、
    前記入力操作特定部は、前記少なくとも１つのアイコンに対する入力操作を特定する、
    請求項２に記載の情報処理装置。
11. 前記表示制御部は、特定された前記少なくとも１つのアイコンに対応する前記画面における位置に前記第１のアイコンが表示されるように制御する、
    請求項１０に記載の情報処理装置。
12. 非接触ユーザインターフェースを介したユーザの入力操作に基づく情報処理方法であって、
    ディスプレイに所定の画面を表示することと、
    前記所定の画面に対する所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスを取得すること、
    取得した、前記位置情報のシーケンスに基づいて、所定の入力操作を特定することと、
    特定される前記所定の入力操作に基づいて所定の処理を実行することと、を含み、
    前記所定の入力操作を特定することは、
    前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断することと、
    前記ユーザの特定部位が前記滞留の状態にあると判断した後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断することと、
    前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定することと、を含む、
    情報処理方法。
13. コンピューティングデバイスに、非接触ユーザインターフェースを介したユーザの入力操作に基づく情報処理方法を実現させるためのコンピュータプログラムであって、
    前記情報処理方法は、
    ディスプレイに所定の画面を表示することと、
    前記所定の画面に対する所定の空間座標系におけるユーザの特定部位の位置情報のシーケンスを取得すること、
    取得した、前記位置情報のシーケンスに基づいて、所定の入力操作を特定することと、
    特定される前記所定の入力操作に基づいて所定の処理を実行することと、を含み、
    前記所定の入力操作を特定することは、
    前記位置情報の第１のシーケンスに基づいて、前記ユーザの特定部位が前記所定の空間座標系における基準位置において滞留の状態にあるか否かを判断することと、
    前記ユーザの特定部位が前記滞留の状態にあると判断した後、前記位置情報の第２のシーケンスに基づいて、前記ユーザの特定部位が移動の状態にあるか否かを判断することと、
    前記ユーザの特定部位が前記移動の状態にあると判断する場合に、前記所定の入力操作を特定することと、を含む、
    コンピュータプログラム。

Images