JP2012094085A

JP2012094085A - 入力装置

Info

Publication number: JP2012094085A
Application number: JP2010242968A
Authority: JP
Inventors: Takashi Matsubara; 孝志松原; Stiawan Bondan; スティアワンボンダン; Tatsuya Tokunaga; 竜也徳永
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2012-05-17

Abstract

【課題】非接触で入力操作を実行する入力装置において、ユーザが意図する操作を円滑に入力できる入力装置を提供する。
【解決手段】入力装置からユーザの手までの距離を検出する距離検出手段１０２と、前記距離検出手段の検出結果に基づき、距離の変化を検出する距離変化検出手段と、映像表示手段１０１とを備え、前記距離変化検出手段は、所定の範囲における距離の変化を検出し、前記映像表示手段は、前記距離変化検出手段の検出結果に応じて表示の変更を行う。
【選択図】図１

Description

本発明は、ユーザの操作する手と操作される画面の間の距離をセンサにより検出して、検出結果に応じた操作指示を与える入力装置に関する。

従来、ＴＶやレコーダといった映像装置、あるいは、ＰＣなどの情報処理機器に対して、ユーザは、リモコンによりチャンネル操作・表示操作をしたり、キーボードやマウス、あるいはタッチパネルなどの入力デバイスによりコマンド入力やデータ入力をすることが一般的であった。

また近年では、センサ技術の向上により、特に、ゲーム機やポータブル機器の分野において、ユーザの動作をセンサで認識し、その結果によりユーザの意思を判断して、機器を動作させる手法が用いられている。

特許文献１には、手指の形状、動作を認識して、操作を判定する画像認識装置が開示されている。

特許文献１の画像認識装置では、ユーザの体の位置に応じて操作面を作成し、ユーザはその操作面に対する手あるいは指の位置、あるいは動きにより、装置に対する指示を行う。前記操作面は、仮想的な操作面であり、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。（段落番号００３３）

特許第４３１８０５６号公報

しかしながら、上記特許文献１では、画面上と平行な操作面での操作については考慮しているが、画面と垂直方向での操作については考慮していない。

そこで、本発明は、かかる事情を考慮した上で、ユーザが操作を行う際に、表示画面の垂直方向の動きも考慮して、さらに表示される操作状態を参照にして、ユーザがより直感的な操作を行えるようにすることを目的とする。

上記目的を達成するために、本発明では、一例として特許請求の範囲に記載の構成とする。本構成では、非接触で入力操作を実行する入力装置において、ユーザの手と、操作される表示画面との距離を検出して、該距離に応じた入力操作を実行するようにするとともに、その操作状況を表示する。

本発明によれば、ユーザは、ユーザの操作する手と操作される表示画面の距離に対応して実行される、操作対象の変更等の操作を直感的に把握でき、ユーザが意図する操作を円滑に入力できる。

実施例１の入力装置を示す概観図である。実施例１の入力装置の構成を示すブロック図である。実施例１の入力装置の操作領域とユーザの操作方法を示す概観図である。実施例１の入力装置の操作状態に応じた表示を説明する概観図である。実施例１の入力装置の操作状態に応じた表示を説明する概観図である。実施例１の入力装置の動作を説明するフローチャートである。実施例１の入力装置の操作状態に応じた表示を説明する概観図である。実施例２の入力装置の操作状態に応じた表示を説明する概観図である。実施例３の入力装置の操作状態に応じた表示を説明する概観図である。

以下、本発明に係る各実施例について説明する。

以下、本発明に係る第一の実施例を、図１ないし図７を用いて説明する。本実施例の入力装置１００は、ユーザの手と入力装置１００の間の距離をセンサにより検出し、該距離に応じて映像表示装置１０１の表示を変更する装置である。

先ず、図１および図２を用いて本発明の第一の実施例の入力装置の構成を説明する。

図１は、映像表示装置１０１、センシング部１０２、ユーザ１０３により、入力装置１００をユーザが使用する際の動作環境の概観を示す。

映像表示装置１０１は、映像表示装置１０１の外部から与えられる操作入力信号に基づき、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、液晶プロジェクタ、レーザープロジェクタ、リアプロジェクタなどのディスプレイ装置と、映像コンテンツやＧＵＩ（Graphical User Interface）などの表示処理に必要な演算処理装置やメモリを有する装置である。

センシング部１０２は、ユーザの手とセンサの間の距離を検出する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電界センサ、などのセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１０２に用いるセンサは、特に、限定されず、ユーザの手までの距離を検出するために得られる信号を、距離データに変換する機能を有すればよい。

ユーザ１０３は、入力装置１００に対して操作を行うユーザである。

入力装置１００は、図２に示すように、センシング部１０２、システム制御部２００、信号出力部２０２、を備える。

システム制御部２００は、距離検出部２０２、上下操作検出部２０３、の機能を実現する部分を有する。

距離検出部２０２は、センシング部１０２から得られる距離データから、操作として検出される距離を抽出あるいは分類する部分である。上下操作検出部２０３は、距離検出部２０２が操作として検出した距離から、ユーザ１０３が手を上下に動かす操作を検出する部分である。

システム制御部２００は、ユーザ１０３の手の距離を検出し、手を上下に動かす操作を検出するためのデータ処理をおこなう部分である。システム制御部２００は、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

信号出力部２０１は、システム制御部２００から指示とデータを受け取り、映像表示装置１０１で表示を行う映像信号を出力する部分である。

次に、図３ないし図５を用いて本発明の第一の実施例に係る入力装置１００による操作方法について説明する。

図３は、本発明の第一の実施例に係る入力装置１００による操作領域とユーザの操作方法について説明する概観図である。図３に示されるように、入力装置１００は、センシング部１０２から得られるユーザの手の距離に基づき、図３（上方向操作領域）、図３（ホームポジション）、図３（下方向操作領域）、の３つの操作領域のどこに手が位置しているかを検出する。前記操作領域は、ユーザ１０３の操作の検出方法を説明するための概念的な領域であり、ユーザ１０３が手をかざした位置に応じて、手の付近の空間に存在するものとする。

図４は、発明の第一の実施例に係るユーザ操作と操作状態の表示の対応を説明する概観図である。ガイド４００は、ユーザが入力装置１００に手をかざした際に表示され、ユーザがどのように入力装置１００を操作することができるかを説明するガイドである。本実施例のガイド４００は、入力装置１００に手を近づけたり、入力装置１００から手を遠ざけたりすることで操作できることを、矢印の方向により示している。操作位置表示４０１は、前記ガイド４００に対応して、その時点でどこにユーザの手が位置しているかを示す表示である。ユーザの手と入力装置１００の距離に応じて、前記ガイド４００の矢印型の図形上での操作位置表示４０１の表示位置がリアルタイムに変更される。

図５は、実施例１の入力装置の操作状態に応じた表示を説明する概観図である。図５では、映像表示装置１０１に画像を一覧するための表示がされており、ユーザ１０３の操作に応じて、一覧する画像のサイズや表示数が変更される様子を示している。

本発明の第一の実施例に係る入力装置１００の操作イメージは、図５に示されるように、ユーザ１０３が映像表示装置１０１を見ながら手を使って操作し、該手までの距離を入力装置１００が検出し、その検出結果に基づいて映像表示装置１０１の表示が変更されるものである。例えば、図５（無操作状態）に示されるように、ユーザ１０３が手を差し出していない場合には、画像の一覧のみが表示されている。図５（操作方法／状態提示）に示すように、ユーザ１０３が入力装置１００に手を差し出すと、ガイド４００及び操作位置表示４０１が映像表示装置１０１に表示される。ここで、ユーザ１０３の手が図３（ホームポジション）の位置にある場合、図４を用いて先に説明した通り、ホームポジション内におけるユーザ１０３の手の位置に応じて、操作位置表示４０１の表示位置がリアルタイムに変更される。次に、図５（操作状態Ａ）に示されるように、ユーザ１０３が手を図５（ホームポジション）の位置から、図５（上方向操作領域）に移動させると、ガイド４００における操作位置表示４０１の表示位置は、ガイド４００の矢印の最上部となる。また、映像表示装置１０１に表示される画像の一覧は、個々の画像のサイズが小さくなり、同時に表示される画像の数が多くなる。一方、図５（操作状態Ｂ）に示されるように、ユーザ１０３の手を図５（ホームポジション）の位置から、図５（下方向操作領域）に移動させると、ガイド４００における操作位置表示４０１の表示位置は、ガイド４００の矢印の最下部となる。また、映像表示装置１０１に表示される画像の一覧は、個々の画像のサイズが大きくなり、同時に表示される画像の数が少なくなる。すなわち、ユーザ１０３の手が検出される位置が、図５（ホームポジション）から、図５（上方向操作領域）や図５（下方向操作領域）に移動するまでの状態が、ガイド４００と操作位置表示４０１によりユーザ１０３に示され、ユーザ１０３は操作状態を確認しながら、手の距離に応じた指示を与え、映像出力装置１０１の表示を変更することができる。

次に、図６のフローチャートを用いて本発明の第一の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。

入力操作の検出処理は、図２に示したシステム制御部２００が行う処理である。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップ６００）、距離検出部２０２にてセンシング部１０２から得られる距離データから、操作として検出される距離を抽出あるいは分類する処理を行い、手の距離を検出する。手の距離が検出された際には（ステップ６０１）、映像表示装置１０１に操作方法を示すガイド４００を表示する（ステップ６０２）。また、検出された距離に対応する操作領域を求める（ステップ６０３）。

手が位置する操作領域がホームポジションである場合は（ステップ６０４：Ｙｅｓ）、ガイド４００中の操作位置表示４０１の表示位置を変更し、現在の操作状態をユーザに提示し、手の距離の検出を継続する。一方、手が位置する操作領域がホームポジションではない場合は（ステップ６０４：Ｎｏ）、上下操作検出部にて、上方向、もしくは下方向の操作を検出する（ステップ６０６）。このとき、ガイド４００中の操作位置表示４０１の表示位置は、ガイド４００の矢印の最上部もしくは最下部となる。上方向もしくは下方向の操作を検出した際には、検出した操作に応じて映像表示装置１０１の表示が変更される（ステップ６０７）。

ユーザ１０３が所定の操作にて、操作終了の意思表示をしたときには（ステップ６０８）、処理を終了し、そうでないときには、ステップ６０１以降の手の距離の検出を継続する。

このように、入力装置１００は、ユーザ１０３が入力装置１００に対して手をかざしている距離の変化に応じて、ガイド４００と操作位置表示４０１の表示を変更する。また、予め設定された上下方向の操作領域に手が位置した場合には、映像表示装置１０１において所定の表示の変更を行う。これにより、ユーザ１０３は、現在の手の位置と、ガイド４００と操作位置表示４０１の表示状態の関係から、手の距離と操作の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

なお、図７に示すように、上方向操作領域もしくは下方向操作領域に手が位置して、上方向もしくは下方向の操作が行われる際には、操作が実行されることをさらにユーザが理解しやすくするために、操作状態の強調表示７００を表示しても良い。また、強調表示７００は、図７に示す図形としての表示の他に、表示中の映像のゆがみや引き延ばし等のいわゆるエフェクト効果を用いた映像変化でも良い。

以下、本発明に係る第二の実施例を、図８を用いて説明する。

第一の実施形態の入力装置１００の表示制御方法は、手が位置する操作領域の変化に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第一の実施例の操作方法に加えて、さらに、手の横方向の移動に応じて操作できるようにした入力装置１００に関するものである。

本実施形態の入力装置１００でも、図２に示したように、センシング部１０２、システム制御部２００、信号出力部２０１からなることは、第一の実施例と同様であるが、映像表示装置１０１に表示されるガイド及び操作位置表示の構成が異なる。

図８に示すように、本実施例の映像表示装置１０１には、第一の実施例で説明したガイド及び操作位置表示に加え、横方向ガイド８００と横方向操作位置表示８０１が表示される。横方向ガイド８００及び横方向操作位置表示８０１の表示の変更手順は、第一の実施例で説明した上下方向の操作と同等であり、操作方向のみが追加されている。

このように、本発明の第二の実施例に係る入力装置１００は、上下方向の操作に加えて、横方向の操作をする場合にも対応して、横方向ガイド８００及び横方向操作位置表示８０１を表示することにより、ユーザ１０３は手の位置と操作の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

なお、図８に示すように、左方向もしくは右方向の操作が行われる際には、操作が実行されることをさらにユーザが理解しやすくするために、操作状態の強調表示８０２を表示しても良い。また、強調表示８０２は、図８に示す図形としての表示の他に、表示中の映像のゆがみや引き延ばし等のいわゆるエフェクト効果を用いた映像変化でも良い。

以下、本発明に係る第三の実施例を、図９を用いて説明する。

第一の実施形態の入力装置１００の表示制御方法は、手が位置する操作領域の変化に応じて操作を実行するインタフェースを提供するものであった。本実施例では、操作方法は第一の実施例と同等であり、ガイド及び操作位置表示の表示方法のみ異なる入力装置１００に関するものである。

図９に示すように、本実施例の映像表示装置１０１には、第一の実施例で説明したガイド及び操作位置表示と異なり、軸形状ガイド９００と指示位置９０１と上下方向操作状態９０２が表示される。軸形状ガイド９００は、上下方向の操作の範囲を示す軸であり、軸形状ガイド９００中で現在示されている場所が指示位置９０１となる。上下方向操作状態９０２は、ユーザ１０３の操作状態を示しており、ユーザ１０３が手を上下する動作に応じて、矢印の表示の角度が変化する。

ユーザ１０３が図９中のホームポジション内で上方向に手を動かした場合には、図９の状態提示Aのように上下方向操作状態９０２の矢印の角度が上方向に変化する。さらに、ユーザ１０３の手の位置が図９中の上方向操作領域に入ると、上下方向操作状態９０２の矢印の角度は真上の方向を向き、指示位置９０１の位置が、軸形状ガイド９００の上方向に移動する。ユーザ１０３の手の下方向の動作についても同様である。

このように、本発明の第三の実施例に係る入力装置１００は、上下方向操作状態９０２で示す画像の角度の変化により、ユーザ１０３は手の位置と操作の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

なお、図９に示すように、上方向もしくは下方向の操作が行われる際には、操作が実行中であることをさらにユーザが理解しやすくするために、操作状態の強調表示９０３を表示しても良い。また、強調表示９０３は、図９に示す図形としての表示の他に、表示中の映像のゆがみや引き延ばし等のいわゆるエフェクト効果を用いた映像変化でも良い。

以上、第一の実施例ないし第四の実施例で説明してきたように、本発明の入力装置の入力方法によれば、特許文献１ないし特許文献４の従来技術とは異なり、ユーザが手を出したときに表示され、さらに手と入力装置の間の距離に応じて変化する、画面上の表示を介して、入力装置に対して可能な入力操作と、操作状態を直感的に把握でき、操作性を向上させることができる。

１００…入力装置、１０１…映像表示装置、１０２…センシング部、１０３…ユーザ、２００…システム制御部、２０１…信号出力部、２０２…距離検出部、２０３…上下操作検出部、４００…ガイド、４０１…操作位置表示、７００…強調表示、８００…横方向ガイド、８０１…横方向操作位置表示ガイド、８０２…強調表示、９００…軸形状ガイド、９０１…指示位置、９０２…上下方向操作状態、９０３…強調表示

Claims

入力装置からユーザの手までの距離を検出する距離検出手段と、
前記距離検出手段の検出結果に基づき、距離の変化を検出する距離変化検出手段と、
前記距離変化検出手段の検出結果に基づき、所定の画像の表示を変更する表示手段と、を備え、
前記表示手段は、所定の操作の操作方法を示す第一の画像と、該第一の画像に対応して操作状態を示す第二の画像を表示し、
前記距離変化検出手段の検出結果に応じて、該第一の画像に対する該第二の画像の位置を変化させることにより、入力装置とユーザの手までの距離を用いた操作の操作状態を提示すること、を特徴とする入力装置。
前記表示手段は、前記距離変化検出手段で検出される距離が、所定の第一の距離と、所定の第二の距離の間で変化している場合にのみ、前記第一の画像に対する前記第二の画像の位置を変化させること、を特徴とする請求項１に記載の入力装置。
前記表示手段は、前記距離変化検出手段で検出される距離が、所定の第一の距離と、所定の第二の距離の間ではない場合に、第三の画像を表示することにより、前記第一の距離と第二の距離の間にユーザの手が位置していないことを強調して表示すること、を特徴とする請求項１に記載の入力装置。
前記表示手段は、前記距離変化検出手段で検出される距離が変化した場合に、前記第一の画像に対する第二の画像の角度を変化させること、を特徴とする請求項１に記載の入力装置。
前記入力装置は、さらに入力装置に対する縦方向もしくは、横方向の位置を検出する位置検出手段を備え、
前記表示手段は、所定の操作の操作方法を示す第三の画像と、該第三の画像に対応して操作状態を示す第四の画像を表示し、該位置検出手段の検出結果に応じて、該第三の画像に対する該第四の画像の位置を変化させることにより、入力装置とユーザの手の位置を用いた操作の操作状態を提示すること、を特徴とする請求項1に記載の入力装置。