JP5256109B2 - 表示装置 - Google Patents

Description

本発明は、入力装置に関する。

グラフィカルユーザインタフェース（以下、ＧＵＩ）を介して、ユーザ(操作者)の操作を受け付けると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。

特許文献１では、ユーザの操作を支援するための操作ガイダンス情報を示す携帯端末が開示される。ユーザは、当該ガイダンスに従い、手指を上下左右に動かして、目的の機能を実行することができる。

特許文献２では、ユーザの操作となるジェスチャの認識対象を視覚的に表すためのジェスチャ画像表示を行うインタフェース装置が開示される。ユーザは、ジェスチャ画像を確認しながら、装置の操作を行うことができる。

特許文献３では、ユーザの操作となるジェスチャを表示したアイコンと行える操作を表示する車載機器が開示される。ユーザは、容易に行うべきジェスチャを知ることができる。

特許文献４では、ステアリング上の手の状態と操作対象機器を示す選択ガイド情報を表示する車両用操作入力装置が開示される。ユーザは、当該ガイドを参照して、手を動かして、目的の操作機器を選択することができる。

特開2007-213245号公報 特開2008-52590号公報 特開2001-216069号公報 特開2005-250785号公報

いずれの特許文献も、操作のための動き・ポーズが表示され、ユーザは、これらに従って、所定の装置に関する動作を実行することが開示されている。

しかしながら、ユーザが、操作のために、所定の動きをしたり、所定のポーズをとろうとする際、所定の動き、所定のポーズに至るまでに、たまたま、無意識に行う別の動き、別のポーズが、操作のためのものと認識されてしまい、意図しない装置に関する動作が実行されてしまう恐れがある。

例えば、ユーザが、表示されたコンテンツを右方向に動かすために、手を右方向に動かそうとする際、右方向にあった手を左方向に戻す動きが、コンテンツを左方向に動かすための操作であると認識され、実行されてしまう恐れがある。

つまり、いずれの特許文献も、ユーザが操作のためのジェスチャを行う際に、ユーザの動きの一つ一つが、認識されている状態なのかどうかをユーザに直感的に理解させることは考慮されていない。

そこで、本発明は、かかる事情を考慮した上で、ユーザが操作時に行う動きがどう認識されているのかを知らしめ、意図しない操作がされないようにした、使い勝手の良い入力装置を提供することを目的とする。

上記課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載された技術的思想を用いる。

本発明によれば、例えば、ユーザがジェスチャでテレビ等の装置の操作を行おうとした場合に、ユーザは今自分が行っているジェスチャが、どう認識されているのかを知り、意図した操作のみが行われるように、ジェスチャを行うことができる。

実施例１の入力装置を示す概観図である。 実施例１の入力装置の構成を示すブロック図である。 実施例１の入力装置のユーザの操作方法を示す概観図である。 実施例１のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例１の入力装置の動作を説明する流れ図である。 実施例１のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例２の入力装置のユーザの操作方法を示す概観図である。 実施例２のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例２のユーザ操作と入力装置の動作の対応を説明する概観図である。 実施例３のユーザ操作と入力装置の動作の対応を説明する概観図である。

以下、本発明を適用した各実施例について説明する。

本実施例の入力装置１００は、ユーザを撮像した動画像からユーザの手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。

図１は、表示部１０１、撮像部１０２、ユーザ１０３、操作ガイド１０４により入力装置１００をユーザが使用する際の動作環境の概観を示す。

表示部１０１は、入力装置１００の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示部１０１は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像信号処理部２０２から供給される映像データを該表示パネルに表示する。撮像部１０２は、入力装置１００に動画像を入力するための装置であり、たとえばカメラである。ユーザ１０３は、入力装置１００に対して操作を行うユーザである。操作ガイド１０４は表示部１０１に表示されるＧＵＩであり、前記ユーザ１０３に前記入力装置１００の操作方法を説明するための文字や図である。

入力装置１００は、例えば図２に示すように、表示部１０１、撮像部１０２、動作検出(動き検出)部２００、制御部２０１、映像信号処理部２０２、を備える。

動作検出(動き検出)部２００は、撮像部１０２から動画像信号を受信し、受信した動画像信号より、例えば人物が手を差し出した、手を振った、手を回した等の、人物の動作を検出する。さらに、検出した動作に応じて該動作に対応する所定のコマンドを出力する。制御部２０１は例えばマイクロプロセッサから構成され、動作検出(動き検出)部２００から受信した前記コマンドに応じて、映像信号処理部２０２の動作を制御する。映像信号処理部２０２は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像信号処理部２０２は、制御部２０１の制御に従いＧＵＩの映像データを、表示部１０１で処理可能な形態に変換して出力する。

図３は、本発明の入力装置１００をユーザ１０３が操作する際のユーザ１０３の動作と前記表示部１０１の動作及び表示の対応を示す。図３の「通常状態」の図は、ユーザ１０３が入力装置１００の操作をしていない状態を示している。本実施例の入力装置１００は、ユーザ１０３が手を左右に振る動作３００を認識し、手を左右に振る動作３００の認識をきっかけとして、入力装置１００がユーザ１０３の操作の受け入れを開始する構成となっている。従って、図３の「開始操作」の図に示すように、ユーザ１０３が入力装置１００に向かって手を差し出し、さらに差し出した手を左右に振ることにより、図３の「操作状態」の図に示すように前記表示部１０１に操作用のメニューが表示される。また、該メニューは、操作ホイール３０１と、複数の選択項目３０２とで構成されている。ユーザ１０３が手を回す動作３０３を行うと、これに連動して該操作ホイール３０１が回転するとともに、該複数の選択項目３０２が回転移動する。このようにして、ユーザ１０３が該選択項目３０２の任意の項目を選択することができる。

図４は、図３に示した入力装置１００をユーザ１０３が操作する際のユーザ１０３の動作と前記表示部１０１の表示の対応を説明する図である。表示の対応として、前記操作ガイド１０４やアニメーション操作ガイド４００の表示方法や表示タイミングがある。アニメーション操作ガイド４００は、前記表示部１０１に表示されたメニューを操作する方法を、動きのある画像でユーザに説明する操作ガイドである。

次に、入力装置１００の動作を、図１ないし図４、及び、図５のフローチャートを用いて説明する。

入力装置１００は、ユーザ１０３を撮像した動画像信号からユーザ１０３の手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。

まず、入力装置１００がユーザ１０３の手の動きを検出し、該動作に応じてＧＵＩを表示するまでの処理の流れについて、図２を参照して説明する。ユーザ１０３が、入力装置１００に対し、図示しない電源ボタンの押下等により、入力装置１００の動作を開始させたとする。制御部２０１は前記動作の開始に応答して、映像信号処理部２０２に所定の映像を表示する指示を与える。映像信号処理部２０２は前記指示に応答して、表示部１０１の入力に適した映像信号を出力する。これにより、表示部１０１には映像が表示される。

また、制御部２０１は前記動作の開始に応答して、撮像部１０２に対して動画像の撮像の開始を指示する。撮像部１０２は前記指示に応答して、動画像の撮像を開始し、撮像した動画像のデータを動作検出(動き検出)部２００に出力する。動作検出(動き検出)部２００は受信した前記動画像のデータから特徴点抽出などの方法を用いてユーザの手の動きを検出し、さらに、該手の動きが予め決められたパターンに従う動きであると判断した場合には、該パターンに応じたコマンドを制御部２０１に出力する。制御部２０１は該コマンドに応じてＧＵＩの表示や表示の変更を映像信号処理部２０２に指示する。映像信号処理部２０２は前記指示に応答して、出力する映像信号を変更し、これにより表示部１０１上のＧＵＩの表示が変更される。

次に、入力装置１００をユーザ１０３が操作する際の操作ガイド１０４及びアニメーション操作ガイド４００の表示方法を図４及び図５のフローチャートを用いて説明する。

まず、ユーザ１０３は所定の手順にて入力装置１００の動作を開始させ、入力装置１００の制御部２０１は先に述べた手順で人物の手の動き（ジェスチャ）の認識を開始する（ステップ５００）。この時のユーザ１０３と入力装置１００の状態の一例が図４の「通常状態」である。

次に図４の「開始操作ガイド」に示すようにユーザ１０３が入力装置１００に向かって手を差し出したとする（ステップ５０１：Ｙｅｓ）。入力装置１００はユーザ１０３が手を差し出した動作を認識し、操作ガイド１０４を表示部１０１に表示する（ステップ５０２）。この際に、操作ガイド１０４はユーザ１０３が入力装置１００の操作を開始する際に行う動作（操作開始用ジェスチャ）である左右に手を振る動作３００を説明するガイドとなる。また、ユーザ１０３が手を下ろすと、入力装置１００は操作ガイド１０４の表示を消す（ステップ５０１：Ｎｏもしくはステップ５０３：Ｎｏ）。

次に図４の「開始操作」に示すように、ユーザ１０３が操作ガイド１０４で説明される内容に従って、入力装置１００に向かって左右に手を振る動作３００を行ったとする（ステップ５０３：Ｙｅｓ）。入力装置１００は該左右に手を振る動作３００を認識し、図４の「アニメーション操作ガイド」に示すように、表示部１０１に、操作ホイール３０１と選択項目３０２とで構成されるジェスチャ操作用メニューを表示する（ステップ５０４）。さらに、入力装置１００は、表示部１０１に該ジェスチャ操作用メニューの操作方法を説明するために前記アニメーション操作ガイド４００を表示する（ステップ５０５）。この際に、アニメーション操作ガイド４００は、撮像される人物を描写し、描写された人物の手が操作ホイール３０１を触って、操作ホイールとともに手を回転移動するように表示される。これにより、ユーザ１０３に対し、どの位置でどのような動きをすればどのような操作がなされるのか、どの程度手を動かせばよいのかを直感的に説明することができる。

次に、図４の「操作状態」に示すように、ユーザ１０３は、アニメーション操作ガイド４００の表示に従い、手を回す動作３０３を行う。（ステップ５０６：Ｙｅｓ）すると、入力装置１００はユーザ１０３の当該動作を認識し、認識された当該動作に同期した動作をアニメーション操作ガイド４００により表示させるとともに、認識された当該動作をジェスチャ操作用メニューに反映する（ステップ５０７）。すなわち、ユーザが手を回す動作３０３を行うと、表示画面上でも、アニメーション操作ガイド４００で示される人が、操作ホイール３０１を触る手を回して、操作ホイール３０１を回転させるとともに、選択項目３０２を回転させる表示を行う。

このように、アニメーション操作ガイド４００は、ステップ５０５では、ユーザが操作をする前に、ユーザの動作とは無関係にアニメーションが変化する非同期型操作ガイドとして動作する。また、ステップ５０７では、ユーザが操作を開始した場合に、ユーザ１０３の動作に同期してアニメーションが変化する同期型操作ガイドとして動作する。（図６参照）
このように、入力装置１００は、ユーザ１０３が手を動かす動作を認識し、該動作に応じて操作ガイド１０４やアニメーション操作ガイド４００を表示し、ユーザ１０３に対して操作に有効な動作（ジェスチャ）を提示する。これにより、ユーザ１０３は、どのようなタイミングでどのような動作（ジェスチャ）を行えば所望の操作を行うことができるかを確認することができるため、メニューの表示やメニュー項目の選択等の操作を円滑に行うことができる。

また、上記非同期型操作ガイドは、操作前のユーザに対して、アニメーションを変化させて、どんな動きをすると、どんな操作が行えるのかを理解させるのに有効である。本実施例においては、表示画面内に操作ホイール３０１と選択項目３０２が示されるが、このように、操作により、絵、図や画像を移動させるものに対して、どんな動きをしていいか分からないユーザに対して、特に、有効である。

また、上記同期型操作ガイドは、操作後のユーザに対して、ユーザが行う動きをアニメーションで表示させるとともに、実際の操作が行われたり、行われなかったりするため、ユーザの動きの一つ一つが、認識されている状態なのかどうかをユーザに直感的に理解させることができる。このため、ユーザは、自分が意図しない操作が行われないように、動きを修正することができる。

次に、実施例２について説明する。本実施例では、実施例１の入力装置１００の操作方法とは異なり、ユーザが両手の動きで入力装置１００を操作できるようにした場合の操作方法と操作ガイドの表示方法について説明する。入力装置１００の構成は実施例１と同様であり、ユーザの操作方法が異なる。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と同等なものには同一の符合を付し、その説明は割愛する。

図７は、本実施例において入力装置１００をユーザが操作する際の、ユーザの手の動きと表示部１０１に表示されるＧＵＩの状態を示している。表示部１０１に表示された該操作メニュー７００では、擬似的な３次元空間内において円形のテーブルの上に３つの選択項目が配置される。そして、該円形のテーブルが回転することにより画面手前に位置した項目が選択される項目となる。また、該操作メニュー７００では、該円形のテーブルの上に手形を重ねた外観をユーザ１０３に提示することで、ユーザ１０３にテーブルの上に手を乗せテーブルを回すイメージを与える。ユーザの手の動き７０１は、ユーザ１０３が前記操作メニュー７００を操作するために、両手を円の軌道に沿って動かしていることを示す。このようにして、ユーザは、両手を円の軌道に沿って動かすことにより、円のテーブルを回転させ、画面手前に選択したい項目を動かすことができる。

本実施例の入力装置１００の動作と操作ガイドの表示方法を、図８を用いて説明する。

図８の「メニュー表示」の図は、実施例１と同様の方法でメニューが表示された状態を示している。入力装置１００は実施例１と同様の方法でユーザ１０３の手の動きを認識することが可能である。ユーザ１０３が入力装置１００に対し両手を差し出すと、図８の「アニメーション操作ガイド表示」の図に示すようにアニメーション操作ガイド８００を表示する。該アニメーション操作ガイド８００は、人物が両手を動かす様子を模擬した画像を表示しており、動きのある画像を用いてユーザ１０３が操作メニュー７００を操作する場合に行うべき動作を示している。次に、ユーザ１０３が該アニメーション操作ガイド８００が説明する動作に従い、操作メニュー７００の操作を開始すると、図８の「操作」に示すように該アニメーション操作ガイド８００の表示が消え、ユーザ１０３の動作が操作メニュー７００への操作に反映される。

このように、入力装置１００は、操作メニュー７００の形状や外観でユーザ１０３に操作方法のイメージを与える。さらに、実際にユーザ１０３が該イメージに基づく操作を行おうとした際に、より具体的にユーザの操作方法を説明するアニメーション操作ガイド８００を提示する。

これにより、ユーザは操作を行うタイミングで、操作に関する具体的なガイドを受けることができる。従って、ユーザ自身が行おうとしている操作が有効であることや、どのような操作方法であるかを理解しながらより円滑にメニュー項目の操作を行うことができる。

なお、前記操作メニュー７００は、例えば、図９に示すように、実施例１で説明した操作ホイール３０１と選択項目３０２とで構成される操作用メニューとの組合せで構成されていてもよい。本構成では、ユーザ１０３が入力装置１００に対し片手を差し出した場合には、片手操作用のアニメーション操作ガイドが表示される。また、ユーザ１０３が入力装置１００に対し両手を差し出した場合には、両手操作用のアニメーション操作ガイドが表示される。このようにすれば、メニューの形状や外観を介してユーザが複数の操作パターンをイメージできるとともに、実際にユーザが特定の操作を行う場合の操作方法をガイドすることができる。

次に、実施例３について説明する。本実施例では、実施例２の入力装置１００において、前記アニメーション操作ガイドを表示せず、前記操作メニュー中で操作が働く箇所に、ユーザの操作イメージを表示させることにより、実施例２と同等の操作方法を実現する入力装置について説明する。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と同等なものには同一の符合を付し、その説明は割愛する
本実施例の入力装置１００の動作と操作イメージの表示方法を、図１０を用いて説明する。

図１０の操作イメージ１０００は、ユーザの手をイメージした図である。本図では、前記操作メニュー上の２つの選択項目を手でつかんで、前記操作メニュー７００内の円形のテーブルを回転させる操作方法をユーザに提示する。図１０の「両手を上げた状態１」のように、ユーザ１０３が入力装置１００に対して両手を差し出すと、操作イメージ１０００が表示される。これにより、ユーザ１０３はユーザ自身が行おうとしている操作が有効な状態になったことや、どのような操作方法であるかを理解することができる。また、図１０の「両手を上げた状態２」はユーザ１０３が同図の「両手を上げた状態１」よりも高い位置に両手を差し出した状態を示している。同図の「両手を上げた状態２」においても、操作イメージ１０００の表示状態は同図の「両手を上げた状態１」と同じである。従って、ユーザ１０３は、手を出す位置に依存せず、両手を出してさえいれば、入力装置１００は同じ動作であると認識することができる。

このように、入力装置１００は、ユーザ１０３の動作位置が異なる場合の動作のばらつきに依存せずに、単純な動作に応じて、操作メニュー上で実際に操作が働く箇所に操作イメージ１０００を表示する。これにより、ユーザは、操作を行う場合に、実際に操作可能な状態になったことを理解すると同時に操作メニュー上で操作が働く箇所を確認し、正確さを必要としない動作で操作を行うことができる。

１００・・・入力装置、
１０１・・・表示部、
１０２・・・撮像部、
１０３・・・ユーザ、
１０４・・・操作ガイド、
２００・・・動作検出(動き検出)部、
２０１・・・制御部、
２０２・・・映像信号処理部、
３００・・・左右に手を振る動作、
３０１・・・操作ホイール、
３０２・・・選択項目、
３０３・・・手を回す動作、
４００・・・アニメーション操作ガイド、
７００・・・操作メニュー、
７０１・・・手の動き、
８００・・・アニメーション操作ガイド、
１０００・・・操作イメージ。

Claims (4)

1. 操作者の動きが画像信号として入力される入力部と、
   前記入力部に入力された画像信号から、動きを検出する動き検出部と、
   グラフィカルユーザインタフェースを表示する表示部と、
   前記動き検出部で検出された動きに従って、前記表示部に、前記グラフィカルユーザインタフェースの表示を変更させる制御部と、を備え、
   前記制御部は、前記表示部において、操作前の操作者に対して、操作に必要な動きと、当該動きによるグラフィカルユーザインタフェースの変更の様子とを示すガイドを表示させ、操作者が操作すると、前記動き検出部で検出された動きに同期した動きを表示させるとともに、当該動きに従って前記ガイドで示された前記グラフィカルユーザインタフェースの表示を変更させることを特徴とする表示装置。
2. 前記グラフィカルユーザインタフェースの表示は、複数の選択項目から任意の選択項目を選択するために、複数の選択項目の表示位置を移動させる表示であり、
   前記制御部は、前記表示部において、操作前の操作者に対して、操作に必要な動きと、当該動きによって前記複数の選択項目の表示位置が移動する様子とを示すガイドを表示させ、操作者が操作すると、前記動き検出部で検出された動きに同期した動きを表示させるとともに、当該動きに従って、前記複数の選択項目の表示位置を移動させることを特徴とする請求項１に記載の表示装置。
3. 操作前の操作者に対して行う表示は、操作者の片手を表したものの動きであり、前記動き検出部で検出された動きは、操作者の片手による動きであり、表示される同期した動きは、操作者の片手を表したものの動きであることを特徴とする請求項１に記載の表示装置。
4. 操作前の操作者に対して行う表示は、操作者の両手を表したものの動きであり、前記動き検出部で検出された動きは、操作者の両手による動きであり、表示される同期した動きは、操作者の両手を表したものの動きであることを特徴とする請求項１に記載の表示装置。

Images