JP2012063805A

JP2012063805A - 入力装置及び入力方法

Info

Publication number: JP2012063805A
Application number: JP2010205055A
Authority: JP
Inventors: Takashi Matsubara; 孝志松原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-09-14
Filing date: 2010-09-14
Publication date: 2012-03-29

Abstract

【課題】ユーザにとって使い勝手のよい入力装置を提供する。
【解決手段】入力装置１００は、所定の動き画像信号が入力される入力部１０２と、前記入力部に入力された動き画像信号から動き検出を行う動き検出部２００と、前記動き検出部により検出された動きが所定の動きであるか判定する制御部２０１と、前記制御部からの指示により所定の映像信号を出力する映像信号処理部２０２とを備え、前記制御部は、前記動き検出部により検出されたユーザの動作が所定の動きをする場合には、前記映像信号処理部に前記所定の映像信号を出力するように制御する。
【選択図】図２

Description

本発明は、ユーザの指示をユーザの動きで機器に入力する入力装置及び入力方法に関する。

リモコンやポインティングデバイス等の入力装置によりユーザ（操作者）の操作を受け付け、グラフィカルユーザインタフェース（以下、ＧＵＩ）を介してユーザに操作結果をフィードバックするパソコンやテレビ等の機器が数多く普及している。また、近年では、ユーザの体や手の特定の動作を認識する機能を有し、認識された動作によって特定の操作を行うことができる機器が実用化され始めている。

特許文献１では、ユーザの手の動きを認識して所定ブロック単位での動き検出を行い、手の動きによって生じる特徴点が空間座標の極値となる状態を検出し、検出した４つ以上の連続した極値情報が円軌道パターンに適合するか否かを判定して、円軌道であった場合には操作情報と対応付ける操作情報入力装置が開示されている。

特許文献２では、色情報が不要で照明条件に対してロバストである周期性を有する動き（例えば、手振り）を検出し、該動きによりユーザの存在やユーザが操作する意思を機器に認識させる検出方法および装置が開示されている。

特開２００７−１７２５７７号公報特許第４０７４４６４号公報

前記のようにユーザの動作の認識により操作を行う機器では、日常行動が機器に対する操作として誤って認識される可能性が高いため、操作を開始する際の合図としてどのような動作や操作を用いるかが課題となる。例えば、音声認識を搭載する機器では、ユーザがボタンを押下することにより、ユーザに音声認識の開始を伝える音声や映像が提示され、該提示の確認によりユーザが実際に音声認識させる言葉を発する方法が多く用いられている。この場合、前記ボタンを押下する操作が、ユーザが音声認識による操作を開始する際の合図であり、誤動作の防止や音声認識の安定性向上に役立っている。従って、前記操作を開始する際の合図となる動作や操作は、日常行動と明確に区別して認識できる動作や操作が必要であり、尚且つ、ユーザの操作を円滑に進めるために、簡単で確実に行うことができる動作や操作であることが重要となる。

特許文献１に記載の操作情報入力装置によると、ユーザの手の円軌道を認識することにより操作範囲の特定や操作するユーザの特定が可能となる。

しかしながら、特許文献１の操作情報入力装置のように、特徴点の軌跡をブロック単位で検出し円軌道パターンを判定する方法では、操作を開始するまでにユーザは手で数回円軌道を描く必要があり、円滑に操作を開始することができないという課題がある。また、ユーザは、手を円軌道で動かしている間は、その動作の認識状況を確認することができないため、確実に動作を認識させることが難しいという課題もある。

特許文献２に記載の検出方法および装置によると、手振り等の周期性を有する動きを検出し、該動きによりユーザの存在やユーザが操作する意思を機器に認識させることが可能となる。

しかしながら、特許文献２に記載の検出方法および装置のように、周期性を有する動きを検出する場合、安定的に該動きの検出を行うためには、手振りのように比較的速い周期の動きや、ユーザが規則的な周期を再現できる動きなど、周期性が現れやすい動きを検出の対象とする必要があるため、高齢者や操作に不慣れな人は検出される動きを行うことが難しいという課題がある。

そこで、本発明は、かかる事情を考慮した上で、ユーザの特定の手の動きを操作開始の合図として検出することが可能な、ユーザにとって使い勝手の良い入力装置を提供することを目的とする。

上記課題は、その一例として特許請求の範囲に記載の構成により解決できる。

本発明によると、例えば、ユーザが機器を操作する際に操作開始の合図を所定の手の動きで入力し、日常行動等ではそれ以外の動きが無視されることにより信頼性の高い操作が可能となり、また、ユーザに対して画面上で操作状態をフィードバックすることなく、操作開始の合図を正確に認識することが可能となり、ユーザにとって使い勝手の良い入力装置及び入力方法を提供することができる。

実施例１の入力装置を示す概観図である。実施例１の入力装置の構成を示すブロック図である。実施例１の入力装置のユーザの操作方法を示す概観図である。実施例１の入力装置の動作を説明する流れ図である。実施例２の入力装置の構成を示すブロック図である。実施例２の入力装置のユーザの操作範囲を示す概観図である。実施例２の入力装置の動作を説明する流れ図である。実施例２の入力装置の複数ユーザの操作方法を示す概観図である。実施例２の入力装置の複数ユーザの操作範囲を示す概観図である。

以下、本発明を適用した各実施例について説明する。

本実施例の入力装置１００は、ユーザを撮像した動画像からユーザの手の動作を検出し、該動作に応じてＧＵＩの表示を開始することが可能な装置である。

図１は、表示部１０１、入力受信部１０２、ユーザ１０３、ＧＵＩ１０４、により入力装置１００をユーザが使用する際の動作環境の概観を示す。

表示部１０１は、入力装置１００の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示部１０１は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像処理部２０２から供給されるデータで構成される映像を表示パネルに表示する。入力受信部１０２は、入力装置１００にユーザの動作による指示を入力する手段である。ユーザの体の動きを指示として入力する場合はユーザの動きを撮影するカメラで構成する。ユーザ１０３は、入力装置１００に対して操作を行うユーザである。ＧＵＩ１０４は表示部１０１に表示されるＧＵＩであり、単数または複数の項目で構成される。

図２は本実施例の入力装置１００の構成例を示すブロック図である。入力装置１００は、表示部１０１、入力受信部１０２、動作検出(動き検出)部２００、システム制御部２０１、映像処理部２０２、を備える。

入力受信部１０２はユーザ１０３が身体の一部を動かして指示した操作を受信し、操作の方向、操作距離、操作点の座標情報など操作情報を生成し出力する。

動作検出(動き検出)部２００は、入力受信部１０２から出力される操作情報を用いて、例えば、後述するユーザの手などの認識ポイント３０１の位置を検出し、該認識ポイント３０１の位置の座標情報、移動方向情報などからなる動き認識データを生成する回路である。

システム制御部２０１は、例えば、マイクロプロセッサから構成され、動作検出(動き検出)部２００から出力された動き認識データを解析し、その結果に応じて映像処理部２０２の動作を制御する。

映像処理部２０２は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像処理部２０２は、システム制御部２０１の制御に従いＧＵＩの映像データを、表示部１０１で処理可能な形態に変換して出力する。

図３は、本実施例の入力装置をユーザが操作する際のユーザの動作の一例を示す。本実施例ではユーザが手を円軌道上に動かす操作により、表示部１０１にＧＵＩ１０４の表示を開始させることができる。認識ポイント３０１は、該入力装置が認識するユーザの手の位置を示している。手の軌道３０２は、ユーザがＧＵＩの表示を開始するために手を回した動きを示しており、該入力装置１００に入力されるユーザの操作となる。円軌道の中心３０３は、手の円軌道の中心で、例えば、操作開始時の手の位置の真下にあると推定することができる。

図３では、ユーザの手の動きを検出する場合を想定して説明したが、ユーザが指示手段を操作して指示してもよい。

次に、上記構成の入力装置１００の動作を図１、図２、図３、および図４のフローチャートを参照して説明する。

入力装置１００は、ユーザの動作を検出し、該動作に応じてＧＵＩの表示を開始することが可能な装置である。また、該動作は、ユーザが時計の１２時の位置から、手を円軌道上に１周分動かす動作であり、ユーザには予め入力装置１００のマニュアルや操作ガイダンスにより、該動作によりＧＵＩの表示が開始されることが示されている。

先ず、入力装置１００がユーザの動作を検出し、該動作に応じてＧＵＩの表示を開始するまでの処理の流れについて、図２を参照して説明する。ユーザが、入力端末１００に対し、図示しない電源ボタンの押下等により、入力端末１００の動作を開始させたとする。システム制御部２０１は前記動作の開始に応答して、入力受信部１０２に対してユーザ操作の受信の開始を指示する。入力受信部１０２は前記指示に応答して、ユーザ動作の受信を開始し、操作の方向、操作距離、操作点の座標情報など操作情報を生成し動作検出(動き検出)部２００に出力する。動作検出(動き検出)部２００は受信した操作情報からユーザの認識ポイント３０１を検出し、該認識ポイント３０１の座標情報、移動方向情報などからなる動き認識データをシステム制御部２０１に出力する。システム制御部２０１は該動き認識データからユーザの動きの方向を解析し円軌道を描く動きであれば、映像処理部２０２にＧＵＩの表示開始を指示する。映像処理部２０２は前記指示に応答して、表示部１０１にＧＵＩの映像信号を出力する。これにより、表示部１０１にＧＵＩが表示される。

次に、入力装置１００が、ユーザが手を動かす動作を入力開始として受け付ける際の処理の詳細を図４のフローチャートを参照しながら説明する。まず、ユーザは所定の手順にて入力装置１００の操作を開始する（ステップ４００）。前記操作の開始を受け、動作検出(動き検出)部２００は入力受信部１０２から出力される操作情報を用いてユーザの手の位置を示す認識ポイント３０１を検出し、さらに動き認識データを生成する（ステップ４０１）。システム制御部２０１は前記動き認識データを受け、認識ポイント３０１の動きの監視を開始する（ステップ４０２）。この際に、システム制御部２０１は、認識ポイント３０１を始めに認識した位置から真下の方向に所定の距離分離れた位置に、円軌道の中心３０３の位置を設定する。システム制御部２０１は前記監視結果を解析した結果、認識ポイント３０１の動きが該円軌道の中心３０３に対して12時の位置から始まる円軌道に添った動きの場合（ステップ４０３：Ｙｅｓ）、認識ポイント３０１がそれに継続して円軌道上を動き続けるかを監視する（ステップ４０４）。一方、認識ポイント３０１が該円軌道の中心３０３に対して12時の位置から始まっていない場合（ステップ４０３：Ｎｏ）、システム制御部２０１は、認識ポイント３０１のその時点の位置から真下の方向に所定の距離分離れた位置に、円軌道の中心３０３の位置を設定し直し、その後の動きの監視を継続する。システム制御部２０１は認識ポイント３０１の動きを解析した結果、該円軌道の中心３０３に対して12時の位置から円軌道上に1周動いたと判断場合は（ステップ４０４：Ｙｅｓ）、映像処理部２０２にＧＵＩ表示を指示して処理を終了する（ステップ４０５、ステップ４０６）。一方、認識ポイント３０１が円軌道上に動いていないと判断した場合は（ステップ４０４：Ｎｏ）、ステップ４０３：Ｎｏに続く処理と同様となる。

このように、入力装置１００はユーザが１２時の位置を起点に円軌道上に手を動かす操作を認識し、ＧＵＩの表示を開始することができる。また、予めマニュアルや操作ガイドを介して、ユーザに対して手の動きを１２時の位置を起点に円軌道上に動かすというルールを示し、尚且つ、ユーザの手の動きの検出を開始した際に、円軌道の中心３０３を設定することにより、ユーザの１周分の円軌道上の動きを精度良く認識することが可能となる。

なお、本実施例では１２時の位置を起点に円軌道上を１周する手の動きでＧＵＩの表示を開始したが、ユーザの手の動きの検出を開始した際に設定する円軌道の中心３０３の位置を変更することにより、該起点となる位置を変更することが可能である。

さらに、本実施例では円軌道を１周する手の動きでＧＵＩの表示を開始したが、円軌道を描く回数や回す方向を監視することも可能である。これにより、表示部１０１に表示開始するＧＵＩの種類を変えることも可能である。

次に、実施例２について説明する。本実施例では、実施例１の入力装置１００において説明した操作の開始方法に加えて、操作を開始した際のユーザの動きによりユーザの動作範囲を認識し、操作開始後にＧＵＩの操作で入力される手の動きの検出範囲を推定する方法について説明する。実施例１の入力装置１００の構成に加えて、認識ポイント３０１動作領域を推定する機能を追加する。

以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等なものには同一の符号を付し、その説明は重複を避けるために割愛する。

本実施例の入力装置１００の概観は実施例１と同様であるが、その構成は、例えば図５に示すように、表示部１０１、入力受信部１０２、動作検出(動き検出)部２００、システム制御部２０１、映像処理部２０２、に加え、動作領域推定部５０１を備える。

動作領域推定部５０１は、システム制御部２０１により検出されたユーザの認識ポイント３０１円軌道から、ユーザの動作範囲を推定し、動作検出(動き検出)部２００に推定した動作範囲をフィードバックする。

動作検出(動き検出)部２００は、入力受信部１０２が出力する操作情報の中から動作領域推定部５０１のフィードバックにより定められた動作範囲に絞って動作検出を行い、認識ポイント３０１の座標情報、移動方向情報などからなる動き認識データをシステム制御部２０１に出力する。

図６は、ユーザにより異なる動作推定範囲の例である。ユーザＡ６００の認識ポイント３０１の円軌道６０１はユーザＢ６１０の認識ポイント３０１の円軌道６１１と比較すると小さい。この場合、操作開始の合図である円軌道以外の手の動作も動作領域６０２および６１２に示す範囲内で行われると推定することができる。

次に、入力装置１００の処理の詳細を、図７のフローチャートを参照しながら説明する。図７において、ステップ７００からステップ７０５は図４のステップ４００から４０５までの処理と等しいため説明を省略する。

動作領域推定部５０１はステップ７０４での認識ポイント３０１の円軌道からユーザ認識ポイント３０１の動作範囲を推定し、ＧＵＩ操作開始以降の監視範囲として設定する（ステップ７０６）。このように、入力装置１００はユーザが１２時の位置を起点に円軌道上に認識ポイント３０１を動かす操作を認識し、ＧＵＩの表示を開始するとともに、その後のＧＵＩの操作で入力される手の動きの検出範囲を設定することができる。

また、本実施例の入力装置を用いると、例えば、図８に示すような複数のユーザが存在した場合にも、ＧＵＩ表示開始の円軌道を検出することにより、操作を行うユーザを特定することが可能である。図９は、入力受信部１０２から見た図８における複数ユーザの撮像データである。撮像範囲９００は入力受信部１０２の撮像範囲を示す。例えばユーザ８００がＧＵＩ表示開始の合図として円軌道９０１を描いた場合、その後の操作はユーザ８００が行うものとし、推定動作領域９０２を動作検出のデータ範囲として制御を行うことが可能である。

１００・・・入力装置、
１０１・・・表示部、
１０２・・・入力受信部、
１０３・・・ユーザ、
１０４・・・ＧＵＩ
２００・・・動作検出(動き検出)部、
２０１・・・システム制御部、
２０２・・・映像処理部、
３０１・・・認識ポイント、
３０２・・・手の軌道
３０３・・・手の軌道の中心
５０１・・・動作領域推定部
６００、６１０、８００・・・ユーザ
６０１、６１１、９０１・・・手の軌道
６０２、６１２、９０２・・・推定動作領域
９００・・・撮像範囲

Claims

ユーザが手を動作させることにより、GUIを操作することが可能な入力装置であって、
前記ユーザの手の動作に関する動き画像信号が入力される入力部と、
前記入力部に入力された動き画像信号から動き検出を行う動き検出部と、
前記GUIの映像信号を出力する映像信号処理部と、
前記動き検出部により検出されたユーザの手の動作が所定の動きをする場合には、前記映像信号処理部に前記GUIの映像信号の出力を開始するように指示する制御部と、を備えることを特徴とする入力装置。
請求項１に記載の入力装置において、
前記所定の動きは、ユーザの手が１２時の位置から円軌道を描く動きであることを特徴とする入力装置。
請求項１に記載の入力装置において、
さらに、制御部で判断されたユーザの手の所定の動きに基づき、ユーザの動作範囲を推定し、推定した動作範囲を前記動き検出部にフィードバックする動作領域推定部を備えることを特徴とする入力装置。
ユーザが手を動作させることにより、GUIを操作することが可能な入力方法であって、
前記ユーザの手の動作に関する動き画像信号が入力される入力ステップと、
前記入力ステップで入力された動き画像信号から動き検出を行う動き検出ステップと、
前記動き検出ステップで検出されたユーザの手の動作が所定の動きをするかどうかを判断する判断ステップを有し、
前記判断ステップで、ユーザの手の動作が所定の動きをすると判断した場合に、前記GUIの映像信号の出力を開始することを特徴とする入力方法。
請求項４に記載の入力方法において、
前記所定の動きは、ユーザの手が１２時の位置から円軌道を描く動きであることを特徴とする入力方法。
請求項４に記載の入力方法において、
さらに、判断ステップで判断されたユーザの手の所定の動きに基づき、ユーザの動作範囲を推定する推定ステップを有し、
前記動き検出ステップで、推定ステップで推定した動作範囲に設定して、動き検出を行うことを特徴とする入力方法。