JP2015106390A - 情報入力装置、情報入力システム、情報入力方法及びプログラム - Google Patents

Abstract

【課題】 高価な画像センサを用いることなく、高精度で安価な入力装置を実現する。【解決手段】情報入力装置は、制御対象機器に対する情報を入力する情報入力装置であって、ユーザの手指動作を撮影する撮像手段により撮影した画像データから前記ユーザの手領域を抽出し、前記手領域に内包されるリング形状領域の有無により、前記制御対象機器に対する制御コマンドを出力する。【選択図】 図１

Description

本発明は、物理的なキーやマウスなどを用いない情報入力装置、情報入力システム、情報入力方法及びプログラムに関する。

近年、物理的なキーやマウスなどを用いなくてもユーザが手軽にデータ入力あるいは、機器の制御などを行うことができる手法として、カメラを用いたジェスチャー認識によるユーザインタフェースが注目されている。

ジェスチャー認識は、特定の入力器具を必要とせず、ユーザが手軽に操作を行うことができる一方で、従来のジェスチャー認識においては、認識のための解像度があまり高くなく、誤認識が生じることがある。このため、ジェスチャー認識によるユーザインタフェースでは、ジェスチャー認識精度の向上が望まれている。

図１０は、特許文献１に示されたジェスチャー入力システムの構成図である。ジェスチャー入力システムは、ユーザ９０１の主に手９０２の動作を画像センサ９０３で撮像し、その撮像された映像に対し、リアルタイムに画像処理、認識を行い、その結果をテレビ、スマートフォン等のスクリーン９０４に表示することによって、ユーザ９０１が手９０２のジェスチャー動作によってテレビ等のデバイスを負荷なく簡単に操作できることを実現する。画像センサ９０３は、その中に高速画像演算プロセッサが一体に組み込まれ、コンパクトにテレビ等の筺体に装着される。ジェスチャーは、手首より先の動作も可能で、高速画像演算プロセッサはジェスチャー動作の手及び指等の形状を認識する。

このジェスチャーシステムでは、従来この分野では使われていない１００ＦＰＳ以上の高速かつ、６４０×４８０以上の高解像度の画像センサ９０３を採用し、ジェスチャー動作を素早く、正確に認識し、従来にない快適なユーザインタフェースをＴＶ、ゲーム機器等に提供することができる。

特開２０１３−１１４６４７号公報

しかしながら、特許文献１に示されたジェスチャー入力システムでは、ユーザの手及び指の動作を撮像するために高速度・高解像度の画像センサを用いており、システムが高価なものとなり、汎用性に欠けるという課題がある。

本発明は、上記のような事情に鑑みてなされたものであり、その目的とするところは、高価な画像センサを用いることなく、高精度で安価な入力装置を提供することにある。

上記の課題を解決するために、本発明に係る情報入力装置は、制御対象機器に対する情報を入力する情報入力装置であって、ユーザの手指動作を撮影する撮像手段により撮影した画像データから前記ユーザの手領域を抽出し、前記手領域に内包されるリング形状領域の有無により、前記制御対象機器に対する制御コマンドを出力する。

また、前記情報入力装置は、前記リング形状領域有りの場合に前記制御対象機器に対する制御コマンドを出力してもよい。

本発明に係る情報入力システムは、上記のいずれかに記載の情報入力装置と、ユーザの手指動作を撮影する撮像手段と、制御対象機器とを備える。

また、前記制御対象機器は、画面に前記制御対象機器に対する制御コマンドに対応した操作を示す操作パネルを表示し、前記ユーザの手の動きに連動して前記画面上にポインタを動画表示するポインタ表示手段を備え、前記ユーザの手指動作により前記操作パネル上の操作の選択及び又は決定を行うこととしてもよい。

本発明に係る情報入力方法は、ユーザの手指動作を撮影する撮像ステップと、前記撮像ステップにて撮影された画像データから、前記ユーザの手領域を抽出する手領域検出ステップと、前記手領域に内包されるリング形状領域の有無を判定する判定ステップと、前記判定ステップにて判定された結果に基づき、制御対象機器に対する制御コマンドを出力する機器制御ステップとを有する。

本発明に係る情報入力プログラムは、ユーザの手指動作を撮影する撮像工程と、前記撮像工程にて撮影された画像データから、前記ユーザの手領域を抽出する手領域検出工程と、前記手領域に内包されるリング形状領域の有無を判定する判定工程と、前記判定工程にて判定された結果に基づき、制御対象機器に対する制御コマンドを出力する機器制御工程とをコンピュータに実行させることを特徴とする。

本発明によれば、高価な画像センサを用いることなく、高精度で安価な入力装置を得ることが可能となる。

実施形態１に係る情報入力システム１００を示す機能ブロック図である。 （ａ）は、実施形態１に係る情報入力システム１００を示す概略図、（ｂ）は、ヘッドマウントディスプレイを装着したユーザＵに見えている表示画面である。 情報入力装置１の処理の一例を示すフローチャートである。 （ａ）、（ｂ）は、カメラ２で撮影されたユーザＵの手指形状を２値化した画像４１の一例である。 図４（ａ）、（ｂ）に示した画像データ４１を領域分割したものである。 実施形態２に係る情報入力システム２００を示す概略図である。 情報入力装置１ａの処理の一例を示すフローチャートである。 実施形態２に係る照明器具３ａの制御の一例を示すフローチャートである。 実施形態３に係るディスプレイの表示画面の一例を示したものである。 特許文献１のジェスチャー入力システムの構成図である。

以下、本発明の実施形態について図を用いて説明する。以下の説明では同一の部材には同一の符号を付してある。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

〔実施形態１〕
図１は、本発明の一実施形態に係る情報入力装置１を含む情報入力システム１００の一例を示す機能ブロック図である。情報入力システム１００は、情報入力装置１、カメラ２、制御対象機器３を備える。

情報入力装置１は、カメラ２から入力された画像に基づいて、ユーザＵの手指動作を認識し、認識した手指動作に応じた操作を制御対象機器３に実行させるものである。ここでのユーザＵとは、手指動作を行う主体であり、手指動作により制御対象機器３の操作を行う使用者である。また、手指動作とは、手の移動、指によるリング形状形成及び解除、またはそれらの組み合わせのことである。

カメラ２は、ユーザＵを撮像素子等により撮影し、撮影した画像の画像データを出力する撮像手段である。ユーザＵは、例えば、制御対象機器３の使用者であり、情報入力装置１に対して情報入力を行うものである。また、カメラ２は、画像データを連続的に生成して、動画像データとして出力してもよいし、所定間隔で、あるいは非定期的に画像データを生成して、静止画像として出力してもよい。

制御対象機器３は、情報入力装置１からの制御信号に従って当該機器の動作を制御する制御部３１を備える。制御対象機器３は、例えば、テレビ、エアコン、照明、パソコン等の電気機器である。

以下、情報入力装置１について詳細に説明する。情報入力装置１は、記憶部１０及び制御部２０を備える。

記憶部１０は、閾値テーブル１１及び制御テーブル１２を備え、ここに制御部２０が参照するプログラムや各種データを格納する。

閾値テーブル１１は、後述する制御部２０における画像処理を行う際に参照される閾値データである。制御テーブル１２は、送出すべき制御信号と、画像処理におけるリング形状領域の抽出結果を対応付けるテーブルである。

制御部２０は、記憶部１０から一時記憶部（図示せず）に読み出されたプログラムを実行することにより各種演算を行うとともに、情報入力装置１が備える各部を統括的に制御するものである。制御部２０は、画像取得部２１、画像処理部２２、機器制御指示部２３を備える。制御部２０を構成する各機能ブロック（２１〜２３）は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）が、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）等で構成された記憶装置に記憶されているプログラムをＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等で構成された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、カメラ２が出力する画像データを取得するとともに、取得した画像データを画像処理部２２に供給する。

画像処理部２２は、カメラ２より供給された画像データに対し、種々の画像処理を行い、リング形状領域の抽出結果を機器制御指示部２３に通知する。

機器制御指示部２３は、リング形状領域の抽出結果に応じた制御信号を生成し、制御対象機器３に対して出力する。機器制御指示部２３は、制御テーブル１２を参照してリング形状領域の抽出結果に対応付けられている制御信号を生成する。また、機器制御指示部２３は、生成した制御信号を制御対象機器３の制御部３１に対して出力する。

図２（ａ）は、本実施形態に係る情報入力システム１００を示す概略図、図２（ｂ）は、ヘッドマウントディスプレイを装着したユーザＵに見えているディスプレイの表示画面である。ユーザＵは、情報入力装置１とディスプレイを備えたヘッドマウントディスプレイを装着し、ユーザＵの手指動作に応じて、ディスプレイ画面のページ送りを操作する。本実施形態において、ディスプレイが制御対象機器３となる。ヘッドマウントディスプレイには、カメラ２としてＲＧＢカメラが搭載されている。

ユーザＵの手指動作をＲＧＢカメラにて撮影し、撮影した画像の画像データを情報入力装置１に出力し、情報入力装置１においては、ＲＧＢカメラより供給された画像データに対し、種々の画像処理を行い、リング形状領域の抽出結果に基づき、制御信号を出力することでディスプレイのページ送りを制御する。

図３は、情報入力装置１の処理の一例を示すフローチャートである。本図を用いて情報入力の処理の流れを説明する。なお、図におけるＳは各処理のステップを表す。

まず、ユーザＵの手指動作をカメラ２により撮影し、撮影した画像の画像データを情報処理装置１に出力する。画像取得部２１は、カメラから出力された画像データを取得するとともに取得した画像データを画像処理部２２に供給する（Ｓ３０１）。

次に、画像処理部２２において、以下、Ｓ３０２〜Ｓ３０７の処理を行う。

まず、ＲＧＢカメラで撮影された画像データの色情報をＲＧＢ方式からＨＳＶ方式に色空間変換する（Ｓ３０２）。次に、閾値テーブル１１にあらかじめ記憶されたＨＳＶ方式の肌色である範囲の値に応じた領域（肌色領域）を抽出する（Ｓ３０３）。次に、抽出された肌色領域を１（黒）、それ以外を０（白）として２値化処理を行う（Ｓ３０４）。

図４は、カメラ２で撮影されたユーザＵの手指形状を２値化した画像４１の一例である。図４（ａ）に示す画像データ４１は、領域４１１〜４１４よりなり、ユーザＵは親指と人差し指を接触させ、リング形状を形成している状態を示している。なお、リング形状の形成は親指と人差し指を接触させる方法に限らず、親指と中指の接触などその他の方法で形成されても構わない。また、図４（ｂ）に示す画像データ４２は、領域４２１〜４２３よりなり、親指と人差し指を離して、リング形状を解消した状態を示している。領域については後述する。

次に、２値化された画像についてＯｐｅｎＣＶのｃｖＦｉｎｄＣｏｎｔｏｕｒｓ関数等による領域分割を行う（Ｓ３０５）。これにより、図５に示すような領域内包関係を示すツリー構造が得られる。

図５（ａ）は、図４（ａ）に示した画像データ４１を領域分割したものであり、図５（ｂ）は図４（ｂ）に示した画像データ４２を領域分割したものである。まず、１階層目に黒領域である領域４１１、４１２、４２１、４２２が分割され、２階層目に白領域である領域４１３、４１４、４２３が分割される。

次に、領域分割した黒領域から、手領域検出処理を行う（Ｓ３０６）。手領域検出処理の閾値は、閾値テーブル１１にあらかじめ登録しておき、このパラメータに基づき手領域を検出する。例えば、パラメータ０＜α＜１とし、領域４１１、４１２、４２１、４２２について面積計算を行い、その面積が画像全体の面積×αより大きい領域のみ、手領域であるとして次のリング形状抽出処理に移る。適切にαの値を設定することで、領域４１２、４２２のようなノイズによる微小肌色領域を排除することができる。

次に、上記Ｓ３０６にて手領域であると認識された領域において、それぞれに内包される２階層目の白領域すべてについて、リング形状領域を抽出する（Ｓ３０７）。例えば、パラメータ０＜β＜１とし、領域４１３、４１４、４２３について面積計算を行い、その面積が元の手領域の面積×βより大きい場合、その領域はリング形状領域であるとする。βを適切な値に設定することにより、領域４１３、４２３のようなノイズによる手領域内微小空白領域が排除され、手領域内の親指と人差し指接触によるリング形状領域である領域４１４を抽出することができる。

よって、領域４１１、４２１は手領域、領域４１２、４２２はノイズによる微小肌色検知領域、領域４１３、４２３はノイズによる手領域内微小空白領域、領域４１４は手領域内の親指・人差し指接触によるリング形状領域となる。リング形状領域の有無を示す抽出結果は機器制御指示部２３に送られる。

最後に、リング形状領域抽出の有無により、機器制御指示部２３が制御テーブル１２に基づいて制御信号を生成し、制御対象機器３に対して出力する（Ｓ３０８）。

上記のような手順でリング形状領域の有無を判定し、例えば、リング形状領域が有りの場合には、ディスプレイのページ送りの指示をマウスのクリック、ボタンの押し下げなどと対応させることができる。

このような方法によれば、簡単な画像処理で機器を制御できるので、高価な画像センサを用いることなく、高精度で安価な入力装置を実現することができる。

〔実施形態２〕
次に実施形態２について説明する。本実施形態では、カメラ２として赤外カメラを用い、照明器具３ａを制御対象機器３とした例を説明する。それ以外の構成は上記実施形態と同じであり、詳細な説明は省略する。

図６は、本実施形態に係る情報入力システム２００を示す概略図である。ユーザＵは、赤外カメラに向かって手指動作を行い、ユーザＵの手指動作に応じて、照明器具３ａを操作する例を示している。本実施形態において、照明器具３ａが制御対象機器となる。ユーザＵの手指動作を撮影するカメラは赤外カメラ２ａが用いられる。

ユーザＵの手指動作を赤外カメラ２ａが撮影し、撮影した画像の画像データを情報入力装置１ａに出力し、情報入力装置１ａにおいては、赤外カメラより供給された画像データに対し、実施形態１で示したのと同様の画像処理を行い、リング形状領域の抽出結果に基づき、制御信号を出力することで照明器具３ａのＯＮ／ＯＦＦを制御する。ここで、情報入力装置１ａ、赤外カメラ２ａ、照明器具３ａは、必ずしも隣接している必要はなく、ユーザＵの使用状況に応じて適宜配置されればよい。

図７は、情報入力装置１ａの処理の一例を示すフローチャートである。本図を用いて情報入力の処理の流れを説明する。なお、図におけるＳは各処理のステップを表す。

まず、ユーザＵの手指動作を赤外カメラ２ａにより撮影し、撮影した画像の画像データを情報処理装置１ａに出力する。画像取得部２１は、カメラから出力された画像データを取得するとともに取得した画像データを画像処理部２２に供給する（Ｓ７０１）。

次に、画像処理部２２において、以下、Ｓ７０２〜Ｓ７０５の処理を行う。

まず、赤外カメラ２ａで撮影された画像データを１（黒）、それ以外を０（白）として２値化処理を行う（Ｓ７０２）。

次に、２値化された画像についてＯｐｅｎＣＶのｃｖＦｉｎｄＣｏｎｔｏｕｒｓ関数等による領域分割を行い（Ｓ７０３）、その後、領域分割した黒領域から、手領域である領域検出処理を行う（Ｓ７０４）。次に、Ｓ７０４にて手領域であると認識された領域において、それぞれに内包される２階層目の白領域すべてについて、実施形態１と同様にして、リング形状領域を抽出する（Ｓ７０５）。リング形状領域の有無を示す抽出結果は機器制御指示部２３に送られる。

最後に、リング形状領域抽出の有無により、機器制御指示部２３が制御テーブル１２に基づいて制御信号を生成し、照明器具３ａに対して出力する（Ｓ７０６）。

上記のような手順でリング形状領域の有無を判定し、照明器具３ａのＯＮ／ＯＦＦの指示をマウスのクリック、ボタンの押し下げなどと対応させることができる。

図８は、本実施形態に係る照明器具３ａの制御の一例について説明するフローチャートである。ここでは、リング形状領域が有りと判定されると、照明器具３ａに対してＯＮあるいはＯＦＦの指示が交互になされる例を示している。

まず、ユーザＵの手指動作を赤外カメラ２ａにより撮像し、画像データを取得する（Ｓ８０１）。次に、上記で示した画像処理により、リング形状領域の有無の判定が行われる（Ｓ８０２）。リング形状領域が無しの場合（Ｓ８０１にてＮｏの場合）は、引き続き赤外カメラ２ａによる画像データ取得が行われる。一方、リング形状領域が有りの場合（Ｓ８０１にてＹｅｓの場合）は、機器制御指示部２３が制御信号を生成し、照明器具３ａに対して出力することにより、照明器具３ａはＯＮとなる（Ｓ８０３）。

引き続き、ユーザＵの手指動作を赤外カメラ２ａにより撮像し、画像データを取得する（Ｓ８０４）。次に、画像処理により、リング形状領域の有無の判定が行われる（Ｓ８０５）。リング形状領域が無しの場合（Ｓ８０５にてＮｏの場合）は、引き続き赤外カメラ２ａによる画像データ取得が行われる。一方、リング形状領域が有りの場合（Ｓ８０５にてＹｅｓの場合）は、機器制御指示部２３が制御信号を生成し、照明器具３ａに対して出力することにより、照明器具３ａはＯＦＦとなる（Ｓ８０６）。

このように、リング形状領域が有りの場合には、照明器具３ａをＯＮ／ＯＦＦ交互に制御することができる。このため、ユーザＵがリモコンなどの機器を所持しなくても手指動作だけで簡単に機器の制御が可能となる。

上記実施形態では、リング形状領域が有りの場合に照明器具３ａをＯＮ／ＯＦＦする制御の流れを示したが、これに限られない。例えば、最初にリング形状領域が有りの場合には、照明器具３ａがＯＮ（強）となり、次にリング形状領域が有りの場合には、照明器具３ａがＯＮ（弱）となり、その次にリング形状領域が有りの場合には、照明器具３ａがＯＦＦとなるような制御順としても構わない。このような制御内容をあらかじめ制御テーブル１２に記憶させておくことで、種々のパターンの制御が可能となる。

このような方法によれば、実施形態１と同様、簡単な画像処理で機器を制御できるので、高価な画像センサを用いることなく、高精度で安価な入力装置を実現することができる。

〔実施形態３〕
次に実施形態３について説明する。本実施形態では、テレビを制御対象機器３とし、手指動作に対して、手の動きを検出する移動検出機能を備えた例を説明する。それ以外の構成は上記実施形態と同じであり、詳細な説明は省略する。

手の動きの検出は、画像処理部２２にて行われる。動きを検出する方法としては、例えば手領域の重心を求め、これの動きを検出することで実現される。

取得された画像データに対し、図３における手領域検出処理（Ｓ３０６）にて、手領域を検出し、検出された手領域の重心Ｐを求める。重心の求める方法としては、例えば、ＯｐｅｎＣＶのｃｖＭｏｍｅｎｔｓを用いることができる。この重心を表示画面にポインタ表示することで、手の動きに連動してポインタが動画表示される。表示画面には、制御コマンドに対応した操作を示す操作パネルが表示されており、所望の位置で手の動きを止めて、指でリング形状を形成することで、あたかも、表示画面上のポインタをマウスで移動させてクリックするのと同様の操作を行うことができる。

図９は、本実施形態に係るディスプレイの表示画面の一例を示している。図９（ａ）に示すように、ユーザＵは、手指動作としてまず、手を移動させてポインタＰをＹｅｓ又はＮｏ（終了）の位置に動かし、ここで手の移動を止めて親指と人差し指でリング形状を形成することで、表示画面の次ページを表示させたり、画面表示を終了させたりすることができる。

また、図９（ｂ）に示すように、ページ送りの指示を前ページ及び次ページとして、表示させる方法でも構わない。あるいは、図９（ｃ）に示すように、ページの数字を直接指示する方法でも構わない。テレビにおいてはチャンネルに対して、同様の指示方法を行える。

その他の実施形態として、まず、指でリング形状を形成した状態で手を移動させることで、マウスのドラッグ機能やタッチパネルのフリック機能と同様の操作を行うことも可能である。

このような方法によれば、実施形態１、２と同様、簡単な画像処理で機器を制御できるので、高価な画像センサを用いることなく、高精度で安価な入力装置を実現することができる。さらに、本実施形態によれば、手の動きの情報を加えることでより操作性を高めることが可能となる。

〔実施形態４〕
その他の実施形態として、指によるリング形状形成を１回行うことで例えばマウスのクリック、リング形状形成を２回連続して行うことでマウスのダブルクリックと同様の動作を行うように構成されてもよい。さらには、例えば、リング形成が１回の場合はＯＮ、２回の場合はページ送り、３回の場合はＯＦＦといったように、連続して行うリング形成の回数に応じて、制御対象機器３に対する指示内容を設定しても構わない。

このような方法によれば、上記実施形態と同様、簡単な画像処理で機器を制御できるので、高価な画像センサを用いることなく、高精度で安価な入力装置を実現することができる。さらに、リング形成の連続回数の使い分けにより、制御対象機器３に対する指示内容のバリエーションが広がり、よりユーザの操作性を高めることができる。

以上、それぞれの実施形態で説明したとおり、本発明の情報入力装置及び方法によれば、簡単な画像処理で機器を制御できるので、高価な画像センサを用いることなく、高精度で安価な入力装置を実現することが可能となる。

本明細書で開示する技術によれば、パーソナル・コンピュータやテレビ、音楽再生プレイヤー、照明器具等の家電製品など、さまざまな機器を制御対象として、手指動作による操作を実現することができる。

１、１ａ 情報入力装置
２ カメラ
３ 制御対象機器
１０ 記憶部
１１ 閾値テーブル
１２ 制御テーブル
２０ 制御部
２１ 画像取得部
２２ 画像処理部
２３ 機器制御指示部
３１ 制御部
４１、４２ 画像データ
１００、２００ 情報入力システム

Claims (6)

1. 制御対象機器に対する情報を入力する情報入力装置であって、
   ユーザの手指動作を撮影する撮像手段により撮影した画像データから前記ユーザの手領域を抽出し、前記手領域に内包されるリング形状領域の有無により、前記制御対象機器に対する制御コマンドを出力する情報入力装置。
2. 前記情報入力装置は、
   前記リング形状領域有りの場合に前記制御対象機器に対する制御コマンドを出力する請求項１記載の情報入力装置。
3. 請求項１または２に記載の情報入力装置と、
   前記ユーザの手指動作を撮影する撮像手段と、
   前記制御対象機器と、
   を備えた情報入力システム。
4. 前記制御対象機器は、
   画面に前記制御対象機器に対する制御コマンドに対応した操作を示す操作パネルを表示し、
   前記ユーザの手の動きに連動して前記画面上にポインタを動画表示するポインタ表示手段と、
   を備え、
   前記ユーザの手指動作により前記操作パネル上の操作の選択及び又は決定を行う請求項３記載の情報入力システム。
5. ユーザの手指動作を撮影する撮像ステップと、
   前記撮像ステップにて撮影された画像データから、前記ユーザの手領域を抽出する手領域検出ステップと、
   前記手領域に内包されるリング形状領域の有無を判定する判定ステップと、
   前記判定ステップにて判定された結果に基づき、制御対象機器に対する制御コマンドを出力する機器制御ステップと、
   を有する情報入力方法。
6. ユーザの手指動作を撮影する撮像工程と、
   前記撮像工程にて撮影された画像データから、前記ユーザの手領域を抽出する手領域検出工程と、
   前記手領域に内包されるリング形状領域の有無を判定する判定工程と、
   前記判定工程にて判定された結果に基づき、制御対象機器に対する制御コマンドを出力する機器制御工程と、
   をコンピュータに実行させることを特徴とするプログラム。