JP2016015077A - ジェスチャー認識装置、ジェスチャー認識方法、及び、プログラム - Google Patents

Abstract

【課題】ユーザーによる意のままの操作を装置に伝達するようなジェスチャーを認識するジェスチャー認識装置を提供する。【解決手段】ユーザーの身体の少なくとも一部を撮影する撮影手段と、撮影手段により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、所定部位ごとの三次元座標に基づいて認識する距離認識手段と、距離認識手段により認識された所定部位間の距離に応じて所定機能を実行する機能実行手段と、を備える。【選択図】図４

Description

本発明は、ジェスチャー認識装置、ジェスチャー認識方法、及び、プログラムに関する。

従来から、家電製品や、パーソナルコンピュータ（以下「ＰＣ」という。）等の情報処理装置等に対する操作は、赤外線や電波等の無線で信号を送受信するリモートコントローラ（以下「リモコン」という。）を用いて行われている。

リモコンは、離れた場所から家電製品等を操作できるという点で、多くの製品に使用されている。しかし、第一に、リモコンは筐体それ自体を持って操作しなければならない。また、第二に、近年の製品の多機能化に伴い、それらの機能を発揮させる操作ボタンがリモコン筐体に数多く配されることになってきているため、リモコン操作者にとって、操作が煩雑になってきている。

そこで、近年、例えばＰＣ等の情報処理装置の分野において、ユーザーの身振り、手振り（以下「ジェスチャー」という。）などを装置側に設けたカメラによって撮影し、撮影された画像に基づいて特定のジェスチャーが認識されたとき、認識されたジェスチャーに予め対応させた機能を実現させるジェスチャー認識技術が広く知られている。これによって、ユーザーは、リモコン等を持たずに、意図した操作を直感的に行うことができる。

上記のジェスチャー認識技術に関し、例えば特許文献１には、操作ジェスチャー認識のためのカメラモジュールに関し、３Ｄカメラを用いて認識した操作ジェスチャーが予め既定された操作ジェスチャーに一致したとき、所定の機能を実現する技術が開示されている。特許文献１に係る技術は、３Ｄカメラを用いて、例えば人差し指による指示、こぶし等の操作ジェスチャーを認識し、これらの操作ジェスチャーに割り当てられた操作ジェスチャー識別子や位置情報に基づいて家電製品の機能を開始する。

特開２０１３−２２９００９号公報

上述のように、例えば、特許文献１に開示された技術においては、例えば人差し指による指示や、こぶし等の操作ジェスチャーに対して、一意の操作ジェスチャー識別子を割当て、例えばこぶしの操作ジェスチャーをカメラモジュールが認識すると、そのこぶしの操作ジェスチャーに割り当てられた識別子に対応する機能が実現される。

ここで、特許文献１に開示された技術は、一意の操作ジェスチャー識別子に対応する、こぶし等の固定的なジェスチャーを認識するものであるから、適用される操作処理も一意である。しかし、ユーザーの直感的な操作を実現させる観点に鑑みれば、上記のような一意な操作処理よりむしろ、ユーザーの意のままの操作を装置に伝達するようなジェスチャーを認識することができることが好ましい。

本発明は、このような実情に鑑みてなされたものであって、ユーザーによる意のままの操作を装置に伝達するようなジェスチャーを認識するジェスチャー認識装置を提供することを目的とする。

上記の課題を解決するため、本発明のジェスチャー認識装置は、ユーザーの身体の少なくとも一部を撮影する撮影手段と、撮影手段により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、所定部位ごとの三次元座標に基づいて認識する距離認識手段と、距離認識手段により認識された所定部位間の距離に応じて所定機能を実行する機能実行手段と、を備えることを特徴とする。

本発明によれば、ユーザーによる意のままの操作を装置に伝達するようなジェスチャーを認識することができる。

本発明の実施形態におけるジェスチャー認識装置の一例としてのパーソナルコンピュータを用いた動作説明概略図である。 本発明の実施形態におけるジェスチャー認識装置のハードウェア構成例を示す図である。 本発明の実施形態におけるジェスチャー認識装置の機能ブロック図である。 本発明の実施形態におけるジェスチャー認識処理の一例を説明する模式図である。 本発明の実施形態におけるジェスチャー認識処理手順の一例を示すフローチャートである。 図５におけるステップＳ４の詳細な処理手順の一例を示すフローチャートである。

本発明の実施形態におけるジェスチャー認識装置について図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。なお、以下では、本実施形態におけるジェスチャー認識装置を説明する上で、一例として、ノート型のパーソナルコンピュータ（以下「ＰＣ」という。）を用いているが、これに限定されず、例えば、デスクトップ型のＰＣでも、多機能型携帯電話（スマートフォン）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話等の携帯端末でも、情報処理機能を有するテレビジョン（ＴＶ）でも、あるいは、情報処理機能を有する、例えば冷蔵庫や洗濯機等の家庭用電化製品等、さらには自家用車等に本実施形態のジェスチャー認識装置が適用されるものであってもよい。

本実施形態におけるジェスチャー認識装置は、ユーザーの身体の少なくとも一部を用いた所定のジェスチャーを認識するものであるが、本実施形態においては、例えば、ユーザーの手指を用いたジェスチャーを用いて、以下説明するものとする。なお、ジェスチャー認識装置が認識するジェスチャーは、身体の少なくとも一部を用いたジェスチャーであればよく、手指に限らず、腕や脚、顔、あるいは全身を用いたあらゆるジェスチャーを認識し、認識された各ジェスチャーに基づいて各種操作処理を実現するものであってもよい。

本実施形態におけるジェスチャー認識装置の一例であるノート型ＰＣ（以下、単に「ＰＣ」という。）１の概略について図１を参照して説明する。ＰＣ１は、例えば、ジェスチャーを認識するためのカメラ１１と、ディスプレイ１２と、キーボード１３と、タッチパッド１４等を備えている。なお、キーボード１３や、タッチパッド１４等は、通常、ＰＣに標準的に実装されていることに鑑みて、例示的に描画しているにすぎず、本発明としての必須の構成でないことは言うまでもない。

カメラ１１は、例えば、図１に示すようなジェスチャーＲを撮影して、撮影画像を装置内に取り込む。ＰＣ１は、取り込まれた撮影画像を解析して、解析結果に基づいて所望の処理を実行する。なお、本図においては、カメラ１１はＰＣ１のディスプレイ１２の上方に設けられているが、これに限定されず、ジェスチャー等を撮影することができる位置であれば、どこに設けてもよい。また、カメラ１１が不図示の回転機構により、その取付位置を基点として装置筐体の背面側に回転し、背面側のジェスチャー等を撮影するようにしてもよい。

なお、図１における３次元空間を説明する指標として、横方向をＸ軸と、縦方向をＹ軸と、奥行き方向をＺ軸とする。本実施形態におけるカメラ１１は、Ｘ軸及びＹ軸からなる平面的な画像を撮影するカメラだけでなく、Ｚ軸方向の長さを認識するため、例えば物体の温度分布を画像化するＩＲカメラを組み合わせて用いることが好ましい。また、所謂ステレオカメラ等の３Ｄカメラを用いてもよい。これらにより、ジェスチャーの向きに関わらず、ジェスチャーを正確に認識することができる。

次に、本実施形態におけるジェスチャー認識装置のハードウェア構成について図２を参照して説明する。本実施形態におけるジェスチャー認識装置は、例えば、制御部２１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２４と、撮影部２５と、表示部２６と、入力部２７と、出力部２８と、を備える。

制御部２１は、ジェスチャー認識装置の全体制御、及び後述する距離認識制御や機能実行制御を行う、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。また、制御部２１は、本実施形態における、認識したジェスチャーに対応させた所定の実行機能を実現させるために、上述した各デバイスを制御する。

ＲＡＭ２２は、例えば、制御部２１の作業用領域として利用されるとともに、各種データの一時記憶領域として利用されるものであればよい。また、ＲＯＭ２３は、例えば、制御部２１が実行するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等の制御プログラムのほか、制御に必要な各種データ等が格納されるものであればよい。

ＨＤＤ２４は、例えば、認識されるジェスチャーと所定機能とを対応付けたテーブルデータ等を記憶する大容量記憶装置である。なお、本実施形態においては、例えば、ＨＤＤ２４はＰＣ１に内蔵されているが、ＨＤＤ２４は外付けであってもよい。また、テーブルデータ等をＳＤカード等の外部メディアに記憶させ、ＳＤカード等から当該画像を読み込んでもよい。さらに、テーブルデータ等を、不図示のネットワークを介して接続された外部のＰＣ等に記憶させておき、ジェスチャー認識が必要なタイミングでネットワークを経由してＰＣ１に読み込む、例えば、クラウド等に対応することとしてもよい。

撮影部２５は、ジェスチャーを撮影する、例えばデジタルカメラ等の撮影手段である。上述したように、本実施形態では、ジェスチャー等の物体の３軸方向の距離を測定することが好ましいため、例えば、２軸方向、つまり上述した図１におけるＸ−Ｙ軸平面の画像を撮影するカメラに加え、物体の奥行き方向、つまり上述した図１におけるＺ軸方向の距離を測定するＩＲ（赤外線）カメラを備えることが好ましい。なお、撮影部２５として、３Ｄ映像を取得することができるものであれば、例えば２以上のカメラを用いたステレオカメラ等の視差カメラであってもよい。

表示部２６は、各種画像を表示する、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスである。本実施形態においては、例えば、表示部２６にアイコン等のユーザーインタフェースを表示させ、これらアイコン等が、ＰＣ１に実装される所定機能を実現するための操作キーとなっている場合に、ユーザーは表示部２６に表示されたアイコン等を見ながら、ジェスチャーによって、あたかもそれらアイコン等を直接操作しているかのような感覚を体験することができる。

入力部２７は、例えば、上述したキーボード１３やマウス等の入力デバイスであり、出力部２８は、例えば、音声を出力するスピーカー等の音声出力部や、光を出力するＬＥＤ等の光出力部等である。入力部２７は、例えば、ＰＣ１の初期設定を行う場合等に用いられる。また、出力部２８は、例えば、処理が完了したり、処理中であったり等の処理状態をユーザーに知らせるため等に、音声や光等を出力する。

次に、本実施形態におけるジェスチャー認識装置の機能ブロックについて、図３を参照して説明する。本実施形態におけるジェスチャー認識装置は、機能ブロックとして、撮影部２５と、距離認識部３１と、機能実行部３２と、表示部２６を含み構成されている。

距離認識部３１は、撮影部２５により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、所定部位毎の三次元座標に基づいて認識する距離認識手段である。例えば、距離認識部３１は、ユーザーの身体の少なくとも一部の上下方向（Ｙ軸）、左右方向（Ｘ軸）、及び前後方向（Ｚ軸）から前記２以上の所定部位間の距離を認識する。これは、上述した、物体の３軸方向の距離認識に対応する処理である。本実施形態においては、例えば、手指のジェスチャーを認識する場合において、人差し指の先端と親指の先端との間の距離を認識しているが、一例にすぎない。上述したような、例えば腕や脚等をジェスチャーに用いる場合、これらの所定部位間の距離、具体的には、腕であれば、肘と手首間の距離を認識するものであってもよい。本処理の詳細については、図４を参照して後述する。

機能実行部３２は、距離認識部３１により認識された所定部位間の距離に応じて所定機能を実行する機能実行手段である。より具体的には、機能実行部３２は、距離認識部３１により認識された所定部位間の距離が、予め登録されたデータ範囲に含まれるとき、そのデータ範囲に対応する所定機能を実行する。本処理の詳細については、距離認識部３１の処理と共に、図４を参照して後述する。

表示部２６は、機能実行部３２により所定機能が実行されるとき、所定機能の実行状態を画面表示する表示手段である。例えば、認識されたジェスチャーに対応する機能が実行されるとき、図１に示したディスプレイ１２に、実行状態として、ある画面から別の画面へ画面遷移する状態や、ズーム機能によりある表示画像が拡大表示される状態が表示されるものとしてよい。

次に、本実施形態における、ジェスチャー認識処理の一例について、上述した距離認識部３１、及び機能実行部３２による処理と共に、図４を参照して説明する。

図４では、ＰＣ１において実行される動作（以下「機能」ともいう。）として、例えば、「画面遷移」、「画面内のクリック対象を探索」、「対象物へのアプローチ」、「タップ／クリック」を列挙している。そして、これらの動作を実行するモードを、それぞれ「タッチモード」、「カーソルモード１」、「カーソルモード２」、「タップ／クリックモード」として、認識される所定部位間の距離と対応させている。なお、これらの動作及びモードは一例であって、これらに限定されるものでないことは言うまでもない。

「タッチモード」は、例えば所定部位間の距離としての親指と人差し指との距離を１とした「手を一杯に開いた状態」に対応させたモードであり、「カーソルモード１」は、例えば親指と人差し指との距離を０．５〜０．８とした「手を少し開いた状態」に対応させたモードである。また、「カーソルモード２」は、例えば親指と人差し指との距離を０．２〜０．４とした「完全ではないが手の指先を閉じ気味に開いた状態」に対応させたモードであり、「タップ／クリックモード」は、例えば親指と人差し指との距離を０とした「手の指先を閉じた状態」に対応させたモードである。図４に示したような、認識された所定部位間の距離と機能とを対応させたテーブルデータが、上述したＨＤＤ２４等に記憶されているものとしてよい。

距離認識部３１は、撮影部２５が撮影したジェスチャーを既存の画像解析技術によって解析し、例えば、本実施形態における手の人差し指と親指間の距離を認識する。そして、機能実行部３３は、例えば、ＨＤＤ２４等に記憶された上記テーブルデータに基づいて、距離認識部３１により認識された人差し指と親指間の距離「１」に対応する機能、つまり、ここでは「画面遷移」の動作を実行する「タッチモード」を機能させる。

本実施形態においては、認識される所定部位間の距離として、例えば、「手を一杯に開いた状態」における人差し指と親指間の距離を「１」として設定する。そして、例えば、「手を少し開いた状態」における人差し指と親指間の距離を「０．５〜０．８」とし、「完全ではないが手の指先を閉じ気味に開いた状態」における人差し指と親指間の距離を「０．２〜０．４」とし、「手の指先を閉じた状態」における人差し指と親指間の距離を「０」として、このようなデータ範囲を設定し、上記のテーブルデータに予め登録している。なお、これらの設定値は一例であって、人差し指と親指の開き具合に応じて、さらに細かい距離を設定してもよい。また、人差し指と親指間の距離に限らず、例えば、親指と、人差し指以外の指との間の距離であっても、人差し指と、親指以外の指との間の距離であってもよいことは言うまでもない。本実施形態のように、例えば、手指間の距離に応じて動作モードを切り替えることにより、ユーザーは、あたかも自らの意思のままに操作を行っているかのような感覚を味わうことができ、より直感的な操作を実現することが可能となる。また、手指間の距離を細かく分けて、細かく分けられた距離に応じて動作を設定することで、さらにリニアな操作感を実現させることができる。

次に、本実施形態におけるジェスチャー認識処理手順について、図４の例を用いつつ、図５を参照して説明する。まず、ジェスチャー認識装置は、例えば、撮影部２５によりユーザーの手指を撮影すると、撮影画像の入力をキーとしてジェスチャー認識処理を開始する（ステップＳ１）。なお、これは一例であって、ジェスチャー認識処理のトリガーは、撮影画像の入力に限らず、ユーザーによるキーボード１３等の入力部２７を介した操作入力信号をキーとしても、マイク等を用いて音声入力信号をキーとしても、その他ＰＣ１に備わるデバイス等を利用して何らかのトリガーを装置が認識できる信号等であればよい。

次に、距離認識部３１は、撮影画像から、例えば、人差し指と親指間の距離を認識する（ステップＳ２）。認識された距離が「１」であるとき（ステップＳ２、距離：１）、機能実行部３２は、図４で示したテーブルデータを参照し、距離「１」に対応する処理として「タッチモード」処理を実行する（ステップＳ３）。

また、認識された距離が「０」であるとき（ステップＳ２、距離：０）、機能実行部３２は、図４で示したテーブルデータを参照し、距離「０」に対応する処理として「タップ／クリックモード」処理を実行する（ステップＳ５）。

さらに、認識された距離ｘが「０＜ｘ＜１」であるとき（ステップＳ２、距離：０＜ｘ＜１）、機能実行部３２は、図４で示したテーブルデータを参照し、距離「０＜ｘ＜１」に対応する処理として「カーソルモード」処理を実行する（ステップＳ４）。

さらに、カーソルモード処理に移行した後の詳細な処理手順について図６を参照して説明する。機能実行部３２は、カーソルモード処理に移行後、さらに、認識された距離が「０．５〜０．８」であるか、「０．２〜０．４」であるか判断する（ステップＳ１１）。認識された距離が「０．５〜０．８」のとき（ステップＳ１１、０．５〜０．８）、機能実行部３２は、「カーソルモード１」として「サーチモード」処理を実行する（ステップＳ１２）。

他方、認識された距離が「０．２〜０．４」のとき（ステップＳ１１、０．２〜０．４）、機能実行部３２は「カーソルモード２」として「狙うモード」処理を実行する（ステップＳ１２）。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態のジェスチャー認識装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリ等の記憶部にインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１ ノート型ＰＣ
１１ カメラ
１２ ディスプレイ
１３ キーボード
１４ タッチパッド
２１ 制御部
２２ ＲＡＭ
２３ ＲＯＭ
２４ ＨＤＤ
２５ 撮影部
２６ 表示部
２７ 入力部
２８ 出力部
３１ 距離認識部
３２ 機能実行部

Claims (5)

1. ユーザーの身体の少なくとも一部を撮影する撮影手段と、
   前記撮影手段により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、前記所定部位ごとの三次元座標に基づいて認識する距離認識手段と、
   前記距離認識手段により認識された所定部位間の距離に応じて所定機能を実行する機能実行手段と、
   を備えることを特徴とするジェスチャー認識装置。
2. 前記機能実行手段は、前記距離認識手段により認識された前記所定部位間の距離が、予め登録されたデータ範囲に含まれるとき、該データ範囲に対応する前記所定機能を実行することを特徴とする請求項１記載のジェスチャー認識装置。
3. 少なくとも前記機能実行手段により前記所定機能が実行されるとき、前記所定機能の実行状態を画面表示する表示手段を備えることを特徴とする請求項１又は２記載のジェスチャー認識装置。
4. 撮影手段により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、前記所定部位ごとの三次元座標に基づいて認識し、記憶部に記憶する工程と、
   前記記憶部に記憶された所定部位間の距離に応じて所定機能を実行する工程と、
   を備えることを特徴とするジェスチャー認識方法。
5. 撮影手段により撮影されたユーザーの身体の少なくとも一部における２以上の所定部位間の距離を、前記所定部位ごとの三次元座標に基づいて認識し、記憶部に記憶する処理と、
   前記記憶部に記憶された所定部位間の距離に応じて所定機能を実行する処理と、
   をコンピュータに実行させることを特徴とするプログラム。

Images