JP2020135587A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】複数のユーザの手による操作入力を受け付ける際に、左右の手をユーザ毎に適切にペアリングできるようにする。【解決手段】ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得し、画像よりユーザの左右の手と、それぞれの手に対応する腕とを検出し、一方の腕の根本の位置を基準位置に設定し、一方の腕が左手あるときは、操作面の外周に沿って最も近い隣接する腕の根本の位置を参照位置に設定し、基準位置の腕の手と、参照位置の腕の手とをペアリングする。情報処理システムに適用することができる。【選択図】図１

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、複数のユーザの手による操作入力を受け付ける際に、左右の手をユーザ毎に適切にペアリングできるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

タッチパネルに対するタッチ操作や空間に手をかざすなどの手を用いたジェスチャにより、アプリケーションソフトウェア等に対する操作入力を受け付ける操作機器が提案されている。

ここで、ジェスチャによる操作入力を受け付けるような場合、複数の人数で操作しようとすると、どの手が誰のものであるのかを識別できなければならない。

そこで、例えば、車載装置の操作領域に対する腕の進入方向に基づいて、運転者の手であるか、助手席の搭乗者の手であるのかを判別する技術が提案されている（特許文献１参照）。

特許第４９１８８７２号公報

ところで、特許文献１の技術においては、識別する人物が、運転者と助手席の搭乗者の二人であることから、操作領域を左右に２分割することで、腕の進入方向に基づいて判別することが可能とされている。

しかしながら、車載装置以外の操作領域に対する操作入力である場合であって、２人以上を判別する必要があるときには、判別可能な人数については、操作領域に対する分割数に依存することになり、さらに、任意の方向からの腕の侵入には対応することができない。

本開示は、このような状況に鑑みてなされたものであり、特に、複数のユーザの手を用いた操作入力を受け付ける際に、左右の手をユーザ毎に適切にペアリングするものである。

本開示の一側面の情報処理装置は、ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得部と、前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出部と、前記手検出部により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング部とを備える情報処理装置である。

本開示の一側面の情報処理方法、およびプログラムは、情報処理装置に対応するものである。

本開示の一側面においては、ユーザの手を用いた操作入力を受け付ける操作面上の画像が取得され、前記画像より前記ユーザの左右の手と、前記手に対応する腕とが検出され、検出された前記画像内における前記ユーザ毎の左右の手がペアリングされる。

本開示の概要を説明する図である。 本開示の情報処理システムの構成例を説明する図である。 図２の情報処理システムの外観構成例を示す図である。 反時計回りペアリング処理を説明する図である。 時計回りペアリング処理を説明する図である。 基準位置と参照位置の手が左右同一である場合の反時計回りペアリング処理を説明する図である。 基準位置と参照位置の手が左右同一である場合の時計回りペアリング処理を説明する図である。 基準位置と参照位置との距離が所定の距離より離れたときのペアリング処理を説明する図である。 ペアリング処理において、左右の手の位置ではなく、腕の根本の位置を基準位置と参照位置に設定する理由を説明する図である。 ３次元位置推定部によって３次元位置が推定されるユーザの身体の各点の例を示す図である。 ３次元位置推定部によって３次元位置が推定されるユーザの身体の各点の例を示す図である。 ３次元位置推定部によって３次元位置が推定されるユーザの身体の各点の例を示す図である。 ３次元位置推定手法の概要を説明するための図である。 ３次元位置推定手法の例について説明する。 ３次元位置推定手法の例について説明する。 ３次元位置推定手法の例について説明する。 本開示の実施の形態に係るジェスチャ認識について説明するための図である。 ペアリングされた左手と右手を用いたジェスチャの例を説明する図である。 ペアリングされた左手と右手を用いたジェスチャの例を説明する図である。 ペアリングされた左手と右手を用いたジェスチャの例を説明する図である。 図２の情報処理システムの情報処理を説明するフローチャートである。 図２１のペアリング処理を説明するフローチャートである。 図２２の反時計回りペアリング処理を説明するフローチャートである。 図２３の時計回りペアリング処理を説明するフローチャートである。 図２１のペアリング処理を説明するその他のフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の実施の形態
３．ソフトウェアにより実行させる例

＜＜１．本開示の概要＞＞
本開示は、複数のユーザの手を用いた操作入力を受け付ける際に、左右の手をユーザ毎に適切にペアリングするものである。

まず、本開示の概要について説明する。

例えば、図１で示されるような、タッチパネルとしての機能と、表示装置としての機能を備えたテーブルＴ、および、テーブルＴと対向する位置に設置され、テーブルＴ上の画像を撮像する図示せぬカメラとからなる、情報処理システムを想定する。

図１の情報処理システムにおいては、例えば、カメラにより撮像される画像に基づいて、左右の手を用いた操作面であるテーブルＴに対する操作入力をジェスチャとして認識し、認識されたジェスチャとしての操作入力に対応するコマンドを実行し、実行結果を出力する。

左右の手を用いた操作面であるテーブルＴに対する操作入力とは、例えば、左右の手のうちの一方の手によるテーブルＴ上をタッチする指と、他方の掌の形状とに基づいたジェスチャにより表現されるものである。ここで、掌の形状とは、例えば、人差指を立てる、人差指と中指を立てる、または人差指と親指の腹を併せて輪を作る等の掌で形成できる形状である。

また、図１の情報処理システムは、複数のユーザの操作入力も受け付ける。複数のユーザからの操作入力を受け付ける場合、左右の手が、それぞれユーザ毎にペアとして認識され、ペアとなる左右の手の情報に基づいて、操作入力が受け付けられる。

このため、複数のユーザからの操作入力を受け付けるには、まず、複数の左右の手を、それぞれ適切にユーザ毎にペアリングする必要がある。

そこで、本開示の情報処理システムにおいては、まず、カメラが、テーブルＴ上の画像を撮像する。

次に、カメラにより撮像された画像に基づいて、テーブルＴの端部に跨る腕（の領域）の根本の位置が検出される。すなわち、図１の場合、左手Ｌ１乃至Ｌ４、および右手Ｒ１乃至Ｒ４の腕の根本の位置が検出される。次に、腕の根本の位置が検出されると、検出された腕の根本の位置に対して端部となる領域の掌を検出し、親指の向きなどにより、左手および右手が検出される。

このように検出された左手および右手のうち、左手のいずれかに対応するテーブルＴの端部に跨る腕の根本の位置が基準位置に設定される。図１の場合、例えば、左手Ｌ１の腕の根本の位置が基準位置ＢＰに設定される。

次に、左手の腕が基準位置ＢＰとして設定された場合、テーブルＴの外周に沿って、反時計回り方向の隣であって、最も近い位置に存在する右手の腕の根本の位置が参照位置ＲＰとして検索される。

そして、基準位置ＢＰに設定された位置に根本が位置する腕の左手Ｌ１と、参照位置ＲＰに設定された位置に根本が位置する腕の右手Ｒ１とがペアＰ１に設定される。

次に、参照位置ＲＰに設定された位置に根本が位置する腕の反時計回りに隣であって、最も近い位置に存在する左手の腕の根本の位置が、新たな基準位置ＢＰに設定される。

以降、図１の場合、左手Ｌ２の腕の根本の位置が、２番目の新たな基準位置ＢＰに設定される。

そして、上述と同様の手法により、右手Ｒ２の腕の根本の位置が新たな基準位置ＢＰに対する参照位置ＲＦに設定されて、新たに参照位置ＲＦに設定された位置に根本が位置する腕の右手Ｒ２と左手Ｌ２とがペアＰ２に設定される。

以下同様の処理が繰り返されて、左手Ｌ３と右手Ｒ３とがペアＰ３に設定され、左手Ｌ４と右手Ｒ４とがペアＰ４に設定される。

以上においては、左手の腕の根本の位置が基準位置ＢＰに設定され、テーブルＴの外周に対して反時計回りに隣であって、最も近い位置に存在する右手の腕の根本の位置を参照位置ＲＰとして、基準位置ＢＰと参照位置ＲＰとのそれぞれの位置に、根本が位置する腕に属する左手と右手とをペアに設定する例について説明してきた。

同様に、右手の腕の根本の位置が基準位置ＢＰに設定されるようにしてもよく、この場合、テーブルＴの外周に対して時計回りに隣であって、最も近い位置に存在する左手の腕の根本の位置が参照位置ＲＰとされるようにして、基準位置ＢＰと参照位置ＲＰとの腕に属する右手と左手がペアに設定されるようにしてもよい。

以上の処理により、複数のユーザの左右の手をペアリングさせることで、適切に同一の人物の左右の手をペアリングさせることが可能となる。

結果として、ペアリングされた左右の手のジェスチャに基づいて、複数のユーザの操作入力を受け付けることが可能となる。

＜＜２．本開示の実施の形態＞＞
＜情報処理システムの構成例＞
続いて、図面を参照しながら、本開示の実施の形態に係る情報処理システムの構成例について説明する。

図２は、本開示の実施の形態に係る情報処理システムの機能構成例を示す図である。

図２で示されるように、情報処理システム１１は、入力部３１、情報処理装置３２、および出力部３３を備える。

また、情報処理装置３２は、手検出部５１、ペアリング部５２、３次元位置推定部５３、フレーム数判定部５４、相対速度／相対位置算出部５５、ジェスチャ認識部５６、コマンド実行部５７および記憶部５８を備える。

入力部３１は、入力装置を含んで構成され、操作体（より具体的には、操作体の一部または全部の形状、動きなど）を、時間軸を含めてセンシングすることにより、操作入力を受け付ける。ここでいう操作体とは、例えば、ユーザの手（掌）と、対応する腕である。

より具体的には、入力部３１は、例えば、画像センサ（カメラ）およびデプスセンサより構成される。

しかしながら、入力部３１は、これらのセンサすべてを含んで構成されていなくてもよく、これらのセンサの少なくとも一つを含んで構成されていればよい。または、入力部３１は、タッチセンサを含んでもよい。以下では、操作体の形状、動きなどが、画像センサによって取得される場合を主に想定する。しかしながら、これらの情報がどのセンサによって取得されるかは限定されない。

すなわち、入力部３１は、例えば、画像センサを含む第１の入力部３１と、タッチセンサを含む第２の入力部３１とから構成されるようにしてもよい。

本実施の形態においては、左右の手の少なくともいずれかの形状や動きの変化、および、後述するテーブル７１ａ（図３）対するタッチの有無等に基づいたジェスチャが操作体である左右の手による操作入力として受け付けられるものとする。

以下では、操作体である左右の手の少なくともいずれか一方の形状や、動きなどが、画像に基づいて認識され、画像センサやデプスセンサによって取得される場合を主に想定する。しかしながら、これらの情報がどのセンサによって取得されるかは限定されない。また、センシングされるものは画像に限らないため、タッチセンサによりテーブル７１ａに対してタッチされたか否かの情報がセンシングされるようにし、そのセンシング結果を用いるようにしてもよい。

なお、画像センサとしては、可視光カメラが用いられてもよいし、赤外線カメラが用いられてもよい。デプスセンサとしては、ステレオカメラが用いられてもよいし、TOF（Time Of Flight）センサが用いられてもよいし、Structured Light方式による距離画像センサが用いられてもよい。タッチセンサは、上方または下方から撮影を行うカメラであってもよいし、投影面に敷かれたタッチパネルであってもよい。

出力部３３は、出力装置を含んで構成され、コマンド実行部５７によって実行されるコマンドに従って情報を出力する。以下では、出力部３３がプロジェクタを含んで構成され、プロジェクタが投影面に情報を投影することによって情報を出力する場合を主に想定する。

しかしながら、出力部３３は、プロジェクタを含む場合に限定されない。例えば、出力部３３は、タッチパネル式のディスプレイであってもよいし、LCD（Liquid Crystal Display）や、有機EL（Electro-Luminescence）ディスプレイなどであってもよい。

出力部３３によって情報が出力される面は、表示面（投影面）に相当する。特に、出力装置としてプロジェクタが使用される場合には、表示面はプロジェクタによって情報が投影される投影面（例えば、テーブルの天面）に相当する。以下の説明においては、表示面として投影面が用いられる場合を主に想定するが、表示面は投影面に限定されない。また、プロジェクタによって情報が投影される領域は、テーブル面に限定されない。例えば、プロジェクタによって情報が投影される領域は、床面であってもよいし、壁面であってもよいし、物体などであってもよい。

情報処理装置３２は、入力部３１より入力されるセンシング結果に基づいて、処理を施し、処理結果を出力部３３に出力する。

より具体的には、情報処理装置３２は、例えば、プロセッサとメモリ等から構成されるパーソナルコンピュータなどから構成されるようにして、入力部３１および出力部３３が物理的に接続されて構成される。

また、情報処理装置３２は、例えば、ネットワーク上に構成されるサーバやクラウドコンピューティングにより実現されてもよく、ネットワークを介して入力部３１および出力部３３と接続される構成とされてもよい。

尚、情報処理装置３２の詳細については後に詳細に説明する。

＜情報処理システムの外観構成例＞
図３は、本開示の実施の形態に係る情報処理システム１１の外観構成例を示す図である。図３に示されたように、情報処理システム１１は、入力部３１と出力部３３とを含んで構成される。情報処理システム１１は、テーブル７１の天面に情報を表示し、テーブル７１に表示した情報に対してユーザに操作をさせる。このように、テーブル７１の天面に情報を表示する方式を「プロジェクション型」とも称する。

入力部３１は、ユーザによる操作や、テーブル７１に置かれている物体の形状や模様などを入力情報として受け付ける。図３に示された例では、入力部３１が、テーブル７１の上方に、天井から吊り下げられた状態で設けられている。このように、テーブル７１の上方から情報を出力部３３によって照射し、テーブル７１の天面に情報を表示する方式を「上方プロジェクション型」とも称する。入力部３１としては、１つのレンズでテーブル７１を撮像するカメラが用いられてもよいし、２つのレンズでテーブル７１を撮像して奥行き方向の情報を記録することが可能なステレオカメラが用いられてもよいし、ユーザが発する音声や環境音を収音するためのマイクロフォンが用いられてもよい。

入力部３１として、１つのレンズでテーブル７１を撮像するカメラが用いられる場合、情報処理システム１１は、そのカメラが撮像した画像を解析することによって、テーブル７１に置かれた物体やユーザの手のジェスチャを認識することができる。また、入力部３１としてステレオカメラが用いられる場合、情報処理システム１１は、ステレオカメラによって取得された深度情報に基づいて、テーブル７１の上に置かれた物体（手など）やジェスチャの認識が可能になる。また、情報処理システム１１は、深度情報に基づいて、テーブル７１へのユーザの手の接触やテーブル７１からの手の離脱の認識が可能である。

また、入力部３１としてマイクロフォンが用いられる場合、そのマイクロフォンは特定の方向の音声を収音するためのマイクロフォンアレイが用いられ得る。入力部３１としてマイクロフォンアレイが用いられる場合、情報処理システム１１は、マイクロフォンアレイの収音方向を任意の方向に調整してもよい。

出力部３３は、入力情報に応じて、テーブル７１に情報を表示したり、音声を出力したりする。出力部３３としては、プロジェクタやスピーカ等が用いられ得る。図３に示された例では、出力部３３は、テーブル７１の上方に、天井から吊り下げられた状態で設けられている。出力部３３がプロジェクタで構成される場合、出力部３３は、テーブル７１の天面に情報を投影する。出力部３３がスピーカで構成される場合、出力部３３は、音声信号に基づいて音声を出力する。このとき、スピーカの数は１つであってもよく、複数であってもよい。出力部３３が複数のスピーカで構成される場合、情報処理システム１１は、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。

また、本開示の実施の形態に係る情報処理システム１１が、図３に示されたようなプロジェクション型の情報処理システム１１である場合、出力部３３には、照明機器が含まれていてもよい。出力部３３に照明機器が含まれる場合、情報処理システム１１は、入力部３１によって受け付けられた入力情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御してもよい。また、本開示の実施の形態に係る情報処理システム１１が、図３に示されたような上方プロジェクション型の情報処理システム１１である場合、テーブル７１だけではなく、テーブル７１の上に置かれた物体にも情報を表示することも可能である。

ユーザは、出力部３３がテーブル７１に表示する情報に対して、掌や指などを用いたジェスチャによって各種の操作入力を行うことができる。また、ユーザは、テーブル７１に物体を置き、入力部３１に物体を認識させることによって、情報処理システム１１に、その物体に関する種々の処理を実行させることが可能である。

図２に戻って説明を続ける。続いて、情報処理装置３２の構成例について説明する。情報処理装置３２は、手検出部５１、ペアリング部５２、３次元位置推定部５３、フレーム数判定部５４、相対速度／相対位置算出部５５、ジェスチャ認識部５６およびコマンド実行部５７を備える。これらのブロックは、例えば、１または複数のCPU（Central Processing Unit）などといった処理装置によって構成される。これらのブロックが、CPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。また、それぞれがネットワーク上に構成されるサーバにより実現されるようにしてもよいし、クラウドコンピューティングにより実現されてもよい。

手検出部５１は、入力部３１によって取得された入力情報に基づいて、腕を認識し、認識した腕の根本の位置と、その腕に繋がる操作体である手（掌および手首）の位置とを認識して検出し、入力情報と共に検出結果をペアリング部５２に出力する。尚、ここでいう腕の根本の位置は、例えば、撮像された画像内におけるテーブル７１の外周部と跨る位置に存在する腕の位置である。

ペアリング部５２は、入力情報と手の検出結果に基づいて、同一のユーザの右手と左手をペアリングする。

ペアリング部５２は、入力情報と手の検出結果に基づいて、左右の手と、その手に付帯する腕の根本の位置の情報を利用して同一ユーザの右手と左手とをペアリングする。

＜左右の手のペアリングの方法（その１）＞
より具体的には、例えば、入力情報として、図４の最左部で示されるようにテーブル７１の天面上に、左手Ｌ１乃至Ｌ４、および右手Ｒ１乃至Ｒ４が映し出されている画像が用いられる場合について考える。

尚、図４の最左部においては、左手Ｌ１と右手Ｒ１、左手Ｌ２と右手Ｒ２、左手Ｌ３と右手Ｒ３、および左手Ｌ４と右手Ｒ４が、それぞれ同一のユーザの左右の手である。

従って、ペアリング部５２は、左手Ｌ１と右手Ｒ１、左手Ｌ２と右手Ｒ２、左手Ｌ３と右手Ｒ３、および左手Ｌ４と右手Ｒ４をそれぞれ同一の人物の左手と右手のペアとしてペアリングする必要がある。

そこで、ペアリング部５２は、左手Ｌ１乃至Ｌ４の手首に繋がる腕の根本の位置のいずれか、または、右手Ｒ１乃至Ｒ４の手首に繋がる腕の根本の位置のいずれかを基準位置ＢＰに設定する。ここで、例えば、図４の最左部で示されるように、左手Ｌ１の腕の根本の位置が基準位置ＢＰに設定されるものとする。

次に、左手の腕の根本の位置が基準位置ＢＰに設定された場合、ペアリング部５２は、テーブル７１の外周部に沿って反時計回り方向であって、基準位置ＢＰから最も近い隣の位置に存在する腕の根本を検索し、検索された腕の根本の位置を参照位置ＲＰに設定する。

そして、ペアリング部５２は、基準位置ＢＰと参照位置ＲＰのそれぞれの腕の根本に繋がる手をペアに設定する。

すなわち、図４の最左部で示されるように、腕の根本の位置が基準位置ＢＰとして設定された左手Ｌ１と、腕の根本の位置が参照位置ＲＰとして設定された右手Ｒ１とがペアＰ１に設定される。以上の処理により、左手Ｌ１と右手Ｒ１とが同一人物の左右の手としてペアＰ１に設定される。

次に、ペアリング部５２は、テーブル７１の外周に沿って反時計回りに参照位置ＲＰから最も近い位置に存在する腕の根本を検索し、検索された腕の根本の位置を、新たな基準位置ＢＰに設定する。

すなわち、図４の左から２番目で示されるように、参照位置ＲＰとなる右手Ｒ１の腕の位置からテーブル７１の外周に沿って反時計回りに参照位置ＲＰから最も近い位置に存在する腕の根本は、左手Ｌ２の腕の根本となるので、左手Ｌ２の腕の根本の位置が新たな基準位置ＢＰに設定される。

次に、左手Ｌ２の腕の根本の位置が基準位置ＢＰに設定された場合、ペアリング部５２は、テーブル７１の外周に沿って反時計回りであって、基準位置ＢＰから最も近い隣の位置に存在する腕の根本として、右手Ｒ２の腕の根本を検索し、検索された右手Ｒ２の腕の根本の位置を参照位置ＲＰに設定する。

そして、図４の左から２番目で示されるように、腕の根本の位置が基準位置ＢＰとして設定された左手Ｌ２と腕の根本の位置が参照位置ＲＰとして設定された右手Ｒ２とがペアＰ２に設定される。

以降、同様の処理が繰り返されることにより、図４の右から２番目で示されるように、左手Ｌ３の腕の根本の位置が、新たな基準位置ＢＰに設定され、対応する参照位置ＲＰが右手Ｒ３の腕の根本の位置に設定される。これにより、左手Ｌ３と右手Ｒ３とがペアＰ３に設定される。

そして、図４の最右部で示されるように、左手Ｌ４の腕の根本の位置が、新たな基準位置ＢＰに設定され、対応する参照位置ＲＰが右手Ｒ４の腕の根本の位置に設定される。これにより、左手Ｌ４と右手Ｒ４とがペアＰ４に設定される。

すなわち、図４で示されるように、左手Ｌ１と右手Ｒ１とがペアＰ１に、左手Ｌ２と右手Ｒ２とがペアＰ２に、左手Ｌ３と右手Ｒ３とがペアＰ３に、左手Ｌ４と右手Ｒ４とがペアＰ４に、それぞれ設定される。尚、図４を参照して説明したペアリング処理を、以降においては、反時計回りペアリング処理とも称する。

＜左右の手のペアリングの方法（その２）＞
また、以上においては、左手の腕の根本の位置を基準位置ＢＰに設定し、テーブル７１の外周に沿って反時計回りに、最も近い位置に存在する右手の腕の根本の位置を参照位置ＲＰとする例について説明してきたが、右手の腕の根本の位置を基準位置ＢＰに設定し、テーブル７１の外周に沿って時計回りに、最も近い隣の位置に存在する左手の腕の根本の位置を参照位置ＲＰとするようにしてもよい。

すなわち、例えば、図５の最左部における右手Ｒ１の腕の根本の位置が基準位置ＢＰに設定されるものとする。

次に、右手の腕の根本の位置が基準位置ＢＰに設定された場合、ペアリング部５２は、テーブル７１の外周に沿って時計回りに、基準位置ＢＰから最も近い隣の位置に存在する手の腕の根本を検索し、検索された左手の手首の位置を参照位置ＲＰに設定する。

そして、ペアリング部５２は、基準位置ＢＰと参照位置ＲＰのそれぞれの腕に繋がる手をペアに設定する。

すなわち、図５の最左部で示されるように、腕の根本の位置が基準位置ＢＰに設定された右手Ｒ１と、腕の根本の位置が参照位置ＲＰに設定された左手Ｒ１とがペアＰ１に設定される。すなわち、以上の処理により、左手Ｌ１と右手Ｒ１とが同一人物の左右の手としてペアＰ１に設定される。

次に、ペアリング部５２は、テーブル７１の外周に沿って時計回りに参照位置ＲＰから最も近い隣の位置に存在する腕の根本を検索し、検索された腕の根本の位置を、新たな基準位置ＢＰに設定する。

すなわち、図５の左から２番目で示されるように、参照位置ＲＰに設定された左手Ｌ１の腕の根本の位置からテーブル７１の外周に沿って時計回りに参照位置ＲＰから最も近い隣の位置に存在する腕の根本は、右手Ｒ４の腕の根本となるので、右手Ｒ４の腕の根本の位置が新たな基準位置ＢＰに設定される。

次に、右手Ｒ４の腕の根本の位置が基準位置ＢＰに設定された場合、ペアリング部５２は、テーブル７１の外周に沿って時計回りであって、基準位置ＢＰから最も近い隣の位置に存在する腕の根本として、左手Ｌ４の腕の根本を検索し、検索された左手Ｌ４の腕の根本の位置を参照位置ＲＰに設定する。

そして、図５の左から２番目で示されるように、腕の根本の位置が基準位置ＢＰに設定された右手Ｒ４と、腕の根本の位置が参照位置ＲＰに設定された左手Ｌ４とがペアＰ４に設定される。

以降、同様の処理が繰り返されることにより、図５の右から２番目で示されるように、右手Ｒ３の腕の根本の位置が、新たな基準位置ＢＰに設定され、対応する参照位置ＲＰが、左手Ｌ３の腕の根本の位置に設定される。これにより、左手Ｌ３と右手Ｒ３とがペアＰ３に設定される。

そして、図５の最右部で示されるように、右手Ｒ２の腕の根本の位置が、新たな基準位置ＢＰに設定され、対応する参照位置ＲＰが左手Ｌ２の腕の根本の位置に設定される。これにより、左手Ｌ２と右手Ｒ２とがペアＰ２に設定される。

すなわち、図４と同様に、図５で示されるように、左手Ｌ１と右手Ｒ１とがペアＰ１に、左手Ｌ２と右手Ｒ２とがペアＰ２に、左手Ｌ３と右手Ｒ３とがペアＰ３に、左手Ｌ４と右手Ｒ４とがペアＰ４に、それぞれ設定される。尚、図５を参照して説明したペアリング処理を、以降においては、時計回りペアリング処理とも称する。

＜左右の手のうちのいずれか一方の手のみが検出される場合（その１）＞
以上においては、いずれのユーザにおいても、左右の手を操作面であるテーブル７１の天面上に置かれている状態の例について説明してきたが、いずれか一方の手のみがテーブル７１の天面上に置かれている状態であることも想定される。このようなときには、テーブル７１の天面上に置かれている左右のいずれかの１つの手でペアがなされているものとみなす。

すなわち、左手の腕の根本の位置が基準位置ＢＰとされる場合、図６の左部で示されるように、左手Ｌ１のみがテーブル７１の天面上に置かれており、右手Ｒ１が置かれていないときには、基準位置ＢＰとして左手Ｌ１の腕の位置が設定される。

ここでは、図４を参照して説明した、反時計回りペアリング処理となるので、基準位置ＢＰから反時計回りの方向に最も近い隣の位置に、他のユーザの左手Ｌ２が存在するが、左手Ｌ１のユーザの右手Ｒ１が存在しないので、ペアを形成することができない。

このような場合には、腕の根本の位置が基準位置ＢＰに設定されている左手Ｌ１と対になる右手が付近には存在しないものとみなして、左手Ｌ１のみで、ペアＰ１が形成されるようにする。

すなわち、この場合、左手Ｌ１のユーザは、左手Ｌ１のみをテーブル７１の天面上に置いており、右手をテーブル７１の天面上に置いていないものとみなす。

そして、図６の右部で示されるように、検索された左手Ｌ２の腕の位置が、新たな基準位置ＢＰに設定される。

以降においては、上述した反時計回りペアリング処理と同様の処理により、基準位置ＢＰからテーブル７１の外周に沿って反時計回りに最も近い位置の右手Ｒ２の腕の位置が参照位置ＲＰに設定され、左手Ｌ２と右手Ｒ２とがペアＰ２に設定される。

＜左右の手のうちのいずれか一方の手のみが検出される場合（その２）＞
また、右手の腕の根本の位置が基準位置ＢＰとされる場合、図７の左部で示されるように、右手Ｒ１のみがテーブル７１の天面上に置かれており、左手Ｌ１が置かれていないときには、基準位置ＢＰとして右手Ｒ１の腕の位置が設定される。

ここでは、時計回りペアリング処理となるので、テーブル７１の外周に沿って時計回りに、基準位置ＢＰから最も近い位置には、他のユーザの右手Ｒ４が存在するが、右手Ｒ１のユーザの左手Ｌ１が存在しないので、ペアを形成することができない。

このような場合には、基準位置ＢＰの腕の右手Ｒ１と対になる左手が付近には存在しないものとみなして、右手Ｒ１のみで、ペアＰ１が形成されるようにする。

すなわち、この場合、右手Ｒ１のユーザは、右手Ｒ１のみをテーブル７１の天面上に置いており、左手をテーブル７１の天面上に置いていないものとみなす。

そして、図７の右部で示されるように、検索された右手Ｒ４の腕の位置が、新たな基準位置ＢＰに設定される。

以降においては、上述した時計回りペアリング処理と同様の処理により、基準位置ＢＰからテーブル７１の外周に沿って時計回りに最も近い位置の左手Ｌ４の腕の位置が参照位置ＲＰに設定され、左手Ｌ４と右手Ｒ４とがペアＰ４に設定される。

＜左右の手が所定の距離より離れて検出される場合＞
以上においては、ユーザが、左右の手のいずれか一方のみがテーブル７１の天面上に置かれている状態の例について説明してきたが、基準位置ＢＰから参照位置ＲＰが反時計回り、または、時計回りに最も近い位置に左右の手が検出されても、所定の距離よりも離れていれば、それぞれ異なるユーザの手であるものとみなすようにしてもよい。

例えば、反時計回りペアリング処理の場合、図８の左部で示されるように、左手Ｌ１の腕の根本の位置が、基準位置ＢＰに設定され、テーブル７１の外周に沿って反時計回りに最も近い位置に存在する右手Ｒ２の腕の根本の位置が参照位置ＲＰとして検出されるものとする。

このとき、基準位置ＢＰと参照位置ＲＰとの距離Ｄが、所定の距離（例えば、人間が左右に腕を広げていることを想定したときの距離）よりも遠いときには、左手と右手のペアであっても、同一人物のペアであるとみなすことはできない。

そこで、このような場合については、基準位置ＢＰの左手Ｌ１のユーザが、左手Ｌ１のみをテーブル７１の天面上に置いており、参照位置ＲＰの右手Ｒ２のユーザは、左手Ｌ１のユーザとは異なるユーザであって、右手Ｒ１のみをテーブル７１の天面上に置いているものとみなす。

すなわち、このような場合については、図８の右部で示されるように、左手Ｌ１のみをペアＰ１’とみなし、右手Ｒ１のみをペアＰ２’とみなす。

尚、ここでは、左手の腕の根本を基準位置ＢＰとする反時計回りペアリング処理の例について説明しているが、右手の腕の根本を基準位置とする時計回りペアリング処理においても同様である。

＜基準位置と参照位置を腕の根本の位置とする理由＞
以上において、左手および右手の位置を特定するための基準位置および参照位置が、いずれも腕の根本の位置とされる。

例えば、左手および右手（それぞれの掌）の位置が、テーブル７１上の天面上に置かれる場合、図９の左部で示されるように、腕ＨＬの先に存在する左手Ｌ１が図中の左側に位置し、腕ＨＲの先に存在する右手Ｒ１が図中の右側に位置するときには、左手Ｌ１および右手Ｒ１の位置のみで左右の手の位置を確定させることができる。

ところが、図９の右部で示されるように、腕を交差させて、左手Ｌ１がテーブル７１上で図中の右側に位置し、右手Ｒ１がテーブル７１上で図中の左側に位置するような場合、上述した一連の処理で左手Ｌ１および右手Ｒ１の位置を基準とすると適切なペアリングができない。

しかしながら、腕ＨＬ，ＨＲについては、腕を交差させても左右の腕の根本の位置関係に変化は生じない。画像認識においても、腕ＨＬおよび腕ＨＲと、左手Ｌ１および右手Ｒ１との位置関係については、認識することが可能である。

このため、本開示においては、腕ＨＲ，ＨＬの根本の位置に基づいて、基準位置ＢＰおよび参照位置ＲＦが設定されるようにすることで、左手Ｌ１および右手Ｒ１が適切にペアリングされるようにしている。

以上においては、画像毎に検出される腕の根本の位置に基づいて、基準位置および参照位置に設定することで、ペアリングする例について説明してきたが、一度、ペアリングした右手、および左手、並びにそれぞれの腕の根本の位置については、連続して撮像される画像をトラッキング（追跡）することで、ペアとなる右手および左手によるジェスチャを認識するようにしてもよい。

ここで、図２の情報処理装置３２の説明に戻る。

３次元位置推定部５３は、入力部３１によって取得された入力情報に基づいて、操作体の各点の例として、ユーザの身体の各点の３次元位置を推定する。ユーザの身体の各点は、ユーザの手の各点（例えば、指における所定の点、掌における所定の点など）、手首における所定の点（例えば、手首位置）、肘における所定の点（例えば、肘関節位置）などを含む。以下、３次元位置推定部５３によって推定されるユーザの身体の各点の例として、ユーザの手の各点、手首位置および肘関節位置について説明する。しかしながら、ユーザの身体の各点は、肩における所定の点（例えば、肩関節位置）なども含むようにしてもよい。

＜身体の各点の例＞
図１０乃至図１２は、３次元位置推定部５３によって３次元位置が推定されるユーザの身体の各点の例を示す図である。

図１０乃至図１２を参照すると、ユーザの身体の各点の例として、小指の先端位置Ｐ１、小指の関節位置Ｐ２、薬指の先端位置Ｐ３、薬指の関節位置Ｐ４、中指の先端位置Ｐ５、中指の関節位置Ｐ６、人さし指の先端位置Ｐ７、人さし指の関節位置Ｐ８、親指の先端位置Ｐ９、親指の先端から一つ目の関節位置Ｐ１０、親指の先端から二つ目の関節位置Ｐ１１、手首位置（小指側）Ｐ１２、手首位置（親指側）Ｐ１３、手の中心位置Ｐ１４、肘関節位置Ｐ１５、上腕の付け根位置Ｐ１６が示されている。

本開示の実施の形態においては、３次元位置推定部５３によって位置Ｐ１乃至Ｐ１６すべてが原則として取得される場合を主に想定する。

しかしながら、３次元位置推定部５３によって、位置Ｐ１乃至Ｐ１６の一部のみが取得されてもよい。

また、入力部３１とユーザとの位置関係によっては、位置Ｐ１乃至Ｐ１６の一部が取得されない場合なども想定される。例えば、上腕の付け根位置Ｐ１６が直接取得されない場合もあり得る。かかる場合であっても、肘関節位置Ｐ１５と上腕の付け根位置Ｐ１６との間のいずれかの位置が取得されれば、当該位置を上腕の付け根位置Ｐ１６の代わりに用いることが可能である。

なお、手の中心位置Ｐ１４は、５本の指それぞれの付け根と手首との間（すなわち、掌）における所定の位置であれば特に限定されない。例えば、手の中心位置Ｐ１４は、複数点の重心位置であってもよい。また、手首位置（小指側）Ｐ１２は、手首位置として得られる２つの位置のうち、より親指に近い位置であればよく、手首位置（親指側）Ｐ１３は、手首位置として得られる２つの位置のうち、より小指に近い位置であればよい。手首位置（小指側）Ｐ１２および手首位置（親指側）Ｐ１３それぞれも、各位置の検出アルゴリズムなどに応じて適宜に変更されてよい。

次に、３次元位置推定部５３により行われる３次元位置推定手法について説明する。図１３は、３次元位置推定手法の概要を説明するための図である。ここでは、手の各点の３次元位置が推定される場合について主に説明する。

しかしながら、上記したように、手の各点以外の３次元位置も推定され得る。例えば、入力部３１によって、手でコーヒーカップを掴む画像（画像ＩＭ１）が取得された場合を想定する。このとき、３次元位置推定部５３によって、画像ＩＭ１に基づいて、特徴量が算出される。特徴量としては、CNN（Convolutional Neural Network）に基づく特徴量、HOG（Histograms of Oriented Gradients）特徴量、SIFT（Scale Invariant Feature Transform）に基づく特徴量を挙げることができる。

そして、３次元位置推定部５３は、得られた特徴量に対して、検出、識別およびセグメンテーションなどといった所定のアルゴリズムを用いた解析を施すことによって、ユーザの手の各点の３次元位置を推定する。アルゴリズムとしては、上述したCNN、ブースティング（Boosting）、SVM（Support Vector Machine）、Graph Cut等を適用することができる。

そして、３次元位置推定部５３は、解析結果に応じて、図１３において参照符号ＡＡで示すようにユーザの手の各点の３次元位置を検出することができる。また、３次元位置推定部５３は、図１３において参照符号ＢＢで示すように手の位置や姿勢を検出することができる。なお、参照符号ＢＢで示される図において、手に付された丸印は特徴点ＣＰを示している。

さらに、３次元位置推定部５３は、複数フレームの画像に対して上述した処理を行うことにより、図１３において参照符号ＣＣ（ＣＣ１乃至ＣＣ４）に示すように、手の動きを認識することも可能である。参照符号ＣＣ１が付された手の動きは、手を水平方向に動かす例（Horizontal）を示している。参照符号ＣＣ２が付された手の動きは、手を垂直方向に動かす例（Vertical）を示している。参照符号ＣＣ３が付された手の動きは、手を右回り（時計回り）に動かす例（Clockwise）を示している。参照符号ＣＣ４が付された手の動きは、手を左回り（反時計回り）に動かす例（Counterclockwise）を示している。勿論、認識される手の動きは、例示したものに限定されることなく、様々な手の動きの認識が可能である。また、上述した処理は、例示されたアルゴリズムに基づくものではなく、公知の手法を適用することができる。

次に、図１４乃至図１６を参照して、３次元位置推定手法の例について説明する。図１４に示すグラフの横軸は、入力画像の例を示している。図１４に示す例では、３個の入力画像ＩＭ５、ＩＭ６及びＩＭ７が示されている。図１４に示すグラフの縦軸は、入力画像に対応する手の特徴点の座標（位置）である。座標は、（ｘｔ，ｙｔ，ｚｔ）（但し、ｔはフレーム番号）として示されている。また、例えば、ｘｔは、ｘｔ＝（ｘt0，ｘt1・・・ｘtn）（但し、ｎは特徴点の点数）で表される。即ち、ｘｔは、各特徴点のｘ座標の集合を示している。各特徴点のｙｔ，ｚｔについても同様である。

３次元位置推定部５３は、入力画像に対する手の特徴点の座標を学習することにより、図１５に示すように、入力画像と手の各点の座標との相関関係を求めることができる。なお、図１５に示す例では、入力画像と手の各点の座標との相関関係の例として、線形の相関関係が示されている。

しかしながら、入力画像と手の各点の座標との相関関係は、他の相関関係（例えば、非線形など）であってもよい。

３次元位置推定部５３は、入力画像と手の各点の座標との相関関係を求めた後、図１６に示すように、画像ＩＭ８が入力された場合には、当該相関関係に基づいて、画像ＩＭ８の手の座標位置を推定することができる。以上に説明した３次元位置推定手法を用いて、３次元位置推定部５３によって、手の各点の位置が推定されるようにしてもよい。なお、ここでは入力画像に対する手の特徴点の座標が学習される場合を想定したが、学習前に入力画像から特徴量が抽出される場合には、特徴量に対する手の特徴点の座標が学習されてもよい。

図２に戻って説明を続ける。３次元位置推定部５３は、推定した操作体の各点の３次元位置情報（上記では、ユーザの手の各点の３次元位置情報）を記憶部５８に記憶させる。フレーム数判定部５４は、所定のフレーム数に相当する３次元位置情報が３次元位置推定部５３によって得られたか（すなわち、所定のフレーム数に相当する３次元位置情報が記憶部５８に保存されたか）を判定する。所定のフレーム数は特に限定されず、２以上であればよい。

相対速度／相対位置算出部５５は、フレーム数判定部５４によって、所定のフレーム数に相当する３次元位置情報が得られたと判定されると、記憶部５８によって記憶されている操作体の各点の３次元位置情報に基づいて、操作体の各点の絶対位置を算出する。

そして、相対速度／相対位置算出部５５は、操作体の各点の絶対位置に基づいて、操作体の基準点に対する操作体の操作点の相対位置を算出する。なお、本明細書においては、相対位置が３次元ベクトルである場合を主に想定する。しかしながら、相対位置は２次元ベクトルであってもよいし、スカラであってもよい。

あるいは、相対速度／相対位置算出部５５は、操作体の各点の３次元位置の時間方向の変化に基づいて、各点の絶対速度を算出する。そして、相対速度／相対位置算出部５５は、各点の絶対速度に基づいて、操作体の基準点に対する操作体の操作点の相対速度を算出する。具体的に、操作点の相対速度を「Ｖ（操作点の相対速度）」とし、操作点の絶対速度を「Ｖ（操作点の絶対速度）」とし、基準点の絶対速度を「Ｖ（基準点の絶対速度）」とすると、Ｖ（操作点の相対速度）は、Ｖ（操作点の絶対速度）とＶ（基準点の絶対速度）とに基づいて、以下の式（１）に示すように算出される。

Ｖ（操作点の相対速度）＝Ｖ（操作点の絶対速度）−Ｖ（基準点の絶対速度）…（１）

なお、本明細書においては、相対速度が３次元ベクトルである場合を主に想定する。しかしながら、相対位置は２次元ベクトルであってもよいし、スカラであってもよい。ジェスチャ認識部５６は、相対速度／相対位置算出部５５によって算出された操作体の基準点に対する操作点の相対位置または相対速度に基づいて、操作体のジェスチャを認識する。これによって、操作体によるジェスチャをより高精度に認識することが可能となる。

より具体的には、ジェスチャ認識部５６は、基準点に対する操作点の相対位置または相対速度が閾値を上回る場合に、第１のジェスチャを認識する。一方、ジェスチャ認識部５６は、基準点に対する操作点の相対位置または相対速度が閾値以下である場合に、第１のジェスチャとは異なる第２のジェスチャを認識する。なお、基準点に対する操作点の相対位置または相対速度が閾値と等しい場合には、第１のジェスチャが認識されてもよい。また、相対位置または相対速度がベクトル（２次元ベクトルまたは３次元ベクトル）である場合、閾値と比較される相対位置または相対速度は、ベクトルの長さに置き換えられればよい。

図１７は、本開示の実施の形態に係るジェスチャ認識について説明するための図である。図１７に示した例においても、ユーザがキー入力を行おうとし、入力キーを変更するために紙面の右方向に絶対速度Ｖ１で掌を移動させながら、キー入力を行うために掌に対する指先の相対速度Ｖ２で指先を下方向に移動させた場合を想定する。このとき、指先の絶対速度Ｖ１２は、掌の絶対速度Ｖ１と掌に対する指先の相対速度Ｖ２とが合成された速度になってしまう。

しかしながら、本開示の実施の形態に係るジェスチャ認識では、入力キーの変更による速度成分が除外されてキー入力があったかが判定されるため、キー入力（操作体によるジェスチャ）を高精度に認識することが可能である。

なお、以下では、ジェスチャ認識部５６が、操作体の基準点に対する操作点の相対速度に基づいて操作体のジェスチャを認識する場合を主に想定する。しかしながら、ジェスチャ認識部５６は、操作体の基準点に対する操作点の相対位置および相対速度の少なくともいずれか一方に基づいて、操作体のジェスチャを認識すればよい。

コマンド実行部５７は、ジェスチャ認識部５６によって認識されたジェスチャに対応するコマンドを決定するコマンド決定部として機能し得る。また、コマンド実行部５７は、決定したコマンドを実行する。ここで、コマンド実行部５７によって実行されるコマンドの種類は限定されない。例えば、コマンド実行部５７によって実行されるコマンドの種類は、情報処理装置３２において実行されるアプリケーションに応じて適宜に変更されてよい。

＜ペアリングした左右のジェスチャに対応するコマンドの例（その１）＞
ペアリングした左右の手を用いたジェスチャに対応するコマンドの例としては、例えば、図１８の上段で示されるように、左手で人差指のみを立てるジェスチャＦ１と、右手の人差指でテーブル７１の天面上を当接してなぞるようなジェスチャＦ１１の操作入力が受け付けられるときには、右手の人差指によりなぞった経路に沿って、筆のようなペンを用いた描画を表示するコマンドにしてもよい。

また、例えば、図１８の下段で示されるように、左手で人差指と中指を立てるジェスチャＦ２と、右手の人差指でテーブル７１の天面上を当接してなぞるようなジェスチャＦ１２との操作入力が受け付けられるときには、右手の人差指によりなぞった経路に沿って、マーカのようなペンを用いた描画を表示するコマンドにしてもよい。

このとき、左手の指の曲げ具合により、ペンの太さや色、並びにペンの種類などをシームレスに変化するようにしてもよい。

＜ジェスチャに対応するコマンドの例（その２）＞
また、ペアリングした左右の手を用いたジェスチャにより、テキスト文字を入力するコマンドを実現してもよい。

より詳細には、左手の指で子音を指定して、右手の人差指のフリック操作により母音を指定して、母音と子音の組み合わせにより特定される文字を入力するようなコマンドを実現するようにしてもよい。

例えば、図１９の左部で示されるように、左手Ｌ１１をテーブル７１の天面に伏せた状態で中指をテーブル７１の天面にタッチしながら、右手Ｒ１１の人差指を左方向にフリックするときには、左手により子音としての「ぱ行」が特定され、右手により母音としての「お」が特定されることで「ポ」という文字の入力が受け付けられるようにする。

また、図１９の中央部で示されるように、左手Ｌ１１を伏せた状態で薬指をテーブル７１の天面にタッチしながら、右手Ｒ１１の人差指を上方向にフリックするときには、左手により子音としての「な行」が特定され、右手により母音としての「い」が特定されることで「ニ」という文字の入力が受け付けられるようにする。

さらに、図１９の右部で示されるように、左手Ｌ１１の掌がテーブル７１の天面に対して背面となるようにして、親指でテーブル７１の天面をタッチしながら、右手Ｒ１１の人差指を上方向にフリックするときには、左手により、促音・撥音・拗音・長音等の特殊音が特定され、右手により母音としての「長音」が特定されることで「−」という文字の入力が受け付けられるようにする。

そして、図１９のジェスチャが図中の左から順番に連続的に操作入力として受け付けられることにより「ポニー」のテキスト文字の入力が受け付けられるようにしてもよい。

＜ジェスチャに対応するコマンドの例（その３）＞
また、ペアリングした左右の手を用いたジェスチャにより、画像を操作するコマンドを実現してもよい。

より詳細には、図２０の左部で示されるように、ペアリングされている左手Ｌ２１と右手Ｒ２１とのそれぞれの人差指でテーブル７１上に表示されている画像Ｐに当接しながら距離を変化させるようなジェスチャが操作入力として受け付けられるときには、相互の距離に応じて画像Ｐのサイズを拡大または縮小させて表示させるコマンドを実現してもよい。すなわち、左手Ｌ２１と右手Ｒ２１のそれぞれの指の距離が大きくなり、離れるほど、画像Ｐが拡大されるようにし、左手Ｌ２１と右手Ｒ２１のそれぞれの指の距離が小さくなり、近くなるほど、画像Ｐが縮小されるようにしてもよい。

また、右手Ｒ２１のみで、人差指と親指とで画像Ｐに当接しながら、相互の距離を変化させるようなジェスチャが操作入力として受け付けられるときには、人差指と親指との距離に応じて画像Ｐのサイズを拡大または縮小させて表示させるコマンドを実現してもよい。

さらに、図２０の右上部で示されるように、ペアリングされていない左手Ｌ３１と右手Ｒ３１とのそれぞれの人差指で、テーブル７１上に表示されている画像Ｐに当接しながら、図２０の左下部で示されるように、相互に離れるように変化させるようなジェスチャが操作入力として受け付けられるときには、相互の人差指のそれぞれの位置に、画像Ｐ，Ｐ’をコピーして、表示させるコマンドを実現してもよい。尚、図２０の右上部の例では、左手Ｌ３１と右手Ｒ３１とを用いる例について説明してきたが、ペアリングされていない手でよいので、右手と右手や、左手と左手であってもよい。

また、画像に対する操作のみならず、システム操作に対するコマンドを実現するようにしてもよい。

例えば、ペアリングされている左右のいずれかの手の人差指と中指を所定時間よりも長くタッチする（以降、長タッチとも称する）ことでコピーを指示したり、人差指と薬指の長タッチでカット等のシステム操作を指示するコマンドを実現するようにしてもよい。

また、ペアリングされている左手をテーブル７１の天面に当接して、右手の人差指でドラッグすることで、画面スクロールを指示したり、右手をテーブル７１の天面に当接して、左手の人差指でドラッグすることで、ページジャンプを指示するコマンドを実現してもよい。

さらに、ペアリングされている左右の手を握り合わせることによりデータ保存を指示するコマンドを実現するようにしてもよい。

また、ペアリングされていない手同士が握り合わせている場合、握っている手が、左手同士、または、右手同士のいずれかであるときには、ユーザ同士のデータ交換を指示し、握っている手が、右手と左手であるときには、左手のユーザから右手のユーザに、または、左手のユーザから右手のユーザにデータ転送を指示するコマンドを実現するようにしてもよい。

さらに、ペアリングされていない手同士が握り合わせている場合、握っていない手が、同一の手形状であるとき（例えば、いずれの手も手を開いている、握っている等のとき）には、ユーザ同士のデータ交換を指示し、握っていない手が、異なる手形状であるときには、第１の手形状のユーザから第２の手形状のユーザにデータ転送を指示するコマンドを実現するようにしてもよい。

＜３．情報処理システムによる情報処理＞
次に、図２１のフローチャートを参照して、本開示の実施の形態に係る情報処理システム１１による情報処理について説明する。

ステップＳ１１において、入力部３１は、操作体の例としてのユーザの手を時間軸に沿って、例えば、カメラ等の画像センサにより撮像される（センシングされる）画像の入力（取得）を受け付ける。

ステップＳ１２において、手検出部５１は、入力部３１によって得られた画像に基づいて、画像内における手の位置を検出する。より詳細には、手検出部５１は、画像内における腕の領域を認識し、認識した腕の領域の端部において掌の領域を認識し、掌の領域における親指の向き等により右手または左手を認識し、それぞれの認識結果を画像内における手の位置として検出する。このとき、手検出部５１は、検出した手のそれぞれについて、左手、または右手を認識するとともに、それぞれの腕の根本の位置を手の検出結果としてペアリング部５２に出力する。

ステップＳ１３において、ペアリング部５２は、手の検出結果に基づいて、ペアリング処理を実行して、左右の手をそれぞれ同一人物の両手としてペアリングする。

尚、ペアリング処理の詳細については、図２２乃至図２４のフローチャートを参照して、後述する。

ステップＳ１４において、３次元位置推定部５３は、ペアリング処理により設定された右手および左手ペア（右手のみ、もしくは左手のみのペアを含む）のうち、未処理のペアのいずれかを処理対象のペアに設定する。

ステップＳ１５において、３次元位置推定部５３は、入力部３１によって得られた画像内における、処理対象に設定されたペアとなる右手および左手について、それぞれの手の各点の３次元位置を推定する。なお、３次元位置推定部５３によって３次元位置が推定される各点は、上記したように、ユーザの手の各点に限定されない。

ステップＳ１６において、３次元位置推定部５３は、処理対象に設定されたペアの右手および左手の３次元位置をペア毎に対応付けて記憶部５８に保存する。

ステップＳ１７において、３次元位置推定部５３は、入力部３１によって得られた画像内における、ペアリング処理により設定された右手および左手のペアのうち、未処理のペアが存在するか否かを判定する。

ステップＳ１７において、未処理のペアが存在する場合、処理は、ステップＳ１４に戻る。

すなわち、入力部３１によって得られた画像内における、未処理の右手および左手のペアがなくなるまで、ステップＳ１４乃至Ｓ１７の処理が繰り返されて、それぞれの３次元位置情報が記憶部５８にそれぞれ保存される。

そして、ステップＳ１７において、入力部３１によって得られた画像内における、未処理の右手および左手のペアが存在しないと判定された場合、処理は、ステップＳ１８に進む。

ステップＳ１８において、フレーム数判定部５４は、指定フレーム数（所定のフレーム数）に相当する３次元位置情報が３次元位置推定部５３によって得られたかを判定する。

ステップＳ１８において、指定フレーム数（所定のフレーム数）に相当する３次元位置情報が３次元位置推定部５３によって得られていないと判定された場合、処理は、ステップＳ１１の処理に戻る。

一方、ステップＳ１８において、指定フレーム数（所定のフレーム数）に相当する３次元位置情報が３次元位置推定部５３によって得られたと判定された場合、処理は、ステップＳ１９に進む。

ステップＳ１９において、相対速度／相対位置算出部５５は、記憶部５８に記憶されているペアのうち、３次元位置情報についての処理が未処理のペアを処理対象のペアに設定する。

ステップＳ２０において、相対速度／相対位置算出部５５は、記憶部５８によって記憶されているペアのうち、処理対象に設定されたペアの右手および左手のそれぞれの各点の３次元位置情報に基づいて、右手および左手のそれぞれの各点の絶対位置を算出する。

そして、相対速度／相対位置算出部５５は、処理対象に設定されたペアの右手および左手のそれぞれの各点の絶対位置に基づいて、処理対象に設定されたペアの右手および左手の基準点に対する手の操作点の相対位置を算出する。

または、相対速度／相対位置算出部５５は、処理対象に設定されたペアの右手および左手のそれぞれの各点の３次元位置の時間方向の変化に基づいて、各点の絶対速度を算出する。

そして、相対速度／相対位置算出部５５は、各点の絶対速度に基づいて、処理対象に設定されたペアの右手および左手のそれぞれの手の基準点に対する手の操作点の相対速度を算出する。

ステップＳ２１において、ジェスチャ認識部５６は、相対速度／相対位置算出部５５によって算出された操作体である、処理対象に設定されたペアの右手および左手のそれぞれの手の基準点に対する操作点の相対位置または相対速度に基づいて、手のジェスチャを認識する。

ステップＳ２２において、相対速度／相対位置算出部５５は、記憶部５８に記憶されているペアのうち、３次元位置情報についての処理が未処理のペアが存在するか否かを判定する。

ステップＳ２２において、記憶部５８に記憶されているペアの３次元位置の情報のうち、３次元位置情報についての処理が未処理のペアが存在すると判定された場合、処理は、ステップＳ１９に戻る。

すなわち、記憶部５８に記憶されているペアの全てについて、ジェスチャが認識されるまで、ステップＳ１９乃至Ｓ２２の処理が繰り返される。

そして、全てのペアについて、ジェスチャが認識されて、ステップＳ２２において、全てのペアについて、ジェスチャが認識されたと判定された場合、処理は、ステップＳ２３に進む。

すなわち、ステップＳ１９乃至Ｓ２３の処理により、記憶部５８に記憶されている全てのペアの右手および左手のそれぞれの手によるジェスチャをより高精度に認識することが可能となる。

より具体的には、ジェスチャ認識部５６は、基準点に対する操作点の相対位置または相対速度に基づいて、例えば、上述した図１８乃至図２０を参照して説明したジェスチャ等を認識することが可能となる。

ステップＳ２４において、コマンド実行部５７は、ジェスチャ認識部５６によって認識された全てのペアの右手および左手のそれぞれの手によるジェスチャに対応するコマンドを決定する。

そして、コマンド実行部５７は、ジェスチャ認識部５６によって認識された全てのペアの右手および左手のそれぞれの手によるジェスチャに対応するコマンドを実行する。

上記したように、コマンド実行部５７によって実行されるコマンドの種類は、情報処理装置３２において実行されるアプリケーションに応じて適宜に変更されてよい。

＜ペアリング処理＞
次に、図２２のフローチャートを参照して、ペアリング処理について説明する。

ステップＳ４１において、ペアリング部５２は、入力部３１によって得られた画像に基づいて、右手および左手を認識するとともに、それぞれの腕の根本の位置を検出する。

すなわち、ここでは、入力部３１によって得られた画像内における右手および左手の位置情報と、右手および左手のそれぞれに繋がった腕の根本の位置がテーブル７１上の画像の端部における位置情報が検出される。

ステップＳ４２において、ペアリング部５２は、検出結果において、左手が存在するか否かを判定する。

ステップＳ４２において、１つでも左手が存在すると判定された場合、処理は、ステップＳ４３に進む。

ステップＳ４３において、ペアリング部５２は、反時計回りペアリング処理を実行して、入力部３１によって得られた画像内における、全ての左手および右手のペアを設定する。

尚、反時計回りペアリング処理については、図２３のフローチャートを参照して、詳細を後述する。

一方、ステップＳ４２において、左手が全く存在しないと判定された場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、ペアリング部５２は、時計回りペアリング処理を実行して、入力部３１によって得られた画像内における、全ての左手および右手のペアを設定する。

尚、時計回りペアリング処理については、図２４のフローチャートを参照して、詳細を後述する。

ステップＳ４５において、ペアリング部５２は、全てのペアについて、腕の根本の位置の間の距離を算出する。

ステップＳ４６において、ペアリング部５２は、全てのペアについて、腕の根本の位置の間の距離が所定の距離以内であるか否かを判定する。尚、左手のみ、または、右手のみのペアについては、離れることがないので、所定の距離以内であるものとみなす。

ステップＳ４６において、全てのペアについて、腕の根本の位置の間の距離が所定の距離以内ではないと判定された場合、処理は、ステップＳ４７に進む。

ステップＳ４７において、ペアリング部５２は、図８を参照して説明したように、腕の根本の位置の間の距離が所定の距離以内ではないペアの右手と左手については、それぞれ異なるペアとして分離して設定する。

尚、この場合、分離された右手、または左手は、いずれも単独になるが、単独の右手のみ、または左手のみでペアが設定されるものとする。

また、ステップＳ４６において、全てのペアについて、腕の根本の位置の間の距離が所定の距離以内であると判定された場合、ステップＳ４７の処理はスキップされる。

以上の処理により、右手および左手がペアに設定されて、それぞれの腕の根本の距離が所定の距離以内ではないペアについては、左手のみ、および、右手のみが、それぞれ単独のペアとして設定される。

尚、左手がある場合とそうでない場合により、反時計回りペアリング処理と時計回りペアリング処理とが分けられる処理としているが、反時計回りペアリング処理は、基準位置として左手が用いられ、時計回りペアリング処理では、基準位置として右手が用いられるためである。したがって、図２２のフローチャートの処理では、左手がない場合については、右手が存在することが前提とされるが、右手もない場合については、処理を終了させるようにしてもよい。また、反時計回りペアリング処理、および時計回りペアリング処理の両方が用いられてペアリングがなされているのは、ペアリングを高精度に行うためであり、全てのユーザが、左手および右手の両方をテーブル７１の天面である操作面上に置いていることが想定されるような場合や、設定により、反時計回りペアリング処理、および時計回りペアリング処理のいずれか一方の処理のみでもよい。

＜反時計回りペアリング処理＞
次に、図２３のフローチャートを参照して、反時計回りペアリング処理について説明する。

ステップＳ６１において、ペアリング部５２は、検出結果のうちの左手群のうちの任意の腕の根本の位置を基準位置に設定する。

ステップＳ６２において、ペアリング部５２は、現在の基準位置からテーブル７１の外周に沿って、反時計回りに最も近い位置に存在する手の腕の根本の位置を参照位置に設定する。

ステップＳ６３において、ペアリング部５２は、参照位置に設定された腕の手が左手であるか否かを判定する。

ステップＳ６３において、参照位置に設定された腕の手が左手ではないと判定された場合、すなわち、参照位置に設定された腕の手が右手であると判定された場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、ペアリング部５２は、基準位置および参照位置に腕の根本が位置する右手および左手を、ペアに設定する。

一方、ステップＳ６３において、参照位置に設定された腕の手が左手であると判定された場合、すなわち、参照位置に設定された腕の手も、基準位置に設定された腕の手もが左手であると判定された場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、ペアリング部５２は、基準位置および参照位置に腕の根本が位置する２本の左手を、それぞれ左手のみの異なるペアに設定する。

ステップＳ６６において、ペアリング部５２は、ペアに設定された左手および右手の情報を取得する。

ステップＳ６７において、ペアリング部５２は、ペアリングされていない、未処理の左手があるか否かを判定する。

ステップＳ６７において、未処理の左手があるとみなされた場合、処理は、ステップＳ６８に進む。

ステップＳ６８において、ペアリング部５２は、左手群のうち、ペアリングされていない左手の腕の根本の位置を基準位置に設定し、処理は、ステップＳ６２に戻る。

すなわち、未処理の左手がなくなるまで、ステップＳ６２乃至Ｓ６８の処理が繰り返されて、図４を参照して説明したように、順次、ペアが設定される。

そして、ステップＳ６７において、全ての手がペアに設定されて、未処理の左手がないとみなされた場合、処理は、終了する。

以上の処理により、左手の腕の根本の位置が順次基準位置に設定され、テーブル７１の外周方向に沿って、反時計回りに近い位置に存在する右手がペアに設定される処理が繰り返されて、ペアが設定される。

この際、左手の反時計回りに最も近い位置の隣に手が左手である場合には、それぞれが単独に異なる左手のみのペアに設定され、全ての手が、ペアに設定される。

＜時計回りペアリング処理＞
次に、図２４のフローチャートを参照して、時計回りペアリング処理について説明する。

ステップＳ８１において、ペアリング部５２は、検出結果のうちの右手群のうちの任意の腕の根本の位置を基準位置に設定する。

ステップＳ８２において、ペアリング部５２は、現在の基準位置からテーブル７１の外周に沿って、時計回りに最も近い位置に存在する手の腕の根本の位置を参照位置に設定する。

ステップＳ８３において、ペアリング部５２は、参照位置に設定された腕の手が右手であるか否かを判定する。

ステップＳ８３において、参照位置に設定された腕の手が右手ではないと判定された場合、すなわち、参照位置に設定された腕の手が左手であると判定された場合、処理は、ステップＳ８４に進む。

ステップＳ８４において、ペアリング部５２は、基準位置および参照位置に腕の根本が位置する右手および左手を、ペアに設定する。

一方、ステップＳ８３において、参照位置に設定された腕の手が右手であると判定された場合、すなわち、参照位置に設定された腕の手も、基準位置に設定された腕の手もいずれもが右手であると判定された場合、処理は、ステップＳ８５に進む。

ステップＳ８５において、ペアリング部５２は、基準位置および参照位置に腕の根本が位置する２本の右手を、それぞれ異なる右手のみの片手のペアに設定する。

ステップＳ８６において、ペアリング部５２は、ペアに設定された左手および右手の情報を取得する。

ステップＳ８７において、ペアリング部５２は、ペアリングされていない未処理の右手があるか否かを判定する。

ステップＳ８７において、未処理の右手があるとみなされた場合、処理は、ステップＳ８８に進む。

ステップＳ８８において、ペアリング部５２は、右手群のうち、ペアリングされていない右手の腕の根本の位置を基準位置に設定し、処理は、ステップＳ８２に戻る。

すなわち、未処理の右手がなくなるまで、ステップＳ８２乃至Ｓ８８の処理が繰り返されて、図５を参照して説明したように、順次、ペアが設定される。

そして、ステップＳ８７において、全ての手がペアに設定されて、未処理の右手がないとみなされた場合、処理は、終了する。

以上の処理により、右手の腕の根本の位置が順次基準位置に設定され、テーブル７１の外周方向に沿って、時計回りに近い位置に存在する左手とがペアに設定される処理が繰り返されて、ペアが設定される。

この際、右手のテーブル７１の外周に沿って時計回りの方向に最も近い位置の隣の手が右手である場合には、それぞれが単独に右手のみのペアに設定され、全ての手が、ペアに設定される。

以上の一連の処理により、複数のユーザの手による操作入力を受け付ける際に、左右の手をユーザ毎に適切にペアリングすることが可能となる。

＜ペアリング処理のその他の例＞
図２２を参照して説明したペアリング処理においては、左手の有無により反時計回りペアリング処理とするか、時計回りペアリング処理とするかを判定する例について説明してきたが、右手の有無により反時計回りペアリング処理とするか、時計回りペアリング処理とするかを判定するようにしてもよい。

そこで、図２５を参照して、右手の有無により反時計回りペアリング処理とするか、時計回りペアリング処理とするかを判定するペアリング処理のその他の例について説明する。

尚、図２５のフローチャートにおけるステップＳ１０１，Ｓ１０４，Ｓ１０３，Ｓ１０５乃至Ｓ１０７の処理は、図２２のフローチャートにおけるステップＳ４１，Ｓ４３乃至Ｓ４７の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１０２において、ペアリング部５２は、検出結果において、右手が存在するか否かを判定する。

ステップＳ１０２において、１つでも右手が存在すると判定された場合、処理は、ステップＳ１０３に進み、時計回りペアリング処理を実行する。

一方、ステップＳ１０２において、右手が全く存在しないと判定された場合、処理は、ステップＳ１０４に進み、反時計回りペアリング処理を実行する。

尚、ペアリング処理は、図２２の処理とするか図２５の処理とするかを選択できるようにしてもよい。

＜＜３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図２６は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図２６におけるCPU１００１が、図２の情報処理装置３２の機能を実現させる。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得部と、
前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出部と、
前記手検出部により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング部と
を備える情報処理装置。
＜２＞ 前記ペアリング部は、前記手検出部により検出された手のいずれかを基準の手に設定し、前記基準の手の腕の根本の位置を基準位置に設定し、前記基準位置に対して、前記基準の手が左手または右手であるかに応じた方向で、かつ、最も近い隣の、腕の根本の位置を参照位置に設定し、前記腕の根本の位置が参照位置となる手と、前記腕の根本の位置が前記基準位置となる手とを同一のユーザの左右の手のペアとして設定する
＜１＞に記載の情報処理装置。
＜３＞ 前記参照位置に対して、前記基準の手が左手または右手であるかに応じた方向で、かつ、最も近い隣の、前記腕の根本の位置を新たな基準位置に設定し、前記新たな基準位置に対する新たな参照位置を設定し、前記腕の根本の位置が前記新たな基準位置となる手と、前記腕の根本の位置が前記新たな参照位置となる手とを、新たな同一のユーザの左右の手のペアに設定し、以降同様の処理を繰り返すことにより、前記画像内における前記ユーザ毎の左右の手をペアリングする
＜２＞に記載の情報処理装置。
＜４＞ 前記ペアリング部は、前記手検出部により検出されたいずれかの左手の腕の根本の位置を前記基準位置に設定し、前記基準位置に対して、前記操作面の外周に沿って反時計回り方向であって、最も近い隣の、前記腕の根本の位置を前記参照位置に設定し、前記腕の根本の位置が前記基準位置となる左手と、前記腕の根本の位置が前記参照位置となる右手とを同一のユーザの左右の手のペアとして設定する
＜２＞に記載の情報処理装置。
＜５＞ 前記ペアリング部は、前記手検出部により検出されたいずれかの右手の腕の根本の位置を前記基準位置に設定し、前記基準位置に対して、操作面の外周に沿って時計回り方向であって、最も近い隣の、左手の腕の根本の位置を前記参照位置に設定し、前記腕の根本の位置が前記基準位置となる右手と、前記腕の根本の位置が前記参照位置となる左手とを同一のユーザの左右の手のペアとして設定する
＜２＞に記載の情報処理装置。
＜６＞ 前記ペアリング部は、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とが、いずれも右手、または、左手である場合、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とを、それぞれ独立した前記ユーザの前記右手のみ、または、前記左手のみのペアとして設定する
＜２＞に記載の情報処理装置。
＜７＞ 前記ペアリング部は、前記参照位置と、前記基準位置との距離が所定の距離よりも離れている場合、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とを、それぞれ独立した前記ユーザの前記右手のみ、または、前記左手のみのペアとして設定する
＜２＞に記載の情報処理装置。
＜８＞ 前記所定の距離は、人間が両腕を広げた距離である
＜７＞に記載の情報処理装置。
＜９＞ 前記ペアリング部によりペアとして設定された左手および右手のうちの少なくともいずれかのジェスチャを認識するジェスチャ認識部と、
前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを決定するコマンド決定部とをさらに含む
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞ 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの一方の手の指の動きに応じた軌跡の情報、および、他方の手の掌の形状の情報を、前記ジェスチャとして認識する
＜９＞に記載の情報処理装置。
＜１１＞ 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、前記掌の形状の情報に対応する筆記具による、前記軌跡の情報に対応した描画として表示させるコマンドに決定する
＜１０＞に記載の情報処理装置。
＜１２＞ 前記筆記具は、筆、およびマーカのいずれかを含む
＜１１＞に記載の情報処理装置。
＜１３＞ 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの一方の手の指のうちの、操作面にタッチする指の情報、および、他方の手の指のフリック方向の情報を、前記ジェスチャとして認識する
＜９＞に記載の情報処理装置。
＜１４＞ 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、操作面にタッチする指の情報に対応する子音と、前記フリック方向の情報に対応した母音とからなる文字の入力を受け付けるコマンドに決定する
＜１３＞に記載の情報処理装置。
＜１５＞ 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの少なくとも２本の指が、前記操作面上に表示される画像に対してタッチされた状態で移動するそれぞれの軌道の情報を、前記ジェスチャとして認識する
＜９＞に記載の情報処理装置。
＜１６＞ 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、前記２本の指の距離に応じて、前記画像を拡大、または縮小して表示するコマンドに決定する
＜１５＞に記載の情報処理装置。
＜１７＞ 前記ジェスチャ認識部は、異なるユーザの左手のみ、または、右手のみの前記ペアとして設定された、それぞれ前記ユーザが異なる、少なくとも１本の指が、前記操作面上に表示される画像に対してタッチされた状態で移動するそれぞれの軌道の情報を、前記ジェスチャとして認識する
＜９＞に記載の情報処理装置。
＜１８＞ 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、それぞれ前記ユーザが異なる、少なくとも１本の指の軌道のそれぞれに前記画像をコピーして表示するコマンドに決定する
＜１７＞に記載の情報処理装置。
＜１９＞ ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得処理と、
前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出処理と、
前記手検出処理により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング処理と
を含む情報処理方法。
＜２０＞ ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得部と、
前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出部と、
前記手検出部により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング部と
してコンピュータを機能させるプログラム。

１１ 情報処理システム， ３１ 入力部， ３２ 情報処理装置， ３３ 出力部， ７１ テーブル， ５１ 手検出部， ５２ ペアリング部， ５３ ３次元位置推定部， ５４ フレーム数判定部， ５５ 相対位置／相対速度算出部， ５６ ジェスチャ認識部， ５７ コマンド実行部， ５８ 記憶部

Claims (20)

1. ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得部と、
   前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出部と、
   前記手検出部により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング部と
   を備える情報処理装置。
2. 前記ペアリング部は、前記手検出部により検出された手のいずれかを基準の手に設定し、前記基準の手の腕の根本の位置を基準位置に設定し、前記基準位置に対して、前記基準の手が左手または右手であるかに応じた方向で、かつ、最も近い隣の、腕の根本の位置を参照位置に設定し、前記腕の根本の位置が参照位置となる手と、前記腕の根本の位置が前記基準位置となる手とを同一のユーザの左右の手のペアとして設定する
   請求項１に記載の情報処理装置。
3. 前記参照位置に対して、前記基準の手が左手または右手であるかに応じた方向で、かつ、最も近い隣の、前記腕の根本の位置を新たな基準位置に設定し、前記新たな基準位置に対する新たな参照位置を設定し、前記腕の根本の位置が前記新たな基準位置となる手と、前記腕の根本の位置が前記新たな参照位置となる手とを、新たな同一のユーザの左右の手のペアに設定し、以降同様の処理を繰り返すことにより、前記画像内における前記ユーザ毎の左右の手をペアリングする
   請求項２に記載の情報処理装置。
4. 前記ペアリング部は、前記手検出部により検出されたいずれかの左手の腕の根本の位置を前記基準位置に設定し、前記基準位置に対して、前記操作面の外周に沿って反時計回り方向であって、最も近い隣の、前記腕の根本の位置を前記参照位置に設定し、前記腕の根本の位置が前記基準位置となる左手と、前記腕の根本の位置が前記参照位置となる右手とを同一のユーザの左右の手のペアとして設定する
   請求項２に記載の情報処理装置。
5. 前記ペアリング部は、前記手検出部により検出されたいずれかの右手の腕の根本の位置を前記基準位置に設定し、前記基準位置に対して、操作面の外周に沿って時計回り方向であって、最も近い隣の、左手の腕の根本の位置を前記参照位置に設定し、前記腕の根本の位置が前記基準位置となる右手と、前記腕の根本の位置が前記参照位置となる左手とを同一のユーザの左右の手のペアとして設定する
   請求項２に記載の情報処理装置。
6. 前記ペアリング部は、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とが、いずれも右手、または、左手である場合、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とを、それぞれ独立した前記ユーザの前記右手のみ、または、前記左手のみのペアとして設定する
   請求項２に記載の情報処理装置。
7. 前記ペアリング部は、前記参照位置と、前記基準位置との距離が所定の距離よりも離れている場合、前記腕の根本の位置が参照位置である手と、前記腕の根本の位置が前記基準位置である手とを、それぞれ独立した前記ユーザの前記右手のみ、または、前記左手のみのペアとして設定する
   請求項２に記載の情報処理装置。
8. 前記所定の距離は、人間が両腕を広げた距離である
   請求項７に記載の情報処理装置。
9. 前記ペアリング部によりペアとして設定された左手および右手のうちの少なくともいずれかのジェスチャを認識するジェスチャ認識部と、
   前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを決定するコマンド決定部とをさらに含む
   請求項１に記載の情報処理装置。
10. 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの一方の手の指の動きに応じた軌跡の情報、および、他方の手の掌の形状の情報を、前記ジェスチャとして認識する
    請求項９に記載の情報処理装置。
11. 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、前記掌の形状の情報に対応する筆記具による、前記軌跡の情報に対応した描画として表示させるコマンドに決定する
    請求項１０に記載の情報処理装置。
12. 前記筆記具は、筆、およびマーカのいずれかを含む
    請求項１１に記載の情報処理装置。
13. 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの一方の手の指のうちの、操作面にタッチする指の情報、および、他方の手の指のフリック方向の情報を、前記ジェスチャとして認識する
    請求項９に記載の情報処理装置。
14. 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、操作面にタッチする指の情報に対応する子音と、前記フリック方向の情報に対応した母音とからなる文字の入力を受け付けるコマンドに決定する
    請求項１３に記載の情報処理装置。
15. 前記ジェスチャ認識部は、同一のユーザの左手および右手の前記ペアとして設定された左手および右手のうちの少なくとも２本の指が、前記操作面上に表示される画像に対してタッチされた状態で移動するそれぞれの軌道の情報を、前記ジェスチャとして認識する
    請求項９に記載の情報処理装置。
16. 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、前記２本の指の距離に応じて、前記画像を拡大、または縮小して表示するコマンドに決定する
    請求項１５に記載の情報処理装置。
17. 前記ジェスチャ認識部は、異なるユーザの左手のみ、または、右手のみの前記ペアとして設定された、それぞれ前記ユーザが異なる、少なくとも１本の指が、前記操作面上に表示される画像に対してタッチされた状態で移動するそれぞれの軌道の情報を、前記ジェスチャとして認識する
    請求項９に記載の情報処理装置。
18. 前記コマンド決定部は、前記ジェスチャ認識部により認識された前記ジェスチャに対応するコマンドを、それぞれ前記ユーザが異なる、少なくとも１本の指の軌道のそれぞれに前記画像をコピーして表示するコマンドに決定する
    請求項１７に記載の情報処理装置。
19. ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得処理と、
    前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出処理と、
    前記手検出処理により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング処理と
    を含む情報処理方法。
20. ユーザの手を用いた操作入力を受け付ける操作面上の画像を取得する画像取得部と、
    前記画像より前記ユーザの左右の手と、前記手に対応する腕とを検出する手検出部と、
    前記手検出部により検出された前記画像内における前記ユーザ毎の左右の手をペアリングするペアリング部と
    してコンピュータを機能させるプログラム。

Images