JP2011258204A5

JP2011258204A5 -

Info

Publication number: JP2011258204A5
Application number: JP2011126203A
Authority: JP
Filing date: 2011-06-06
Publication date: 2014-07-24
Anticipated expiration: 2031-06-06

Description

ある特定の特性によると、指示ジェスチャの方向は、指示ジェスチャを行うユーザの体の部位の検出によって、および３次元空間における体の部位の長手方向軸の推定によって判定される。

取り込まれた画像が、指示ジェスチャを実施する人を表す内容の画像であると解釈されるケースでは、指示ジェスチャ、この場合、図１の例によると伸ばした腕を含む画像部分が、画像分析によって抽出される。上述した、腕を伸ばした人を検出するのに用いられる機械学習技法は、この目的のために再度利用することができるが、今回は腕を伸ばした人の画像中の伸ばした腕の検出を適用する。指示ジェスチャを含む画像部分のピクセルに関連づけられた奥行き情報を用いて、指示ジェスチャに関連づけられた方向が、図２に示すように３Ｄ回帰技法を用いて実環境１の３次元（３Ｄ）空間内で判定されるが、ここでは分かりやすくするために２次元の空間に制限される。この指示方向推定はたとえば、検出された伸ばした腕に対応する、画像の点に対して線形回帰モードを使って実施される。指示ジェスチャの方向は有利には、指示ジェスチャを実施するユーザ１０の体の部位の長手方向軸に対応する。ユーザの伸ばした腕を表す副画像中で、ユーザの手も、腕の先端を判定するため、すなわち、指示配向を定義するための指示ジェスチャの先端を判定するために、前述したものと同一の機械学習技法によって検出される。３Ｄジオメトリの簡単な規則の使用によって、算出された回帰線が出会う実環境１の第１の実オブジェクト（指示ジェスチャの判定された方向および指示ジェスチャの判定された配向から、指示ジェスチャの先端に対応する線の起点）と、算出された回帰線との間の交差が判定される。こうするために、実環境１は、たとえば、マッピングアプリケーションの使用によりユーザ１０によって、または別の人によって予め３Ｄにマップされ、すなわち、実環境１の実オブジェクトが識別され、それぞれ実環境の３Ｄ空間内で識別子および座標（ｘ、ｙおよびｚ）と関連づけて配置される。別の形態によると、実環境は、環境取込み手段（たとえば、奥行きセンサに関連づけられたカメラ）および処理手段、たとえば、実環境の取り込まれた画像を分析する適応型マッピングアプリケーションの使用により、自動的に３Ｄにマップされる。実環境の３Ｄマッピングおよび算出された回帰線を用いると、回帰線が出会う第１の実オブジェクトが何であるかを、したがってユーザ１０の指示ジェスチャによって指示されるオブジェクトを判定することは容易である。また別の形態によると、どの実オブジェクトにも回帰線が出会わない場合、選択される実オブジェクトは、回帰線に最も近い実オブジェクト、すなわち、回帰線から閾値未満の距離（たとえば、２０ｃｍ、５０ｃｍまたは１ｍ）にある実オブジェクトである。閾値未満の距離の集合は有利には、許容域を形成し、この域は、半径が閾値に等しい、回帰線を囲む円筒の形をとる。有利には、実環境の３Ｄマップにマップされる実オブジェクトは、指示ジェスチャの方向の判定の不正確さが、指示される実オブジェクトの選択に影響を与えないように、臨界サイズより大きい、すなわち、閾値より大きいサイズである（たとえば、その周囲の平行六面体の３つの寸法のうち最小のものが、所定の値、たとえば４０ｃｍ、５０ｃｍもしくは６０ｃｍ以上であり、または指示方向に垂直な面におけるオブジェクトの投影の２つの寸法のうちやはり最小のものが、４０ｃｍ、５０ｃｍまたは６０ｃｍ以上である）。実際、指示ジェスチャの方向を推定するのに用いられるこうした技法から、小さすぎるオブジェクト、すなわち、閾値未満のサイズを有するオブジェクトだけが、こうしたオブジェクトと回帰線との間を交差させることによって確実に判定され得る。閾値は有利には、指示方向の推定が不正確であることを表す情報により判定される。

図２は、本発明のある特定の実施形態による、ユーザ１０によって実施される指示ジェスチャの方向の推定方法を示す。分かりやすくするために、図２は、体の部位の長手方向軸の判定結果をグラフによって、また、拡張により、指示ジェスチャの方向を２次元の空間（ｘおよびｙ）で示す。有利には、長手方向軸は、３次元（ｘ、ｙおよびｚ）空間内で拡張し、実環境１が３次元空間である。点２００は、指示ジェスチャを実施するユーザの体の部位、たとえばユーザの腕に属す点に対応し、こうした点は、カメラ１９によって取り込まれた指示ジェスチャの画像から（またはより具体的には、指示ジェスチャを実施する体の部位に対応する内容である画像部分から）、指示ジェスチャを実施するユーザの体の部位を表す画像部分のピクセルそれぞれに関連づけられた奥行き情報を使って判定される。この奥行き情報は、カメラ１９に関連づけられた奥行きセンサによって取り込まれ、この情報は有利には、奥行きマップ（またはｚマップ）に記録される。点２００の３次元配置から、指示ジェスチャの長手方向軸または方向は、座標（ｘ_i、ｙ_iおよびｚ_i）を有する点２００それぞれの線形回帰または多重線形回帰によって判定されるが、座標ｚ_iについては図２に示していない。指示ジェスチャの方向を表す直線２０は、２つの式からなる連立方程式によって、

次いで、ステップ４１中に、実環境内を動き回るユーザの指示ジェスチャに関連づけられた方向が推定される。要求により、実環境は、３次元でマップされ、すなわち、この実環境を組成するオブジェクトは、当業者に公知である任意の方法により３Ｄマップでモデリングされ、３Ｄマップは、位置に関係した情報（すなわち、座標）を備え、空間内のオブジェクトのかさばり（すなわち、サイズ）は、実環境を定義する。有利には、指示ジェスチャの方向の推定は、ビデオカメラによる指示ジェスチャの取得、および奥行きセンサによる奥行き情報の項目の取得ステップを含み、奥行き情報は、一方では取り込まれた画像の各ピクセルおよびピクセルグループと、他方ではカメラまたは奥行きセンサとの間の距離を表し、この情報はたとえば、奥行きマップに記録される。別の形態によると、指示ジェスチャの方向は、いくつかのビデオカメラ、たとえば、指示ジェスチャの立体画像を与える２つのカメラから推定され、奥行き情報は次いで、複数のカメラによって取り込まれた画像それぞれの間の差異の算出によって推定される。有利には、指示ジェスチャの方向の判定は、当業者に公知である任意の方法により、指示ジェスチャを実施するユーザの体の部位の長手方向軸を推定することによって、たとえば線形回帰によって判定される。

具体的には、本発明は、第１の仮想環境内の第１のオブジェクトの選択方法に限定されるのではなく、このような方法を実装するマルチメディア端末、およびこの表示方法を実装するマルチメディア端末を備える表示装置にも及ぶ。本発明は、仮想環境における閾値未満のサイズのオブジェクトの選択を含むアバターの制御方法にも関する。
［付記１］
第１の仮想環境における第１のオブジェクトの選択方法であって、前記第１のオブジェクトは、前記第１の環境内で閾値未満のサイズ値で表され、前記方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・前記推定された方向に従って、第２のオブジェクトを判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、
・前記第２の判定されたオブジェクトに従って、前記第１のオブジェクトを選択するステップと、
を含む、方法。
［付記２］
前記閾値は、前記方向の前記推定が不正確であることを表す情報に従って判定される、付記１に記載の方法。
［付記３］
前記閾値は、前記第１のオブジェクトの境界となるボックスを表す寸法のうち最小のものに対応し、前記最小寸法は、所定の値より大きい、付記２に記載の方法。
［付記４］
前記第２のオブジェクトは、実環境に属す、付記１に記載の方法。
［付記５］
前記第２のオブジェクトは、第２の仮想環境に属す、付記１に記載の方法。
［付記６］
前記実環境は、３次元でマップされる、付記４に記載の方法。
［付記７］
前記第１のオブジェクトは、第１のオブジェクトからなるグループに属し、前記第２のオブジェクトは、第２のオブジェクトからなるグループに属し、前記第１のオブジェクトの前記選択するステップは、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルを使用するステップを含む、付記１乃至６のいずれかに記載の方法。
［付記８］
前記方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、前記指示ジェスチャを取得するステップを含む、付記１乃至７のいずれかに記載の方法。
［付記９］
前記第２のオブジェクトを判定するステップは、線と、前記線が出会う第１の要素との間の交差を算出するステップを含み、前記線は、その起点として前記指示ジェスチャを行う前記ユーザの体の部位と、方向として前記指示ジェスチャに関連づけられた前記方向と、配向として前記指示ジェスチャの配向とを有する、付記１乃至８のいずれかに記載の方法。
［付記１０］
前記指示ジェスチャの方向は、前記指示ジェスチャを行う前記ユーザの体の部位の検出によって、および３次元空間における体の前記部位の長手方向軸の推定によって判定される、付記１乃至９のいずれかに記載の方法。
［付記１１］
取り込まれた画像を表す信号の受信用ユニットと、画像処理に適合された中央ユニットとを備えるマルチメディア端末であって、前記中央ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・前記推定された方向に従って第２のオブジェクトを判定する手段であって、前記第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・前記第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、前記第１のオブジェクトは、第１の仮想環境に属し、前記閾値未満の値のサイズを有する、手段と、
を備えた、マルチメディア端末。

Claims

第１の仮想環境における第１のオブジェクトの選択方法であって、前記第１のオブジェクトは、前記第１の環境内で閾値未満のサイズ値で表され、前記方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・前記推定された方向に従って、第２のオブジェクトを判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、
・前記第２の判定されたオブジェクトに従って、前記第１のオブジェクトを選択するステップと、
を含む、方法。
前記閾値は、前記方向の前記推定が不正確であることを表す情報に従って判定される、請求項１に記載の方法。
前記閾値は、前記第１のオブジェクトの境界となるボックスを表す寸法のうち最小のものに対応し、前記最小寸法は、所定の値より大きい、請求項２に記載の方法。
前記第２のオブジェクトは、実環境に属す、請求項１に記載の方法。
前記第２のオブジェクトは、第２の仮想環境に属す、請求項１に記載の方法。
前記実環境は、３次元でマップされる、請求項４に記載の方法。
前記第１のオブジェクトは、第１のオブジェクトからなるグループに属し、前記第２のオブジェクトは、第２のオブジェクトからなるグループに属し、前記第１のオブジェクトの前記選択するステップは、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルを使用するステップを含む、請求項１乃至６のいずれかに記載の方法。
前記方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、前記指示ジェスチャを取得するステップを含む、請求項１乃至７のいずれかに記載の方法。
前記第２のオブジェクトを判定するステップは、線と、前記線が出会う第１の要素との間の交差を算出するステップを含み、前記線は、その起点として前記指示ジェスチャを行う前記ユーザの体の部位と、方向として前記指示ジェスチャに関連づけられた前記方向と、配向として前記指示ジェスチャの配向とを有する、請求項１乃至８のいずれかに記載の方法。
前記指示ジェスチャの方向は、前記指示ジェスチャを行う前記ユーザの体の部位の検出によって、および３次元空間における体の前記部位の長手方向軸の推定によって判定される、請求項１乃至９のいずれかに記載の方法。
取り込まれた画像を表す信号の受信用ユニットと、画像処理に適合された中央ユニットとを備えるマルチメディア端末であって、前記中央ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・前記推定された方向に従って第２のオブジェクトを判定する手段であって、前記第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・前記第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、前記第１のオブジェクトは、第１の仮想環境に属し、前記閾値未満の値のサイズを有する、手段と、
を備えた、マルチメディア端末。