JP2010525432A - ボリューム認識方法およびシステム - Google Patents

Abstract

本発明はボリューム認識方法に関わり、ａ）３次元の画像システム（３）を用いて３次元の画像データをキャプチャするステップであって、該画像データは複数の点（５）を示し、各点は少なくとも３次元空間の座標の集合を有するステップと、ｂ）少なくとも前記点（５）のいくつかをクラスター（６）の集合に分類するステップと、ｃ）位置および大きさなどの第１のパラメータの集合に従って、前記画像システム（３）の範囲に配置された興味の対象物（１）に対応するクラスター（６）を選択するステップと、ｄ）選択された前記クラスター（６）の少なくともいくつかの点（５）を、３次元空間における前記点（５）の位置を含んだ第２のパラメータの集合に従ってサブクラスターの集合に分類するステップであって、各サブクラスターは３次元空間における重心（１１）を有するステップと、ｅ）大きな塊（１２）を前記サブクラスターの少なくともいくつかとそれぞれ関連付けるステップであって、該大きな塊（１２）は該サブクラスターの重心（１１）に固定されるステップとを含む方法に関わる。本発明はまた本方法を実行するためのボリューム認識システムに関わる。

Description

本発明はボリューム認識方法およびシステムに関し、特に（但し、これに限定されない）、データ処理装置との相互作用のためのボリューム認識方法およびシステムに関する。

データ処理システムとの相互作用、特にデータおよび指令の入力は広く知られた問題である。従来的には、このような相互作用は、物理的な入力装置、例えばキーボード、マウス、スクロールホイール、ペン、タッチスクリーン、ジョイスティック、ゲームパッド等で起こるものであり、これら入力装置は、ユーザの入力装置への物理的行動に反応して信号を生成する。しかしながら、このような物理的入力装置は多くの不利な点を有する。例えば、物理的入力装置は限られた数の異なる入力信号しか提供できず、３次元の「バーチャル・リアリティ（仮想現実）」環境のようなアプリケーションではぎこちなさや現実感の無さを感じてしまう。さらには、物理的入力装置は疲れやすく、連続使用は時として、反復運動過多損傷（Ｒｅｐｅｔｉｔｉｖｅ Ｓｔｒａｉｎ Ｉｎｊｕｒｙ）のように、ユーザの健康に悪影響を及ぼすことさえある。

代替の入力装置および方法もまた知られている。例えば、音声認識の実用的システムが利用できる。しかしながら、音声認識は、ユーザによる速くて正確な、繰り返しの入力を求められるアクションゲームのような、いくつかのアプリケーションでは実用的な代替とはならない。さらに、入力の効果は周りの雑音に悪影響を受けるし、一般的に入力のためには特定のユーザの音声命令を学習する必要がある。
他の代替としては画像認識がある。最も単純な形式においては、画像認識システムは、対照的な色の２値パターン（例えばバーコード）を認識し、そしてこれらのパターンを計算処理のためにバイナリ信号に変換する。もっと進んだ画像認識システムは画像のより複雑なパターンを認識することができ、応答に多くの種類の信号を提供することができる。このような画像認識システムは、例えば、米国特許６２５６０３３号で提供され、そこでは画像システム範囲内でユーザのジェスチャを認識する。
しかしながら、従来の画像システムは奥行き成分を知覚できず、ユーザの２次元投影像しか提供できない。結果として、ユーザのジェスチャの認識は本質的に問題があり、可能な入力の範囲に限定され、認識ミスの可能性で欠陥だらけになる。特に、このようなシステムはユーザを背景と分けてしまう問題がある。

しかしながら、３次元画像認識システムの開発は、例えばより良いジェスチャ認識を可能にする形状認識方法及び装置を発展させる可能性を提供する。このような３次元画像システムのひとつが、Ｇ．Ｙａｈａｖ、Ｇ．Ｊ．ＩｄｄａｍおよびＤ．Ｍａｎｄｅｌｂｏｕｍ著「ゲームアプリケーションのための３次元画像カメラ（３Ｄ Ｉｍａｇｉｎｇ Ｃａｍｅｒａ ｆｏｒ Ｇａｍｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ）に開示されている。この文献で開示されている３次元画像システムはいわゆる「タイム・オブ・フライト（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ、ＴＯＦ法）」であり、３次元画像システムの範囲の対象物で反射した光の波面形状から奥行き成分の認識が得られる。しかしながら、他のタイプの画像システム、ステレオカメラやレーザ強度方向探知（ＬＩＤＡＲ）、レーダー、ソナーなどもこれまで提案されてきた。

３次元画像システムを使ったジェスチャ認識方法及びシステムは国際特許出願ＷＯ００／３００２３Ａ１号に開示されている。しかしながら、この方法はボリュームを認識せず、興味の対象である領域の物体の存在場所およびそこでの動きに単に搬送するだけであるため、最も単純なジェスチャしか認識せず、もっと複雑なアプリケーションに対して不適当なままである。より基本的な方法も国際特許出願公開公報ＷＯ２００４／０６４０２２Ａ１号に開示されている。

米国特許出願公開公報ＵＳ２００６／０２３５５８Ａ１号は、３次元画像システムを使った形状認識方法を開示している。この方法では、３次元画像の点は、認識された奥行き成分によって、クラスター状（言い換えると、「球状の塊」）に集まる。予め定めた対象物の異なる形状の原始的なものは、これら「球状の塊」に係り得る。このボリューム認識方法はより正確な３次元画像システム範囲内での対象物のモデル化を可能にする一方、まだ大きな欠点がある。全ての対象物が「球状の塊」に配分されると、それらの数や複雑さは利用できるデータ処理許容量によって制限される。実際、この方法は形状認識方法を、粗い対象物のモデルのみ必要なアプリケーション、例えば車の衝突警報及び回避システムなどに限定する。その方法は、ジェスチャ認識システムのような、鮮明なボリューム認識を要求するアプリケーションには非実用的なままである。

米国特許出願公開公報ＵＳ２００３／０１１３０１８Ａ１号および国際特許出願ＷＯ０３／０７１４１０Ａ２号は、ジェスチャ認識により適した形状認識方法を開示している。

米国特許出願公開公報ＵＳ２００３／０１１３０１８Ａ１号に開示の方法では、ユーザは３次元画像システムに最も近い対象物であり、背景を無視するために、既定の奥行き成分の閾値よりも近い３次元画像の点が選択される。選択された点は、いくつかの判定基準と集合アルゴリズムによって、胴、頭、腕および手を表す５つのクラスターに集められる。胴と腕は平面形状に関連し、頭と手は３次元ボリュームに関係する。この方法はより進んだジェスチャ認識を可能にする一方、ボリューム認識はまだ比較的粗いままであり、特に胴と腕は３次元要素というよりむしろ平面として認識されている。

国際特許出願ＷＯ０３／０７１４１０Ａ２号に開示の方法では、米国特許出願公開公報ＵＳ２００６／０２３５５８Ａ１号に記載の方法のように、３次元画像の点が、認識された奥行き成分によって、クラスター状に集まる。そして、それらのクラスターのうちの一つで、興味の対象（例えば、手）を示すクラスターが選択される。選択されたクラスターの点の特徴を統計解析し、予め確立されたパターンと比較することによってジェスチャが認識される。この方法は上記の他の先行技術よりもより有効であるけれども、シームレスな認識にはしっかりしたパターンライブラリが必要であろう。

米国特許第６２５６０３３号 国際特許出願ＷＯ００／３００２３Ａ１号 国際特許出願公開公報ＷＯ２００４／０６４０２２Ａ１号 米国特許出願公開公報ＵＳ２００６／０２３５５８Ａ１号 米国特許出願公開公報ＵＳ２００３／０１１３０１８Ａ１号 国際特許出願ＷＯ０３／０７１４１０Ａ２号

Ｇ．Ｙａｈａｖ、Ｇ．Ｊ．ＩｄｄａｍおよびＤ．Ｍａｎｄｅｌｂｏｕｍ 「ゲームアプリケーションのための３次元画像カメラ（３Ｄ Ｉｍａｇｉｎｇ Ｃａｍｅｒａ ｆｏｒ Ｇａｍｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ）」 Ｓｅｒｇｉｏｓ Ｔｈｅｏｄｏｒｉｄｉｓ、Ｋｏｎｓｔａｎｔｉｎｏｓ ＫｏｕｔｒｏｕｍｂａｓおよびＲｉｃｋｙ Ｓｍｉｔｈ著「パターン認識（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）」１２章、１９９８年、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ発行

したがって本発明が取り扱う課題は、３次元画像システムの範囲内で興味の対象物のボリュームを素早く、比較的鮮明で詳細に認識するための方法及びシステムを提供することであり、それにより、より簡単で正確なデータ処理システムとの相互作用を、最終的にはジェスチャ認識を通して可能にすることである。

本発明のボリューム認識方法は、上記課題を次のように解決する。すなわち、少なくとも第１の設定のパラメータ（位置や大きさ）に従って選択され、画像システムの範囲に配置された興味の対象物に対応するクラスターのいくつかの点を、第２の設定のパラメータ（３次元空間の位置を含む）によるサブクラスターの集まりに分類する。各サブクラスターは重心を持つ。また、大きな塊（ボリューム）を少なくともサブクラスターのいくつかと関連させ、その大きな塊は当該サブクラスターの重心に固定される。

これらの方法により、本発明のボリューム認識方法は、大きな処理能力に頼ることなく、前記サブクラスターに関連した大きな塊により形成される比較的正確な、興味の対象物の３次元モデルを提供する。この３次元モデルは、比較的正確でありながら一方、単にサブクラスターの重心の位置と、当該サブクラスターに関連する大きな塊の容積を用いるだけで表現可能であり、そしてデータ処理システムとの相互作用のために、さらなる３次元モデルの処理を、例えばジェスチャ認識を通して促進する。

また有利なことに、選択されたクラスターの前記点を既定のＫ個のクラスターに分類するためにＫ−ｍｅａｎｓ法のアルゴリズムを使うことができる。Ｋ−ｍｅａｎｓ法のアルゴリズムを使うことによって早くて効果的に点を集めて既定の数のサブクラスターに分類することができる。

有利なことに、サブクラスターと関連する大きな塊は球形状とすることができ、好ましくは前記サブクラスターの重心に大きな塊の中心を置く。この形は、良好なボリューム認識を可能にする一方、径を唯一のパラメータとして用い、さらに興味の対象物の３次元モデルを表現するデータセットの大きさを減らすことができる。

また有利なことに、複数の点を集めてクラスターに分類することは、次のステップを含む方法により実行できる：
ａ）第１の点を含む第１のクラスターを生成し、
ｂ）次の操作を他の各点について実行する：
（ｉ）重心が３次元空間の前記他の点に最も近いクラスターを見つけ、
（ｉｉ）３次元空間における前記他の点と前記最も近いクラスターの絶対距離が既定の閾値θよりも大きく、かつクラスターの数が既定の最大値ｑよりも少ない場合、前記他の点を含む追加クラスターを生成する。もしくは、
（ｉｉｉ）前記絶対距離が既定の閾値θよりも大きくないか、クラスターの数が既に既定の最大値ｑに達している場合、重心が前記他の点と最も近いクラスターに前記他の点を追加する。

この方法は、画像データの点を集めてクラスターの集まり（各々のクラスターが３次元空間で識別可能な対象物に対応する）に分類する早くて効果的な方法を確実に提供する。この方法により、３次元空間における位置に基づいて複数の点をグループ化することにより、先行技術のように、単に奥行き成分に基づいて選択するよりも、より信頼性高く３次元画像に表される対象物を差別化することができる。この方法は、最終的には、追跡エリアに複数の候補が存在するときでさえ、興味の対象物に対応するクラスターを選択することができる。

特に有利なことに、複数の点を集めてクラスターに分類する前記方法が、さらに前記クラスターのうちの二つが接続しているかを判定し、接続していた場合は合体させるステップを含むことである。このステップは一つの興味の対象の点がいくつかのクラスターに分類されて、そのうちの一つのクラスターしか選択されないという問題が起こる可能性を避けるものである。

さらに、より有利なことに、二つの前記クラスターが接続されているかを判定することのあとに、次のステップを続けることができる：
ａ）前記二つのクラスターの各々の点の投影された二つのクラスターの重心を結ぶ軸に沿った分布の標準偏差を計算し、
ｂ）標準偏差の和に既定の係数Ｓ（例えば２）を掛けたものが、二つのクラスターの重心間の絶対距離より大きいかチェックする。

これらのステップにより、接続しているクラスターを最終的に合体させるために、隣同士のクラスターの接続を効果的に判定することができる。

有利なことに、前記画像システムは、ＴＯＦ３次元カメラ、ステレオカメラ、３次元空間の異なる位置に配置された複数のカメラ、もしくはＬＩＤＡＲ、ソナーもしくはレーダーシステムを含むことができる。これらどの画像システムであってもボリューム認識に適した３次元画像データを提供することができる。

有利なことに、前記画像システムは少なくとも各点の奥行き成分、天頂成分、方位角成分度を含むことができ、さらに少なくともこれらの点のいくつかの奥行き成分、天頂成分、方位角成分度を３次元の直角座標に転換するステップを含む。このことは本ボリューム認識方法における３次元画像システムによって提供される奥行き画像の取り扱いを簡単にする。

有利なことに、前記興味の対象物は、少なくとも人間の体の一部であり得、好ましくは立っている人間である。このことにより人間のユーザが少なくとも体の一部を使ってデータ処理装置と相互作用することができる。

特に有利なことに、前記方法は前記体の胴の質量中心と主軸の近似を計算するステップを含むことができる。ユーザの胴の位置、向き、および動きはデータ処理システムとの相互作用に特に有効であるから、例えば「仮想現実」アプリケーションにとっては、位置および拡張限界の動きとは独立した質量中心、主軸を近似計算することは特に有利となり得る。

さらに有利なことに、胴の質量中心と主軸の近似計算は次のステップによって実行され得る：
ａ）前記選択されたクラスターの重心及び主軸を計算する。
ｂ）選択されたクラスターの主軸に関し、選択されたクラスターの点同士の距離の分布曲線を計算する。
ｃ）前記分布曲線の変曲点を計算する。
ｄ）選択したクラスターの前記主軸に関する距離がＤ・ｓより低い点を選択する。ここで、ｓは前記変曲点の、選択されたクラスターの前記主軸への距離であり、Ｄは高くて１．２５、好ましくは高くて１の係数である。
ｅ）胴の質量中心および主軸を選択した点の重心及び主軸として計算する。

人間の体に対応するクラスターでは、どの拡張限界に対応する点でも普通は最も点の密度が高い領域（胴に対応するであろう）からははっきり離れているものであるから、胴の質量中心および主軸の計算においては拡張限界に対応する点を考慮に入れずに計算することができる。

特に有利なのは、前記胴の質量中心の位置および／または主軸および／または主軸の向きに基づき信号がデータ処理システムに送信され得ることである。上記でも述べたように、このことは、ユーザの特に自然な相互作用を、例えば「仮想現実」アプリケーションとの間で可能にする。

特に有利なことに、前記方法は体の高さを測定するステップを含むことができる。

さらに有利なことに、特に正確な体の高さの測定は、胴の主軸への既定の距離より近いクラスターの点の高さを計算し、それら高さをフィルタリング（好ましくは、中央値で）し、フィルタリング後の最大値をとる高さを選択することにより得られる。これらのステップにより得られる高さ測定は通常いかなる伸びた腕にも影響を受けず、従ってユーザの頭の位置を判定する目的などに信頼性高く用いることができる。

さらに有利なことに、体の高さ測定は、条件が合ったとき、例えば胴の主軸が実質的に垂直であるという条件のようなときのみだけ妥当であるとみなすことができる。

有利なことに、前記サブクラスターの集まりに関係する大きな塊データ処理システムで生成された仮想環境に表すことができる。これにより選択された仮想環境において、実質的に小さな処理労力で興味の対象物を比較的現実に近い状態で表現することができる。大きな塊は、もしユーザの体が興味の対象物であれば、例えばユーザのアバター（化身）を提供することができる。

さらに有利なことに、前記サブクラスターの集まりである大きな塊の表示と、仮想環境の要素の集まりとの衝突チェックを、当該仮想環境の要素の集まりと相互作用するために行うことができる。こうして、ユーザは、前記表示が前記要素に触れるように動くことにより、例えば仮想環境の要素を押す、握る、動かす、もしくは引っ張ることができる。

有利なことに、サブクラスターの繋がりの集合は、サブクラスターの重心間の絶対距離、サブクラスター間の点の数などの判定基準で形成される。こうして、興味の対象物の潜在的な構造が認識され、最終的な相互作用を促進し、さらに量の減ったデータセットで興味の対象物の正確な３次元モデルを生成することができる。

さらに有利なことに、興味の対象物の端部の集合は前記繋がりによって識別される。異なる信号がこうして端部の動きや位置に割り当てられ、端部間の相対運動や相対位置さえも割り当てられる。そして本ボリューム認識方法を使った入力インターフェイスの融通性を増すことができる。

さらに有利なことに、少なくとも前記端部の一つが、既定のパターン、例えば人間の体のパターンによってラベル付けされる。異なる信号がこうして端部の動きや位置に割り当てられ、端部間の関連する動きや位置さえも割り当てられる。そして本ボリューム認識方法を使った入力インターフェイスの融通性を増すことができる。

さらに有利なことに、少なくとも一つの前記端部の絶対および／または相対の位置および／または動きに従って、データ処理システムに信号が送信される。これは特に融通性のある相互作用方法を提供するであろう。

本発明はまた、複数の点を表示する画像データを３次元キャプチャするための画像システムを含むボリューム認識システムであって、各点は３次元空間の座標の集まりを少なくとも一つ有し、少なくとも前記点のいくつかは前記画像システムの範囲に配置された興味の対象物に対応し、前記画像システムに接続され、前記画像システムと協働して、本発明のボリューム認識方法を実行するボリューム認識システムに関係する。

いくつかの好ましい発明の実施形態が説明されるが、本発明は補助となる以下の図面を参照することによって限定されない

本発明の実施例によるボリューム認識システムおよび方法を用い、データ処理システムと相互作用をするために３次元画像システムの前に立っているユーザがいる部屋を示した図である。 図１と同じ部屋の３次元画像データであり、３次元画像システムによってキャプチャされた、３次元空間における点の分布の形態をとった図である。 それぞれの位置に基づいて、どのように点が集められてクラスターに分類されるかを示した図である。 隣接するクラスターがどのように接続をチェックされるかを示した図である。 図２と同様の３次元画像データであり、点はクラスターに分類され、クラスターのうちの一つはユーザに対応する図である。 ユーザに対応したクラスターの１５０のサブクラスターの重心を示した図である。 図６ａに示した重心に各々が中心を置いた、１５０の球を示した図である。 仮想環境にいるユーザを表現した１５０の球を示した図である。 ユーザに対応したクラスターの２５のサブクラスターの重心を示した図である。 図７ａに示した重心の繋がりネットワークを示した図である。 図７ｂのネットワークに基づいた仮想ボディ構造を示した図である。 図７ｃの仮想ボディ構造に基づくユーザのアバター（化身）を示す図である。 右手を伸ばしたユーザを示した図であり、ユーザを表現するクラスターの重心と主軸と共に、ユーザの胴の質量中心および主軸も示した図である。 図８ａで示したユーザの点の分布曲線を示した図である。 データ処理装置のスクリーンに顔を向け、両手を伸ばして初期設定の位置にいるユーザを示した図である。

ボリューム認識方法及びシステムの一つの可能性ある実施例が図１に示される。このアプリケーションでは、本システムおよび方法は、興味の対象物（このケースでは人間のユーザ１）のジェスチャを認識し、人間のユーザ１へ表示される仮想環境を生成するデータ処理装置２と相互作用するために用いられる。

ボリューム認識システムは３次元画像システムを含み、特にこの実施例ではＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）３次元カメラ３を含む。このＴＯＦ３次元カメラ３は人間のユーザ１が相互作用すべきデータ処理装置２に接続されている。本実施例では、データ処理装置２自身が、ＴＯＦ３次元カメラと協働して、ボリューム認識方法を実行するようプログラムされている。なお、人間のユーザ１がデータ処理装置２と相互作用するために、ボリューム認識方法を実行するためにプログラムされた別のデータ処理装置が、ＴＯＦ３次元カメラとデータ処理装置２の間に接続されても良い。

ＴＯＦ３次元カメラ３は、人間のユーザ１が立っている部屋４の３次元画像データをキャプチャし、３次元画像データは複数の画素を有する部屋の２次元画像と、それぞれの画素毎の、当該画素で画像化されたＴＯＦ３次元カメラ３との距離に対応した奥行き成分値を含んでいる。２次元画像自体における画素のＸおよびＹ位置は、３次元カメラ３に関して２次元画像が示している複数の点の、天頂成分および方位角成分に対応するので、これら３次元画像データは図２に示すようにＴＦＯ３次元カメラ３の範囲内の対象物の可視点に対応した点５の３次元的なクラウド（雲）として示される。処理を簡単にするために、ＴＯＦ３次元カメラ３に関する各点の奥行き成分、天頂成分および方位角成分は直角座標系に変換出来る。

本発明のボリューム認識方法の次のステップは、点５がクラスター６に分類されることである。クラスター６は、隣接する点５同士を含むであろう。このクラスター化はＢＳＡＳアルゴリズムを使って実行される。ＢＳＡＳアルゴリズムはＳｅｒｇｉｏｓ Ｔｈｅｏｄｏｒｉｄｉｓ、Ｋｏｎｓｔａｎｔｉｎｏｓ ＫｏｕｔｒｏｕｍｂａｓおよびＲｉｃｋｙ Ｓｍｉｔｈ著「パターン認識」１２章（１９９８年、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ発行）などに記載される。処理速度に優れ、クラスター化の処理に一つのパスで済み、適切な結果を出すのに多くの繰り返しは必要としない。

クラスター化を実行するために、第１の点５を含む第１のクラスター６を生成し、その後他の点５について、次の処理を実行する：
ｉ）重心７が前記他の点５に３次元空間で最も近いクラスター６を探し、
ｉｉ）もし３次元空間における前記他の点と前記最も近い重心７の絶対距離が既定の閾値θより大きく、かつクラスター６の数が既定の最大値ｑより小さい場合、前記他の点５を含む追加クラスター６を生成する、もしくは
ｉｉｉ）もし前記絶対距離が既定の閾値θより大きくないか、クラスターの数が既定の最大値ｑに達している場合、前記他の点５を重心が該他の点５に最も近いクラスターに該他の点５を追加する。

このクラスター化のステップによって点５を含む複数のクラスター６が生成される。しかしながら、本アルゴリズムを用いることにより、いくつかのクラスターが接続されることもある。図４に示すように、適切に点５をグループ化するために、このような接続されたクラスターを検出して合体させる。

二つのクラスター６が接続されているか判定するために、これら二つのクラスター６の点５が、二つのクラスター６の重心７を繋ぐ軸８にまず投影される。続いてその軸８に沿った投影像の分布の標準偏差が各クラスター６について計算される。もしこれら標準偏差の和に既定の係数Ｓ（本実施例では２とするが）を掛けたものが、二つのクラスターの重心間の絶対距離よりも大きい場合、この二つのクラスターは接続されていると判定される。この場合二つのクラスターは合体して一つのクラスターになる。

上記クラスター化と合体によって、図５に示すように、ＴＯＦ３次元カメラ３内の様々な対象物を示すクラスター６の集合が得られる。これらクラスター６の集合のうち、ひとつは人間のユーザ１を示す。人間のユーザ１を示すクラスター６は様々な手段で識別される。例えば、クラスター６が、人間のユーザ１が立ってデータ処理装置２と相互作用するとして定義された追跡エリア内に存在し、最小限の点５を含む場合、当該クラスター６が人間のユーザ１を示すと認識される。もしいくつかのクラスター６がこれら判定基準を満たす場合、ＴＯＦ３次元カメラに最も近いクラスター６が人間のユーザ１を表すクラスターとして選ばれる。クラスター６が人間のユーザ１を表すかどうかの識別の他の判定基準は、人間の体で構成される既定のパターンと点５の分布との整合を取ることである。例えば、もし図９に示すように最初に人間のユーザ１が両手を伸ばして立っている場合、人間のユーザ１を示すクラスター６の点５は特徴に従って分布し容易にパターン認識されるだろう。ＴＯＦ３次元カメラ３が３次元の画像データフレーム列を連続的にキャプチャする動画カメラである場合、クラスター６が人間のユーザ１に対応するかどうかを識別するために、前のフレームで人間のユーザ１を示すと識別されたクラスター６との類似性が他の判定基準として採用可能である。こうして例えば、ボリューム認識システムは、例え人間のユーザ１が人間として認識するのがもっと難しい姿勢を取ったり、他の人が追跡エリアに入ってきたとしても、上記のように初期段階で最初に認識した人間のユーザ１を追跡し続けることができる。

それ故に、例えば下記のものを通して、データ処理装置２との相互作用が可能であろう：
・ＴＯＦ３次元カメラ３の範囲内に人間のユーザ１がいるかいないか。
・人間のユーザ１に対応すると認識できるクラスター６の数。および／もしくは
・部屋４の全体的な配置。

人間のユーザ１はデータ処理装置２と、人間のユーザ１を表すクラスター６の下記のような特性を通して相互作用することもできるであろう：
・少なくともクラスター６の部分の釣り合い。
・空間における少なくともクラスター６の部分の分布。
・少なくともクラスター６の部分における点５の分布。
・少なくともクラスター６の部分の重心７。および／または
・少なくともクラスター６の部分の主軸。

一旦当該クラスター６が人間のユーザ１を表していると識別されると、クラスター６はＫ個のサブクラスターの集合に再分割される。クラスター６の点５はＫ−ｍｅａｎｓアルゴリズムを用いてＫ個のサブクラスターにグループ分けされる。

Ｋ−ｍｅａｎｓアルゴリズムは、点５を最初にＫ個あるサブクラスターに分割することにより開始する。次に、各初期サブクラスターの重心１１を計算する。追加のパラメータ、例えば色などを用いることにもなるが、各点５と３次元空間において最も近い重心１１とを関連付けることにより、Ｋ個のサブクラスター内に新たな区切りを形成する。重心１１はその新たなサブクラスターのために再計算される。この処理は点５がもはやサブクラスターに切り替わらなくなるまで、もしくは重心１１の位置が固定するまで繰り返される。実際は、良い結果は一回の繰り返しで得られる。

第１の実施例において、Ｋ個の初期サブクラスターはランダム、もしくはクラスター６のいくつかのパラメータ、例えばクラスター６の高さやクラスター６内の点５の分布などによって決められ、Ｋは比較的大きな数、例えば１５０のような数である。このＫ−ｍｅａｎｓアルゴリズムを用いることで、結果として図６ａに示すような、各々が重心１１を持つ１５０のサブクラスターの集合が形成される。既定の径を持つ球１２を１５０個のサブクラスターの各々に関連付けることにより、図６ｂに示すような人間のユーザ１のモデル１３が形成される。本モデル１３は、人間のユーザ１によって占められるボリュームを良好な精度で示している。

図６ｃは、データ処理装置２で生成された仮想環境に表されたモデル１３を示す図である。人間のユーザ１は、仮想環境の要素１４と相互作用することができ、それは単純に要素１４とぶつかる、および／もしくは、仮想環境における球１２の表示と仮想環境の要素１４との近接性のチェックを通じて行うことができる。それ故に、人間のユーザ１は、データ処理装置２と例えば下記のものを通して相互作用することができるであろう：
・データ処理装置２によって生成された仮想環境の少なくとも一つの要素１４と少なくとも一つの球１２の表示が１次元もしくは複数の次元で衝突もしくは近接しており、そこでは要素１４は正確で、１次元、２次元もしくは３次元のものであり得る。
・データ処理装置２によって生成された仮想環境にいる人間のユーザ１の実環境の少なくとも一つの実対象物の表示と少なくとも一つの球１２の表示が１次元もしくは複数の次元で衝突ないし近接している事。
・サブクラスター群のひとつないし複数の重心１１の位置および／もしくは動き。および／もしくは
・少なくとも一つのサブクラスター（例えば重心１１が実質的に動きを見せているもの）と関連した球１２によって形成されたボリュームの位置、動きおよび／もしくは形状。

第２の実施例において、人間のユーザ１に対応するクラスター６の形状が、当該ユーザ１の体の特徴（例えば、質量中心、全体の向き、頭の位置、肩の位置および向き、及び高さなど）を抽出するように解析される。これら特徴のいくつか、質量中心や全体の向きなどは、全クラスター６の点５から計算することができる一方、計算結果は、図８ａに示すように、人間のユーザ１の腕１５の位置に多大な影響を受けるだろう。図８ａでは、右腕を伸ばした人間のユーザ１を示すクラスター６の重心７と主軸１６が、人間のユーザ１の体に重ねて描かれている。上記の理由から、本実施例においては、人間のユーザ１の胴１９の質量中心１７と主軸１８を計算できるようにするために、最初に腕１５に対応する点５を識別し、考慮に入れない。その計算においては、胴１９をユーザ１の腕１５を除く全ボディとして理解する。この目的のために、次のステップが実行される：
ａ）選択したクラスター６の重心７と主軸１６を計算する。
ｂ）図８ｂに示すように、選択したクラスター６の点５の、前記主軸１６に対する距離を示す分布曲線２０を計算する。
ｃ）分布曲線２０の変曲点２１を計算する。
ｄ）選択したクラスター６の主軸１６に対する距離がＤ・ｓより小さい点５を選択する。ここでｓは、選択したクラスター６の主軸１６に対する変曲点２１の距離であり、Ｄは高くて１．５、好ましくは高くて１．２５の係数である。
ｅ）胴１の前記質量中心１７および主軸１８を、選択した点５の重心および主軸として計算する。

上記処理は繰り返し行えるが、通常一回通しで行えば良い結果が得られる。

クラスター６における頭２２のおよび肩２３の位置は、首２５と肩２６により形成される特有の角度によって識別され得る。二つの肩２６の位置から、二つの肩２６の向きもまた推察され得る。図９に示す初期設定段階において、肩２６の向きが出力用の表示スクリーンに対して平行であると見做されるように、人間のユーザ１は出力用の表示スクリーンに顔を向けるよう要求され、出力用の表示スクリーンは後の使用のための参照値を提供する。こうして、この初期設定段階は、少なくとも出力用の表示スクリーンの向きの参照値だけでなく、ＴＯＦ３次元カメラ３に対する人間のユーザ１の初期位置の参照値を提供する。人間のユーザ１とデータ処理装置２との後のいくつかの相互作用は、人間のユーザ１の少なくとも一部と、前記初期位置との相対位置に関係し得る。

また、人間のユーザ１の高さは、選択した点５のみを使って計算される。より良い精度のために、選択された点５が平均値でフィルタリングされ、残った点のうち最も高い点５の高さが人間のユーザ１の高さとして識別される。この高さ測定は、種々の条件が適合する、例えば胴１９の主軸１８が実質的に垂直であるとか、フィルタリング後に残った最も高い点５が、頭２２に相当すると識別されたクラスター２６の中もしくは近くにあるなどの場合のみ、妥当であると見做されるであろう。

ＴＯＦ３次元カメラ３が動画カメラである場合、複数のフレームの高さ測定結果は、ガウス混合モデルに送られ、ノイズの可能性や一時的に人間のユーザ１が低い位置をとることが考慮に入れられる。十分な重みを持つ最大平均値を用いたガウシアン混合モデルは、人間のユーザ１の高さのしっかりした値を提供するであろう。

第２の実施例において、上記クラスター６の形状解析により得られるパラメータ、例えば高さ、胴１９の質量中心１７および主軸１８、頭２２の位置、および肩２６の位置と向きなどは、Ｋ−ｍｅａｎｓアルゴリズムを用いてクラスター６をＫ個のサブクラスターに区切るのに用いることができる。例えば、Ｋ個の初期サブクラスターの一つは、頭２２に対応するとして識別された点５の少なくともいくつかを含むことができる。この場合クラスター６は低めのＫ値、例えば２５など、を持つサブクラスターに区切られ、当該サブクラスターはしかしながら、人間の体の構造に対応するパターンに追随する。２５個のサブクラスターの重心１１は、図７ａに示される。

次に、サブクラスター同士が接続していると判定することが、例えばサブクラスターの重心１１間の絶対距離、サブクラスター間の点５の存在などの判定基準を用いることにより可能である。これらサブクラスター間の接続を判定する目的は、図７ｂに示したような、サブクラスターの重心１１間の繋がり２８のネットワーク２７を生成することである。このようなネットワーク２７から、どのサブクラスターが端部２９（端部は他のサブクラスターに対する繋がり２８がより少ないはずである）を形成するかを類推することができる。

それ故に、人間のユーザ１はデータ処理装置２と、例えば次のものを通して相互作用することができる：
・質量中心１７の位置および／または動き。
・主軸１８の位置、向きおよび／または動き。
・肩２６の位置、向きおよび／または動き。
・頭２２の位置および／または動き。
・一つないしいくつかの端部２９の位置、向き、動きおよび／または形状。

相対だけでなく絶対の位置および動きをこれら相互作用のために用いることができる。例えば、お互い、主軸１８、肩２６、頭２２に対する端部２９の相対的位置および動きを通して、人間のユーザ１はデータ処理装置２と相互作用することができ、そして／またはデータ処理装置２によって生成された仮想環境の少なくとも一つの要素１４が相互作用の元となることができる。

図７ｃに示すように、ネットワーク２７を、既定のパターン（例えば人間の体のパターン）に追随する構造２８を生成するために用いることができる。こうして、端部２は単に全体の端部として認識されるだけでなく、例えば特定の右腕３０や左足３１としてラベル付けされる。このことは相互作用の可能性を増加させる。またこのことにより、図７ｄに示すように、人間のユーザ１を仮想環境で表すために、容積のあるアバター（化身）３２を生成することができる。

上記した全ての相互作用は、独立的にもしくは組み合わせて行うことができる。また例えば、１５０の球１２で占められるボリュームと、端部の相対運動の両方を通して人間のユーザ１がデータ処理装置２と相互作用するために、記載した両方の実施例の処理を実行することも可能である。

その上、本発明のボリューム認識システムおよび方法は、単独、もしくはデータ処理装置２との通信のために適した他のユーザインターフェイス、例えば、スイッチ、キーボード、マウス、トラックボール、タブレット、タッチパッド、タッチスクリーン、６ＤＯＦ（６自由度）タイプの周辺装置、ジョイスティック、ゲームパッド、運動追跡システム、視標追跡システム、データグローブ、３次元マウス、音声認識、生態電気センサ、ニューロンを用いたインターフェイス、踏み車、静止した自転車、漕ぎ機、またはデータ処理装置２への入力を提供するのに適した他のあらゆるセンサやインターフェイスと組み合わせて使うことができる。

本発明のボリューム認識システムおよび方法を通してデータ処理装置２に与えられる命令および入力には、次のようなものがある：
・例えば視点の回転、並進運動、位置取りおよび／または方向付け、さらには見通し、範囲、色、説明などの２次元および／または３次元ナビゲーション。
・メニュー、リスト、パラメータ選択、および／または入力フィールド内のｉ．ａ．ナビゲーションを含むインターフェイス要素のナビゲーション。
・ｉ．ａ．アバターコントロール、アプリケーション対象のパラメータのコントロール（例えば位置、向き、並進運動、回転運動、概観、形など）および／もしくはシステムパラメータの機能および／またはコントロールを含んだ操作。
・例えばｉ．ａ．行動命令、パラメータ変更命令および／または状態変更命令、行動命令および／またはアプリケーション対象の状態変更命令、コントロールパラメータおよび／またはその他の妥当性確証処理のような、動作誘引処理（triggering）。
・ｉ．ａ．インターフェイス要素、アプリケーション対象、実環境の対象などの選択。
・例えば物理シミュレーションにおける力の入力。
・例えば音量、アプリケーション対象物の概観、アプリケーション対象物などのための出力パラメータの調整。

データ処理装置２は、種々の出力装置のどれにでも順に接続することができる。出力装置は、例えば次のようなものである：
・例えば２次元または３次元の表示装置、拡声スピーカー、ヘッドフォン、プリンター、触覚出力装置、換気装置および／または背景の照明などのコンピュータ出力装置。
・仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）の出力装置、例えば仮想現実の目玉、携帯型表示装置、Ｃａｖｅ（登録商標）のようなマルチ表示装置、Ｒｅａｌｉｔｙ Ｃｅｎｔｅｒ（登録商標）のような大きな表示装置、立体スクリーン、力を返す装置、３次元表示装置、スモークマシン、および／またはスプリンクラーなど。
・家庭での自動化装置、例えば窓シャッター制御装置、暖房制御装置、および／または調光制御装置など。
・家庭の娯楽用装置、例えばテレビおよび／または音楽システム。
・携帯型装置、例えば携帯音楽および／またはビデオプレーヤー、位置検索システム、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、携帯コンピュータ、および／または携帯電話など。
・バルブや踏み車など、データ処理装置２に接続可能な他の装置。

本発明を上記特定の実施例を参照しながら記載したが、請求項に係る発明の目的の範囲から逸脱せずに、実施例の種々の修正および変更を施すことができることは明らかである。従って、明細書や図面は本発明を限定するものではなく、例証としてみなされるべきである。

Claims (22)

1. ａ）３次元の画像システム（３）を用いて３次元の画像データをキャプチャするステップであって、該画像データは複数の点（５）を示し、各点は少なくとも３次元空間の座標の集合を有するステップと、
   ｂ）少なくとも前記点（５）のいくつかをクラスター（６）の集合に分類するステップと、
   ｃ）位置および大きさなどの第１のパラメータの集合に従って、前記画像システム（３）の範囲に配置された興味の対象物（１）に対応するクラスター（６）を選択するステップと
   を含むボリューム認識方法であって、
   さらに前記方法は、
   ｄ）選択された前記クラスター（６）の少なくともいくつかの点（５）を、３次元空間における前記点（５）の位置を含んだ第２のパラメータの集合に従ってサブクラスターの集合に分類するステップであって、各サブクラスターは３次元空間における重心（１１）を有するステップと、
   ｅ）大きな塊（１２）を前記サブクラスターの少なくともいくつかにそれぞれ関連付けるステップであって、該大きな塊（１２）は該サブクラスターの重心（１１）に固定されるステップと
   をさらに含むことを特徴とする前記方法。
2. 請求項１に記載のボリューム認識方法であって、Ｋ−ｍｅａｎｓ法のアルゴリズムが、前記選択されたクラスター（６）の前記点を既定のＫ個の数のサブクラスターに分類するために用いられる前記方法。
3. 請求項１または２に記載のボリューム認識方法であって、サブクラスターに関連した前記大きな塊（１２）は球であり、好ましくは中心が前記サブクラスターの重心（１１）にある前記方法。
4. 請求項１から３のいずれか１項記載のボリューム認識方法であって、前記点（５）をクラスター（６）に分類するステップは、次のステップ：
   ａ）最初の点（５）を含む最初のクラスター（６）を作成するステップと、
   ｂ）各他の点（５）について次の処理：
   ｉ）３次元空間において重心（７）が前記他の点に最も近いクラスター（６）を発見する処理；
   ｉｉ）前記他の点（５）と前記最も近いクラスターの重心（７）間の３次元空間における絶対距離が既定の閾値θより大きく、かつクラスター（６）の数がまだ既定の最大値ｑより小さい場合、前記他の点を含む追加のクラスター（６）を作成する処理、もしくは
   ｉｉｉ）前記絶対距離が前記既定の閾値θよりも大きくない、またはクラスターの数が既に前記既定の最大値ｑに達している場合、前記他の点（５）を重心（７）が前記他の点（５）に最も近いクラスター（６）に追加する処理
   を実行するステップと
   を含む方法に従って実行される前記方法。
5. 請求項４に記載のボリューム認識方法であって、前記点（５）をクラスター（６）に分類するステップは、さらに、
   ａ）前記クラスター（６）のうちの二つが接続されているかを判定するステップと、
   ｂ）接続されているクラスター（６）を合体させるステップと
   を含む前記方法。
6. 請求項５に記載のボリューム認識方法であって、前記クラスター（６）のうちの二つが接続されているかを判定するステップが、
   ａ）前記二つのクラスター（６）の重心（７）を繋ぐ軸（８）に沿った該二つのクラスター（６）の各々の点（５）の投影の分布に関する標準偏差を計算するステップと、
   ｂ）既定の係数Ｓ、例えば２、が掛けられた前期標準偏差の和が前記二つのクラスター（６）の重心（７）間の絶対距離より大きいかどうかをチェックするステップとを含む前記方法。
7. 請求項１から６のいずれか１項に記載のボリューム認識方法であって、前記画像システム（３）はＴＯＦ３次元カメラ、ステレオカメラ、３次元空間の異なる位置に配置された複数のカメラ、またはＬＩＤＡＲ、ソナーもしくはレーダーシステムを含む前記方法。
8. 請求項１から７のいずれか１項に記載のボリューム認識方法であって、前記画像データは、少なくとも各点（５）の奥行き成分、天頂成分、および方位角成分を含み、さらにこれら点（５）のうちの少なくともいくつかの奥行き成分、天頂成分、および方位角成分を３次元の直交座標系に変換するステップを含む前記方法。
9. 請求項１から８のいずれか１項記載のボリューム認識方法であって、前記興味の対象物（１）は、少なくとも人間の体の部分であり、好ましくは立っている体の部分である前記方法。
10. 請求項９に記載のボリューム認識方法であって、さらに、
    前記体の胴（１９）の近似された質量中心（１７）と主軸（１８）を計算するステップ
    を含む前記方法。
11. 請求項１０に記載のボリューム認識方法であって、前記胴（１９）の近似された質量中心（１７）と主軸（１８）は、以下に示す、
    ａ）前記選択されたクラスター（６）の重心（７）と主軸（１６）を計算するステップ、
    ｂ）前記選択されたクラスター（６）の点（５）の、該選択されたクラスター（６）の前記主軸（１６）に対する距離の分布曲線（２０）を計算するステップ、
    ｃ）前記分布曲線（２０）における変曲点（２１）を計算するステップ、
    ｄ）前記選択されたクラスター（６）の前記主軸（１６）に対する距離がＤ・ｓより小さい点（５）を選択するステップであって、ｓは前記変曲点（２１）から前記選択されたクラスター（６）の前記主軸（１６）への距離であり、Ｄは高くて１．２５、好ましくは高くて１の係数であるステップ、
    ｅ）前記胴（１９）の前記質量中心（１７）および主軸（１８）を、前記選択された点（５）の重心および主軸として計算するステップ
    を実行することにより計算される前記方法。
12. 請求項１０または１１に記載のボリューム認識方法であって、前記胴（１９）の質量中心（１７）および／または主軸（１８）の位置および／または前記胴（１）の主軸（１８）の向きに従ってデータ処理システム（２）に信号が送られる前記方法。
13. 請求項１０から１２のいずれか１項に記載のボリューム認識方法であって、さらに、前記体の高さを測定するステップを含む前記方法。
14. 請求項１３に記載のボリューム認識方法であって、前記体の高さは、前記胴（１９）の主軸に対して既定の距離より近い前記選択されたクラスター（６）内の点（５）の高さを計算し、前記点の高さを、好ましくは中央値でフィルタリングし、フィルタリング後の前記点の高さの最大値を選択することにより測定される前記方法。
15. 請求項１４に記載のボリューム認識方法であって、前記体の高さの測定は、前記胴（１９）の主軸（１８）が実質的に垂直であるなど、条件が合っている場合のみ妥当であると見做される前記方法。
16. 請求項１から１５のいずれか１項に記載のボリューム認識方法であって、前記サブクラスターの集合に関わる前記大きな塊（１２）は、データ処理システム（２）によって生成される仮想環境で表示される前記方法。
17. 請求項１６に記載のボリューム認識方法であって、前記仮想環境の要素（１４）の集合と相互作用できるように、前記サブクラスターに関わる大きな塊（１２）の表示と、該仮想環境の要素（１４）の集合との衝突および／または近接のチェックを行う前記方法。
18. 請求項１から１７のいずれか１項に記載のボリューム認識方法であって、前記サブクラスター間の繋がり（２８）の集合は、例えば該サブクラスターの重心（１１）間の絶対距離、該サブクラスター間の点（５）の存在などの判定基準により形成される前記方法。
19. 請求項１８に記載のボリューム認識方法であって、前記興味の対象物（１）の端部（２９）の集合は、前記繋がり（２８）に従って識別される前記方法。
20. 請求項１９に記載のボリューム認識方法であって、少なくとも前記端部（２９）のうちの一つが、既定のパターン、例えば人間の体のパターンに従ってラベル付けされる前記方法。
21. 請求項１９または２０に記載のボリューム認識方法であって、前記端部（２９）のうちの少なくとも一つの絶対および／または相対位置ならびに／もしくは動きに従ってデータ処理システム（２）に信号が送られる前記方法。
22. 複数の点（５）を表示する３次元の画像データをキャプチャするための画像システム（３）を含むボリューム認識システムであって、
    各点（５）は少なくとも３次元空間の座標の集合を有し、前記点（５）の少なくともいくつかは前記画像システム（３）の範囲内に配置された興味の対象物（１）に対応し、
    データ処理システム（２）が、前記画像システム（３）に接続され、かつ該画像システム（３）と協働して、請求項１から２１に記載のボリューム認識方法を実行するためにプログラムされている前記システム。

Images