JP2021043930A - 人間行動理解システム及び方法 - Google Patents

Abstract

【課題】間行動理解システム及び人間行動理解方法を提供する。【解決手段】行動理解システムは、センサと、プロセッサと、を備える。センサは、一定時間、人体部分の動作を感知し、一連の動作感知データを取得する。一定時間内の少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果は、動作感知データによって生成される。比較結果は、動作感知データと基本動作データとを比較することによって生成される。基本動作データは、複数の基本動作に関連する。人体部分の行動情報を、比較結果によって判定する。行動情報は、少なくとも１つの基本動作によって形成される行動に関連する。従って、行動理解の正確性は向上され、実施の形態は、行動を素早く予測できる。【選択図】図３

Description

本開示は、概して、行動を予測するための方法に関し、具体的には、行動理解システム及び行動理解方法に関する。

人間の動作を分析すること及び行動理解の問題は、長年にわたって存在しており、その大きな潜在的適用性は、多数の研究者を引き付けている。

しかしながら、人間の行動を理解する作業は、人間の動作の複雑性が原因で未だ難しい。この作業は、実行速度、並びに対象の大きさ、その現場における位置、及びそのセンサに対する配置等の幾何学的な変化に左右されない必要があるために、より複雑となっている。さらに、いくつかの状況では、人間の行動は、オブジェクトと相互に影響を与えることを含む。そのような相互作用は、人間の似たような行動を区別することを補助し得るが、同時に、人体部分を隠してしまう等の課題をもたらす。

従来のアプリケーションでは、ユーザの動作を検出する１つ以上のセンサが提供され、ユーザの行動は、センサの検出結果に基づいて予測される。しかしながら、人間の行動は大量にあり、ユーザの行動を正確に予測することは困難である。従って、本開示は、人間行動理解システム及び人間行動理解方法を対象とする。

１つの例示的な実施の形態において、行動理解方法は、以下の、一連の動作感知データを取得するステップであって、動作感知データは、一定時間、人体部分の動作を感知することによって生成される、取得するステップと、少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果を生成するステップであって、少なくとも２つの比較結果は、動作感知データと基本動作データとを比較することによって生成され、基本動作データは、複数の基本動作に関連する、生成するステップと、人体部分の行動情報を、比較結果によって判定するステップであって、行動情報は、少なくとも１つの基本動作によって形成される行動に関連する、判定するステップと、を備えるが、これに限定されない。

１つの例示的な実施の形態において、行動理解システムは、センサと、プロセッサと、を備えるが、これに限定されない。センサは、一定時間、人体部分の動作を感知することに使用される。プロセッサは、以下の：少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果を生成するステップであって、時点は、一定時間内にあり、少なくとも２つの比較結果は、動作感知データと基本動作データとを比較することによって生成され、基本動作データは、複数の基本動作に関連する、生成するステップと、人体部分の行動情報を、比較結果によって判定するステップであって、行動情報は、少なくとも１つの基本動作によって形成される行動に関連する、判定するステップと、を備えるが、これに限定されない。

上述を鑑みて、１つ以上の実施の形態において提供される行動理解システム及び行動理解方法によれば、異なる時点で取得された動作感知データは、所定の基本動作と比較される。各所定の行動は、１つ以上の特定の基本動作と関連付けられている。複数の時点における動作感知データに対応する基本動作が所定の行動と合致しているかが確認され、現在の人体部分の行動情報が判定される。それにより、行動理解の正確性が改善され、実施の形態は、行動情報を素早く予測できる。

本概要は、本開示の全ての様態及び実施の形態を含むわけではなく、いかなる意味においても限定的又は制限的ではなく、本明細書に開示される発明は、その明らかな改良及び変更を含むことが当業者によって理解される点が理解されるべきである。

付される図面は、本開示に対するさらなる理解を提供するために含まれ、本明細書に組み込まれ、その一部を構成する。図面は、本開示の実施の形態を示し、説明と共に、本開示の原理を説明するために供される。

図１は、本開示の１つの例示的な実施の形態に係る、行動理解システムを示すブロック図である。

図２は、本開示の１つの例示的な実施の形態に係る、行動理解システムを示す概要図である。

図３は、本開示の１つの例示的な実施の形態に係る、行動理解方法を示すフローチャートである。

図４は、本開示の１つの例示的な実施の形態に係る、動作検出方法を示すフローチャートである。

図５は、本開示の１つの例示的な実施の形態に係る、異なる時点における行動理解を示す概要図である。

図６Ａ及び６Ｂは、本開示の１つの例示的な実施の形態に係る、２つの行動を示す概要図である。

本開示の好ましい実施の形態についての説明がここに提供され、その例は付される図面に示される。可能な限り、同じ参照番号は、図面及び説明において同じ又は同様の部分を参照するために使用される。

図１は、本開示の１つの例示的な実施の形態に係る、行動理解システムを示すブロック図である。図１を参照すると、行動理解システム１００は、１つ以上のセンサ１１０と、メモリ１３０と、プロセッサ１５０と、を備えるが、これに限定されない。行動理解システム１００は、ＶＲ、ＡＲ、ＭＲ、ＸＲ、及びその他の仮想現実関連技術に適用可能である。

センサ１１０は、加速度計、ジャイロスコープ、磁力計、レーザーセンサ、慣性計測装置（ＩＭＵ）、赤外線（ＩＲ）センサ、画像センサ、深度カメラ、又はそれらのセンサの任意の組み合わせであってよい。本開示の実施の形態において、センサ１１０は、一定時間、１つ以上の人体部分の動作を感知するために使用される。人体部分は、手、頭、足首、足、腰、又は別の部分であってよい。センサ１１０は、対応する人体部分の動作を感知可能であり、一定時間内の複数の時点におけるセンサ１１０（例えば、カメラ画像、感知強度値等）の感知結果から一連の動作感知データを生成する。１つ例では、動作感知データは、３自由度（３−ＤｏＦ）データを含み、３自由度データは、上下、前後、左右の揺れの加速等の三次元（３Ｄ）空間における人体部分の回転データに関連する。別の例では、動作感知データは、２Ｄ／３Ｄ空間における人体部分の相対位置及び／又は変位を含む。センサ１１０は、ウェアラブルコントローラ、スマートウォッチ、足首センサ、ヘッドマウントディスプレイ（ＨＭＤ）、その他等の携帯コントローラ又はウェアラブル装置に埋め込まれてよいことが理解される。

メモリ１３０は、固定又は携帯ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、若しくは同様の装置の任意の種類、又はそれらの組み合わせであってよい。メモリ１３０は、プログラムコード、装置構成、バッファデータ、又は保存データ（動作感知データ、比較結果、基本動作に関連する情報等）を保存することに使用可能であり、これらのデータは後に説明する。

プロセッサ１５０は、メモリ１３０に接続され、メモリ１３０に保存されたプログラムコードをロードするように構成され、本開示の例示的な実施の形態の手順を実行する。プロセッサ１５０の機能は、中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他等を使用して実装されてよい。プロセッサ１５０の機能は、また、独立した電子装置又は集積回路（ＩＣ）によって実装されてよく、プロセッサ１５０の動作は、ソフトウェアによって実装されてもよい。

プロセッサ１５０は、センサ１１０と同じ装置に配置されてよく、されていなくてもよい。しかしながら、センサ１１０を装備する各装置、及びプロセッサ１５０は、さらに、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、又は物理通信線等の相互通信技術を備える通信送受信機を備えてよい。

図２は、本開示の１つの例示的な実施の形態に係る、行動理解システム２００を示す概要図である。図２を参照すると、行動理解システム２００は、ＨＭＤ１２０と、２つの足首センサ１４０と、２つの携帯コントローラ１６０と、を備える。ＩＭＵ１１１及び１１３（例えば、センサ１１０）は、足首センサ１４０及び携帯コントローラ１６０に埋め込まれており、動作感知データの第１の部分を取得する。ステレオカメラ１１５（例えば、センサ１１０）及びプロセッサ１５０は、ＨＭＤ１２０に埋め込まれており、ステレオカメラ１１５は、動作感知データの第２の部分を判定するために、１つ以上の人体部分Ｂ１−Ｂ４に向かってカメラ画像を取得するように構成されてよい。

いくつかの実施の形態において、一連の動作感知データは、同じ人体部分の動作感知データの第１の部分及び動作感知データの第２の部分を組み合わせることで生成されてよい。例えば、１つの動作感知データは、１つ以上の時点における動作感知データの第１の部分に基づいて判定され、別の動作感知データは、１つ以上の時点における動作感知データの第２の部分に基づいて判定される。別の例では、１つに時点における動作感知データの第１の部分及び動作感知データの第２の部分は、第１の部分及び第２の部分の重量関係によって結合されてよく、１つの一連の動作感知データが判定される。

いくつかの実施の形態において、一連の動作感知データは、動作感知データの第１の部分又は動作感知データの第２の部分のみに基づいて生成されてよい。例えば、動作感知データの第１の部分及び動作感知データの第２の部分は、一連の動作感知データを判定するために選択され、選択されなかった動作感知データは、省かれる。

いくつかの実施の形態において、ＨＭＤ１２０は、さらに、別のＩＭＵ（不図示）を備えてよく、人体部分Ｂ５（例えば、頭）の回転情報を取得する。ＨＭＤ１２０、足首センサ１４０、及び携帯コントローラ１６０は、相互通信技術を介して互いに通信してよい。

行動理解システム２００は、単に、センサ１１０及びプロセッサ１５０の配置及び通信手段を示す例であることが理解される。しかしながら、行動理解システム１００の別の実装例がさらに存在してよく、本開示はこれに限定されない。

本開示の１つ以上の実施の形態において提供される動作プロセスをより良く理解するために、いくつかの実施の形態が以下において例示され、行動理解システム１００又は２００の動作プロセスを説明する。行動理解システム１００又は２００の装置及びモジュールは、本明細書の制御方法を説明するために、以下の実施の形態において適用される。制御方法の各ステップは、実際の実装状況によって調整可能であり、本明細書の説明に限定されるものではない。

本開示の実施の形態における用語「行動」は、人間の仕草、人間の行為、人間の活動の３つの種類によって定義される。行動の各種類は、動作複雑性の特定度数、人間−オブジェクト相互性の特定度数、及び行動の特定期間によって特徴付けられる。例えば、仕草行動は、低い複雑性及び短い期間を有し、行為行動は、中間の複雑性及び中間の期間を有し、活動行動は、高い複雑性及び高い期間を有する。仕草行動は別のオブジェクトと相互に影響を与えないが、行為行動及び活動行動は別のオブジェクトと相互に影響を与える可能性がある。１つの仕草行動は、人体部分（しばしば、腕）の一部分のみの動作によって特徴付けられてよい。１つの行為行動は、複数の仕草の組み合わせを含む若干複雑な動きによって特徴付けられてよく、複数の人体部分の動作によって特徴付けられてもよい。また、活動行動は、複数の動き又は行為が連続して実行されるような高レベルの動作複雑性によって特徴付けられてよい。

図３は、本開示の１つの例示的な実施の形態に係る、行動理解方法を示すフローチャートである。図３を参照すると、動作感知データは、センサ１１０を介して取得される（ステップＳ３１０）。センサ１１０の異なる種類について、２Ｄ／３Ｄ空間における対応する人間部分の動作の加速度、回転、磁力、方向、距離、及び／又は位置（以後、感知結果と称する）が取得されてよく、センサ１１０の１つ以上の感知結果は、身体部部の動作感知データとなる。

行動理解システム２００を例にとると、人体部分Ｂ１の６−ＤｏＦ情報が判定され得る。図４は、本開示の１つの例示的な実施の形態に係る、動作検出方法を示すフローチャートである。図２から４を参照すると、足首センサ１４０は、加速度計、ジャイロスコープ、磁力計の機能を備えるＩＭＵ１１１を備え、人体部分Ｂ１の加速度Ａ、回転Ｇ（方向及び角速度を含んでよい）、及び磁場Ｍが取得される（ステップＳ４０１）。人体部分Ｂ１の姿勢は、人体部分Ｂ１で感知される加速度Ａ、回転Ｇ、及び磁場Ｍによって推測され（ステップＳ４０２）、所定の座標系における人体部分Ｂ１の回転情報が判定されてよい。例えば、姿勢は、上に回転する、左に旋回する、その他であってよい。

一方、ステレオカメラ１１５は、人体部分Ｂ１に向かうモノ画像ｍ_１、ｍ_２をキャプチャする（ステップＳ４０３）。プロセッサ１５０は、モノ画像ｍ_１、ｍ_２に対して魚眼デワーピング処理を実行してよく、平坦処理されたモノ画像ｍ_１、ｍ_２が生成される（ステップＳ４０４）。平坦処理されたモノ画像ｍ_１、ｍ_２中の人体部分Ｂ１は、機械学習技術（ディープラーニング、人工ニューラルネットワーク（ＡＮＮ）、又はサポートベクターマシン（ＳＶＭ）等）によって識別される。その後、人体部分Ｂ１に対応する感知強度及びピクセル位置が、人体部分Ｂ１の深度情報（例えば、ＨＭＤ１２０との距離）を推測するために使用されてよく（ステップＳ４０５）、ステレオカメラ１１５と平行な平面における人体部分Ｂ１の２Ｄ位置を推測するために使用されてよい（ステップＳ４０６）。プロセッサ１５０は、ステップＳ４０５及びＳ４０６において推測された人体部分Ｂ１の距離及び２Ｄ位置によって、所定の座標系における３Ｄ位置を生成してよい（ステップＳ４０７）。その後、所定の座標系における人体部分Ｂ１の回転及び３Ｄ位置は結合され（ステップＳ４０８）、動作感知データとされる６−ＤｏＦ情報が出力されてよい（ステップＳ４０９）。

別の実施の形態において、人体部分Ｂ１の３Ｄ位置は、人体部分Ｂ５の３位置及び人体部分Ｂ１の回転情報によって判定されてよい。具体的には、６−ＤｏＦセンサが身体部部Ｂ５に装備されてよく、それにより、人体部分Ｂ５の位置及び回転情報が取得される。一方、人体部分Ｂ１の回転情報は、ステップ４０２で説明されたように取得できる。その後、人体部分Ｂ１の変位は、３つの軸における人体部分Ｂ１の検出された加速度を二重積分することによって推測されてよい。しかしながら、ユーザが歩いた場合、ユーザの人体部分Ｂ１の推測された変位の誤差が蓄積される可能性があり、人体部分Ｂ１の推測された変位は正確ではなくなってしまう。推測された位置の正確性を向上させるために、人体部分Ｂ５の位置は、ユーザの基準点として考慮することができ、人体部分Ｂ１の推測された位置は、基準点によって修正されてよい。歩行又走行中、人体部分Ｂ５の変位は、足を上げる、足をのばす、歩行または走行中の任意の別の姿勢等の特定の姿勢の人体部分Ｂ１の変位に対応する。特定の姿勢の人体部分Ｂ１の位置は、リセット位置として考慮でき、リセット位置は、基準点に対応した特定の相対位置を有する。プロセッサ１５０が人体部分Ｂ１の変位によってユーザが歩行又は走行していると判定した場合、人体部分Ｂ１の推測された位置は、基準点に対応する特定の相対位置によるリセット位置に修正されてよく、それにより、ＩＭＵ１１１により生成された推測の誤差を除去する。

動作感知データを取得するための多数の別の実施の形態がさらに存在することが理解される。例えば、６−ＤｏＦセンサが人体部分Ｂ１に装備されてよく、それにより、６−ＤｏＦ情報が動作感知データとなる。別の例では、深度カメラが人体部分Ｂ１に装備されてよく、それにより、検出された深度情報が動作感知データとなる。

図３を参照すると、プロセッサ１５０は、それぞれ、少なくとも２つの時点に対応する少なくとも２つの比較結果を生成してよい（ステップＳ３３０）。具体的には、各比較結果は、動作感知データを、基本動作データと比較することにより生成される。基本動作データは、複数の基本動作に関連し、基本動作データは、各基本動作についての特定の動作感知データを含んでよい。人体部分Ｂ１又はＢ２を例にとると、基本動作は、リフティング、ポインティング、蹴り、ステップ、又はジャンプであってよい。リフティング基本動作は、動作感知データの特定の姿勢に関連していてよい。１つ以上の基本動作は、連続的に実行され、行動を形成する。これは、各行動は、時系列の１つ以上の基本動作に関連付けられていることを意味する。時系列は、複数の時点を含む。１つの行動は、複数の時点における１つ以上の基本動作に分割できる。例えば、人体部分Ｂ１の蹴り行動は、２つの時点における連続的なリフティング及び蹴り基本動作を含む。２つの隣接する時点の間の期間は、実際の要求に基づいて固定又は変更されてよい。

いくつかの実施の形態において、各時点における動作感知データは、基本動作データの複数の所定の基本動作と比較され、比較結果が生成される。各所定の基本動作は、３Ｄ空間における特定の位置及び特定の方向等の特定の動作感知データに関連付けられている。また、複数の基本動作の順番が１つの行動の形成に必要なため、異なる時点おける比較結果は、その後の使用のためにメモリ１３０に保存される。本実施の形態において説明さえる順番は、基本動作はそれが起こった時点順であることに関連することが理解される。

いくつかの実施の形態において、複数の基本動作の特定の動作感知データは、機械学習技術に基づいた分類器又はニューラルネットワークモデルを訓練するための訓練サンプルであってよい。分類器又はニューラルネットワークモデルは、どの基本動作がステップＳ３１０において取得された動作感知データに対応するか識別、又は検出された人体部分の動作が基本動作の１つである可能性を判定することに使用されてよい。

いくつかの実施の形態において、比較結果は、それぞれ、異なる基本動作に対応する最も似ている１つ以上の基本動作又は可能性であってよい。

いくつかの実施の形態において、可能性を数値化するために、動作感知データ及び基本動作データの合致度が、検出された人体部分の動作は特定の基本動作である１つの可能性を表すことに使用されてよい。合致度は、０〜１００％の値であってよく、人体部分の動作が特定の基本動作である可能性を示し、全ての所定の基本動作に対応する合致度の合計は、例えば、１００％であってよい。例えば、時点における比較結果は、リフティング基本動作を１０％、ポインティング基本動作を０％、蹴り基本動作を７５％、ステップ基本動作を３％、及びジャンプ基本動作を２２％含む。

いくつかの実施の形態において、１つ以上の基本動作は、各時点におけるすべての基本動作に対応する合致度による比較結果の代表として選択されてよい。例えば、最も高い合致度の１つ以上の基本動作が、比較結果の代表であってよい。別の例では、閾値（例えば６０、７５、又は８０％）より高い合致度の１つ以上の基本動作が、比較結果の代表であってよい。

比較結果は、上記の実施の形態における全ての所定の基本動作に対応する複数の合致度を含むことが理解される。しかしながら、比較結果を判定する別の実装例がさらに存在してよい。例えば、比較結果は、ステップＳ３１０において取得された動作感知データ、及び基本動作の特定の動作感知データの間の差を含んでよく、差が少ない１つ以上の基本動作が比較結果の代表となってよい。また、基本動作は、身体の幾何学的な構造の制限と動作感知データとを比較するために選択されてよい。例えば、人間のほとんどは、胸に対して特定の角度以上に腕を水平に後ろ向きに伸ばすことはできない。

いくつかの実施の形態において、所定の基本動作に加えて、基本動作中の所定の基本動作とは異なる非所定の基本動作が、一連の動作感知データ及び機械学習アルゴリズムを使用して訓練されてよい。例えば、閾値よりも高い合致度の所定の基本動作が存在しない場合、現在の時点における動作感知データは、分類器又はニューラルネットワークモデルに新規の基本動作を訓練させる訓練サンプルとなる。

図３を参照すると、プロセッサ１５０は、少なくとも２つの比較結果によって人体部分の行動情報を判定してよい（ステップＳ３５０）。上記の通り、１つ以上の基本動作は、連続的に実行されて１つの行動を形成する。行動情報は、基本動作の少なくとも１つによって形成される行動に関連する。異なる時点における比較結果は、それらの順番に基づいて結合され、どの所定の基本動作が比較結果の組み合わせに合致しているかを判定する。各所定の行動は、１つ以上の特定の基本動作が順番に関連付けられている。１つの実施の形態において、ステップＳ３３０において判定された比較結果の連続性が判定される。これらの判定された基本動作（例えば、比較結果の代表）の連続性は、基本動作が実行された順番に関連する。例えば、第２の時点における別の基本動作の後に、第３の時点における基本動作は実行される。人体部分の行動は、連続性によって判定される。プロセッサ１５０は、以前の時点における動作感知データに対応する判定された基本動作を含む１つ以上の所定の行動を選択してよく、選択された所定の行動は、その後の時点における別の判定された基本動作をさらに含むかを確認する。あるいは、１つの組み合わせ中の複数の比較結果は、所定の行動と同時に比較され、プロセッサ１５０は、組み合わせによって結果を直接出力してよい。結果は、組み合わせが１つの所定の行動と合致しているかに関連する。行動情報は、判定された行動、判定された行動を形成する複数の基本動作、及び対応する一連の動作感知データを含んでよいが、これに限定されない。

図５は、本開示の１つの例示的な実施の形態に係る、異なる時点における行動理解を示す概要図である。図６Ａ及び６Ｂは、本開示の１つの例示的な実施の形態に係る、２つの行動を示す概要図である。図５及び図６Ａを参照すると、人体部分Ｂ１について、例えば、リフティング基本動作が第１の時点ｔ１における動作感知データによって判定され、ポインティング基本動作が第２の時点ｔ２における動作感知データによって判定される。時間ウィンドウＷ１内の２つの判定された基本動作は、１つの組み合わせとして結合される。本実施の形態の時間ウィンドウは、１つの組み合わせ中の比較結果の数に関連する。その後、プロセッサ１５０は、組み合わせ（すなわち、リフティング基本動作及びキック基本動作）によって、ステップ行動が実行されたと判定してよい。この連続性は、リフティング基本動作の後に、ポインティング基本動作が実行されたことに関連する。

図５及び図６Ｂを参照すると、人体部分Ｂ１及びＢ２について、例えば、ディープスクワット基本動作が第３の時点ｔ３における動作感知データによって判定され、ジャンプ基本動作が第４の時点ｔ４における動作感知データによって判定される。時間ウィンドウＷ３内の２つの判定された基本動作は、１つの組み合わせとして結合される。その後、プロセッサ１５０は、組み合わせ（すなわち、ディープスクワット基本動作及びジャンプ基本動作）によって、ジャンプ行動が実行されたと判定してよい。この連続性は、ディープスクワット基本動作の後に、ジャンプ基本動作が実行されたことに関連する。

従って、１つの行動は、その後の時点における更なる動作感知データを取得せずに、正しく予測できる。

時間ウィンドウは、変更可能であることが理解される。比較結果がいかなる所定の行動とも合致しないことに応答して、時間ウィンドウは、組み合わせ中のより多くの比較結果を含むように拡大できる。例えば、図５を参照すると、時間ウィンドウＷ１は、拡大されて時間ウィンドウＷ２となり、時間ウィンドウＷ２内の組み合わせは、３つの時点における３つの比較結果を含む。時間ウィンドウＷ２内の組み合わせは、任意の所定の行動に合致しているかが判定される。

一方、比較結果が１つ所定の行動と合致したことに応答して、時間ウィンドウは、縮小又は維持される。例えば、図５を参照すると、時間ウィンドウＷ２内の組み合わせが１つの所定の行動と合致した後、時間ウィンドウＷ２は、縮小されて時間ウィンドウＷ３となる。時間ウィンドウＷ３内の別の組み合わせは、２つ時点ｔ３及びｔ４における２つの比較結果を含む。その後、プロセッサ１５０は、時間ウィンドウＷ３内の組み合わせは、任意の所定の行動に合致しているかが判定される。

合致度の値は、比較結果が正しいという信頼に関連していてよいことが理解される。１つの実施の形態において、各時点における比較結果の代表の合致度は、閾値を比較されてよい。閾値は、５０、７０、又は８０％であってよい。代表の合致度が閾値よりも高いことに応答して、代表は、人体部分の行動を判定するために使用されてよい。例えば、閾値が６０であると、７５％のジャンプ基本動作は、行動の判定の基準として使用できる。

代表の合致度が閾値よりも低いことに応答して、代表は、人体部分の行動を判定するために使用されない。代表は、放棄されるか、優先度が低いと価値づけられる。例えば、閾値が８０であると、６５％のジャンプ基本動作は、放棄され、蹴り基本動作は、行動の判定の基準として使用されない。別の例では、閾値が６０であり、第１の時点において６５％のポインティング基本動作、第２の時点において５５％のリフティング基本動作、第３の時点において８０％の蹴り基本動作である。プロセッサ１５０は、蹴り基本動作が３つの基本動作によって実行されたとは考えない。

また、１つの行動は、複数の人体部分の基本動作に関連していてよい。例えば、図２を参照すると、ユーザの行動は走行であると推定される。１つに時点において、人体部分Ｂ１の動作は、リフティング基本動作に対応し、人体部分Ｂ２の動作は、ポインティング基本動作に対応する。１つの実施の形態において、別の人体部分の動作の感知によって生成された第２の動作感知データが取得され、少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果が、第２の動作感知データによって判定され、人体部分の行動が、ステップＳ３３０において判定された少なくとも２つの比較結果及び少なくとも２つの第２の比較結果によって判定される。第２の動作感知データを取得する方法及び第２の比較結果を判定する方法は、それぞれ、ステップＳ３１０及びＳ３３０と同一又は同様であってよく、関連する説明は省略される。上記の実施の形態との違いは、本実施の形態においては、１つの人体部分のいくつかの所定の行動は、複数の人体部分の複数の特定の基本動作に関連付けられていることである。プロセッサ１５０は、２つ以上の人体部分の判定された基本動作が１つの所定の行動と合致しているかを確認する。

例えば、リフティング基本動作は、第１の時点ｔ１における人体部分Ｂ１の動作感知データによって判定され、ポインティング基本動作は、第２の時点ｔ２における人体部分Ｂ１の動作感知データによって判定される。また、ポインティング基本動作は、第１の時点ｔ１における人体部分Ｂ２の動作感知データによって判定され、リフティング基本動作は、第２の時点ｔ２における人体部分Ｂ２の動作感知データによって判定され、その後、プロセッサ１５０は、人体部分Ｂ１及びＢ２の判定された基本動作の組み合わせによって、走行行動が実行されたと安定してよい。

１つの異なる設計要求に基づいて、別の実施の形態において、１つ以上の所定の行動は、３つ以上の人体部分の複数の基本動作に関連付けられていてよい。プロセッサ１５０は、これらの人体部分の比較結果が任意の所定の行動と合致しているかを確認する。

人体部分の行動情報が判定された後、ディスプレイ上に表示されたアバター又は画像の動作は、判定された高度によって調整されてよい。例えば、脚部の行動が走行であると、アバターは走ってよい。別の例では、頭の行動が見上げることであると、ディスプレイ上の画像には空は表示される。

総括すると、上記で説明した例示的な実施の形態は、行動理解システム及び行動理解方法を示す。特定の人体部分の動作は、各時点における１つ以上の基本動作と合致しているかが判定される。２つ以上の判定された基本動作は、複数の所定の行動と比較され、１つの合致した行動を判定する。連続性及び合致度は、行動を推測するための状態であるとみなされる。従って、行動理解の正確性は向上され、実施の形態は、行動を素早く予測できる。

本開示の構造に対して、様々な変形及び変更を、本開示の範囲及び精神から逸脱することなく行うことができる点が当業者にとって明らかである。上述を鑑みて、本開示は、以下の特許請求の範囲及びその同等の範囲内にある変形例及び変更例をその範囲に含む。

本発明の行動理解システム及び行動理解方法は、人間行動の推測に適用される。

１００、２００ 行動理解システム
１１０ センサ
１１１、１１３ ＩＭＵ
１１５ ステレオカメラ
１２０ ＨＭＤ
１３０ メモリ
１４０ 足首センサ
１５０ プロセッサ
１６０ 携帯コントローラ
Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５ 人体部分
Ｓ３１０〜Ｓ３５０、Ｓ４０１〜Ｓ４０８ ステップ
ｔ１〜ｔ４ 時点
Ｗ１〜Ｗ３ 時間ウィンドウ

Claims (18)

1. 一連の動作感知データを取得することであって、前記動作感知データは、一定時間、人体部分の動作を感知することによって生成される、取得することと、
   少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果を生成することであって、前記少なくとも２つの時点は、一定時間内にあり、前記少なくとも２つの比較結果は、前記動作感知データと基本動作データとを比較することによって生成され、前記基本動作データは、複数の基本動作に関連する、生成することと、
   前記人体部分の行動情報を、前記比較結果によって判定することであって、前記行動情報は、少なくとも１つの基本動作によって形成される行動に関連する、判定することと、
   を備える、
   人間行動理解方法。
2. 前記少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果を生成することは、
   前記動作感知データ及び前記基本動作の合致度を判定することであって、前記各比較結果は、前記合致度を含み、前記合致度は、前記動作感知データが前記基本動作の１つである可能性に関連する、判定すること、を備える、
   請求項１の人間行動理解方法。
3. 前記各時点における前記動作感知データによって、前記基本動作にそれぞれ対応する合致度を判定することは、
   前記各時点における前記合致度によって、前記基本動作の１つを、前記比較結果の１つの代表として選択すること、を備える、
   請求項２の人間行動理解方法。
4. 前記少なくとも２つの比較結果によって前記人体部分の行動情報を判定することは、
   前記代表の合致度を、閾値と比較することと、
   前記代表の前記合致度が前記閾値よりも高いことに応答して、前記人体部分の前記行動情報を判定することと、
   前記代表の前記合致度が前記閾値よりも低いことに応答して、前記人体部分の前記行動情報を判定しないことと、
   を備える、
   請求項３の人間行動理解方法。
5. 前記少なくとも２つの比較結果によって前記人体部分の行動情報を判定することは、
   前記少なくとも２つの比較結果の連続を判定することであって、前記連続性は、少なくとも２つの前記基本動作が実行された順番に関連する、判定することと、
   前記連続性によって、前記人体部分の行動を判定することと、
   を備える、
   請求項１の人間行動理解方法。
6. 前記一連の動作感知データを取得することは、
   複数のカメラ画像を取得することと、
   前記カメラ画像から前記一連の動作感知データを判定することと、
   を備える、
   請求項１の人間行動理解方法。
7. 前記一連の動作感知データを取得することは、
   慣性計測装置（ＩＭＵ）から前記一連の動作感知データを取得すること、を備える、請求項１の人間行動理解方法。
8. 前記一連の動作感知データを取得することは、
   複数のカメラ画像を取得することと、
   前記カメラ画像、及びＩＭＵからの感知結果によって、前記一連の動作感知データを判定することと、
   を備える、
   請求項１の人間行動理解方法。
9. 前記一連の動作感知データ及び機械学習アルゴリズムを使用して、前記基本動作とは異なる非所定の基本動作を、前記基本動作データに加えること、をさらに備える、請求項１の人間行動理解方法。
10. 一定時間、人体部分の動作を感知するセンサと、
    前記センサの一連の動作感知データを取得し、
    少なくとも２つの時点にそれぞれ対応する少なくとも２つの比較結果を生成することであって、前記少なくとも２つの時点は、一定時間内にあり、前記少なくとも２つの比較結果は、前記動作感知データと基本動作データとを比較することによって生成され、前記基本動作データは、複数の基本動作に関連する、生成をし、
    前記人体部分の行動情報を、前記比較結果によって判定することであって、前記行動情報は、少なくとも１つの基本動作によって形成される行動に関連する、判定をするように構成されるプロセッサと、
    を備える、
    人間行動理解システム。
11. 前記プロセッサは、
    前記動作感知データ及び前記基本動作の合致度を判定することであって、前記各比較結果は、前記合致度を含み、前記合致度は、前記動作感知データが前記基本動作の１つである可能性に関連する、判定をするように構成される、
    請求項１０の人間行動理解システム。
12. 前記プロセッサは、
    前記各時点における前記合致度によって、前記基本動作の１つを、前記比較結果の１つの代表として選択するように構成される、
    請求項１１の人間行動理解方法。
13. 前記プロセッサは、
    前記代表の合致度を、閾値と比較し、
    前記代表の前記合致度が前記閾値よりも高いことに応答して、前記人体部分の前記行動情報を判定し、
    前記代表の前記合致度が前記閾値よりも低いことに応答して、前記人体部分の前記行動情報を判定しないように構成される、
    請求項１２の人間行動理解システム。
14. 前記プロセッサは、
    前記少なくとも２つの比較結果の連続を判定することであって、前記連続性は、少なくとも２つの前記基本動作が実行された順番に関連する、判定をし、
    前記連続性によって、前記人体部分の行動を判定するように構成される、
    請求項１０の人間行動理解システム。
15. 前記一連の動作感知データを取得することは、
    前記センサは、複数のカメラ画像を取得し、
    前記プロセッサは、さらに、
    前記カメラ画像から前記一連の動作感知データを判定するように構成される、
    請求項１０の人間行動理解システム。
16. 前記センサは、慣性計測装置（ＩＭＵ）であり、
    前記プロセッサは、さらに、
    前記ＩＭＵから前記一連の動作感知データを取得するように構成される、
    請求項１０の人間行動理解システム。
17. 前記センサは、複数のカメラ画像を取得し、
    ＩＭＵである第２のセンサをさらに備え、
    前記プロセッサは、さらに、
    前記カメラ画像、及びＩＭＵからの感知結果によって、前記一連の動作感知データを判定するように構成される、
    請求項１０の人間行動理解システム。
18. 前記プロセッサは、
    前記一連の動作感知データ及び機械学習アルゴリズムを使用して、前記基本動作とは異なる非所定の基本動作を、前記基本動作データに加えるように構成される、請求項１０の人間行動理解システム。
    
    

Images