JP2020530170A5 - - Google Patents

Description

被写体識別サブシステム２６０２（第１の画像プロセッサとも呼ばれる）は、複数のカメラ１１４から対応する画像シーケンスを受信する被写体画像認識エンジンを含む。被写体画像認識エンジンは、画像を処理して、対応する画像シーケンス内の画像に表される被写体を識別する。一実施形態では、被写体画像認識エンジンが関節ＣＮＮ１１２ａ〜１１２ｎと呼ばれる畳み込みニューラル・ネットワーク（ＣＮＮ）として実装される。重なり合う視野を有するカメラに対応する関節ＣＮＮ１１２ａ〜１１２ｎの出力は、各カメラの２Ｄ画像座標から実空間の３Ｄ座標に関節の位置をマッピングするために組み合わされる。ｊが１〜ｘに等しい被写体（ｊ）毎の関節データ構造８００は、各画像について実空間及び２Ｄ空間における被写体（ｊ）の関節の位置を識別する。被写体データ構造８００の幾つかの詳細を図８に示す。

Claims (15)

1. 実空間のエリア内の多関節被写体を追跡するシステムであって、
   複数のカメラ内のカメラが前記実空間内の対応する視野のそれぞれの画像シーケンスを生成し、前記複数のカメラにおいて各カメラの前記視野が少なくとも１つの他のカメラの前記視野と重なる、前記複数のカメラと、
   前記複数のカメラと結合された処理システムと、を備えてなり、
   前記処理システムが、
   前記複数のカメラから前記画像シーケンスを受信し、画像を処理し、関節タイプ、特定の画像の時間、及び前記特定の画像内の要素の座標によって、前記特定の画像の要素を分類する、前記特定の画像に対応する関節データ構造の配列を生成する画像認識エンジン、
   重なる視野を有するカメラからの画像シーケンス内の画像に対応する前記関節データ構造の配列を受信し、様々な画像シーケンス内の画像に対応する前記関節データ構造の配列内の前記要素の前記座標を、実空間内の座標を有する候補関節に変換するように構成された追跡エンジン、及び、
   実空間内の座標を有する候補関節のセットを前記実空間内の多関節被写体として識別するロジック、を備えることを特徴とするシステム。
2. 画像認識エンジンが、画像を処理して、
   前記画像の要素に対する信頼度配列を生成し、
   画像の特定の要素についての信頼度配列は、前記特定の要素についての複数の関節タイプについての信頼値を含ものであり、
   更に、前記信頼度配列に基づいて、前記特定の要素の前記関節データ構造の関節タイプを選択する請求項１に記載のシステム。
3. 候補関節のセットを識別する前記ロジックが、候補関節のセットを多関節被写体として識別するために、実空間における被写体の関節間の物理的関係に基づくヒューリスティック関数を備える請求項１または２に記載のシステム。
4. 多関節被写体として識別された前記候補関節のセットを記憶するロジックを備え、
   候補関節のセットを識別する前記ロジックが、特定の時間に撮影された画像において識別された候補関節が先行する画像において多関節被写体として識別された前記候補関節のセットのうちの１つのメンバーに対応するかどうかを判定するロジックを含む請求項１〜３のいずれか１項に記載のシステム。
5. 実空間のエリア内の多関節被写体を追跡する方法であって、
   各カメラの視野が少なくとも１つの他のカメラの視野と重なり合う複数のカメラを使用して、前記実空間内の対応する視野のそれぞれの画像シーケンスを生成すること、
   関節タイプ、特定の画像の時間、及び前記特定の画像内の要素の座標によって、前記特定の画像の要素を分類する、前記特定の画像に対応する関節データ構造の配列を生成するために、前記画像シーケンス内の画像を処理すること、
   様々な画像シーケンス内の画像に対応する前記関節データ構造の配列内の前記要素の前記座標を、前記実空間内の座標を有する候補関節に変換すること、及び、
   実空間内の座標を有する候補関節のセットを前記実空間内の多関節被写体として識別すること、を備えることを特徴とする方法。
6. 前記画像を処理することが、畳み込みニューラル・ネットワークを使用することを含む請求項５に記載の方法。
7. 前記画像を処理することが、
   前記画像の要素に対する信頼度配列を生成すること、
   画像の特定の要素についての信頼度配列は、前記特定の要素についての複数の関節タイプについての信頼値を含むものであり、
   更に、前記信頼度配列に基づいて、前記特定の要素の前記関節データ構造の関節タイプを選択すること、を含む請求項５または６に記載の方法。
8. 候補関節のセットを識別することが、候補関節のセットを多関節被写体として識別するために、実空間における被写体の関節間の物理的関係に基づいてヒューリスティック関数を適用することを含む請求項５〜７のいずれか１項に記載の方法。
9. 多関節被写体として識別された前記候補関節のセットを記憶することを含み、
   候補関節のセットを識別することが、特定の時間に撮影された画像において識別された候補関節が先行する画像において多関節被写体として識別された前記候補関節のセットのうちの１つのメンバーに対応するかどうかを判定することを含む請求項５〜８のいずれか１項に記載の方法。
10. 前記画像シーケンスが同期されている請求項５〜９のいずれか１項に記載の方法。
11. 前記複数のカメラが、前記実空間内のエリアのそれぞれの部分を包含する視野を有し、その上に配置されたカメラを備え、
    多関節被写体として識別された候補関節のセットのメンバーの実空間内の座標は、前記多関節被写体の前記エリア内の位置を識別する請求項５〜１０のいずれか１項に記載の方法。
12. 前記実空間のエリア内の複数の多関節被写体の位置を追跡することを含む請求項５〜１１のいずれか１項に記載の方法。
13. 前記複数の多関節被写体内の多関節被写体が前記実空間のエリアを離れるときを特定することを含む請求項１２に記載の方法。
14. 特定の多関節被写体として識別された候補関節のセットのメンバーである複数の候補関節の前記実空間のエリア内の座標を追跡することを含む請求項５〜１３のいずれか１項に記載の方法。
15. 非一時的なコンピュータ可読記憶媒体であって、
    請求項５〜１４のいずれか１項に係る実空間のエリア内の多関節被写体を追跡する方法のためのコンピュータ命令が格納されていることを特徴とする非一時的なコンピュータ可読記憶媒体。