JP2020042476A5 - - Google Patents

Claims (25)

1. 多関節構造を備えた対象は、複数の関節を含む身体上の複数の特徴点を備え、隣接する特徴点間の距離が定数として得られており、
   １枚あるいは同時刻で撮影された複数枚の入力画像から各特徴点の位置の確からしさの尤度の空間分布を取得し、
   前記尤度の空間分布を用いて、各特徴点に対応する１つあるいは複数の特徴点の位置候補を取得し、
   前記特徴点の位置候補と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得し、
   前記関節角を用いて順運動学計算を行うことで、前記対象の関節を含む特徴点の位置を取得する、
   関節位置の取得方法。
2. 前記特徴点の位置候補の取得は、１つあるいは複数の過去のフレームで取得された１つあるいは複数の特徴点の位置に基づいて決定された探索範囲において、前記尤度の空間分布を用いて、各関節位置の１つあるいは複数の特徴点位置候補を取得するものである、請求項１に記載の関節位置の取得方法。
3. 前記特徴点の位置候補の取得は、フレームtで取得されている各特徴点の位置の近傍空間を探索範囲として、フレームt+1で取得された尤度の空間分布を用いて、フレームt+1における各関節位置の１つあるいは複数の特徴点位置候補を取得するものである、請求項１、２いずれか１項に記載の関節位置の取得方法。
4. 前記特徴点の位置候補の取得における特徴点位置候補の探索範囲は、フレームtで取得されている各特徴点の位置に加えて、あるいは、代えて、フレームtよりも前の１つあるいは複数のフレーム、あるいは／および、フレームt+2以降の１つあるいは複数のフレームで取得されている特徴点の位置の近傍空間である、請求項３に記載の方法。
5. 前記探索範囲は、前記特徴点の位置を中心として所定間隔で３次元状に分布する所定数の点群である、請求項２〜４いずれか１項に記載の方法。
6. 前記逆運動学に基づく最適化計算において、前記尤度の空間分布が用いられる、請求項１〜５いずれか１項に記載の方法。
7. 前記特徴点の位置を、他の複数のフレームで取得された複数の特徴点の位置を用いて時間方向に平滑化し、
   平滑化された特徴点の位置と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得する、
   請求項１〜６いずれか１項に記載の方法。
8. 前記関節角を用いて順運動学計算を行うことで、前記対象の関節を含む特徴点の位置を取得する、請求項７に記載の方法。
9. 前記入力画像よりも以前のフレームから取得された情報に基づく前処理ステップを備え、
   前記前処理ステップは、
   (a)入力画像の回転、
   (b)入力画像のトリミングあるいは/および縮小、
   (c)入力画像のマスキング、
   (d)カメラの選択による入力画像の選択、
   (e)入力画像のスティッチング、
   の少なくとも１つの処理を含む、
   を含む、請求項１〜８いずれか１項に記載の方法。
10. 前記前処理は、入力画像の回転を含み、
    前記入力画像よりも以前のフレームにおける対象の身体の正立ポーズに対する傾きを取得すること、
    前記傾きに応じて入力画像を回転させて正立姿勢ないし正立に近い姿勢とすること、
    回転した画像に基づいて前記尤度の空間分布を取得すること、
    前記尤度の空間分布が取得された画像を回転させて元画像に戻すこと、
    を含む、請求項９に記載の方法。
11. 請求項１〜１０いずれか１項に記載の関節位置の取得方法を用いて、
    各フレームにおいて前記関節角及び前記関節位置の取得を行うことで、対象の関節角及び関節位置の時系列データを取得する、
    動作の取得方法。
12. 関節位置の取得装置は、記憶部と処理部とを備え、
    前記記憶部には、複数の関節を含む身体上の複数の特徴点を備えた多関節構造を規定するファイルと、隣接する特徴点間の距離が定数として格納されており、
    前記処理部は、
    １枚あるいは同時刻で撮影された複数枚の入力画像から各特徴点の位置の確からしさの尤度の空間分布を取得し、
    前記尤度の空間分布を用いて、各特徴点に対応する１つあるいは複数の特徴点の位置候補を取得し、
    前記特徴点の位置候補と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得し、
    前記関節角を用いて順運動学計算を行うことで、前記対象の関節を含む特徴点の位置を取得する、
    ように構成されている、
    関節位置の取得装置。
13. 前記記憶部には、取得された特徴点の位置の時系列データが格納されており、
    前記処理部は、１つあるいは複数の過去のフレームで取得された１つあるいは複数の特徴点の位置に基づいて決定された探索範囲において、前記尤度の空間分布を用いて、各関節位置の１つあるいは複数の特徴点位置候補を取得する、請求項１２に記載の関節位置の取得装置。
14. 前記記憶部には、取得された特徴点の位置の時系列データが格納されており、
    前記処理部は、フレームtで取得されている各特徴点の位置の近傍空間を探索範囲として、フレームt+1で取得された尤度の空間分布を用いて、フレームt+1における各関節位置の１つあるいは複数の特徴点位置候補を取得する、請求項１２、１３いずれか１項に記載の関節位置の取得装置。
15. 前記処理部は、
    フレームtで取得されている各特徴点の位置に加えて、あるいは、代えて、フレームtよりも前の１つあるいは複数のフレーム、あるいは／および、フレームt+2以降の１つあるいは複数のフレームで取得されている特徴点の位置の近傍空間を探索範囲として、前記特徴点の位置候補を取得する、請求項１４に記載の装置。
16. 前記探索範囲は、前記特徴点の位置を中心として所定間隔で３次元状に分布する所定数の点群である、請求項１３〜１５いずれか１項に記載の装置。
17. 前記逆運動学に基づく最適化計算において、前記尤度の空間分布が用いられる、請求項１２〜１６いずれか１項に記載の装置。
18. 前記処理部は、
    前記特徴点の位置を、他の複数のフレームで取得された複数の特徴点の位置を用いて時間方向に平滑化し、
    平滑化された特徴点の位置と前記対象の多関節構造を用いた逆運動学に基づく最適化計算を行うことで、前記対象の各関節角を取得する、
    ように構成されている、
    請求項１２〜１７いずれか１項に記載の装置。
19. 前記関節角を用いて順運動学計算を行うことで、前記対象の関節を含む特徴点の位置を取得する、請求項１８に記載の装置。
20. 前記処理部は、
    前記入力画像よりも以前のフレームから取得された情報に基づく前処理を実行し、
    前記前処理は、
    (a)入力画像の回転、
    (b)入力画像のトリミングあるいは/および縮小、
    (c)入力画像のマスキング、
    (d)カメラの選択による入力画像の選択、
    (e)入力画像のスティッチング、
    の少なくとも１つの処理を含む、
    を含む、請求項１２〜１９いずれか１項に記載の装置。
21. 前記前処理は、入力画像の回転を含み、
    前記処理部は、
    前記入力画像よりも以前のフレームにおける対象の身体の正立ポーズに対する傾きを取得し、
    前記傾きに応じて入力画像を回転させて正立姿勢ないし正立に近い姿勢とし、
    回転した画像に基づいて前記尤度の空間分布を取得し、
    前記尤度の空間分布が取得された画像を回転させて元画像に戻すように構成されている、請求項２０に記載の装置。
22. 前記装置は、さらに、前記入力画像を取得する１つあるいは複数のカメラを備え、
    前記処理部は、前記カメラから前記入力画像を受信する、
    請求項１２〜２１いずれか１項に記載の装置。
23. 前記１つあるいは複数のカメラは、少なくとも１つの可動カメラを備え、
    前記処理部は、毎フレームで前記可動カメラのキャリブレーションを実行する、
    請求項２２に記載の装置。
24. 請求項１２〜２３いずれか１項に記載の関節位置の取得装置を備え、
    各フレームにおいて前記関節角及び前記関節位置の取得を行うことで、対象の関節角及び関節位置の時系列データを取得する、
    動作の取得装置。
25. コンピュータを、請求項１２〜２４いずれか１項に記載の記憶部、処理部として機能させるコンピュータプログラム。