JP2016091108A - 人体部位検出システムおよび人体部位検出方法 - Google Patents

Abstract

【課題】様々な姿勢における部位の検出を精度よく、かつ、効果的に行うこと。【解決手段】人体部位検出システムは、人体の部位の特徴量を学習した結果である学習モデルを記憶する学習モデル記憶部１０６と、距離画像を取得する距離画像取得部１０２と、距離画像から人物領域を抽出する前方人物抽出部１０４と、人物領域と学習モデルに基づいて人体の部位を検出する人体部位検出部１０８と、を備え、人体部位検出部１０８は、人物領域における基本点を検出し、基本点から人物領域における第一点までの最短の測地経路に基づいて第一点における測地経路の方向を計算し、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある画素を選択し、選択された画素における距離の情報に基づいて第一点における特徴量を計算し、第一点における特徴量と学習モデルとに基づいて人体の部位に対応するラベルを決定する。【選択図】図１

Description

本発明は、人体部位検出システムおよび人体部位検出方法に関する。

従来、所定の点からの距離の情報を含む距離画像を用いて、人体の部位を検出する技術が知られている。このような技術は、ゲーム、人間とコンピュータのインタラクション、監視システム、テレビ会議システム、ヘルスケア、ロボット、自動車等の分野に適用され得る。

例えば、このような技術をゲームの分野に適用することにより、ユーザは、キーボードやマウスを使用することなく、姿勢の変化やジェスチャによってゲーム機を操作し、ゲームを楽しむことが可能となる。

例えば、特許文献１には、三次元計測値である距離の情報を画素値として含む距離画像に基づいて人の姿勢を検出する方法が開示されている。この方法では、学習対象である距離画像の各画素に対して、近傍に存在する１つ以上のオフセット画素を選択し、これらの画素の画素値に基づいて各画素と人体の部位との関連付けを学習データとして記憶する。そして、人体の部位検出時には、距離画像において判定対象となる画素とオフセット画素の画素値と学習データに基づき、判定対象の画素と人体の部位との関連度を算出する。

米国特許出願公開第２０１３／０２６６１８２号明細書

上述した特許文献１の技術では、判定対象の画素とオフセット画素の位置関係は判定対象の画素ごとに固定であるため、学習データ生成に用いた距離画像における人物の姿勢に対して例えば肩を中心に腕を大きく回すなど、距離画像における部位の角度が大きく異なる場合には、判定対象となる画素とオフセット画素の画素値の特徴と、学習データの特徴が一致せず、人体の部位の検出が困難になる。

したがってこのような方法では、人体の部位の検出精度が低くなる可能性がある。また、高精度な部位の検出を実現するためには、人体の様々な姿勢に対応した非常に多くの学習データが必要になる。

本発明の目的は、様々な姿勢における部位の検出を精度よく、かつ、効果的に行うことを可能とする人体部位検出システムおよび人体部位検出方法を提供することである。

本発明の一態様に係る人体部位検出システムは、人体の部位の特徴量を学習した結果である学習モデルを記憶する記憶部と、距離画像を取得する取得部と、距離画像から人物領域を抽出する抽出部と、人物領域と学習モデルに基づいて、人体の部位を検出する人体部位検出部と、を備え、人体部位検出部は、人物領域における基本点を検出する基本点検出部と、基本点から人物領域における第一点までの最短の測地経路に基づいて、第一点における測地経路の方向を計算する計算部と、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある距離画像上の画素を選択する選択部と、選択部により選択された画素における距離の情報に基づいて、第一点における特徴量を計算する特徴量計算部と、第一点における特徴量と学習モデルとに基づいて、人体の部位に対応するラベルを決定するラベル決定部と、を有する。

本発明の一態様に係る人体部位検出方法は、距離画像を取得する取得ステップと、距離画像から人物領域を抽出する抽出ステップと、人体の部位の特徴量を学習した結果である学習モデルを記憶部から読み出す読出ステップと、人物領域と学習モデルとに基づいて、人体の部位を検出する人体部位検出ステップと、を含み、人体部位検出ステップは、人物領域における基本点を検出する基本点検出ステップと、基本点から人物領域における第一点までの最短の測地経路に基づいて、第一点における測地経路の方向を計算する計算ステップと、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある距離画像上の画素を選択する選択ステップと、選択ステップにおいて選択された画素における距離の情報に基づいて、第一点における特徴量を計算する特徴量計算ステップと、第一点における特徴量と学習モデルとに基づいて、人体の部位に対応するラベルを決定するラベル決定ステップと、を含む。

本発明によれば、様々な姿勢における部位の検出を精度よく、かつ、効果的に行うことができる。

本発明の実施の形態１に係る人体部位検出システムの構成の一例を示すブロック図 本発明の実施の形態１に係る人体部位検出部の構成の一例を示すブロック図 本実施の形態１に係る特徴量の計算処理の具体例を示す図 本発明の実施の形態１に係る異なる姿勢に対する特徴記述の不変性について説明する図 回転補正を行わない場合の画素のペアの選択方法を示す図 本実施の形態１に係る回転補正を行う場合の画素のペアの選択方法を示す図 本発明の実施の形態１に係る人体部位検知処理の処理手順の一例を示すフローチャート 本発明の実施の形態２に係る人体部位検出システムの構成の一例を示すブロック図 本発明の実施の形態２に係る超画素クラスタリングについて説明する図 本発明の実施の形態２に係る超画素による特徴量の計算について説明する図 本発明の実施の形態１、２に係る深層人工ニューラルネットワークについて説明する図 本発明の実施の形態１、２に係る人体の骨格関節について説明する図

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
まず、本実施の形態に係る人体部位検出システム１００の構成例について、図１を用いて説明する。図１は、本実施の形態に係る人体部位検出システム１００の構成の一例を示すブロック図である。

図１に示すように、人体部位検出システム１００は、距離画像取得部１０２、前方人物抽出部１０４、学習モデル記憶部１０６、人体部位検出部１０８を有する。

距離画像取得部１０２は、距離カメラまたは記録デバイスから距離画像を取得する。

前方人物抽出部１０４は、距離画像の距離の情報を用いて、背景よりも前方の人物の領域（以下、前方人物領域という）を抽出する。なお、前方人物抽出部１０４は、前方人物領域を三次元の連結成分分析に基づいて抽出してもよい。

学習モデル記憶部１０６は、人体の部位の特徴量を学習した結果得られる学習モデルのデータなどを記憶する。この学習モデルのデータには、特徴量を算出するために選択した画素の位置の情報や、後述する画素のペアの情報などが含まれる。

人体部位検出部１０８は、学習モデル記憶部１０６に記憶された学習モデルに基づいて、前方人物抽出部１０４により抽出された前方人物領域に含まれる人体の部位を検出し、検出した部位にその部位を示すラベルを割り当てる。

次に、図２を用いて、上述した人体部位検出部１０８の構成の一例について説明する。図２は、本実施の形態に係る人体部位検出部１０８の構成の一例を示すブロック図である。

図２に示すように、人体部位検出部１０８は、基本点検出部２０２、ベクトル計算部２０４、選択部２０６、特徴量計算部２０８、ラベル決定部２１０を有する。

基本点検出部２０２は、前方人物抽出部１０４によって抽出された前方人物領域における基本点を検出する。基本点とは、例えば、前方人物領域に含まれる各画素の実世界座標系における３次元座標の重心、平均値、または中央値に相当する位置にある点である。

図２に示すように、基本点検出部２０２は、距離画像から実世界座標系における三次元座標を得る三次元座標取得部２０２ａと、得られた三次元座標を用いて前方人物領域における基本点を計算する基本点計算部２０２ｂとを有する。

ベクトル計算部２０４は、基本点から第一点までを最短距離で結ぶ測地経路を計算することで、第一点において測地方向を向く基準ベクトルを計算する。例えば、基準ベクトルは、前方人物領域の測地勾配に基づいて計算される。第一点とは、前方人物領域における所定の点であり、上記基本点とは異なる点である。

選択部２０６は、基準ベクトルの方向に応じて、学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を特徴量の算出に用いる画素として選択する。画素のペアとは、第一点から所定の方向に所定の間隔だけ離れた２つの異なる画素である。

特徴量計算部２０８は、画素のペアの距離情報に基づいて、第一点における人体の部位の特徴量を計算する。この計算方法については、後に詳しく説明する。

ラベル決定部２１０は、第一点における人体の部位の特徴量と学習モデルに基づいて、人体の部位に対応するラベルを決定する。

図２に示すように、このラベル決定部２１０は、第一点における人体の部位の特徴量の入力を受け付ける入力部２１０ａと、学習モデルから第一点における人体の部位の特徴量を探索する特徴探索部２１０ｂと、探索された特徴量から人体の部位に対応するラベルを決定する決定部２１０ｃとを有する。

ここで、特徴探索部２１０ｂは、第一点における人体の部位の特徴量の探索を、深層人工ニューラルネットワークを使用して行ってもよい。また、決定部２１０ｃは、ラベルの決定をロジスティック回帰分析により行ってもよい。

次に、上記特徴量計算部２０８による特徴量の計算方法の一例について説明する。

以下の説明において、I(p)は、距離画像Ｉ上の位置p=(x,y)^Tにおける画素の距離を表す。そして、
は、カバレッジ
と特徴リストFにより定義される局所特徴記述子を表す。

ここで、カバレッジ
は、距離画像I内での局所特徴記述子の円形のカバー範囲であり、p_cはカバー範囲の中心、rはカバー範囲の半径を表す。

また、特徴リストFは、画素のペアのリスト｛P₁, … , P_n｝である。ここで、P_i（1≦i≦n：nは任意の整数）は、i番目の画素のペア
を表し、p_u、p_ｖは画素のペアに含まれる２つの画素の位置を表す。

また、比較関数は、例えば下記の式（１）のように表される。
ここで、(p_u,p_v)は、特徴リストFにおける画素のペアであり、tは閾値である。例えば、閾値ｔは、比較関数τ(p_u,p_v)において、０と１の出現確率が同じになるような値に設定される。

上記比較関数τ(p_u,p_v)を特徴リストFに適用することにより、バイナリ列
が得られ、局所特徴記述子
の特徴ベクトルが得られる。

なお、局所特徴記述子が距離の変化に対して不変量となるようにするため、局所特徴記述子のカバー範囲は実世界空間に対して一定にすべきである。そのため、射影幾何学の知識に基づいて、距離画像のカバレッジ
の半径rを、以下のように定義してもよい。

ここで、I(p_c)は、カバー範囲の中心p_cに位置する画素における距離であり、αは実世界空間におけるカバー範囲の大きさと距離カメラの焦点距離とに基づいて決定される定数である。直観的には、被写体が距離カメラに近いほど、αの値は大きくすべきであり、逆も同様である。

ここで、姿勢の変化に対して不変性のある局所特徴記述子を得るため、学習モデルにおける特徴量を算出した際の画素のペアの位置を基準ベクトルの方向に応じて回転させた位置が計算され、その位置にある距離画像上の画素のペアが特徴量の算出に用いられる画素として選択される。基準ベクトルは、局所的記述子の基準方向を示すベクトルである。

局所的な特性に基づいて各局所特徴記述子に対して一貫性のある方向を与えることで、局所特徴記述子を方向に対して相対的に定義でき、結果として回転に対する一貫性を達成できる。なお、測地不変記述子としての局所特徴記述子のカバー範囲は
と表される。ここで、Γは局所特徴記述子の基準方向を表す。

次に、図３を用いて、本実施の形態おける特徴量の計算処理の具体例について説明する。図３Ａ〜３Ｄに示す円は、第一点p_cを中心とした半径rの円であり、上述した局所特徴記述子のカバー範囲を示している。

図３Ａにおいて、例えば、画素のペアである画素p_uと画素p_vとの比較により、式（１）の比較関数を用いて第一点p_cにおける１ビットの特徴量が生成される。実際には、図３Ｂに示すように、複数の画素のペアの比較が行われ、それらの比較により得られた特徴量からバイナリ列が構成される。そして、このバイナリ列が、第一点p_cにおける特徴量として用いられる。

なお、図３Ｃに示すように、画素のペアp_u、p_vは、基準ベクトルによって定義される極座標系によって特定される。この極座標系では、第一点p_ｃが極とされ、基準ベクトルの方向Γが極軸の方向とされる。

例えば、画素p_uが選択された場合、角度
と距離
の２つのパラメータが決定される。画素p_ｖについても同様である。

図３Ｄに示すように、画素のペアが複数ある場合も同様に、各ペアに含まれる画素に対し、角度と距離とが決定される。なお、角度θ_uは、基準ベクトルの方向Γから測った相対的な角度を示すので、全ての画素のペアは基準ベクトルに対して共変の関係となる。

なお、基準ベクトルは、例えば、以下のようにして計算される。以下では、f_gは、前方人物抽出部１０４により距離画像から抽出された前方人物領域を表すものとし、p_oは、f_gにおける基本点を表すものとする。

まず、画像f_gから無向グラフG=(V,E)が生成される。このとき、点集合Vはf_gの全ての点で構成され、枝集合Eはf_gにおける隣接関係から構成される。各枝の重みは隣り合う点間のユークリッド距離に対応する。２点間の測地経路長は、最短経路の重み付き総和として定義され、例えばダイクストラアルゴリズムにより効率的に計算される。

図４の最も左の列には、f_gにおける各点から基本点p_oまでの測地経路長を計算することにより得られる測地経路長マップが示されている。また、図４の左から２番目の列には、基本点p_oまでの距離が、等値線マップにより示されている。

そして、前方人物領域における各点における基準ベクトルの方向Γは、以下の式により計算される。
ここで、I_dは、f_gにおける各点から基本点p_oまでの測地経路長である。

方向Γの計算結果が、図４の左から３番目の列に示されている。このようにして計算される方向Γは、上記計算で得られた測地経路の方向となる。

次に、基準ベクトルの性質について説明する。図４の左から４番目の列は、３番目の列に示した４つの異なる姿勢における腕の部分（矩形で囲まれた部分）の拡大図である。

人体の部位を特定するため、第一点p_cにおける特徴量を計算する際には、学習モデルにおける特徴量を算出した際の画素のペアの位置を基準ベクトルの方向Γに応じて回転させた位置が計算される。そして、その位置にある距離画像上の画素のペアが特徴量の算出に用いられる画素として選択される。

これにより、姿勢が異なったとしても、特徴量の算出に用いられる画素のペアの位置が人体の部位に対して安定することとなり、姿勢の変化に対する一貫性を得ることができる。

次に、画素のペアの具体的な選択方法について、図５、図６を用いて説明する。図５は、回転補正を行わない場合の画素のペアの選択方法を示す図であり、図６は、回転補正を行う場合の画素のペアの選択方法を示す図である。

図５Ａ、図５Ｂに示すように、画素のペア３０２の回転補正を行わなければ、腕を回転させるなどして人の姿勢が変化しても、特徴量の算出に用いられる画素のペア３０２の位置は変わらない。この場合、前述の式（１）に基づいて算出される第一点３０４における特徴量は、図５Ａの場合と図５Ｂの場合とで大きく異なる。

そのため、図５Ａの姿勢において第一点３０４における特徴量を学習したとしても、その学習データに基づいて図５Ｂの姿勢における腕を特定することは難しい。

これに対し、画素のペア３０２の回転補正を行う場合、様々な姿勢における部位の検出を精度よくかつ効果的に行うことができる。以下、この点について詳しく説明する。

図６Ａにおいて、基本点４０１は、前述のように、前方人物領域に含まれる各画素の実世界座標系における三次元座標に基づいて計算され得る。例えば、基本点４０１は、前方人物領域に含まれる各画素の実世界座標系における３次元座標の重心、平均値、または中央値に相当する位置にある点である。

また、第一点４０４における基準ベクトル４０６は、基本点４０１から第一点４０４までの最短測地経路４０８を計算することにより決定される。

そして、図６Ｂに示されるように、ある姿勢において第一点４０４における特徴量が画素のペア４０２を用いて算出され、その特徴量が学習データとして記憶される。この学習データは、人体の部位の特定を行う際に用いられる。

図６Ｃには、姿勢が変化した場合の画素のペア４０２の選択方法が示されている。図６Ｃに示すように、姿勢が変化した場合、基準ベクトル４０６の方向が回転するが、その回転に応じて、図６Ｂに示した画素のペア４０２の位置を回転させた位置が計算され、その位置にある距離画像上の画素のペア４０２が特徴量の算出に用いられる画素として選択される。

そして、選択された画素のペア４０２を用いて第一点４０４における特徴量が算出され、学習データとの比較により部位の特定が行われる。これにより、画素のペア４０２を用いた特徴量の計算の一貫性が保たれ、姿勢の変化に対する不変性が実現される。

次に、図７を用いて、本実施の形態における人体部位検出処理の処理手順の一例について説明する。図７は、本実施の形態における人体部位検出処理の一例を示すフローチャートである。

まず、人体部位検出システム１００の距離画像取得部１０２は、距離カメラまたは記録デバイスから距離画像を取得する（ステップＳ１０２）。そして、前方人物抽出部１０４は、距離画像から前方人物領域を抽出する（ステップＳ１０４）。

続いて、基本点検出部２０２は、前方人物領域における基本点を検出する（ステップＳ１０６）。そして、ベクトル計算部２０４は、基本点から第一点までの最短測地経路を計算することで、第一点における基準ベクトルを計算する（ステップＳ１０８）。

その後、選択部２０６は、基準ベクトルの方向に応じて、学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を特徴量の算出に用いられる画素として選択する（ステップＳ１１０）。

そして、特徴量計算部２０８は、選択された画素のペアの距離の情報に基づいて、第一点における特徴量を計算する（ステップＳ１１２）。この特徴量は、前述の式（１）を様々な画素のペアに対して適用することにより得られる局所的な特徴を表すバイナリ列である。

ラベル決定部２１０は、第一点における特徴量と学習モデルに基づいて、人体の部位に対応するラベルを決定する（ステップＳ１１４）。これにより、人体の部位が特定される。

以上説明したように、本実施の形態の人体部位検出システム１００によれば、基準ベクトルの方向に応じて学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を、特徴量の算出に用いる画素として選択するので、様々な姿勢における部位の検出を精度よくかつ効果的に行うことができる。

（実施の形態２）
なお、上記実施の形態１では、画素単位で部位の検出を行うこととしたが、複数の画素をまとめた超画素単位で部位の検出を行うこととしてもよい。本実施の形態２では、超画素単位で部位の検出を行う場合について説明する。

まず、本実施の形態に係る人体部位検出システム５００の構成の一例について、図８を用いて説明する。図８は、本実施の形態に係る人体部位検出システム５００の構成の一例を示すブロック図である。なお、図８では、図１に示した人体部位検出システム１００の構成要素と同様のものには同一符号を付し、それらの説明は省略する。

図８に示すように、人体部位検出システム５００は、図１を用いて説明した距離画像取得部１０２、前方人物抽出部１０４、学習モデル記憶部１０６、および、人体部位検出部１０８に加え、超画素クラスタリング部５０６を有する。

超画素クラスタリング部５０６は、距離画像における複数の画素を超画素に統合する。例えば、超画素クラスタリング部５０６は、前方人物領域を構成する約１万個の画素を数百個程度の超画素に統合する。ここで、超画素クラスタリング部５０６は、各超画素の距離として、各超画素に統合された複数の画素の距離の平均値の値などを設定する。

超画素に統合する方法は任意であるが、例えば、超画素クラスタリング部５０６は、距離画像に含まれる画素の実世界座標系における三次元座標(x,y,z)を計算し、その三次元座標(x,y,z)を用いて超画素への統合を行うこととしてもよい。

また、人体の部位を検出する処理の処理手順は、図７に示した処理手順と同様のものとなるが、本実施の形態では、図７におけるステップＳ１０４とステップＳ１０６の間で、超画素クラスタリング部５０６により、距離画像における複数の画素を超画素に統合する処理が実行される。また、ステップＳ１０６以降の各処理では、画素に対して処理を行う代わりに超画素に対する処理が実行される。

本実施の形態では、距離画像の複数の画素を超画素に統合することとしたが、これにより得られる利点の一つは、距離情報に含まれるノイズに対するロバスト性を改善できることである。

また、別の利点は、処理時間を大幅に改善できることである。この利点について、以下に詳しく説明する。

測地距離マップを生成するために必要なダイクストラアルゴリズムの計算時間は、O(|E|+|V|log|V|)である。ここで、|E|はグラフにおける枝の数であり、|V|はグラフにおける点の数である。処理時間は、前方人物領域f_gにおける画素の数に直接関係するため、その画素の数を削減することができれば、処理時間を改善できる。

また、距離カメラや距離センサにより得られる距離情報にはノイズが含まれる。このノイズは、物体の影や、赤外線を用いた距離センサの場合には、例えば赤外線以上に強い環境光、赤外線を散乱させるオブジェクトの材質などの影響により生じる。画素単位の特徴量の計算では、このようなノイズの影響を受けやすい。

そこで、本実施の形態では、画素単位の構造が、超画素単位の構造に置き換えられる。例えば、カラー画像に対しては、超画素クラスタリングは、画素の要素[l,a,b,x,y]に基づいて行われる。ここで、l、a、bはLab色空間におけるカラー要素であり、x、yは画素の座標を表す。

一方、距離画像においては、クラスタリングは要素[x,y,z,L]に基づいて行われる。ここで、x、y、zは、実世界座標系における三次元座標であり、Lは画素のラベルである。Lはオプションであり、オフラインでの学習、評価処理において使用される。

上記Lを使用することで、図９Ａおよび図９Ｂに示すように、同じ超画素に含まれる画素に一貫したラベルを付与することができる。例えば、頭部の画素６０２は、同じ人体部位ラベルを持ついくつかの超画素６０４に統合されている。実際のオンラインでの識別処理中には、超画素への統合に、実世界座標系における三次元座標[x,y,z]のみが使用されることとしてもよい。

各超画素の距離には、その超画素に属する全ての画素の距離の平均値が割り当てられる。そして、画素のペアの比較は、超画素のペアの比較に置き換えられる。

超画素による特徴量の計算の一例を図１０に示す。図１０には、第一点p_cに対応する超画素７０２や、画素のペアp_u７０４、p_v７０６に対応する六角形の超画素P_u'７０８とP_v'７１０を含む超画素が複数示されている。

ここで、画素のペアp_u７０４、p_v７０６はそれぞれ、超画素P_u'７０８、P_v'７１０にマッピングされ、前述の式（１）を用いた距離の比較は、超画素P_u'７０８、P_v'７１０に属する画素の距離の平均値を用いて行われる。なお、基準ベクトルの方向Γは、前方人物領域における基本点p_oに向かう最短測地経路の方向となる。

例えば、ＶＧＡサイズの距離画像の場合、前方人物領域は１万個程度の画素で構成されるが、超画素クラスタリングにより数百個程度にまとめることができる。よって、処理時間を劇的に削減することができる。さらに、各画素で異なる距離の情報は、超画素単位で平均値に置き換えられるので、ノイズに対するロバスト性を大幅に向上させることができる。

以上、本発明の実施の形態について説明してきたが、本実施の形態における人体部位検出システム１００、５００は、高次元の非線形データを深層ネットワークを用いて取り扱うこととしてもよい。深層ネットワークとは、例えば、ＳｄＡ（Stacked denoising Autoencoders）に基づくものである。

ＳｄＡを通じて、データは元の特徴空間からある潜在的な表現へと非線形に射影される。これらの表現は、ＳｄＡ−ｌａｙｅｒｘ特徴空間と呼ばれる。ＳｄＡでは、識別や認識に使用可能な判別情報を保存したまま、入力データにおける関連のない派生を除去することができる。

一方、ＳｄＡにおける最上位レイヤから深層レイヤへのデータの伝搬プロセスは、異なる抽象化能力を持つ潜在的な一連の表現を生成する。そして、レイヤが深くなるほど、抽象化のレベルは高くなる。

ＳｄＡによる深層人工ネットワークの構成の一例を図１１に示す。図１１の例では、深層ネットワークは、入力レイヤ８０２、３つの隠れたＳｄＡレイヤ８０６、８０８、８１０、出力レイヤ８１４の５つのレイヤで構成されている。入力レイヤ８０２は、バイナリ列の特徴８０４を取り込む。最後の隠れたレイヤ８１０は、疎な判別用バイナリ列特徴８１２を生成する。

各レイヤはノードの集合８１６で構成され、各ノードは隣り合うレイヤ間で全て接続されている。入力レイヤ８０２におけるノードの数は、画素のペアの数ｎに等しい。

第一点における特徴量を表すバイナリ列は、入力レイヤ８０２に対する入力として、深層ネットワークに直接与えられる。そして、出力レイヤ８１４におけるノードの数ｄは、人体の部位を表すラベルの数と一致する。すなわち、ラベルの数は、人体の部位の数と一致する。

そして、ロジスティック回帰のような線形回帰識別が出力レイヤ８１４に適用され、人体の各部位の識別結果が得られることになる。

なお、人体の部位の特徴を学習するために、真値の学習データが作成される。この学習データは、距離画像における人体の部位に対応する真値ラベルを含んでいてもよい。また、ロバスト性を改善するため、複数の学習例が選ばれてよい。このような学習により、人体の部位の特徴を学習した学習モデルが得られる。

また、上記実施の形態では、人体の部位を特定することとしたが、人体の部位を連結する関節の位置をさらに推定することとしてもよい。

具体的には、図７のステップＳ１１４において決定された人体の部位に対応するラベルと、その人体の部位に対応する三次元座標とに基づいて、人体の関節の位置を推定する。

例えば、関節の位置は、人体の各部位の中央位置を計算し、その計算結果を用いることで推定される。場合によっては、関節の位置は、上記中央位置から移動させてもよい。

図１２は、推定可能な人体の骨格関節の一例を示している。図１２に示すように、推定可能な骨格関節は、例えば、右手９０２、左手９０４、右肘９０６、左肘９０８、右肩９１０、左肩９１２、頭９１４、首９１６、腰９１８、右尻９２０、左尻９２２である。右手９０２と左手９０４の関節は、人物の実際の手の位置に近くなるように、体からより遠い位置に移動させてもよい。これにより、使いやすさがより改善される。

推定された骨格関節は、人の動作、姿勢、仕草の認識に利用でき、また、デバイスのコントロール等にも有効である。

なお、上記人体部位検出システム１００、５００、および、それらに含まれるモジュールの演算装置は、一般にＩＣ（Integrated Circuits）、ＡＳＩＣ（Application-Specific Integrated Circuits）、ＬＳＩ（Large Scale Integrated Circuits）、ＤＳＰ（Digital Signal Processor）等で実現され、また、ＰＣ（Personal Computer）に含まれるようなＣＰＵベースのプロセッサでも実現可能である。

これらのモジュールは、単一の機能を有するＬＳＩを統合するか、または複数の機能を有するひとつの統合ＬＳＩを用いることにより構成され得る。ＬＳＩの代わりに、回路の集積度が異なるＩＣやシステムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等でも上記モジュールは構成され得る。

さらに、統合を達成する手段はＬＳＩに限らず、特別な回路や汎用目的のプロセッサなどであってもよい。例えば、特別なマイクロプロセッサ、例えばプログラム命令により指示できるＤＳＰ、ＬＳＩの製造後にプログラムすることができるＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩの接続や配置を再構成可能なプロセッサなども同じ目的に利用できる。

また、将来的には、より進んだ製造および処理技術を用いて、新しい技術によりＬＳＩを置き換えてもよい。統合はそのような技術でも実現可能である。

実装においては、人体部位検出システム１００、５００は、例えば、デジタルスチルカメラまたはムービーカメラといった画像取得デバイス組み込まれてもよい。また、人体部位検出システム１００、５００は、例えば、プロ用キャプチャシステムのような画像キャプチャシステムとして動作するスタンドアロンデバイスに搭載されてもよい。

なお、本発明に係る人体部位検出システム１００、５００の適用範囲は上述した範囲に限定されるものではなく、人体部位検出システム１００、５００を他のタイプのデバイスに実装することも当然可能である。

本発明は、人体の部位を検出するシステムおよび方法に有用である。

１００、５００ 人体部位検出システム
１０２ 距離画像取得部
１０４ 前方人物抽出部
１０６ 学習モデル記憶部
１０８ 人体部位検出部
２０２ 基本点検出部
２０２ａ 三次元座標取得部
２０２ｂ 基本点計算部
２０４ ベクトル計算部
２０６ 選択部
２０８ 特徴量計算部
２１０ ラベル決定部
２１０ａ 入力部
２１０ｂ 特徴探索部
２１０ｃ 決定部
５０６ 超画素クラスタリング部

Claims (7)

1. 人体の部位の特徴量を学習した結果である学習モデルを記憶する記憶部と、
   距離画像を取得する取得部と、
   前記距離画像から人物領域を抽出する抽出部と、
   前記人物領域と前記学習モデルに基づいて、前記人体の部位を検出する人体部位検出部と、を備え、
   前記人体部位検出部は、
   前記人物領域における基本点を検出する基本点検出部と、
   前記基本点から前記人物領域における第一点までの最短の測地経路に基づいて、前記第一点における前記測地経路の方向を計算する計算部と、
   前記方向に応じて前記学習モデルにおける特徴量を計算した際の画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の画素を選択する選択部と、
   前記選択部により選択された画素における距離の情報に基づいて、前記第一点における特徴量を計算する特徴量計算部と、
   前記第一点における特徴量と前記学習モデルとに基づいて、前記人体の部位に対応するラベルを決定するラベル決定部と、
   を有する人体部位検出システム。
2. 前記距離画像における複数の画素を一つの超画素に統合し、前記超画素における距離の値を前記複数の画素の距離の値に基づいて決定するクラスタリング部をさらに備え、
   前記選択部は、前記方向に応じて前記学習モデルにおける特徴量を算出した際の超画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の超画素を選択し、
   前記特徴量計算部は、前記選択部により選択された超画素における距離の情報に基づいて、前記第一点における特徴量を計算する、
   請求項１記載の人体部位検出システム。
3. 前記抽出部は、
   三次元空間における人物領域を特定することにより前記距離画像から前記人物領域を抽出する、
   請求項１記載の人体部位検出システム。
4. 前記基本点検出部は、
   前記距離画像から三次元座標を得る三次元座標取得部と、
   前記三次元座標に基づいて前記基本点を計算する基本点計算部と、を有し、
   前記基本点は、
   前記人物領域に含まれる各画素の三次元座標における重心、平均値、または、中央値に相当する位置にある点である、
   請求項１記載の人体部位検出システム。
5. 前記ラベル決定部は、
   前記第一点における特徴量の情報の入力を受け付ける入力部と、
   前記学習モデルから前記第一点における特徴量を探索する特徴探索部と、
   前記第一点における特徴量の探索結果に基づいて、前記人体の部位に対応するラベルを決定する決定部と、を有する、
   請求項１記載の人体部位検出システム。
6. 前記ラベル決定部により決定されたラベルと、前記人体の部位に対応する三次元座標とに基づいて、人体の関節の位置を推定する推定部をさらに備える、
   請求項１記載の人体部位検出システム。
7. 距離画像を取得する取得ステップと、
   前記距離画像から人物領域を抽出する抽出ステップと、
   人体の部位の特徴量を学習した結果である学習モデルを記憶部から読み出す読出ステップと、
   前記人物領域と前記学習モデルとに基づいて、前記人体の部位を検出する人体部位検出ステップと、を含み、
   前記人体部位検出ステップは、
   前記人物領域における基本点を検出する基本点検出ステップと、
   前記基本点から前記人物領域における第一点までの最短の測地経路に基づいて、前記第一点における前記測地経路の方向を計算する計算ステップと、
   前記方向に応じて前記学習モデルにおける特徴量を計算した際の画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の画素を選択する選択ステップと、
   前記選択ステップにおいて選択された画素における距離の情報に基づいて、前記第一点における特徴量を計算する特徴量計算ステップと、
   前記第一点における特徴量と前記学習モデルとに基づいて、前記人体の部位に対応するラベルを決定するラベル決定ステップと、
   を含む人体部位検出方法。