JP2012155391A - 姿勢状態推定装置および姿勢状態推定方法 - Google Patents

Abstract

【課題】関節を有する物体の姿勢状態を高精度に推定することができる姿勢状態推定装置を提供すること。
【解決手段】姿勢状態推定装置１００は、関節により接続された複数の部位を有する物体を撮影した画像データに基づいて物体の姿勢状態の推定を行う装置であって、画像データから、部位の部位候補の抽出を行う部位候補抽出部１４０と、部位候補抽出部１４０により部位候補が抽出されなかった未抽出部位の一部が、部位候補抽出部１４０により部位候補が抽出された既抽出部位の陰になっているものと推定して、画像データから未抽出部位の部位候補の抽出を行う補完部位候補抽出部１６０と、抽出された部位候補に基づいて、物体の姿勢状態の推定を行う姿勢状態推定部１７０とを有する。
【選択図】図１

Description

本発明は、関節により接続された複数の部位を有する物体を撮影した画像データに基づいて、その物体の姿勢状態の推定を行う姿勢状態推定装置および姿勢状態推定方法に関する。

近年、撮影された動画像の画像データに基づく人の姿勢推定に関する研究が、盛んに行われている。なぜなら、動画像から人の行動をコンピュータ解析により判定することができれば、各種の分野において行われている行動解析を、人手に頼らずに行うことが可能となるからである。行動解析としては、例えば、街頭での異常行動検知、店舗での購買行動分析、工場における作業効率化支援、およびスポーツにおけるフォーム指導が挙げられる。

そこで、単眼カメラにより撮影された画像データに基づいて、人の姿勢状態を推定する技術が、例えば特許文献１に記載されている。特許文献１に記載の技術（以下「従来技術」という）は、まず、撮影画像に含まれる楕円形状または平行線に基づいて、部位候補を抽出する。次に、従来技術は、複数のサンプル画像から統計的に求めた尤度関数を用いて、部位尤度および部位関係尤度を算出する。そして、従来技術は、これらの尤度に基づいて、最適な部位候補の組み合わせを算出する。このような従来技術を用いることにより、どの部位がどの領域に位置するかを特定することができ、人の位置や向きによらずに人の姿勢状態を推定する事ができる。

特開２００５−１６５９２３号公報

下坂正倫、佐藤真、森武俊、佐藤知正、「単眼画像からの形状特徴を用いた動作認識法」、全国大会講演論文集 第７０回平成２０年（５）、社団法人情報処理学会、２００８年３月１３日、ｐ.５−９３、ｐ.５−９４、 P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, December, 2001, ppp.511-518

しかしながら、従来技術は、姿勢状態によっては、これを高精度に推定することができないという課題を有していた。なぜなら、他の部位の陰となっている部位が存在する場合、画像上の形状が楕円形状でなかったり、２本のエッジの一方が取得されなかったりする等して、その部位の部位候補を抽出することができないからである。例えば、左側を向いている人の右上腕が、手前側に位置する左上腕の陰になっている場合を想定する。この場合、従来技術では、右上腕の部位候補を抽出することができず、その結果、例えば、右上腕が左上腕に隠れている姿勢状態と右上腕が胴体に隠れている姿勢状態とを区別することができない。

また、従来技術は、ロボット等の、関節により接続された複数の部位を有する各種の人以外の物体にも適用することが考えられるが、この場合にも同様の問題が起こり得る。

本発明の目的は、関節を有する物体の姿勢状態を高精度に推定することができる姿勢状態推定装置および姿勢状態推定方法を提供することである。

本発明の姿勢状態推定装置は、関節により接続された複数の部位を有する物体を撮影した画像データに基づいて前記物体の姿勢状態の推定を行う姿勢状態推定装置であって、前記画像データから、前記部位の部位候補の抽出を行う部位候補抽出部と、前記部位候補抽出部により前記部位候補が抽出されなかった未抽出部位の一部が、前記部位候補抽出部により前記部位候補が抽出された既抽出部位の陰になっているものと推定して、前記画像データから前記未抽出部位の部位候補の抽出を行う補完部位候補抽出部と、抽出された前記部位候補に基づいて、前記物体の姿勢状態の推定を行う姿勢状態推定部とを有する。

本発明の姿勢状態推定方法は、関節により接続された複数の部位を有する物体を撮影した画像データに基づいて前記物体の姿勢状態の推定を行う姿勢状態推定方法であって、前記画像データから、前記部位の部位候補の抽出を行うステップと、前記部位候補抽出部により前記部位候補が抽出されなかった未抽出部位の一部が、前記部位候補抽出部により前記部位候補が抽出された既抽出部位の陰になっているものと推定して、前記画像データから前記未抽出部位の部位候補の抽出を行うステップと、抽出された前記部位候補に基づいて、前記物体の姿勢状態の推定を行うステップとを有する。

本発明によれば、関節を有する物体の姿勢状態を高精度に推定することができる。

本発明の実施の形態に係る姿勢状態推定装置の構成の一例を示すブロック図 本実施の形態における画像データを説明するための図 本実施の形態における補完部位候補抽出部の構成の一例を示すブロック図 本実施の形態に係る姿勢状態推定装置の動作の一例を示すフローチャート 本実施の形態におけるオメガ形状を説明するための図 本実施の形態における基準線からオメガ形状までの垂直距離を説明するための図 本実施の形態における距離ヒストグラムの一例を示す図 本実施の形態における２値化後の距離ヒストグラムの一例を示す図 本実施の形態における基準部位を示す各種パラメータを説明するための図 本実施の形態における基準部位対応テーブルの内容の一例を示す図 本実施の形態における部位領域対応テーブルの内容の一例を示す図 本実施の形態における部位領域データの内容の一例を示す図 本実施の形態における推定尤度マップの一例を示す図 本実施の形態における対象画像の一例を示す図 本実施の形態におけるエッジの抽出結果の一例を示す図 本実施の形態における部位候補の抽出結果の一例を示す図 本実施の形態における部位候補補完処理の一例を示すフローチャート 本実施の形態における未抽出部位の可動範囲の一例を示す図 本実施の形態における露出領域の推定の第１の例を示す図 本実施の形態における露出領域の推定の第２の例を示す図 本実施の形態における露出領域の推定の第３の例を示す図 本実施の形態における統合された露出領域の一例を示す図 本実施の形態における補完候補領域の一例を示す図 本実施の形態における２値化後の推定尤度マップの一例を示す図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

以下の説明において、「部位」とは、人の身体のうち関節によって分割された部分の一まとまりをいうものとする。すなわち、部位は、例えば、頭、肩、右上腕、右前腕、左上腕、左前腕、右膝上、右膝下、左膝上、および左膝下である。また、「部位領域」とは、画像においてある部位が占め得る領域、つまり、部位の可動範囲であるものとする。

また、「部位軸」とは、部位の長手方向の仮想的な中心軸であり、具体的には、部位を基準部位側の他の第１の部位と接続する第２の関節と、部位を他の第２の部位と接続する第２の関節または部位の端部とを結ぶ線分をいうものとする。部位軸は、例えば、第１の関節の座標情報と、角度情報と、部位長さとの組により定義されても良いし、第１の関節の座標情報と第２の関節もしくは部位の端部の座標情報とにより定義されても良い。例えば、右上腕の部位軸の位置、向き、および長さは、右上腕の骨の中心軸の位置、向き、および長さにほぼ一致する。

また、「部位太さ」とは、部位の部位軸周りの太さである。

また、「部位候補」とは、部位の位置の候補であり、画像データから推定される部位の位置である。

また、「姿勢状態」とは、着目すべき２つ以上の部位の姿勢（位置およびまたは角度）の組み合わせの種別をいうものとし、例えば、「右腕が曲がっている」、「直立状態である」等である。ここで、「姿勢」とは、２次元座標系または３次元座標系における、部位を接続する関節の位置、または、関連する各部位の長さおよび部位間の角度等の情報によって表現されるものとする。したがって、「姿勢状態推定」とは、これらの情報を推定することにより、姿勢状態を推定することをいう。なお、上述の位置、長さ、および角度は、人の所定の身体部位を基準とした相対値により表現されても良いし、２次元座標系または３次元座標系における絶対値により表現されて良い。

なお、本実施の形態では画素を単位として説明するが、姿勢状態推定装置１００は、所定のサイズに相当する複数の画素の一まとまりを、それぞれ一つの画素とみなして、同様の処理を行っても良い。これにより、姿勢状態推定装置は、処理を高速に行うことができる。複数の画素をひとつの画素とみなす場合、複数の画素の重心となる画素の値をその複数の画素の値として用いても良いし、複数の画素の値の平均値を、その複数の画素の値として用いても良い。

図１は、本発明の実施の形態に係る姿勢状態推定装置の構成を示すブロック図である。説明の簡便化のため、姿勢状態推定装置の周辺機器についても併せて図示する。

図１において、姿勢状態推定装置１００は、身体制約情報格納部１１０、画像データ取得部１２０、部位領域推定部１３０、部位候補抽出部１４０、部位候補判断部１５０、補完部位候補抽出部１６０、および姿勢状態推定部１７０を有する。

身体制約情報格納部１１０は、人の体格や姿勢に関する制約条件（以下「身体制約情報」という）を、予め格納する。身体制約情報は、後述の部位領域の推定や部位候補の抽出に用いられる情報である。身体制約情報の具体的な内容は、部位領域の推定手法や部位候補の抽出手法により異なるため、後述する。

画像データ取得部１２０は、所定の３次元座標空間に設置された単眼カメラ２００によって撮像された画像の画像データを、有線通信または無線通信により取得し、部位領域推定部１３０へ出力する。なお、本実施の形態では、単眼カメラ２００はビデオカメラであるものとする。画像データ取得部１２０は、単眼カメラ２００において連続的にリアルタイムで撮影された動画像データを入力し、動画像データを構成する各静止画像データを、順次、部位領域推定部１３０へ出力する。以下の説明では、画像データは、一人のみの画像を含むものとして説明するが、この限りではなく、複数人の画像を含んでも良いし、人の画像を含んでいなくても良い。

図２は、画像データを説明するための図である。

図２に示すように、例えば、単眼カメラ２００の位置を地面に投射した位置を原点Ｏとする３次元の座標系４１０を設定する。座標系４１０は、例えば、垂直方向をＹ軸とし、Ｙ軸および単眼カメラ２００の光軸４１１と直交する方向をＸ軸とし、Ｘ軸およびＹ軸に直交する方向をＺ軸とする。

単眼カメラ２００の設置角度は、例えば、Ｙ軸と光軸４１１との間の角度θにより表される。そして、単眼カメラ２００は、単眼カメラ２００の画角φの範囲に含まれるある平面４１２に焦点（フォーカス）を合わせて撮像を行う。このように撮影された画像の画像データは、姿勢状態推定装置１００へ送信される。

図１の部位領域推定部１３０は、画像データ取得部１２０から入力された画像データに基づいて、各部位の部位領域を推定する。具体的には、部位領域推定部１３０は、画像データから、人の基準部位の位置および向きを推定する。「基準部位」とは、他の部位より前にその位置および向きの推定が行われ、その推定結果が他の部位の位置および向きの推定に影響を与える部位である。画像取得空間において、安定して映像が得られる部位とすることが望ましい。そして、部位領域推定部１３０は、推定した基準部位の位置および向きを基準として、各部位の部位領域を推定する。

本実施の形態では、基準部位は、人の頭部および肩部とする。また、基準部位の向きは、肩部の向きとし、肩部の向きは、右肩部と左肩部とを結ぶ直線の方向とする。そして、部位領域推定部１３０は、画像データと、部位毎の部位領域を示す情報（以下「部位領域データ」という）とを、部位候補抽出部１４０へ出力する。本実施の形態では、図２に示すように上から画像を取得するようにしている。このため、基準部位を人の頭部および肩部とすることにより、最も安定して推定を行うことができる。

部位候補抽出部１４０は、入力された画像データから、入力された部位領域データに基づいて、各部位候補を抽出する。そして、部位候補抽出部１４０は、画像データと、抽出した部位候補を示す情報（以下「部位候補情報」という）とを、部位候補判断部１５０へ出力する。なお、本実施の形態では、部位候補は、画像上の位置、つまり、画像の２次元座標系により表現されるものとし、部位候補情報は、各部位が位置することの尤もらしさの分布を示す尤度マップであるものとする。

すなわち、本実施の形態では、部位候補抽出部１４０は、部位領域推定部１３０から入力された部位領域データが示す部位領域以外の領域については、その部位領域に対応する指定部位が位置することの尤もらしさを低くした尤度マップを生成する。以下、画像データに基づいて生成された尤度マップは、「推定尤度マップ」という。

部位候補判断部１５０は、姿勢状態推定に用いられるべき部位のうち、どの部位が既抽出部位であり、どの部位が未検出部位であるかを判断する。ここで、「既抽出部位」とは、部位候補抽出部１４０により部位候補が抽出された部位である。また、「未抽出部位」とは、部位候補抽出部１４０により部位候補が抽出されなかった部位である。そして、部位候補判断部１５０は、画像データおよび部位候補情報と共に、既抽出部位を示す既抽出部位識別子と、未抽出部位を示す未抽出部位識別子とを、補完部位候補抽出部１６０へ出力する。

補完部位候補抽出部１６０は、未抽出部位の一部が、既抽出部位の陰になっているものと推定して、画像データから未抽出部位の部位候補の抽出を行う。そして、補完部位候補抽出部１６０は、抽出結果を部位候補情報（推定尤度マップ）に反映させて部位候補情報を補完し、補完後の部位候補情報を姿勢状態推定部１７０へ出力する。

図３は、補完部位候補抽出部１６０の構成の一例を示すブロック図である。

図３に示すように、補完部位候補抽出部１６０は、前景部位推定部１６１、露出領域推定部１６２、露出領域統合部１６３、エッジ抽出領域決定部１６４、エッジ抽出部１６５、補完候補領域決定部１６６、および部位候補情報修正部１６７を有する。なお、補完部位候補抽出部１６０の各部は、画像データ、部位候補情報、既抽出部位識別子、未抽出部位識別子、および身体制約情報を、それぞれ取得可能であるものとする。

前景部位推定部１６１は、入力される既抽出部位識別子および未抽出部位識別子に基づいて、未抽出部位毎に前景部位を推定する。ここで、「前景部位」とは、画面上で未抽出部位と重なり、その陰に未抽出部位の一部が隠れ得る既抽出部位である。具体的には、前景部位推定部１６１は、各既抽出部位の部位軸を推定し、未抽出部位の可動範囲とその部位軸とが重なる既抽出部位を、前景部位として特定する。そして、前景部位推定部１６１は、各既抽出部位の部位軸を露出領域推定部１６２へ出力すると共に、各前景部位を未抽出部位の未抽出部位識別子と対応付けて露出領域推定部１６２へ出力する。

露出領域推定部１６２は、未抽出部位毎および前景部位毎に、その露出領域を推定する。ここで、「露出領域」とは、未抽出部位の一部が前景部位の陰になっている場合に、その未抽出部位が露出し得る領域である。具体的には、露出領域推定部１６２は、前景部位の部位軸とその前景部位の部位太さとから、前景部位のエッジを推定する。また、露出領域推定部１６２は、前景部位のエッジと、未抽出部位の部位太さとから、未抽出部位のエッジの範囲を推定し、この範囲を露出領域とする。そして、露出領域推定部１６２は、推定した露出領域を、未抽出部位の未抽出部位識別子および前景部位を示す前景部位識別子と対応付けて、露出領域統合部１６３へ出力する。

露出領域統合部１６３は、未抽出部位毎に、全ての前景部位の露出領域を統合した露出領域を生成する。具体的には、露出領域統合部１６３は、全ての前景部位の露出領域の総和（論理和）から、全ての既抽出部位の部位候補を除外した領域を、統合された露出領域とする。そして、露出領域統合部１６３は、統合された露出領域を、エッジ抽出領域決定部１６４へ出力する。

エッジ抽出領域決定部１６４は、未抽出部位毎に、入力された露出領域と、未抽出部位の可動範囲とから、エッジ抽出の対象となるエッジ抽出領域を決定する。具体的には、エッジ抽出領域決定部１６４は、未抽出部位の露出領域と可動範囲とが重なる領域（論理積）を、エッジ抽出領域とする。そして、エッジ抽出領域決定部１６４は、決定したエッジ抽出領域を、エッジ抽出部１６５へ出力する。

エッジ抽出部１６５は、未抽出部位毎に、エッジ抽出領域において、エッジの抽出を行う。具体的には、エッジ抽出部１６５は、身体制約情報から、エッジの角度を推定し、推定した角度の直線成分を画像データのエッジ抽出領域から抽出する。そして、エッジ抽出部１６５は、抽出された直線成分からエッジを抽出し、抽出したエッジと、未抽出部位がエッジのどちら側に位置するかを示す位置情報とを、補完候補領域決定部１６６へ出力する。

補完候補領域決定部１６６は、未抽出部位毎に、入力されたエッジおよび位置情報に基づいて、未抽出部位の一部が露出していると推定される領域を、補完候補領域として決定する。具体的には、補完候補領域決定部１６６は、エッジを１辺とし、位置情報が示す側に、その未抽出部位の部位太さの幅を有する矩形領域を、補完候補領域として算出する。すなわち、補完候補領域は、既抽出部位にその一部が隠れて未抽出領域が位置することの尤もらしさが高い領域である。そして、補完候補領域決定部１６６は、決定した補完候補領域を、未抽出部位の識別情報と対応付けて、部位候補情報修正部１６７へ出力する。

部位候補情報修正部１６７は、未抽出部位毎に、その未抽出部位が対応する補完候補領域に位置することの尤もらしさが高くなるように、部位候補情報（推定尤度マップ）を修正する。具体的には、部位候補情報修正部１６７は、部位候補判断部１５０から入力された推定尤度マップのうち、補完候補領域の尤度値を増加させる。

図１の姿勢状態推定部１７０は、部位候補抽出部１４０から入力された部位候補情報に基づいて、画像データに含まれる人（以下「被写体」という）の姿勢状態の推定を行う。具体的には、姿勢状態推定部１７０は、姿勢状態毎に、その姿勢状態にある基準モデルから学習された尤度マップ（以下「学習尤度マップ」という）を、予め保持している。そして、姿勢状態推定部１７０は、推定尤度マップといずれかの学習尤度マップとの一致度が高いとき、該当する学習尤度マップに対応する姿勢状態を、被写体の姿勢状態として推定する。そして、姿勢状態推定部１７０は、ディスプレイ装置等の情報出力装置３００に対して、有線通信または無線通信により情報を送信し、ユーザに対して推定結果を通知する。なお、姿勢状態推定部１７０は、姿勢状態だけでなく、被写体の向き（例えば、右に向いて座っているか、左に向いて座っているか）を併せて推定しても良い。

姿勢状態推定装置１００は、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータである。すなわち、姿勢状態推定装置１００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。

このような姿勢状態推定装置１００は、未抽出部位の一部が、既抽出部位の陰になっている場合に、その旨を推定して、画像データからその未抽出部位の部位候補を抽出することができる。したがって、姿勢状態推定装置１００は、画像上の形状が楕円形状でない場合や、２本のエッジの一方が取得されない場合でも、その部位の部位候補を抽出することができる。これにより、姿勢状態推定装置１００は、姿勢状態を、従来技術よりも高精度に推定することが可能となる。

次に、姿勢状態推定装置１００の動作について説明する。

図４は、姿勢状態推定装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、部位領域推定部１３０は、画像データ取得部１２０を介して、単眼カメラ２００から、静止画像１枚分の画像データを取得する。

そして、ステップＳ１２００において、部位領域推定部１３０は、基準部位の位置および向きを推定する処理（以下「基準部位推定処理」という）を行う。

ここで、基準部位推定処理の詳細の例について説明する。基準部位推定処理は、大きく分けて、人の肩関節位置を推定する第１の処理と、人の胴体の向きを推定する第２の処理とから成る。

まず、人の肩関節位置を推定する第１の処理について説明する。

部位領域推定部１３０は、画像データから、オメガ形状を検出し、オメガ形状に基づいて肩関節位置を推定する。

図５は、オメガ形状を説明するための図である。

オメガ（Ω）形状は、人の頭部および肩部を含む領域の特徴的なエッジ形状であり、人の身体のうち、監視カメラ等を用いた場合に最も安定して撮影される確率が高い形状である。また、頭部および肩部は、人の胴体との相対位置の変化が少ない。したがって、部位領域推定部１３０は、オメガ形状をまず検出して人の頭部および肩部の位置を検出し、これらを基準として他の部位の部位領域を推定することにより、部位領域を高精度に推定する。

オメガ形状は、例えば、充分な数のサンプル画像を用いてＲｅａｌ ＡｄａＢｏｏｓｔ等により作成された検出器を用いて、検出することができる。検出器に用いられる特徴量としては、例えば、ＨｏＧ（histogram of gradient）特徴量、Ｓｐａｒｓｅ特徴量、Ｈａａｒ特徴量等を用いることができる。また、学習方法としては、例えば、Ｂｏｏｓｔｉｎｇ手法のほか、ＳＶＭ（サポートベクタマシン）、ニューラルネットワークなどを利用することも可能である。

部位領域推定部１３０は、画像データの画像４２０から、まず、オメガ形状４２１を検出する。ここで、オメガ領域４２２の画素のうち、オメガ形状４２１を構成する画素（エッジ部分の画素）はデジタル信号「１」であり、他の画素はデジタル信号「０」であるものとする。そして、オメガ形状４２１を包含する比較的小さい矩形領域を、オメガ領域４２２として決定する。ここで、オメガ領域４２２の下の辺を基準線４２３という。

部位領域推定部１３０は、オメガ領域４２２に含まれるノイズを取り除く。具体的には、部位領域推定部１３０は、オメガ領域４２２の画素のうち、オメガ形状４２１に囲まれた領域に存在するデジタル信号「１」を、ノイズとして、これをデジタル信号「０」に修正する。この修正は、例えば、いわゆるクロージング処理を行うことにより可能である。クロージング処理とは、所定の画素分または所定の割合で、画像領域を拡大また縮小する処理である。この修正により、後述の距離ヒストグラムの精度を向上させることができる。

そして、部位領域推定部１３０は、基準線４２３からオメガ形状４２１までの垂直距離を、基準線４２３の各位置について取得する。

図６は、基準線４２３からオメガ形状４２１までの垂直距離を説明するための図である。

図６に示すように、部位領域推定部１３０は、基準線４２３の方向をＸ軸とし、基準線４２３の垂直方向をＹ軸として扱う。部位領域推定部１３０は、例えば、基準線４２３の左端からの画素数を、Ｘ座標値とする。そして、部位領域推定部１３０は、基準線４２３からオメガ形状４２１を構成する画素までのＹ軸方向の画素数、つまり、オメガ形状４２１までの垂直距離を、垂直距離ｄ（Ｘ）として取得する。オメガ形状４２１を構成する画素とは、例えば、デジタル信号「１」の画素のうち、基準線４２３から直近のものである。

そして、部位領域推定部１３０は、ｎ個（ｎは正の整数）の垂直距離ｄ（Ｘ）のデータをＸ座標に対応付けた距離ヒストグラムを生成する。

図７は、部位領域推定部１３０が図５に示すオメガ領域４２２に基づいて生成する距離ヒストグラムの一例を示す図である。

図７に示すように、部位領域推定部１３０は、ＸＹ座標系に、垂直距離ｄ（Ｘ）をＹ軸の値として、垂直距離ｄ（Ｘ）の分布を示す距離ヒストグラム４３０を生成する。距離ヒストグラム４３０は、肩部に対応する形状で盛り上がり、そのうち、頭部の中心部に対応する範囲で突出した形状となる。

そして、部位領域推定部１３０は、生成した距離ヒストグラム４３０に対して、所定の閾値Ｔｈを適用して、２値化処理を行う。具体的には、部位領域推定部１３０は、垂直距離ｄ（Ｘ）が閾値Ｔｈ以上となっているＸ座標のＹ座標値を、「１」に置き換え、垂直距離ｄ（Ｘ）が閾値Ｔｈ未満となっているＸ座標のＹ座標値を、「０」に置き換える。閾値Ｔｈは、オメガ領域４２２において、高い確率で、肩部上端の垂直距離ｄ（Ｘ）よりも大きく、頭部上端の垂直距離ｄ（Ｘ）よりも小さくなる値が設定される。なお、２値化処理はこれに限定されるものではなく、例えば、いわゆる大津の２値化（大津の手法）等、他の手法としても良い。

図８は、図７に示す距離ヒストグラム４３０を２値化処理した結果の一例である。

図８に示すように、「１」となる範囲４４１は、頭部の中央部分の画像領域（以下「頭領域」という）のＸ座標の範囲を示すことになる。また、「１」となる範囲４４１を含む全体の範囲４４２は、肩部の画像領域（以下「肩領域」という）のＸ座標の範囲を示すことになる。したがって、部位領域推定部１３０は、画像データの画像４２０のうち、オメガ領域４２２のＸ軸方向範囲を、肩領域のＸ軸方向範囲として抽出し、「１」となる範囲４４１のＸ軸方向範囲を、頭領域のＸ軸方向範囲として抽出する。

そして、部位領域推定部１３０は、抽出した肩領域および頭領域に基づいて、基準部位の位置および向きを示す各種パラメータを算出する。

図９は、基準部位を示す各種パラメータを説明するための図である。

ここで、部位領域推定部１３０は、図９に示すように、基準部位の位置を示す記号（括弧内はＸＹ座標系におけるパラメータ）として、Ｈ（ｘｈ，ｙｈ）、ＲＳＥ（ｘ＿ｒｓｅ）、ＲＤ（ｘ＿ｒｄ）、ＲＳ（ｘ＿ｒｓ，ｙ＿ｒｓ）、ＲＳＵ（ｙ＿ｒｓｕ）、およびＬＳを用いるものとする。Ｈは、頭部の重心位置である。ＲＳＥは、右肩の端部の位置である。ＲＤは、頭部の重心から右肩の端部までのＸ軸方向の距離である。ＲＳは、右肩の関節の位置（以下「右肩位置」という）である。ＲＳＵは、右肩の頂部の位置である。ＬＳは、左肩の関節の位置（以下「左肩位置」という）である。

部位領域推定部１３０は、例えば、以下のようにして各パラメータの値を算出する。

まず、部位領域推定部１３０は、２値化処理の結果に基づいて抽出した肩領域から、人（の胴体）が単眼カメラ２００側に向いているか否かに基づいて、右肩領域を決定する。部位領域推定部１３０は、頭領域の色情報の肌色成分が所定の閾値以上となっているか否かに基づいて、人が単眼カメラ２００側に向いているか否かを判断する。ここでは、人は単眼カメラ２００側に向いており、画像に向かって左側の肩領域が、右肩領域に決定されたものとする。

次に、部位領域推定部１３０は、右肩領域の重心位置を、右肩位置ＲＳ（ｘ＿ｒｓ，ｙ＿ｒｓ）として算出する。また、部位領域推定部１３０は、頭部の重心位置Ｈ（ｘｈ，ｙｈ）を算出し、重心位置Ｈ（ｘｈ，ｙｈ）と基のオメガ形状４２１とのＹ軸方向の距離（以下「頭部高さΔｈ」という）用いて、右肩位置ＲＳ（ｘ＿ｒｓ，ｙ＿ｒｓ）を算出しても良い。具体的には、部位領域推定部１３０は、例えば、頭部高さΔｈに対して予め定められた比となる値を、頭部の重心位置Ｈから右肩位置ＲＳまでのＸ軸方向の距離（ｘｈ−ｘ＿ｒｓ）とすれば良い。また、部位領域推定部１３０は、例えば、肩の高さから頭部高さΔｈの半分の値Δｈ／２だけ低い位置を、右肩位置ＲＳのＹ座標ｙ＿ｒｓとしても良い。

更に、部位領域推定部１３０は、オメガ形状４２１のエッジの傾き（つまり距離ヒストグラムの変化率）が閾値を越えた点を、右肩の端部の位置ＲＳＥ（ｘ＿ｒｓｅ）として算出する。そして、部位領域推定部１３０は、頭部の重心位置Ｈと右肩の端部の位置ＲＳＥとのＸ軸方向の距離ＲＤ（ｘ＿ｒｄ）を算出する。

最後に、部位領域推定部１３０は、頭部の重心位置ＨからＸ軸方向において距離ＲＤの８０％の位置に、右肩位置ＲＳがあるものと推定する。すなわち、部位領域推定部１３０は、右肩位置ＲＳのＸ座標ｘ＿ｒｓを、 ｘ＿ｒｓ＝ｘ＿ｒｓｅ＋０.２×ＲＤ により算出する。また、部位領域推定部１３０は、右肩位置ＲＳを通り垂直な直線（Ｙ軸に並行な直線）とオメガ形状４２１のエッジとの交点を、右肩の頂部の位置ＲＳＵ（ｙ＿ｒｓｕ）として算出する。そして、部位領域推定部１３０は、右肩位置ＲＳのＹ座標ｙ＿ｒｓを、 ｙ＿ｒｓ＝ｙ＿ｒｓｕ−０.２×ＲＤ により算出する。

また、部位領域推定部１３０は、同様にして、左肩位置ＬＳについても算出する。

なお、各パラメータの算出手法は、上述の例に限定されるものではない。例えば、肩幅（例えば右肩位置ＲＳと左肩位置ＬＳとの距離）等の部位長が、身体制約情報の１つとして身体制約情報格納部１１０に格納されている場合、部位領域推定部１３０は、その身体制約情報を用いて各パラメータを算出しても良い。

次に、人の胴体の向きを推定する第２の処理について説明する。

本実施の形態では、部位領域推定部１３０は、身体制約情報格納部１１０に身体制約情報の１つとして予め保持された基準部位対応テーブルを参照して、第２の処理を行うものとする。

基準部位対応テーブルは、頭部の重心位置Ｈと、右肩位置ＲＳと、左肩位置ＬＳとの組み合わせ（以下「基準部位の位置」という）と、その基準部位の位置から推定される身体の向き（以下「基準部位の向き」という）とを対応付けて記述したテーブルである。すなわち、基準部位テーブルは、各部位の相対的な位置関係を記述したテーブルである。なお、基準部位とは、上述の通り、人の頭部および肩部を示すオメガ形状の部分である。したがって、基準部位の向きとは、人の身体（胴体）の向きである。

部位領域推定部１３０は、画像データから算出した基準部位の位置に対応する基準部位の向きを、基準部位対応テーブルから導出する。

なお、保持された基準部位対応テーブルに記述される基準部位の位置、および、部位領域推定部１３０が画像データから算出する基準部位の位置は、人の画面上の大きさによらない正規化された値であることが望ましい。具体的には、部位領域推定部１３０は、例えば、頭部の重心位置Ｈを原点とし、頭部の重心位置Ｈと右肩位置ＲＳまたは左肩位置ＬＳとの間の長さが１となるように正規化した値を用いて、準部位の向きを導出する。

また、基準部位対応テーブルには、右肩位置ＲＳおよび左肩位置ＬＳが記述されていても良い。また、基準部位対応テーブルには、頭部の重心位置Ｈと右肩位置ＲＳまたは左肩位置ＬＳとを通る線と、頭部の重心位置Ｈを通る垂直な直線（以下「頭部垂直線」という）とが成す角が記述されていても良い。また、基準部位対応テーブルには、頭部の重心位置Ｈと右肩位置ＲＳとの間の距離を１としたときの頭部の重心位置Ｈと左肩位置ＬＳとの間の距離が記述されていても良い。部位領域推定部１３０は、基準部位対応テーブルに記述されたパラメータに対応するパラメータを算出することにより、基準部位の向きを導出する。

図１０は、基準部位対応テーブルの内容の一例を示す図である。

図１０に示すように、基準部位対応テーブル４５０は、識別子４５１に対応付けて、射影角度４５２、左肩位置ＬＳの座標４５３、頭部の重心位置Ｈの座標４５４、および基準部位の向き４５５を記述する。各座標は、例えば、右肩位置ＲＳを原点とし、画面の２次元座標系に平行な所定の２次元座標系を用いて表現される。射影角度４５２は、例えば、図２で説明した３次元座標系４１０のＸＺ平面に対する、この所定の２次元座標系の角度（つまり図２に示す設置角度θ）である。また、基準部位の向き４５５は、例えば、図２で説明した３次元座標系４１０のＸＹＺ軸のそれぞれに対する回転角度で表される。なお、各座標は、腕の部位長や身長等の他の長さを１とする座標系を用いて表現されても良い。

このようにして、部位領域推定部１３０は、身体制約情報を用いて、基準部位の位置および向きを推定する。以上で基準部位推定処理の説明を終える。

次に、図４のステップＳ１３００において、部位領域推定部１３０は、推定した基準部位の位置および向きに基づいて、部位毎に部位領域を推定する処理（以下「部位領域推定処理」という）を行う。

ここで、部位領域推定処理の詳細の例について説明する。

本実施の形態では、部位領域推定部１３０は、身体制約情報格納部１１０に身体制約情報の１つとして予め保持された部位領域対応テーブルを参照して、部位領域推定処理を行うものとする。

部位領域対応テーブルは、基準部位の位置と向きと、他の部位の部位領域とを対応付けて記述したテーブルである。

部位領域推定部１３０は、画像データから推定した基準部位の位置および向きに対応する部位領域を、部位領域対応テーブルから導出する。

部位領域は、例えば、画像データの画像の画素位置により定義される。したがって、部位領域推定部１３０は、画像データの画像全体の全ての画素について、各画素がいずれかの部位の部位領域に属する画素であるかを判断する。

図１１は、部位領域対応テーブルの内容の一例を示す図である。

図１１に示すように、部位領域対応テーブル４６０は、識別子４６１に対応付けて、射影角度４６２、頭肩領域（基準部位）の位置４６３、頭肩領域（基準部位）の向き４６４、および各部位の領域４６５を記述する。

各位置および領域は、例えば、画像の２次元座標系の値で表される。射影角度４６２は、例えば、図２で説明した３次元座標系４１０のＸＺ平面に対する、この所定の２次元座標系の角度（つまり図２に示す設置角度θ）である。頭肩領域の位置４６３は、例えば、右肩位置ＲＳである。頭肩領域の向き４６４は、例えば、図２で説明した３次元座標系４１０のＸＹＺ軸のそれぞれに対する回転角度で表される。各部位の領域４６５は、例えば、領域が円で近似される場合における、その円の中心座標と半径とにより表される。半径は、つまり、部位長である。

なお、識別子４６１が基準部位対応テーブル４５０の識別子４５１と共通である場合には、頭肩領域の向き４６４は、必ずしも部位領域対応テーブル４６０に記述されていなくても良い。

なお、部位領域を推定する際には、他の種類の身体制約情報を用いることもできる。また、身体制約情報は、上述の構成以外の構成を取ることもできる。

ここで、部位領域の推定に用いられ得る他の身体制約情報について説明する。

身体制約情報は、例えば、所定の部位の長さ、および関節の角度のうち少なくとも一方を基準として、所定の部位に接続する部位が存在し得る領域（つまり部位領域）を制限する。この場合、身体制約情報は、例えば、ある部位と他の部位との間の長さの比および関節の可動角度のうち少なくとも一方を含む。例えば、身体制約情報は、肩幅を１とした場合に上腕の長さが０.６となる旨を規定する。

例えば、身体制約情報は、部位毎に、部位長比と、胴体に近い側の関節を基点としたときの運動の自由度を３方向（Ｘ軸方向、Ｙ軸方向、Ｚ軸方向）について記述する情報とを含む。

また、身体制約情報は、例えば、右上腕の部位ＩＤが「３」で、右上腕の部位長の肩部の部位長に対する比が「０.８」である場合、以下のような記述のファイルまたはプログラムソースにより、右上腕の部位長を規定することができる。
Ｂｅｇｉｎ
部位ＩＤ：３
長さの比：０.８
Ｅｎｄ

また、身体制約情報は、例えば、右上腕の部位ＩＤが「３」で、肩部の部位長に対する右上腕の太さの比が「０.２」である場合、以下のような記述のファイルまたはプログラムソースにより、右上腕の部位太さを規定することができる。
Ｂｅｇｉｎ
部位ＩＤ：３
太さの比：０.２
Ｅｎｄ

また、例えば、右肩の関節ＩＤが「１００」で、肩部の部位ＩＤが「１」で、右上腕の部位ＩＤが「３」であるものとする。また、右上腕の可動方向が、Ｘ軸について（−６０.０，９０.０）、Ｙ軸について（−９０.０，９０.０）、Ｚ軸について（−９０.０，９０.０）であるものとする。この場合、身体制約情報は、例えば、以下のような記述のファイルまたはプログラムソースにより、右上腕の右肩の関節に対する自由度を規定することができる。
Ｂｅｇｉｎ
関節ＩＤ：１００
部位ＩＤ：１
部位ＩＤ：３
可動方向：ｒｘ，ｒｙ，ｒｚ
角度：（−６０.０，９０.０）、（−９０.０，９０.０）、（−９０.０，９０.０）
Ｅｎｄ

なお、これらの場合において、関節ＩＤと部位ＩＤによって示される関節と部位との接続関係を示す情報と、各関節の可動方向および角度を示す情報とは、別のファイルに記述されても良い。

また、身体制約情報は、各位置を２次元座標系に射影した情報により記述したものであっても良い。この場合、３次元では一意である位置情報であっても、射影角度によってその値は異なり得る。また、可動方向や角度は２次元の値となる。したがって、身体制約情報格納部１１０は、このような値を身体制約情報として保持する場合には、併せて、射影角度に関する情報を保持しておく必要がある。

以上で、部位領域の推定に用いられる他の身体制約情報の例についての説明を終える。

部位領域推定部１３０は、部位領域の推定を完了すると、画像データの画像全体の全ての画素について、画素毎に部位の部位領域であるか否かを示す情報を、部位領域データとして部位候補抽出部１４０へ出力する。

部位領域データは、例えば、画像データの全ての画素位置（ｉ，ｊ）について、いずれかの部位の部位領域に該当するか否かを示す画素情報Ｋｉｊを並べた構造を有し得る。画素情報Ｋｉｊの各要素は、例えば、対応する部位の部位領域に属する場合には「１」を取り、属しない場合には「０」を取る。画素情報Ｋｉｊは、例えば、Ｋｉｊ＝［ｋ１，ｋ２］というように、部位の数と同数の次元を有する。ここでは、ｋ１は右上腕の部位領域に対応し、ｋ２は右前腕の部位領域に対応するものとする。

例えば、部位領域推定部１３０は、ある画素位置Ｋａｂが、右上腕の部位領域に含まれるが右前腕の部位領域には含まれないと判定した場合、Ｋａｂ＝［１，０］という画素情報を生成する。部位領域推定部１３０は、このように生成した各画素の画素情報の集合を、部位領域データとして生成する。

なお、部位領域データによる部位領域の表し方は、上述の例に限定されるものではない。例えば、部位領域データは、画像に予め設定された部分領域毎に、いずれの部位の部位領域に該当するかを示しても良いし、部位毎に部位領域の外縁の座標を示しても良い。

なお、基準部位の位置を正規化した位置が基準部位推定処理において用いられる場合には、部位領域対応テーブルには、正規化された基準部位に対応する部位領域が記述されていることが望ましい。また、部位領域データには、上述の基準部位対応テーブルの場合と同様に、右肩位置ＲＳおよび左肩位置ＬＳ等の他の情報が記述されていても良い。部位領域推定部１３０は、部位領域対応テーブルに記述されたパラメータに対応するパラメータを算出することにより、各部位の部位領域を導出する。

図１２は、部位領域データの内容の一例を示す図である。ここでは、説明の簡便化のため、直立状態にある場合の各部位の位置を併せて図示する。

図１２に示すように、部位領域データは、画像データの画像４２０において、右上腕の部位領域４７１と、右前腕の部位領域４７２とを示す。これらの部位領域４７１、４７２は、上述の通り、先に推定された基準部位４７３の位置および向きを基準として推定されたものである。

このようにして、部位領域推定部１３０は、身体制約情報を用いて、各部位の部位領域を推定する。以上で部位領域推定処理の説明を終える。

次に、図４のステップＳ１４００において、部位候補抽出部１４０は、部位毎に部位領域について部位候補の抽出を行って、抽出された部位候補を示す部位候補情報を生成する。

ここで、部位候補情報として推定尤度マップを生成する処理（以下「推定尤度マップ生成処理」という）の詳細の第１の例について説明する。

まず、部位候補抽出部１４０は、画像データから、各部位の部位領域内の画素毎に、その部位の位置および向きの状態を表すのに適した画像特徴量を判別して部位が位置することの尤もらしさを示す尤度値を算出する。そして、部位候補抽出部１４０は、画像データから算出された尤度値を用いて、各画素の尤度値の分布を示す推定尤度マップを生成する。尤度値は、０〜１の範囲となるように正規化した値であっても良いし、正の整数や負の数を含む実数であっても良い。

画像から注目対象を認識する手法としては、例えば、矩形情報を基にした複数の弱識別器の総和をＡｄａＢｏｏｓｔにより統合して強識別器を作成し、強識別器をカスケード接続させて、画像中の注目対象として顔を認識する技術を、採用することができる。また、画像特徴量としては、例えば、ＳＩＦＴ（scale-invariant feature transform）特徴量を採用することができる（例えば、非特許文献１および非特許文献２参照）。ＳＩＦＴ特徴量は、１２８次元のベクトルにより構成されており、画素毎に計算される値である。ＳＩＦＴ特徴量は、検出の対象となる物体のスケール変化、回転、および平行移動に影響を受けないため、特に、腕のように、様々な方向に回転し得る部位の検出に有効である。すなわち、ＳＩＦＴ特徴量は、姿勢状態を２つ以上の部位の相対的な関節の位置および角度によって定義する本実施の形態に好適である。

ＳＩＦＴ特徴量を用いた手法を本実施の形態に適用した場合、強識別器Ｈｋ（ｋ＝１，２）は、右上腕（ｋ＝１）、右前腕（ｋ＝２）等、部位領域毎に、予め機械学習により生成され、部位候補抽出部１４０に保持される。識別器Ｈｋは、ＡｄａＢｏｏｓｔアルゴリズムにより生成される。すなわち、強識別器Ｈｋは、予め部位毎に用意されている複数の学習画像に対して、右上腕であるか否か、および、右前腕であるか否かが、所望の精度で判定できるまで学習が繰り返され、複数の弱識別器がカスケード接続されることによって生成される。

部位候補抽出部１４０は、部位毎および画素毎に画像特徴量を算出すると、その画像特徴量を強識別器Ｈｋに入力し、その強識別器Ｈｋを構成する各弱識別器の出力に対して弱識別器毎に予め得られた信頼度αを乗算した値の総和を算出する。そして、部位候補抽出部１４０は、算出した総和から所定の閾値Ｔｈを減算して、部位毎および画素毎の尤度値ｃｋを算出する。ここでは、ｃ１は右上腕の尤度値を示し、ｃ２は右前腕の尤度値を示す。

部位候補抽出部１４０は、各部位の尤度値を統合した画素毎の尤度値Ｃｉｊを、Ｃｉｊ＝［ｃ１，ｃ２］とする。そして、部位候補抽出部１４０は、画像全体の全ての画素の尤度値Ｃｉｊを、推定尤度マップとして、姿勢状態推定部１７０へ出力する。

部位候補抽出部１４０は、各画素について、その画素がいずれかの部位領域に含まれるか否かを判断し、含まれればその部位の識別器を用いて尤度値を算出し、含まなければその部位の尤度値を０としても良い。換言すると、部位候補抽出部１４０は、部位領域推定部１３０から出力された画素情報の行列式（Ｋｉｊ）と、部位領域とは無関係に算出した各画素の尤度値の行列式（Ｃｉｊ）とを積算した結果を、最終的な推定尤度マップとしても良い。

図１３は、推定尤度マップの一例を示す図である。ここでは、推定尤度マップのうち１つの部位（例えば右上腕）の尤度値のみを表し、尤度値がより高い画素ほどより濃い網掛けを付している。図１３に示すように、推定尤度マップ４７８は、部位が位置することの尤もらしさの分布を表す。

尤度マップの画素毎の情報は、例えば、部位ｋの尤度値をｃｋと表し、部位がｎ個存在する場合には、尤度ベクトルＣｉｊ＝［ｃ１，ｃ２，…，ｃｋ，…，ｃｎ］というデータ構造となる。

このようにして、部位候補抽出部１４０は、推定尤度マップを生成する。以上で推定尤度マップ生成処理の詳細の第１の例についての説明を終える。

次いで、推定尤度マップ生成処理の詳細の第２の例について説明する。

部位候補抽出部１４０は、例えば、特許文献１記載の技術のように、画像データに含まれるエッジから平行線を抽出することにより、推定尤度マップを生成する。

この場合、部位候補抽出部１４０は、例えば、身体制約情報格納部１１０に身体制約情報の１つとして予め保持された、肩関節の長さと各部位の標準的な太さの値とを対応付けた対応テーブルを参照して、平行線の抽出を行う。部位候補抽出部１４０は、部位領域内に、その部位の標準的な太さに相当する距離で離隔する平行線の組を、判定する方向を３６０度回転させながら検索する。そして、部位候補抽出部１４０は、該当する平行線の組が存在する場合に、それらの平行線によって囲まれた領域の各画素に対して投票を行う処理を繰り返し、最終的な各画素の投票数に基づいて推定尤度マップを生成する。

このような手法の場合、推定尤度マップおよび学習尤度マップは、画素毎および部位毎に、平行線の方向と投票数（以下「方向の尤度値」という）とを含むことになる。例えば、平行線の角度を８つに分類した場合、画素毎および部位毎の尤度値は、８方向に対応した８次元の値となる。更に、例えば、平行線の幅を２つに分類した場合、画素毎および部位毎の尤度値は、２×８＝１６次元の値となる。なお、投票の対象となる平行線の距離や角度は、部位毎に異なっていても良い。平行線の幅を複数求めて、そのうちの尤度値が尤も高くなる幅の尤度値を用いることにより、体型や服装の違いを吸収して、尤度を求めることができる。

そして、部位候補抽出部１４０は、例えば、部位毎に、方向の尤度値が最も高い方向を、その部位の主要なエッジ方向と判定する。このとき、姿勢状態推定部１７０は、方向毎に全画素の尤度値の合計値を取り、その合計値が最も高い方向を、方向の尤度値が最も高い方向であると判定しても良い。

このようにして、部位候補抽出部１４０は、身体制約情報を用いて、推定尤度マップを生成する。以上で推定尤度マップ生成処理の詳細の第２の例についての説明を終える。

次に、ステップＳ１５００において、部位候補判断部１５０は、既抽出部位と未検出部位とを特定する。具体的には、部位候補判断部１５０は、所定の条件を満たしている部位を既抽出部位と判断し、所定の条件を満たしていない部位を未抽出部位と判断する。所定の条件は、例えば、推定尤度マップの場合、値の平均値が所定の閾値を超えていることや、所定の閾値を超えている画素の数が所定の閾値を超えていることである。

以下の説明では、図１４に示すような、人の頭部５１１、胴体５１２、左上腕５１３、および左前腕５１４と、左腕の陰になっている右上腕５１５および右前腕５１６とを含む対象画像５１０が、入力されたものとする。また、部位候補抽出部１４０は、特許文献１記載の技術のように、平行線を抽出することによって、部位候補の抽出を行うものとする。

この場合、図１５に示すように、右上腕５１５および右前腕５１６からは、１本ずつのエッジ５２５、５２６しか抽出することができない。したがって、図１６に示すように、頭部５１１、胴体５１２、左上腕５１３、および左前腕５１４は、部位候補５３１〜５３４が抽出されるが、右上腕５１５および右前腕５１６は、部位候補５３５、５３５が抽出されない。したがって、部位候補判断部１５０は、頭部５１１、胴体５１２、左上腕５１３、および左前腕５１４を既抽出部位とし、右上腕５１５および右前腕５１６を未抽出部位とする。

そして、ステップＳ１６００において、補完部位候補抽出部１６０は、未抽出部位の部位候補の抽出を行って部位候補情報を補完する処理（以下「部位候補補完処理」という）を行う。

図１７は、部位候補補完処理の一例を示すフローチャートである。また、図１８〜図２３は、部位候補補完処理により部位候補情報が補完される様子を示す模式図である。図１７〜図２３を参照しながら、部位候補補完処理についての説明を行う。

まず、ステップＳ１６０１において、前景部位推定部１６１は、各既抽出部位の部位軸を推定する。具体的には、前景部位推定部１６１は、例えば、既抽出部位の部位候補が示す部位の外形が楕円に近似することができる場合、その楕円の長軸を部位軸とする。また、前景部位推定部１６１は、その領域の各画素の尤度値の平均値が所定の閾値を超えるような領域を楕円に近似し、その楕円の長軸を部位軸としても良い。また、前景部位推定部１６１は、部位候補が方向成分を含む場合、部位候補内で最も多い平行成分を部位の軸方向として採用し、軸方向の尤度の値が所定の閾値以上となる画素を含む領域の重心を通る直線を部位軸としても良い。

そして、ステップＳ１６０２において、前景部位推定部１６１は、未抽出部位を１つ選択し、その未抽出部位の可動範囲および部位太さを取得する。未抽出部位の可動範囲は、例えば、既抽出部位の部位軸が示す各関節位置と、未抽出部位の各関節に対する可動範囲を示す身体制約情報とから、推定することができる。未抽出部位の部位太さは、例えば、身体制約情報から取得することができる。

そして、ステップＳ１６０３において、前景部位推定部１６１は、選択中の未抽出部位の可動範囲にその部位軸が重なる既抽出部位を、前景部位として特定する。

未抽出部位のうち右上腕が選択された場合、図１８に示すように、右上腕の可動範囲５４５に、頭部、胴体、および左上腕の部位軸５４１〜５４３が含まれている。したがって、前景部位推定部１６１は、頭部、胴体、および左上腕を、前景部位として特定する。

なお、部位候補情報が推定尤度マップである場合には、前景部位推定部１６１は、未抽出部位の可動範囲に、所定の閾値を超える画素の数が所定の閾値以上となっている既抽出部位を、前景部位として特定しても良い。この場合には、部位軸の取得は、前景部位推定部１６１ではなく、後段の露出領域推定部１６２で行うようにしても良い。

そして、ステップＳ１６０４において、露出領域推定部１６２は、前景部位を１つ選択し、その部位太さを取得する。前景部位の部位太さは、例えば、身体制約情報から取得することができる。

そして、ステップＳ１６０５において、露出領域推定部１６２は、既抽出部位の部位軸および部位太さから、選択中の既抽出部位のエッジを推定する。具体的には、露出領域推定部１６２は、例えば、図１９に示すように、部位軸から部位太さの半分の距離にある２本の線分を対辺とする矩形５６３を、既抽出部位のエッジとする。

そして、ステップＳ１６０６において、露出領域推定部１６２は、既抽出部位のエッジおよび未抽出部位の部位太さから、選択中の既抽出部位についての選択中の未抽出部位の露出領域を推定する。具体的には、露出領域推定部１６２は、例えば、図１９に示すように、まず、既抽出部位の部位軸５４３に平行かつ１.２倍の長さであって、既抽出部位のエッジ（矩形５６３からの距離）が未抽出部位の部位太さとなる２本の線分を対辺とする矩形５６５を取得する。そして、露出領域推定部１６２は、この矩形５６５を、未抽出部位のエッジの最大範囲とする。そして、露出領域推定部１６２は、既抽出部位のエッジである矩形５６３と未抽出部位のエッジの最大範囲である矩形５６５との間の領域を、選択中の未抽出部位の露出領域５７３とする。

なお、露出領域推定部１６２は、未抽出部位のエッジの最大範囲である矩形５６５を、既抽出部位の部位太さの１.２倍の太さとする等、既抽出部位の部位太さや部位軸の長さに基づいて決定しても良い。この場合、未抽出部位の部位太さは、前景部位推定部１６１ではなく、後段の補完候補領域決定部１６６で取得しても良い。

そして、ステップＳ１６０７において、露出領域推定部１６２は、露出領域の推定の処理をまだ行っていない前景部位が存在するか否かを判断する。露出領域推定部１６２は、未処理の前景部位が存在する場合は（Ｓ１６０７：ＹＥＳ）、ステップＳ１６０４へ戻り、次の前景部位を選択する。

ステップＳ１６０４〜Ｓ１６０７の処理を繰り返すことにより、露出領域推定部１６２は、図１９〜図２１に示すように、頭部、胴体、および左上腕の部位軸５４１〜５４３に対応して、露出領域５７１〜５７３を推定する。

そして、露出領域推定部１６２は、未処理の前景部位が存在しなくなると（Ｓ１６０７：ＮＯ）、ステップＳ１６０８へ進む。

ステップＳ１６０８において、露出領域統合部１６３は、選択中の未抽出部位について推定された全ての露出領域の総和を求める。

そして、ステップＳ１６０９において、露出領域統合部１６３は、露出領域の総和から、全ての既抽出部位の部位候補を除外した領域を、統合された露出領域とする。既抽出部位の部位候補は、上述のように部位太さからエッジを求め、求めたエッジに囲まれた領域としても良いし、推定尤度マップの値が所定の閾値以上となる領域としても良い。

図１９〜図２１に示す場合では、露出領域統合部１６３は、図２２に示すように、頭部、胴体、および左上腕の露出領域５７１〜５７３の総和から、頭部、胴体、左上腕、および左前腕の部位候補５３１〜５３４を除いた領域を取得する。

そして、ステップＳ１６１０において、エッジ抽出領域決定部１６４は、統合された露出領域と、選択中の未抽出部位の可動範囲５４５（図１８参照）とが重なる領域を、エッジ抽出領域に決定する。

そして、ステップＳ１６１１において、エッジ抽出部１６５は、身体制約情報から、選択中の未抽出部位のエッジの角度を推定し、画像データのエッジ抽出領域に対して、推定した角度の直線成分の抽出を行う。ここで、エッジの角度は、例えば、基準部位側の関節を中心とした３度刻みの角度とすることができる。そして、エッジ抽出部１６５は、抽出された直線成分から、エッジの抽出を行うと共に、未抽出部位がエッジのどちら側に位置するかを判断する。未抽出部位がエッジのどちら側に位置するかは、基の露出領域に対応する既抽出部位がエッジのどちら側にあるかに基づいて判断することができる。

図１５に示す例で右上腕が選択されている場合、エッジ抽出部１６５は、右上腕の上側のエッジ５２５を抽出し、右上腕はエッジ５２５の下側に位置すると判断する。

そして、ステップＳ１６１２において、補完候補領域決定部１６６は、選択中の未抽出部位のエッジが抽出されたか否かを判断する。補完候補領域決定部１６６は、エッジが抽出された場合には（Ｓ１６１２：ＹＥＳ）、ステップＳ１６１３へ進む。また、補完候補領域決定部１６６は、エッジが抽出されなかった場合には（Ｓ１６１２：ＮＯ）、後述のステップＳ１６１５へ進む。

ステップＳ１６１３において、補完候補領域決定部１６６は、抽出されたエッジを基準として、選択中の未抽出部位が位置する側に、選択中の未抽出部位の部位軸の長さかつ部位太さの幅の矩形領域を設定する。そして、補完候補領域決定部１６６は、この矩形領域を、補完候補領域として決定する。

図１５示す例で右上腕が選択されている場合、補完候補領域決定部１６６は、図２３に示すように、右上腕の上側のエッジ５２５を上側の長辺とし、右上腕の部位太さを幅とする矩形領域を、補完候補領域５８３として決定する。なお、補完候補領域は、矩形に限定されず、未抽出部位のエッジとエッジに対して位置する側とを基準にした、楕円等の他の形状とすることができる。

そして、ステップＳ１６１４において、部位候補情報修正部１６７は、選択中の未抽出部位が決定された補完候補領域に位置することの尤もらしさが高くなるように、部位候補情報を修正する。

ここで、部位候補情報修正部１６７は、推定尤度マップのうち、補完候補領域の値を増加させ、補完候補領域に対して重み付けを行う。すなわち、部位候補情報修正部１６７は、補完候補領域において未抽出部位が抽出され易くなるように、推定尤度マップを修正する。

そして、ステップＳ１６１５において、前景部位推定部１６１は、部位候補情報の修正の処理をまだ行っていない未抽出部位が存在するか否かを判断する。前景部位推定部１６１は、未処理の未抽出部位が存在する場合は（Ｓ１６１５：ＹＥＳ）、ステップＳ１６０２へ戻り、次の未抽出部位を選択する。また、前景部位推定部１６１は、未処理の未抽出部位が存在しない場合は（Ｓ１６１５：ＮＯ）、図４の処理へ戻る。

ステップＳ１６０１〜Ｓ１６１５の処理を繰り返すことにより、補完部位候補抽出部１６０は、右上腕および右前腕の部位候補を抽出し、部位候補情報を補完することができる。

次に、図４のステップＳ１７００において、姿勢状態推定部１７０は、適宜補完が行われた部位候補情報に基づいて、判定の対象として予め設定された姿勢状態のいずれかに、被写体の姿勢状態が該当するか否かを判断する。

姿勢状態推定部１７０は、この判断を、いずれかの学習尤度マップと推定尤度マップとが一致するか否かに基づいて行う。この場合、姿勢状態推定部１７０は、例えば、学習尤度マップと推定尤度マップとが一致するか否かを、その一致度が所定のレベル以上であるか否かに基づいて判断する、一致度判定処理を行う。

ここで、一致度判定処理の詳細の例について説明する。まず、上述の推定尤度マップ生成処理の第１の例が採用されている場合に対応する、一致度判定処理の詳細の第１の例について説明する。

姿勢状態推定部１７０は、まず、推定尤度マップおよび各学習尤度マップをそれぞれ所定の閾値を用いて２値化する。具体的には、姿勢状態推定部１７０は、画素毎および部位毎の尤度値を、所定の閾値以上である場合はデジタル信号「０」に、所定の閾値未満である場合にはデジタル信号「１」に変換する。

図２４は、図１３に示す推定尤度マップを２値化した後の状態の一例を示す図である。ここでは、デジタル信号「１」の画素は灰色、デジタル信号「０」の画素は白色で表している。図２４に示すように、２値化後の推定尤度マップ４７９は、部位が位置することの尤もらしさが高い部分の分布を表す。

そして、姿勢状態推定部１７０は、学習尤度マップ毎に、推定尤度マップと学習尤度マップとの間で、画素毎および部位毎に２値化された尤度値の積を取り、全ての画素および全ての部位についての値の和を、評価値とする。具体的には、姿勢状態推定部１７０は、推定尤度マップと学習尤度マップとを所定の位置関係で重ね、画素毎に２値化後の尤度値情報を掛け算し、掛け算した値の全ての画素および部位についての和を求める。

姿勢状態推定部１７０は、推定尤度マップと学習尤度マップとの重ね合わせの位置関係を、移動および回転によりずらしていき、各位置関係について上述の演算処理を行う。そして、姿勢状態推定部１７０は、求めた評価値のうちの最大値を、学習尤度マップとの一致度を表す最終的な評価値として取得する。そして、姿勢状態推定部１７０は、この評価値が所定の閾値以上となる学習尤度マップが存在するとき、その学習尤度マップと推定尤度マップとが一致すると判断する。閾値は、予め、学習等により適切な値が設定される。

なお、姿勢状態推定部１７０は、必ずしも推定尤度マップおよび学習尤度マップを２値化しなくても良い。この場合には、姿勢状態推定部１７０は、学習尤度マップと推定尤度マップとの一致度をより精度良く判定することができる。また、２値化した場合には、姿勢状態推定部１７０は、高速に一致度の判定を行うことができる。

このようにして、姿勢状態推定部１７０は、推定尤度マップと学習尤度マップとの一致度を判定する。以上で一致度判定処理の第１の例についての説明を終える。

次いで、上述の推定尤度マップ生成処理の第２の例が採用されている場合に対応する、一致度判定処理の詳細の第２の例について説明する。

姿勢状態推定部１７０は、部位毎に、それぞれの主要なエッジ方向が一致するように推定尤度マップと学習尤度マップとを重ね合わせて、一致度を算出する。以降の処理は、上述の第１の例と同様である。

このように、エッジの方向を考慮した手法は、推定尤度マップと学習尤度マップとの重ね合わせの位置関係に制約を加えることができるので、処理負荷を軽減することができる。

なお、姿勢状態推定部１７０は、推定尤度マップと学習尤度マップとの一致度を算出する際に、エッジ方向の情報のみを用いても良い。この場合、例えば、姿勢状態推定部１７０は、複数の指定部位間で各指定部位のエッジ方向が成す角の一致度を、推定尤度マップと学習尤度マップとの一致度を表す評価値とする。そして、姿勢状態推定部１７０は、評価値が所定の範囲内であるとき、被写体の姿勢が、該当する学習尤度マップに対応する姿勢状態にあると判定する。エッジ方向は、部位軸の方向に対応する。したがって、このような姿勢状態推定は、画像データから各部位軸の方向および各関節の角度を推定し、推定した部位軸方向および関節角度の、各姿勢状態における基準モデルとの間の一致度を評価することに相当する。

このように、エッジ方向のみを用いて一致度を判定する手法は、画像を回転させながら複数の評価値を繰り返し算出する処理を不要とすることができるため、処理負荷を更に低減することができる。以上で一致度判定処理の第２の例についての説明を終える。

姿勢状態推定部１７０は、いずれかの学習尤度マップと推定尤度マップとが一致する場合（Ｓ１７００：ＹＥＳ）、ステップＳ１８００へ進む。また、姿勢状態推定部１７０は、学習尤度マップと推定尤度マップとが一致しない場合（Ｓ１７００：ＮＯ）、ステップＳ１９００へ進む。

ステップＳ１８００において、姿勢状態推定部１７０は、推定尤度マップと一致する学習尤度マップに対応する姿勢状態を、情報出力装置３００を介してユーザに通知して、ステップＳ１９００へ進む。

ステップＳ１９００において、部位領域推定部１３０は、ユーザ操作等により処理終了の指示があったか否かを判断する。部位領域推定部１３０は、処理終了の指示がない場合（Ｓ１９００：ＮＯ）、ステップＳ１１００へ戻り、次の静止画像に対する処理へ移る。また、部位領域推定部１３０は、処理終了の指示があった場合には（Ｓ１９００：ＹＥＳ）、一連の処理を終了する。

このような動作により、姿勢状態推定装置１００は、抽出部位の一部が、既抽出部位の陰になっている場合に、その旨を推定して、画像データからその未抽出部位の部位候補を抽出することができる。

以上のように、本実施の形態に係る姿勢状態推定装置１００は、未抽出部位の一部が、既抽出部位の陰になっている場合に、その旨を推定して画像データからその未抽出部位の部位候補を抽出する。したがって、姿勢状態推定装置１００は、例えば、左側を向いている人の右上腕の一部が、手前側に位置する左上腕の陰になっている場合に、右上腕の部位候補を抽出することができる。そして、姿勢状態推定装置１００は、右上腕の部位候補を用いて、姿勢状態の推定を行うことができる。すなわち、姿勢状態推定装置１００は、人等の関節を有する物体の姿勢状態を、従来技術に比べて、より高精度に推定することができる。

また、姿勢状態推定装置１００は、部位毎の尤度の分布を示す尤度マップを用いるので、例えば、画像上で胴体の外形に右腕が収まっている場合でも、「右腕が曲がっている」という姿勢状態にあるか否かを判定することができる。

また、姿勢状態推定装置１００は、指定部位の可動領域である部位領域を推定し、部位領域以外の領域については尤度値を低くするので、尤度マップの精度を向上させることができる。

なお、姿勢状態推定装置１００は、具体的に指定されたある姿勢状態のみについて推定を行い、指定された姿勢状態に該当するか否かを推定結果として出力するようにしても良い。

また、物体検出に用いられる画像データは、ステレオカメラまたは複数のカメラによって撮影された画像のデータであっても良い。ステレオカメラの画像データを用いる場合には、姿勢状態推定装置１００は、片方のカメラによって撮像された画像データと、ステレオカメラの設置パラメータから得られる被写体の位置情報とを用いても良い。また、複数のカメラの画像データを用いる場合には、姿勢状態推定装置１００は、それらのうち一台のカメラによって撮像された画像データと、各カメラの設置パラメータから得られる被写体の位置情報とを用いても良い。

また、部位領域推定部１３０は、基準部位の位置および向きが既知である場合や指定される場合には、上述の基準部位推定処理を行わなくても良い。また、部位領域推定部１３０は、例えば人の歩行する方向が決まっており、基準部位の向きがほぼ一定である場合には、身体の向き情報を保持しておいても良い。

また、部位領域推定部１３０が行う部位領域の推定の手法は、上述の例に限定されない。例えば、部位領域推定部１３０は、画像データから画像のエッジ部分（以下、単に「エッジ」という）を抽出し、エッジにより囲まれた領域のＹ座標の値の範囲に基づいて、各部位領域を推定しても良い。具体的には、例えば、部位領域推定部１３０は、エッジにより囲まれた領域において、Ｙ座標の値が最も高い位置から２０％までの領域を頭部の部位領域というように推定する。同様に、例えば、部位領域推定部１３０は、１５％から６５％までの領域を胴の部位領域、５５％から８５％までの領域を膝上の部位領域、７５％から１００％までの領域を膝下の部位領域というように推定する。この場合には、各領域のパーセンテージに対応する値が、身体制約情報となる。

また、部位領域推定部１３０は、基の動画像データにおける画像間で背景差分を取ることにより動体を抽出し、抽出した領域を含む領域全体を、各部位の部位領域の候補としても良い。これにより、部位領域を推定する際の処理の高速化を図ることができる。

また、姿勢状態推定装置１００は、基準部位から近い順に１つずつ部位の位置を推定し、推定した位置に基づいて次の部位の部位領域を推定するという処理を繰り返すことにより、各着目部位の部位領域を推定するようにしても良い。

また、姿勢状態推定装置１００は、必ずしも部位領域推定を行わなくても良い。この場合には、部位候補抽出部１４０は、画像の全ての領域に対して均一に、尤度値の算出を行うことになる。

また、姿勢状態推定部１７０は、学習尤度マップに、その学習尤度マップの基となった画像の光軸方向に関する情報が対応付けられている場合には、単眼カメラ２００の設置角度θに対応する学習尤度マップを比較対象とするようにしても良い。

また、姿勢状態推定装置１００は、被写体を無線タグ等により識別可能である場合には、被写体毎に身体制約情報を保持し、姿勢状態推定を行うようにしても良い。

また、姿勢状態推定装置１００は、特許文献１記載の技術のように、部位候補情報として、部位候補を示す領域を用いても良い。この場合、補完部位候補抽出部１６０は、例えば、抽出した補完部位候補のマップ上で、決定した補完領域５８３（図２３参照）と同じサイズの矩形を移動させる。そして、補完部位候補抽出部１６０は、その矩形内に含まれる画素の尤度値の総和がもっとも大きくなるときの位置（例えば矩形の３つの頂点の座標）を抽出する。このようにすることにより、特許文献１に記載の姿勢状態推定手法にも本発明を適用することができる。

また、姿勢状態推定部１７０が行う姿勢状態の推定の手法は、上述の例に限定されない。例えば、姿勢状態推定部１７０は、人の基準モデルに関する情報（以下「基準モデル情報」という）を用いて、姿勢状態の推定を行っても良い。基準モデル情報は、例えば、ある姿勢状態をある視点から見たときの画像上の状態（以下「画像姿勢状態」という）毎の、各関節の画像上の関節角度および位置を示す情報（例えば、各部位の画像上の部位長および可動範囲）を含む。言い換えると、基準モデル情報は、基準モデルの体格や姿勢に関する制約条件である。

基準モデル情報を用いた姿勢状態推定の手法の一例としては、例えば、被写体の関節位置を用いる手法が挙げられる。この場合、基準モデル情報は、例えば、姿勢状態毎に、関節位置等をカメラ視点から見たときの関節位置等を示す情報とする。そして、姿勢状態推定部１７０は、例えば、被写体と関節位置が最も一致する姿勢状態を、基準モデル情報から検索することにより、姿勢状態の推定を行う。

本発明は、関節を有する物体の姿勢状態を高精度に推定することができる姿勢状態推定装置および姿勢状態推定方法として有用である。

１００ 姿勢状態推定装置
１１０ 身体制約情報格納部
１２０ 画像データ取得部
１３０ 部位領域推定部
１４０ 部位候補抽出部
１５０ 部位候補判断部
１６０ 補完部位候補抽出部
１６１ 前景部位推定部
１６２ 露出領域推定部
１６３ 露出領域統合部
１６４ エッジ抽出領域決定部
１６５ エッジ抽出部
１６６ 補完候補領域決定部
１６７ 部位候補情報修正部
１７０ 姿勢状態推定部
２００ 単眼カメラ
３００ 情報出力装置

Claims (10)

1. 関節により接続された複数の部位を有する物体を撮影した画像データに基づいて前記物体の姿勢状態の推定を行う姿勢状態推定装置であって、
   前記画像データから、前記部位の部位候補の抽出を行う部位候補抽出部と、
   前記部位候補抽出部により前記部位候補が抽出されなかった未抽出部位の一部が、前記部位候補抽出部により前記部位候補が抽出された既抽出部位の陰になっているものと推定して、前記画像データから前記未抽出部位の部位候補の抽出を行う補完部位候補抽出部と、
   抽出された前記部位候補に基づいて、前記物体の姿勢状態の推定を行う姿勢状態推定部と、を有する、
   姿勢状態推定装置。
2. 前記補完部位候補抽出部は、
   前記既抽出部位の部位候補に基づいて、前記未抽出部位の一部が露出していると推定される領域を補完候補領域として決定し、決定した補完候補領域に絞って前記未抽出部位の部位候補の抽出を行う、
   請求項１記載の姿勢状態推定装置。
3. 前記補完部位候補抽出部は、
   前記既抽出部位の部位候補に基づいて前記既抽出部位の部位軸を推定し、推定した前記部位軸に基づいて前記補完候補領域を決定する、
   請求項２記載の姿勢状態推定装置。
4. 前記補完部位候補抽出部は、
   前記既抽出部位の部位候補に基づいて前記既抽出部位の部位太さを推定し、推定した前記部位太さに基づいて前記補完候補領域を決定する、
   請求項２記載の姿勢状態推定装置。
5. 前記補完部位候補抽出部は、
   前記既抽出部位の部位候補に基づいて前記未抽出部位の可動範囲を推定し、推定した前記可動範囲に基づいて前記補完候補領域を決定する、
   請求項２記載の姿勢状態推定装置。
6. 前記補完部位候補抽出部は、
   前記既抽出部位の部位候補に基づいて前記未抽出部位のエッジの角度を推定し、推定した前記角度の直線成分を前記画像データから抽出し、抽出した前記直線成分に基づいて前記補完候補領域を決定する、
   請求項２記載の姿勢状態推定装置。
7. 前記補完部位候補抽出部は、
   前記既抽出部位が複数存在するとき、全ての前記既抽出部位の前記部位候補を前記補完候補領域から除外する、
   請求項２記載の姿勢状態推定装置。
8. 前記姿勢状態推定部は、
   前記画像データから推定される、各部位軸の方向に対応する情報に基づいて、前記物体の姿勢状態の推定を行う、
   請求項１記載の姿勢状態推定装置。
9. 前記物体は、人である、
   請求項１記載の姿勢状態推定装置。
10. 関節により接続された複数の部位を有する物体を撮影した画像データに基づいて前記物体の姿勢状態の推定を行う姿勢状態推定方法であって、
    前記画像データから、前記部位の部位候補の抽出を行うステップと、
    前記部位候補抽出部により前記部位候補が抽出されなかった未抽出部位の一部が、前記部位候補抽出部により前記部位候補が抽出された既抽出部位の陰になっているものと推定して、前記画像データから前記未抽出部位の部位候補の抽出を行うステップと、
    抽出された前記部位候補に基づいて、前記物体の姿勢状態の推定を行うステップと、を有する、
    姿勢状態推定方法。
    

Images