JP2012003364A - 人物動作判定装置およびそのプログラム - Google Patents

Abstract

【課題】本発明は、高い精度で人物の動作を判定できる人物動作判定装置を提供する。
【解決手段】人物動作判定装置１は、所定の動作を行う人物を撮影した撮影映像と、撮影映像の奥行情報とを用いて、人物の動作を判定して判定結果を出力するものであって、入力された撮影映像から特徴点を抽出して３次元特徴量を算出する特徴点抽出手段１１と、３次元特徴量を追跡した４次元軌跡特徴量を算出する動き特徴量算出手段１２と、４次元軌跡特徴量を用いて単位追跡時間ごとに動作を判定する動作判定手段１３と、単位追跡時間ごとで判定回数が最大となる動作を判定結果として出力する判定平滑化手段１４とを備える。
【選択図】図２

Description

本発明は、所定の動作を行う人物を撮影した撮影映像と、人物の奥行情報とを用いて、人物の動作を判定して判定結果を出力する人物動作判定装置およびそのプログラムに関する。

テレビなどの電子機器において、そのマンマシンインターフェースの代表的なものとして、例えば、リモコン（リモートコントローラ）があげられる。近年、これら電子機器は、機能の多様化に伴って、その操作も煩雑化する傾向にある。例えば、テレビのリモコンは、ボタンの数が多くなり、テレビの操作に慣れない高齢者にとって扱いにくいものとなっている。そこで、より直感的なマンマシンインターフェースとして、人物の動作認識によって電子機器の操作を行うことが期待されている。

例えば、特許文献１には、人物の動作を認識して、その動作に対応する信号を出力する入力装置が記載されている。より具体的には、特許文献１に記載の入力装置は、操作者の動作を検出すると共に、電子機器を特定することが可能である。

また、特許文献２には、撮影した手の形状に基づいて、人物の動作を認識する手法が記載されている。また、特許文献３には、互いに直交する位置にある画像センサで計測した人物の動きベクトルに基づいて、人物の動作を自動認識する手法が記載されている。

さらに、非特許文献１には、映像中の特徴点を追跡し、その軌跡から人物の動作を識別する手法が記載されている。より具体的には、非特許文献１に記載の手法では、水平方向、垂直方向および時間方向の３次元軌跡特徴量にＢａｇ−ｏｆ−ｗｏｒｄｓの手法を適用し、人物の動作を識別している。

特開平９−８１３０９号公報 特開２００７−１６４８１４号公報 特開平１０−３３４２７０号公報

Matikainen,P.,Hebert,M. and Sukthankar,R.2009.Trajectons:Action recognition through the motion analysis of tracked features. Workshop on Video Oriented Object and Event Classification(ICCV).(Sep.2009).

しかし、前記した従来技術では、高い精度の動作認識を実現することが難しいという問題がある。特許文献１，２および非特許文献１に記載の発明では、カメラに対して腕を左右に動かした場合、ある程度の精度で動作認識を行うことができるが、カメラに対して腕を前後に動かした場合、空間的情報（奥行値）の欠落により、動作認識の精度が低くなってしまう。

また、特許文献３に記載の発明は、以下のような問題がある。
特許文献３に記載の発明では、短いフレーム間隔から求めた短期的な動きベクトルに基づいて動作認識を行っているため、十分な動作認識の精度を得ることができない。
また、特許文献３に記載の発明では、ステレオ視によって奥行値を算出しているため、マッチングした特徴点の奥行値しか算出できず、撮影映像の全画素の奥行値を得ることができない。この場合、特許文献３に記載の発明では、特徴点の奥行値を内挿（補間）しても、撮影映像の全画素について、実用に耐える精度の奥行値を得ることが困難である。
さらに、特許文献３に記載の発明では、ステレオ視によって特徴点の奥行値を算出しているため、特徴点の奥行値の精度がマッチングの精度に依存するため、特徴点の奥行値に高い精度を期待できない。

そこで、本発明は、高い精度で人物の動作を判定できる人物動作判定装置およびそのプログラムを提供することを目的とする。

前記した課題を解決するため、本願第１発明に係る人物動作判定装置は、所定の動作を行う人物を撮影した撮影映像と、前記人物の奥行情報とを用いて、前記人物の動作を判定して判定結果を出力する人物動作判定装置であって、特徴点抽出手段と、軌跡特徴量算出手段と、動作判定手段と、判定結果出力手段とを備えることを特徴とする。

かかる構成によれば、人物動作判定装置は、特徴点抽出手段によって、前記撮影映像と前記奥行情報とが入力され、入力された当該撮影映像の各画像から特徴点を抽出すると共に、入力された当該奥行情報から前記特徴点の奥行値を取得し、前記特徴点の画像座標および奥行値を３次元特徴量として算出する。つまり、特徴点抽出手段は、撮影映像と別に奥行情報を用いるため、撮影映像の全画素について、高い精度の奥行値を取得できる。そして、特徴点抽出手段は、この高い精度の奥行値を補った３次元特徴量を算出する。

また、人物動作判定装置は、軌跡特徴量算出手段によって、前記撮影映像で前後する画像において特徴点同士のマッチングを行うと共に、１画像時間を単位追跡時間とし、当該単位追跡時間を所定時間連続させた追跡時間だけ、マッチングした前記特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する。つまり、軌跡特徴量算出手段は、短期的な動きベクトルより追跡時間が長い４次元軌跡特徴量を算出する。

また、人物動作判定装置は、動作判定手段によって、様々な動作に対応する４次元軌跡特徴量を予め学習した結果を用いて、前記単位追跡時間ごとに、前記軌跡特徴量算出手段が算出した４次元軌跡特徴量から前記動作を判定する。ここで、動作判定手段は、高い精度の奥行値が補われ、追跡時間が長い４次元軌跡特徴量を用いている。このため、動作判定手段は、撮影カメラに対して腕を前後に動かすような、奥行き方向の動作も判定可能とする。

ここで、一連の動作を行っている人物を撮影した撮影映像を用いて、その動作を判定した場合、単位追跡時間ごとの判定結果は、通常、同じ動作となる。しかし、例えば、一連の動作の過程で手の移動速度や移動方向が大きく変わったとき、単位追跡時間ごとの判定結果が異なってしまう場合がある。そこで、人物動作判定装置は、判定結果出力手段によって、予め設定した時間内で、前記動作判定手段によって前記単位追跡時間ごとに判定された回数が最大となる動作を前記判定結果として出力する。

また、本願第２発明に係る人物動作判定装置は、前記特徴点抽出手段が、前記奥行情報として、前記撮影映像の画素ごとの奥行値を示す奥行映像が入力され、入力された当該奥行映像から前記特徴点の奥行値を取得することを特徴とする。
かかる構成によれば、人物動作判定装置は、撮影映像の画素と奥行映像の画素とが一対一で対応するため、座標変換を行うことなく、特徴点の奥行値を取得することができる。

また、本願第３発明に係る人物動作判定装置は、前記判定結果出力手段が、前記動作判定手段によって前記追跡時間単位ごとに判定された回数である判定回数が最大で、かつ、判定率が予め設定された閾値を超えた動作を前記判定結果として出力することを特徴とする。
かかる構成によれば、人物動作判定装置は、判定回数が最大で、かつ、判定率が閾値未満の動作については、その動作を誤判定したとして扱う。

また、前記した課題を解決するため、本願第４発明に係る人物動作判定プログラムは、所定の動作を行う人物を撮影した撮影映像と、前記人物の奥行情報とを用いて、前記人物の動作を判定して判定結果を出力するために、コンピュータを、特徴点抽出手段、軌跡特徴量算出手段、動作判定手段、判定結果出力手段として機能させることを特徴とする。

かかる構成によれば、人物動作判定プログラムは、特徴点抽出手段によって、前記撮影映像と前記奥行情報とが入力され、入力された当該撮影映像の各画像から特徴点を抽出すると共に、入力された当該奥行情報から前記特徴点の奥行値を取得し、前記特徴点の画像座標および奥行値を３次元特徴量として算出する。つまり、特徴点抽出手段は、撮影映像と別に奥行情報を用いるため、撮影映像の全画素について、高い精度の奥行値を取得できる。そして、特徴点抽出手段は、この高い精度の奥行値を補った３次元特徴量を算出する。

また、人物動作判定プログラムは、軌跡特徴量算出手段によって、前記撮影映像で前後する画像において特徴点同士のマッチングを行うと共に、１画像時間を単位追跡時間とし、当該単位追跡時間を所定時間連続させた追跡時間だけ、マッチングした前記特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する。つまり、軌跡特徴量算出手段は、短期的な動きベクトルより追跡時間が長い４次元軌跡特徴量を算出する。

また、人物動作判定プログラムは、動作判定手段によって、様々な動作に対応する４次元軌跡特徴量を予め学習した結果を用いて、前記単位追跡時間ごとに、前記軌跡特徴量算出手段が算出した４次元軌跡特徴量から前記動作を判定する。ここで、動作判定手段は、高い精度の奥行値が補われ、追跡時間が長い４次元軌跡特徴量を用いている。このため、動作判定手段は、撮影カメラに対して腕を前後に動かすような、奥行き方向の動作も判定可能とする。

ここで、一連の動作を行っている人物を撮影した撮影映像を用いて、その動作を判定した場合、単位追跡時間ごとの判定結果は、通常、同じ動作となる。しかし、例えば、一連の動作の過程で手の移動速度や移動方向が大きく変わったとき、単位追跡時間ごとの判定結果が異なってしまう場合がある。そこで、人物動作判定プログラムは、判定結果出力手段によって、予め設定した時間内で、前記動作判定手段によって前記単位追跡時間ごとに判定された回数が最大となる動作を前記判定結果として出力する。

本発明は、以下のような優れた効果を奏する。
本願第１，４発明は、高い精度の奥行値が補われて、追跡時間が長い４次元軌跡特徴量を用いるため、撮影カメラに対して腕を前後に動かすような奥行き方向の動作も判定可能とし、高い精度で人物の動作を判定することができる

本願第２発明は、撮影映像の画素と奥行映像の画素とが一対一で対応するため、座標変換を行うことなく、奥行映像から特徴点の奥行値を容易に取得でき、人物動作判定装置の構成を簡易にすることができる。
本願第３発明は、誤判定の可能性が高い動作を判定結果として出力してしまう事態を防止でき、より高い精度で人物の動作を判定することができる。

本発明における映像の一例を示す図であり、（ａ）は撮影映像の一例であり、（ｂ）は奥行映像の一例である。 本発明の第１実施形態に係る人物動作判定装置の構成を示すブロック図である。 図２の動き特徴量算出手段が算出した４次元軌跡特徴量を説明する図であり、（ａ）は従来の３次元軌跡特徴量であり、（ｂ）は本発明の４次元軌跡特徴量である。 図２の動き特徴量算出手段が算出した４次元軌跡特徴量を例示する図であり、（ａ）は４次元軌跡特徴量の第１例であり、（ｂ）は４次元軌跡特徴量の第２例であり、（ｃ）は４次元軌跡特徴量の第３例であり、（ｄ）は４次元軌跡特徴量の第４例である。 図２の人物動作判定装置１においる学習フェーズと判定フェーズとを説明する図である。 図５のヒストグラムを説明する図である。 図２の人物動作判定装置１の動作を示すフローチャートであり、（ａ）は学習フェーズの動作であり、（ｂ）は判定フェーズの動作である。 本発明の第２実施形態に係る人物動作判定装置を含むテレビシステムの概略図である。 図８の人物動作判定装置の構成を示すブロック図である。 図８の人物動作判定装置による指定領域の算出を説明する図である。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［撮影映像，奥行映像］
最初に、図１を参照し、本発明の第１実施形態に係る人物動作判定装置１に入力される撮影映像および奥行映像について説明する。なお、図１では、説明を簡易にするため、人物以外の背景の図示を省略した。

撮影映像は、所定の動作を行う人物を通常の撮影カメラで撮影した映像である。例えば、図１（ａ）に示すように、撮影映像は、人差し指で撮影カメラの方向を指すという動作を行っている人物を撮影した映像である。

奥行映像（距離画像）は、撮影映像の画素ごとの奥行値を示す映像であり、例えば、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔカメラ（ＴＯＦカメラ）で撮影できる。このＴＯＦカメラは、近赤外線を人物に照射してから、その人物で反射された反射光を受光するまでの経過時間により、画素ごとに奥行値（距離）を測定する。このＴＯＦカメラで撮影した奥行映像は、ＴＯＦカメラから人物までの距離が近いほど明るく（または、暗く）なる。例えば、図１（ｂ）に示すように、奥行映像は、ＴＯＦカメラに最も近い人差し指α１が最も明るくなり（白色で図示）、ＴＯＦカメラからやや遠くなる拳α２がやや明るくなる（薄いドットで図示）。また、奥行映像は、例えば、ＴＯＦカメラからより遠くなる腕α３がやや暗くなり（濃いドットで図示）、ＴＯＦカメラから最も遠くなる頭や体α４が最も暗くなる（黒色で図示）。

ここで、図１（ａ）および図１（ｂ）に示すように、撮影映像および奥行映像は、同一人物が同時に撮影されている。このとき、撮影映像および奥行映像は、画素同士を一対一で対応させるため、同一画素数で、かつ、同一画角であることが好ましい。例えば、距離画像カメラ（例えば、パナソニック株式会社製、距離画像センサ「Ｄ−ＩＭａｇｅｒ」）を用いることで、同一画素数、かつ、同一画角で撮影映像および奥行映像を撮影することができる。これによって、後記する特徴点抽出手段１１が、座標変換を行うことなく、奥行映像から特徴点の奥行値を容易に取得できる。

［人物動作判定装置の構成］
以下、図２を参照し、本発明の第１実施形態に係る人物動作判定装置１の構成について説明する。図２に示すように、人物動作判定装置１は、所定の動作を行う人物を撮影した撮影映像と、撮影映像の奥行情報とを用いて、人物の動作を判定して判定結果を出力する。このため、人物動作判定装置１は、特徴点抽出手段１１と、動き特徴量算出手段（軌跡特徴量算出手段）１２と、動作判定手段１３と、判定平滑化手段（判定結果出力手段）１４とを備える。

特徴点抽出手段１１は、撮影映像と奥行情報とが入力され、入力された撮影映像の各フレーム画像から特徴点を抽出すると共に、入力された奥行情報から特徴点の奥行値を取得し、特徴点の画像座標および奥行値を３次元特徴量として算出する。ここで、特徴点抽出手段１１は、奥行情報として、前記した奥行映像が入力されることとする。

まず、特徴点抽出手段１１は、入力された撮影映像のフレーム画像のそれぞれから、特徴点を抽出する。例えば、特徴点抽出手段１１は、Ｈａｒｒｉｓオペレータなどの特徴点抽出手法を用いて、フレーム画像から特徴点を抽出する。このＨａｒｒｉｓオペレータは、映像信号の相関性に基づいて特徴点を抽出する手法であって、エッジ、コーナーなどの特徴点において相関出力値が大きくなる。ここで、特徴点抽出手段１１は、下記の式（１）に示すように、Ｈａｒｒｉｓオペレータを用いて特徴点を抽出する。

この式（１）では、Ａが２次モーメント行列であり、ｘが水平方向の画像座標であり、ｙが垂直方向の画像座標であり、Ｉ（ｘ，ｙ）が画像座標（ｘ，ｙ）における画素の特徴量（画素値）であり、Ｎ_０が画像平面であり、Ｔが転置行列である。
また、式（１）では、ｄｅｔＡが行列Ａの行列式であり、κが予め設定された定数（例えば、０．０４）であり、ｔｒＡが行列Ａのトレースであり、λ_１およびλ_２が行列Ａの固有値であり、Ｈａｒｒｉｓが特徴量（特徴点の画素値）である。

なお、特徴点抽出手段１１は、Ｈａｒｒｉｓオペレータの他、ＳＩＦＴ（Scale Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）などの特徴点抽出手法を用いることもできる。

次に、特徴点抽出手段１１は、奥行画像から、抽出した特徴点と同じ座標の画素の画素値（奥行値）を取得する。このとき、特徴点抽出手段１１は、画像座標（ｘ，ｙ）と単位を揃えるため、この取得した画素値に予め設定した重みｗを乗じて、奥行値ｚとする。このように、特徴点抽出手段１１は、特徴点ごとに、２次元の特徴量Ｉ（ｘ，ｙ）に奥行値ｚを加えた３次元特徴量Ｘ^ｔ _ｉ（ｘ^ｔ _ｉ，ｙ^ｔ _ｉ，ｚ^ｔ _ｉ）を算出する。ここで、ｔはフレーム時間（単位追跡時間）であり、ｉは特徴点のＩＤである。その後、特徴点抽出手段１１は、入力された撮影映像と、算出した３次元特徴量Ｘ^ｔ _ｉとを動き特徴量算出手段１２に出力する。

動き特徴量算出手段１２は、特徴点抽出手段１１から撮影映像と３次元特徴量Ｘ^ｔ _ｉとが入力され、撮影映像で前後するフレーム画像において特徴点同士のマッチングを行うと共に、追跡時間Ｌだけ、マッチングした特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する。例えば、動き特徴量算出手段１２は、Ｌｕｃａｓ Ｋａｎａｄｅ法などの追跡手法を用いて特徴点を追跡する。このＬｕｃａｓ Ｋａｎａｄｅ法は、同一物体の局所領域内では、オプティカルフローが同一になると仮定した空間的局所最適化法の一種である。ここで、動き特徴量算出手段１２は、下記の式（２）に示すように、局所領域のオプティカルフロー（ｕ，ｖ）を算出する。

この式（２）では、Ｗは重み（例えば、ガウス関数に代表される重み）である。

次に、動き特徴量算出手段１２は、マッチングした特徴点の３次元特徴量の差分値Ｘ^ｔ _ｉ−Ｘ^ｔ-１ _ｉを算出する。そして、動き特徴量算出手段１２は、下記の式（３）に示すように、追跡時間Ｌだけ差分値を連続させた４次元軌跡特徴量Ｔ^ｔ _ｉを算出する。ここで、追跡時間Ｌは、１フレーム時間を単位追跡時間とし、当該単位追跡時間を所定の時間だけ連続したものとなる。その後、動き特徴量算出手段１２は、算出した４次元軌跡特徴量Ｔ^ｔ _ｉを動作判定手段１３に出力する。

ここで、図３、図４を参照し、動き特徴量算出手段１２が算出した４次元軌跡特徴量について説明する（適宜図２参照）。
図３（ａ）に示すように、画像座標である特徴点を所定の時間追跡すると、その軌跡特徴量は、水平方向（Ｘ軸）、垂直方向（Ｙ軸）および時間方向（例えば、ｔ＝０〜６）の３次元で表される。つまり、この３次元軌跡特徴量では、空間的情報（奥行値）が不足している。

一方、図３（ｂ）に示すように、４次元軌跡特徴量は、水平方向（Ｘ軸）、垂直方向（Ｙ軸）、奥行き方向（Ｚ軸）および時間方向（例えば、ｔ＝０〜６）の４次元で表される。つまり、４次元軌跡特徴量は、図３（ａ）の３次元軌跡特徴量で不足していた空間的情報（奥行値）が補われている。このため、腕を前後に動かすなどの撮影映像上だけでは判定困難な動作であっても、図４（ａ）〜（ｄ）のように４次元軌跡特徴量を用いることで、これら動作を容易に判定可能とする。

なお、図３（ｂ）の例では、追跡時間Ｌは、７単位追跡時間となり、７フレーム時間（ｔ＝０〜６）に相当する。また、図３（ｂ）の例では、１単位追跡時間は、例えば、ｔ＝０〜１，ｔ＝１〜２などの１フレーム時間となる。

なお、動き特徴量算出手段１２は、Ｌｕｃａｓ Ｋａｎａｄｅ法の他、Ｔｒｅｔｉａｋ Ｐａｓｔｏｒ法、Ｍｅａｎ Ｓｈｉｆｔ法などの追跡手法を用いることもできる。

以下、図２に戻り、人物動作判定装置１の構成について説明を続ける。
動作判定手段１３は、様々な動作に対応する４次元軌跡特徴量を予め学習した結果を用いて、単位追跡時間ごとに、動き特徴量算出手段１２が算出した４次元軌跡特徴量から動作を判定する。

例えば、動作判定手段１３は、Ｂａｇ−ｏｆ−ｗｏｒｄｓ法に基づいて学習を行った後、人物の動作を判定する。Ｂａｇ−ｏｆ−ｗｏｒｄｓ法は、例えば、言語処理で用いられる学習法であり、単語を集めたコードブックを作成し、ある文章中の各単語のヒストグラムを算出する。そして、Ｂａｇ−ｏｆ−ｗｏｒｄｓ法は、算出したヒストグラムに基づいて、その文章のカテゴリを分類する。ここで、動作判定手段１３は、Ｂａｇ−ｏｆ−ｗｏｒｄｓ法において、１個の４次元軌跡特徴量を単語として扱っている。また、動作判定手段１３は、算出したヒストグラム（学習した結果）をＳＶＭ分類することで、人物の動作を判定している。その後、動作判定手段１３は、単位追跡時間ごとの判定結果を判定平滑化手段１４に出力する。なお、人物動作判定装置１における学習および判定の詳細は、後記する。

なお、動作判定手段１３は、Ｂａｇ−ｏｆ−ｗｏｒｄｓ法の他、Ｉｆ−Ｔｈｅｎルールに基づく手法、サポートベクターマシン（ＳＶＭ）、または、ニューラルネットワークなどを用いることができる。

判定平滑化手段１４は、動作判定手段１３から単位追跡時間ごとの判定結果が入力されると共に、単位追跡時間ごとの判定結果を平滑化する。例えば、判定平滑化手段１４は、下記の式（４）に示すように、時間Ｔ内で、動作判定手段１３によって単位追跡時間ごとに判定された回数である判定回数Ｖ_ｐが最大で、かつ、判定率Ｖ_ｐ´が閾値ｔｈを超える動作ｐを判定結果Ｏ_ｇとして出力する。ここで、判定平滑化手段１４は、式（４）を満たす動作がない場合、動作が判定できないことを示す“ｎｕｌｌ”を判定結果Ｏ_ｇとして出力する。なお、時間Ｔは、例えば、追跡時間Ｌと同じ値で設定される。

この式（４）では、ｍａｘが最大値を取得する関数である。また、閾値ｔｈは、任意の値で予め設定される（例えば、ｔｈ＝０．５）。さらに、判定率Ｖ_ｐ´は、時間Ｔ内において、その動作の判定回数Ｖ_ｐを、全動作の判定回数の合計で除算した値となる。

例えば、動き特徴量算出手段１２が、追跡時間Ｌ＝１０に渡って４次元軌跡特徴量を追跡したとする。また、例えば、動作判定手段１３が、単位追跡時間ごとに、この４次元軌跡特徴量から、腕を左に振るという動作を１回判定し、腕を押すという動作を３回判定し、腕を引くという動作を６回判定したとする（合計１０回）。この場合、これら３の動作の判定回数の中で、腕を引くという動作の判定回数Ｖ_ｐ＝６が最大であり、かつ、この腕を引くという動作の判定率Ｖ_ｐ´＝０．６が閾値ｔｈ＝０．５を超える。従って、判定平滑化手段１４は、腕を引くという動作を判定結果として出力する。

なお、追跡時間Ｌに渡って４次元軌跡特徴量を追跡していることから、一見すると、四次元軌跡特徴量の全体から１回だけ動作を判定し、判定平滑化手段１４の平滑化を省略できるとも思われる。しかし、フレーム画像には、ノイズなどの影響により、人物の動作以外の特徴が多数混入することがある。このようなフレーム画像では、動作の誤判定が生じる可能性が高くなる。このため、動作判定手段１３が単位追跡時間ごとに動作を判定し、判定平滑化手段１４が単位追跡時間ごとの判定結果を平滑化し、このノイズの影響を避けている。

＜学習フェーズ＞
以下、図５，図６を参照し、人物動作判定装置１において、人物の動作を学習する学習フェーズと、人物の動作を判定する判定フェーズとを順に説明する（適宜図２参照）。

特徴点抽出手段１１は、学習対象となる、様々な動作を行う人物の撮影映像および奥行映像が入力される。そして、特徴点抽出手段１１は、前記した手順で３次元特徴量を算出する。さらに、動き特徴量算出手段１２は、前記した手順で、様々な動作に対応する４次元軌跡特徴量を算出する。その後、動き特徴量算出手段１２は、算出した４次元軌跡特徴量を学習データとして動作判定手段１３に出力する。

動作判定手段１３は、図５に示すように、学習データとして算出された、様々な動作に対応する４次元軌跡特徴量をＫ−Ｍｅａｎｓ法でクラスタリングし、Ｋ個のクラスタＣＬを備えるコードブックＣＢを作成する。このコードブックＣＢは、ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ法およびｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓ法などにおける視覚辞書に相当する。

ここで、追跡時間Ｌ＝１０（つまり、１０フレーム画像）とした場合、４次元軌跡特徴量は、水平方向×垂直方向×奥行き方向×時間方向（１０フレーム時間）の３０次元特徴量と言える。つまり、この３０次元特徴量は、３０次元座標上では１点で表される。例えば、フレーム画像（単位追跡時間）ごとに４次元軌跡特徴量が１００個現れるとすると、１００フレーム画像（単位追跡時間）をシーケンス処理した場合には、特徴量が１００００個となる。このため、動作判定手段１３は、Ｋ−Ｍｅａｎｓ法でＫ個のクラスタにクラスタリングし、これら特徴量を扱いやすくしている。ここで、クラスタ数Ｋの値は、例えば、１００〜１００００の範囲内で予め設定される。

なお、図５では、図面を見やすくするために、６個のクラスタＣＬを備えるコードブックＣＢを図示したが、クラスタ数Ｋは、これに制限されない。

また、動作判定手段１３は、このコードブックＣＢを参照して、ヒストグラムＨ１〜ＨＫを作成する。つまり、動作判定手段１３は、４次元軌跡特徴量のそれぞれを、Ｋ個の中で最も４次元空間上のユークリッド距離が近いクラスタＣＬに近似し、Ｋ個のヒストグラムＨ１〜ＨＫを作成する。その後、動作判定手段１３は、作成したＫ個のヒストグラムＨ１〜ＨＫをメモリ（不図示）に記憶する。

ここで、図６に示すように、それぞれのヒストグラムＨは、縦軸が出現頻度となり、横軸がＫ個のクラスタとなる。このとき、動作判定手段１３は、ヒストグラムＨにおいて、クラスタごとの出現頻度の合計値を１．０に正規化することが好ましい。より具体的には、動作判定手段１３は、下記の式（５）を用いて、出現頻度の合計値を正規化する。このように正規化したヒストグラムＨを用いることで、動作判定手段１３は、撮影映像中で人物の縮小または拡大された場合でも、高い精度で人物の動作を判定できる。

この式（５）では、ｈ_１〜ｈ_５がそれぞれ１個目〜５番目のクラスタの出現頻度であり、ｈ_ＫがＫ個目のクラスタの出現頻度である。

＜判定フェーズ＞
以下、判定フェーズについて説明する。
特徴点抽出手段１１は、判定対象となる動作を行う人物の撮影映像および奥行映像が入力される。そして、特徴点抽出手段１１は、前記した手順で３次元特徴量を算出する。さらに、動き特徴量算出手段１２は、前記した手順で、判定の対象となる動作を示す４次元軌跡特徴量を算出する。そして、動き特徴量算出手段１２は、算出した４次元軌跡特徴量を動作判定手段１３に出力する。

動作判定手段１３は、学習フェーズと同様の手順で、判定対象となる動作を示す４次元軌跡特徴量から、１個のヒストグラムＨを作成する。このとき、動作判定手段１３は、この作成したヒストグラムＨについても、クラスタごとの出現頻度の合計値を１．０に正規化することが好ましい。

そして、動作判定手段１３は、作成した１個のヒストグラムＨを、学習フェーズで学習したヒストグラムＨ１〜ＨＫの中で最も類似するものにＳＶＭ分類することで、動作を判定する。その後、動作判定手段１３は、この判定した動作を、単位追跡時間ごとの判定結果として判定平滑化手段１４に出力する。

［人物動作判定装置の動作：学習フェーズ］
以下、図７を参照し、図２の人物動作判定装置１の動作について、学習フェーズおよび判定フェーズの順に説明する。

図７（ａ）に示すように、人物動作判定装置１は、特徴点抽出手段１１によって、学習対象となる、様々な動作を行う人物の撮影映像および奥行映像が入力される。また、人物動作判定装置１は、特徴点抽出手段１１によって、この撮影映像の各フレーム画像から特徴点を抽出すると共に、入力された奥行情報から特徴点の奥行値を取得し、特徴点の画像座標および奥行値を３次元特徴量として算出する（ステップＳ１）。

また、人物動作判定装置１は、動き特徴量算出手段１２によって、学習の対象となる撮影映像で前後するフレーム画像において特徴点同士のマッチングを行う。そして、人物動作判定装置１は、動き特徴量算出手段１２によって、追跡時間Ｌだけ、マッチングした特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する（ステップＳ２）。

また、人物動作判定装置１は、動作判定手段１３によって、学習データとして算出された４次元軌跡特徴量の学習を行う。つまり、人物動作判定装置１は、動作判定手段１３によって、この４次元軌跡特徴量をＫ−Ｍｅａｎｓ法でクラスタリングし、Ｋ個のクラスタを備えるコードブックを作成する。また、人物動作判定装置１は、動作判定手段１３によって、このコードブックを参照して、Ｋ個のヒストグラムを作成する（ステップＳ３）。

［人物動作判定装置の動作：判定フェーズ］
図７（ｂ）に示すように、人物動作判定装置１は、特徴点抽出手段１１によって、判定対象となる動作を行う人物の撮影映像および奥行映像が入力される。また、人物動作判定装置１は、特徴点抽出手段１１によって、この撮影映像の各フレーム画像から特徴点を抽出すると共に、入力された奥行情報から特徴点の奥行値を取得し、特徴点の画像座標および奥行値を３次元特徴量として算出する（ステップＳ１１）。

また、人物動作判定装置１は、動き特徴量算出手段１２によって、判定の対象となる撮影映像で前後するフレーム画像において特徴点同士のマッチングを行う。そして、人物動作判定装置１は、動き特徴量算出手段１２によって、追跡時間Ｌだけ、マッチングした特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する（ステップＳ１２）。

また、人物動作判定装置１は、動作判定手段１３によって、単位追跡時間ごとに、動き特徴量算出手段１２が算出した４次元軌跡特徴量から動作を判定する（ステップＳ１３）。そして、人物動作判定装置１は、判定平滑化手段１４によって、時間Ｔ内で、単位追跡時間ごとの判定回数が最大となる動作を判定結果として出力する（ステップＳ１４）。

以上のように、本発明の第１実施形態に係る人物動作判定装置１は、高い精度の奥行値が補われて、追跡時間が長い４次元軌跡特徴量を算出する。そして、人物動作判定装置１は、この４次元軌跡特徴量を用いるため、撮影カメラに対して手を前後に動かすような奥行き方向の動作も判定可能とし、高い精度で人物の動作を判定することができる。

さらに、人物動作判定装置１は、正規化したヒストグラムを用いることで、撮影映像中で人物の縮小または拡大された場合でも、より高い精度で人物の動作を判定することができる。

さらに、人物動作判定装置１は、前記式（４）を用いて、単位追跡時間ごとの判定結果を平滑化するため、誤判定の可能性が高い動作を判定結果として出力する事態を防止でき、より高い精度で人物の動作を判定することができる。

さらに、人物動作判定装置１は、奥行情報として、撮影映像の画素ごとの奥行値を示す奥行映像を用いるため、座標変換を行うことなく特徴点の奥行値を容易に取得することができる。

なお、第１実施形態では、奥行情報として奥行映像を用いる例を説明したが、本発明は、これに限定されない。例えば、奥行情報として、ステレオカメラで撮影したステレオ画像を用いてもよい。この場合、特徴点抽出手段１１は、ステレオ画像において特徴点同士のマッチングを行い、視差量から人物までの距離を奥行値として算出できる。

なお、第１実施形態では、フレーム時間を単位追跡時間として説明したが、これに限定されない。例えば、単位追跡時間は、フィールド時間であってもよい。

（第２実施形態）
［テレビシステムの概略］
以下、図８を参照し、第２実施形態に係る人物動作判定装置１Ｂを利用したテレビシステム１００の概略について説明する。テレビシステム１００は、視聴者（人物）の動作を判定すると共に、その視聴者が指で示す指定領域を算出し、動作の判定結果と指定領域との組合せによって、リモコンなどを用いずに視聴者がテレビ３０を操作可能とする。このため、図８に示すように、テレビシステム１００は、カメラＣｒと、人物動作判定装置１Ｂと、テレビ３０とを備える。

カメラＣｒは、例えば、テレビ３０の上面に配置された距離画像カメラである。また、カメラＣｒは、テレビ３０に対する指令となる動作を行っている視聴者を撮影する。そして、カメラＣｒは、この視聴者を撮影した撮影映像および奥行映像を人物動作判定装置１Ｂに出力する。

人物動作判定装置１Ｂは、カメラＣｒから撮影映像および奥行映像が入力されると共に、この撮影映像および奥行映像を用いて、図２の人物動作判定装置１と同様の手順で視聴者の動作を判定する。さらに、人物動作判定装置１Ｂは、この撮影映像および奥行映像を用いて、テレビ３０の表示画面上で視聴者の指が示している指定領域を算出する。その後、人物動作判定装置１Ｂは、視聴者の動作の判定結果と、算出した指定領域とをテレビ３０に出力する。なお、人物動作判定装置１Ｂの構成については、後記する。

テレビ３０は、地上デジタル放送などの放送波を受信して、テレビ番組を表示画面に表示する。また、テレビ３０は、人物動作判定装置１Ｂから判定結果と指定領域とが入力された場合、入力された判定結果と指定領域との組合せに応じて、チャンネルを変更する、ボリュームを上下させる、選択されたメニューに応じたコンテンツを提供するなどの制御を行う。さらに、テレビ３０は、表示画面上での指定領域を示すポインタＰｏを表示する。

このテレビシステム１００では、視聴者が、例えば、このポインタＰｏの位置を視認しながら、ポインタＰｏをデータ放送の所望のメニューに重ねるように指を動かす。そして、ポインタＰｏがメニューに重なったら、視聴者が、メニューなどのオブジェクトの選択動作（例えば、指を上下に素早く動かす動作）を行う。すると、テレビ３０には、そのメニューを示す指定領域と、選択動作を示す判定結果とが入力される。このため、テレビ３０は、入力された判定結果および指定領域から、視聴者がデータ放送のメニューを選択したと判定し、例えば、そのメニューに応じたコンテンツを表示するなどの制御を行う。このように、テレビシステム１００では、視聴者が、リモコンを用いることなく、その動作によってテレビ３０を操作することができる。

［人物動作判定装置の構成］
以下、図９，図１０を参照し、図８の人物動作判定装置１Ｂの構成について、図２の人物動作判定装置１と異なる点を主に説明する。図９に示すように、人物動作判定装置１Ｂは、特徴点抽出手段１１と、動き特徴量算出手段（軌跡特徴量算出手段）１２と、動作判定手段１３と、判定平滑化手段（判定結果出力手段）１４と、顔領域追跡手段２１と、指領域追跡手段２３と、指定領域算出手段２５とを備える。
なお、特徴点抽出手段１１と、動き特徴量算出手段１２と、動作判定手段１３と、判定平滑化手段１４とは、図２の各手段と同様のものであるため、説明を省略する。

顔領域追跡手段２１は、図８のカメラＣｒから撮影映像が入力されると共に、この撮影映像を用いて、視聴者の顔領域を追跡する。このため、顔領域追跡手段２１は、顔領域検出手段２１ａと、平滑化手段２１ｂとを備える。

顔領域検出手段２１ａは、撮影映像に含まれる視聴者の顔領域を検出する。例えば、顔領域検出手段２１ａは、Ｖｉｏｌａ Ｊｏｎｅｓ法などの検出手法を適用して、撮影映像の各フレーム画像から顔領域を検出（追跡）する。

平滑化手段２１ｂは、顔領域検出手段２１ａが検出した顔領域に対して、カルマンフィルタなどの平滑化処理を施す。この平滑化処理によって、平滑化手段２１ｂは、フレーム画像間で発生する顔領域の位置誤差を低減できる。そして、平滑化手段２１ｂは、平滑化処理を施した顔領域を指定領域算出手段２５に出力する。

指領域追跡手段２３は、図８のカメラＣｒから奥行映像が入力されると共に、この奥行映像を用いて、視聴者の指領域を検出する。このため、指領域追跡手段２３は、指領域検出手段２３ａと、平滑化手段２３ｂとを備える。

指領域検出手段２３ａは、奥行映像から指領域を検出する。例えば、指領域検出手段２３ａは、奥行映像で最もカメラＣｒに距離が近く、かつ、顔領域検出手段２１ａが検出した顔領域よりも近い領域を指領域として検出する。ここで、指領域検出手段２３ａは、指領域の面積によるエリアフィルタ、撮影映像から得られる色情報を用いた肌色フィルタなどのフィルタ処理によって、指領域を高い精度で検出できる。

平滑化手段２３ｂは、指領域検出手段２３ａが検出した指領域に対して、カルマンフィルタなどの平滑化処理を施す。この平滑化処理によって、平滑化手段２３ｂは、フレーム画像間で発生する指領域の位置誤差を低減できる。そして、平滑化手段２３ｂは、平滑化処理を施した指領域を指定領域算出手段２５に出力する。

指定領域算出手段２５は、顔領域追跡手段２１から顔領域と、指領域追跡手段２３から指領域とが入力されると共に、図１０に示すように、この顔領域β１と指領域β２との相対位置Ｒに基づいて、指定領域を算出する。例えば、指定領域算出手段２５は、下記の式（６）を用いて、顔領域β１と指領域β２との相対位置Ｒを算出する。

この式（６）では、Ｆ_ｘが水平方向における顔領域β１の中心座標であり、Ｆ_ｙが垂直方向における顔領域β１の中心座標であり、Ｈ_ｘが水平方向における指領域β２の中心座標であり、Ｈ_ｙが垂直方向における指領域β２の中心座標である。また、相対位置Ｒの最大値および最小値は、予め設定しておく。

また、指定領域算出手段２５は、最小値から最大値までの区間内における相対位置Ｒの割合Ｐを、下記の式（７）を用いて算出する。

そして、指定領域算出手段２５は、算出した割合Ｐ_ｘにテレビ３０の表示画面の幅を乗じると共に、算出した割合Ｐ_ｙにテレビ３０の表示画面の高さを乗じることで、指定領域の座標を算出する。このように、指定領域算出手段２５は、割合Ｐを０．０〜１．０までの値で標準化（正規化）しているため、様々なテレビやディスプレイに対応できる。

以上のように、本発明の第２実施形態に係る人物動作判定装置１Ｂは、図２の人物動作判定装置１と同様に、高い精度で視聴者の動作を判定することができる。また、人物動作判定装置１Ｂは、高い精度で指定領域を算出すると共に、様々なテレビやディスプレイに対応できるため、視聴者の動作をトリガとしたマンマインインターフェースに最適である。

なお、各実施形態では、本発明に係る人物動作判定装置１，１Ｂを独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させる動作判定プログラムによっても実現できる。この動作判定プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

以下、本発明の実施例として、本発明に係る人物動作判定装置と、従来技術との比較実験の結果について説明する。ここで、本発明の実施例に係る人物動作判定装置を「人物動作判定装置１Ｃ」と呼ぶ。また、比較例に係る装置を「３次元軌跡特徴量判定装置」と呼ぶ。

＜実施例＞
人物動作判定装置１Ｃは、図２の人物動作判定装置１と同一の構成である。また、人物動作判定装置１Ｃでは、動き特徴量算出手段１２に設定する追跡時間Ｌ、および判定平滑化手段１４に設定する時間Ｔを、それぞれ１０フレーム時間（≒０．５秒）とした。さらに、人物動作判定装置１Ｃでは、判定平滑化手段１４に設定する閾値ｔｈを０．５とした。

また、人物動作判定装置１Ｃは、学習データとして、下記の１０種類の動作を示す４次元軌跡特徴量を学習させた。この学習した１０種類の動作は、それぞれ、手首を横に振る（横）、手首を縦に振る（縦）、腕を上に振る（上）、腕を下に振る（下）、腕を左に振る（左）、腕を右に振る（右）、腕を押す（押し）、腕を引く（引き）、何の動作もしない（動作なし）、および、ランダムな動作（ランダム）である。このランダムな動作とは、例えば、席を立つ、首をかしげる、および、両手を上げるなど、大きな動きを伴う判定対象外の動作である。

そして、人物動作判定装置１Ｃに、被験者が行う８種類の動作を判定させた。この被験者の動作は、それぞれ、手首を横に振る（横）、手首を縦に振る（縦）、腕を上に振る（上）、腕を下に振る（下）、腕を左に振る（左）、腕を右に振る（右）、腕を押す（押し）、および、腕を引く（引き）である。このとき、人物動作判定装置１Ｃによる判定精度を測定した。その結果を下記の表１に示す。

＜比較例＞
また、人物動作判定装置１Ｃの比較例として、従来技術と同様、奥行値が付加されていない３次元軌跡特徴量を用いて、被験者の動作を判定する３次元軌跡特徴量判定装置を準備した。この３次元軌跡特徴量判定装置は、水平方向、垂直方向および時間方向の３次元軌跡特徴量を用いる以外、人物動作判定装置１Ｃと同一の構成および同一の設定条件とした。

そして、３次元軌跡特徴量判定装置に、人物動作判定装置１Ｃと同様、被験者の動作を判定させた。このとき、３次元軌跡特徴量判定装置による判定精度を測定した。その結果を下記の表２に示す。

＜比較実験の結果＞
以下、前記した表１，表２を参照し、比較実験の結果について説明する。
なお、表１，表２では、横軸が学習した動作（１０種類）であり、縦軸が被験者の動作（８種類）である。また、表１，表２において、未検出は、“ｎｕｌｌ”と判定された率である。

人物動作判定装置１Ｃは、表１に示すように、様々な動作を高い精度で判定できることがわかった。特に、人物動作判定装置１Ｃは、腕を押す、腕を引くなどの奥行き方向の動作についても、高い精度で判定している。また、この表１から全動作の平均適合率を算出すると９５％となる。このように、人物動作判定装置１Ｃが高い精度で被験者の動作を判定していることが伺える。

一方、３次元軌跡特徴量判定装置は、表２に示すように、腕を押す、腕を引くなどの奥行き方向の動作について、判定精度が低くなってしまう。これは、２次元の撮影映像から得られる情報だけでは、奥行き方向の動作を十分に認識できないためと考えられる。また、３次元軌跡特徴量判定装置では、多くの動作の判定率が閾値ｔｈを超えずに、未検出と判定されたとも思われる。また、この表２から全動作の平均適合率を算出すると８８．３３％となり、３次元軌跡特徴量判定装置は、人物動作判定装置１Ｃに比べて、判定精度が低いことが伺える。

以上のように、本発明の実施例に係る人物動作判定装置１Ｃは、空間的情報（奥行値）を補った４次元軌跡特徴量を用いることから、従来の３次元軌跡特徴量判定装置に比べて、高い精度で人物の動作を判定することができる。

本発明に係る人物動作判定装置は、例えば、マンマシンインターフェース、セキュリティ、スポーツ映像解析、動作を検索キーとした映像検索に応用できる。また、本発明に係る人物動作判定装置は、例えば、視聴者の動作を判定して視聴者の状況理解を促進できるため、テレビ放送、データ放送、インターネットなどでの映像制作の支援に用いることもできる。

１，１Ｂ 人物動作判定装置
１１ 特徴点抽出手段
１２ 動き特徴量算出手段（軌跡特徴量算出手段）
１３ 動作判定手段
１４ 判定平滑化手段（判定結果出力手段）
２１ 顔領域追跡手段
２１ａ 顔領域検出手段
２１ｂ 平滑化手段
２３ 指領域追跡手段
２３ａ 指領域検出手段
２３ｂ 平滑化手段
２５ 指定領域算出手段

Claims (4)

1. 所定の動作を行う人物を撮影した撮影映像と、前記人物の奥行情報とを用いて、前記人物の動作を判定して判定結果を出力する人物動作判定装置であって、
   前記撮影映像と前記奥行情報とが入力され、入力された当該撮影映像の各画像から特徴点を抽出すると共に、入力された当該奥行情報から前記特徴点の奥行値を取得し、前記特徴点の画像座標および奥行値を３次元特徴量として算出する特徴点抽出手段と、
   前記撮影映像で前後する画像において特徴点同士のマッチングを行うと共に、１画像時間を単位追跡時間とし、当該単位追跡時間を所定時間連続させた追跡時間だけ、マッチングした前記特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する軌跡特徴量算出手段と、
   様々な動作に対応する４次元軌跡特徴量を予め学習した結果を用いて、前記単位追跡時間ごとに、前記軌跡特徴量算出手段が算出した４次元軌跡特徴量から前記動作を判定する動作判定手段と、
   予め設定した時間内で、前記動作判定手段によって前記単位追跡時間ごとに判定された回数が最大となる動作を前記判定結果として出力する判定結果出力手段と、
   を備えることを特徴とする人物動作判定装置。
2. 前記特徴点抽出手段は、前記奥行情報として、前記撮影映像の画素ごとの奥行値を示す奥行映像が入力され、入力された当該奥行映像から前記特徴点の奥行値を取得することを特徴とする請求項１に記載の人物動作判定装置。
3. 前記判定結果出力手段は、前記動作判定手段によって前記追跡時間単位ごとに判定された回数である判定回数が最大で、かつ、判定率が予め設定された閾値を超えた動作を前記判定結果として出力することを特徴とする請求項１または請求項２に記載の人物動作判定装置。
4. 所定の動作を行う人物を撮影した撮影映像と、前記人物の奥行情報とを用いて、前記人物の動作を判定して判定結果を出力するために、コンピュータを、
   前記撮影映像と前記奥行情報とが入力され、入力された当該撮影映像の各画像から特徴点を抽出すると共に、入力された当該奥行情報から前記特徴点の奥行値を取得し、前記特徴点の画像座標および奥行値を３次元特徴量として算出する特徴点抽出手段、
   前記撮影映像で前後する画像において特徴点同士のマッチングを行うと共に、１画像時間を単位追跡時間とし、当該単位追跡時間を所定時間連続させた追跡時間だけ、マッチングした前記特徴点の３次元特徴量を追跡した４次元軌跡特徴量を算出する軌跡特徴量算出手段、
   様々な動作に対応する４次元軌跡特徴量を予め学習した結果を用いて、前記単位追跡時間ごとに、前記軌跡特徴量算出手段が算出した４次元軌跡特徴量から前記動作を判定する動作判定手段、
   予め設定した時間内で、前記動作判定手段によって前記単位追跡時間ごとに判定された回数が最大となる動作を前記判定結果として出力する判定結果出力手段、
   として機能させるための人物動作判定プログラム。

Images