JP2015158745A - 行動識別器生成装置、行動認識装置及びプログラム - Google Patents

Abstract

【課題】映像を用いた行動認識の精度を向上させる。【解決手段】学習データとして入力された行動ラベル付き三次元映像データに含まれる撮影対象者の行動を識別するための行動識別器を生成する行動識別器生成装置であって、行動ラベル付きの三次元映像データを読み込む三次元データ読込手段と、三次元映像データから撮影対象者の所定の部位の軌跡を検出する軌跡検出手段と、検出した部位の軌跡から動的特徴量を抽出する動的特徴量抽出手段と、動的特徴量を用いて識別単位に三次元映像を構成するフレームを分割するフレーム分割手段と、識別単位毎に静的特徴量を抽出する静的特徴量抽出手段と、動的特徴量と静的特徴量とから特徴ベクトルを生成する特徴量生成手段と、撮影対象者の行動を識別する識別器を学習して識別器パラメータを出力する識別器学習手段とを備える。【選択図】図１

Description

本発明は、三次元映像入力装置（例えば、ステレオカメラ等）を用いて撮影した映像から、撮影対象者の行動や状況を認識する技術に関する。

コンピュータビジョン分野では、映像を用いて、撮影対象者の行動や状況を理解する研究がなされており、例えば、次のような研究成果が報告されている。

撮影対象者の手の動きを固定長のフレームで追うことにより、二次元的な動きのテンプレートを取得し、それを学習することで、撮影対象者の行動を認識するという方法が提案されている（例えば、非特許文献１参照）。

Sundaram, S," High level activity recognition using low resolution wearable vision" IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2009.

しかしながら、非特許文献１に記載の方法にあっては、認識処理（識別）に用いるフレームの数を固定したうえで撮影対象者の二次元的な手の動きに注目する方法であり、識別に用いるフレームを固定にしている。このため、撮影対象者が異なった場合、撮影対象者間の動作速度の違いなどを考慮できておらず、識別に必要な動作が含まれない複数のフレームに対し認識を行ってしまうため行動認識の精度が下がるという問題がある。

本発明は、このような事情に鑑みてなされたもので、撮像した映像を用いた行動認識の精度を向上させることができる行動識別器生成装置、行動認識装置及びプログラムを提供することを目的とする。

本発明は、学習データとして入力された行動ラベル付き三次元映像データに含まれる撮影対象者の行動を識別するための行動識別器を生成する行動識別器生成装置であって、行動ラベル付きの三次元映像データを読み込む三次元データ読込手段と、前記三次元映像データから前記撮影対象者の所定の部位の軌跡を検出する軌跡検出手段と、検出した前記部位の軌跡から動的特徴量を抽出する動的特徴量抽出手段と、前記動的特徴量を用いて識別単位に前記三次元映像を構成するフレームを分割するフレーム分割手段と、前記識別単位毎に静的特徴量を抽出する静的特徴量抽出手段と、前記動的特徴量と前記静的特徴量とから特徴ベクトルを生成する特徴量生成手段と、前記撮影対象者の行動を識別する識別器を学習して識別器パラメータを出力する識別器学習手段とを備えることを特徴とする。

本発明は、前記行動識別器生成装置によって出力された識別器パラメータを用いて、三次元映像データに含まれる撮影対象者の行動を認識する行動認識装置であって、前記三次元映像データを取得する三次元映像データ取得手段と、前記三次元映像データから前記撮影対象者の所定の部位の軌跡を検出する軌跡検出手段と、検出した前記部位の軌跡から動的特徴量を抽出する動的特徴量抽出手段と、前記動的特徴量を用いて三次元映像データを構成するフレームの識別単位の境界となるフレーム分割点を検出するフレーム分割点検出手段と、前記フレーム分割点で区切られる複数フレームから構成される識別単位毎に静的特徴量を抽出する静的特徴量抽出手段と、前記動的特徴量と前記静的特徴量とから特徴ベクトルを生成する特徴量生成手段と、前記特徴ベクトルと、前記識別器パラメータを用いて前記撮影対象者の行動を認識する行動認識手段とを備えることを特徴とする。

本発明は、コンピュータを、前記行動識別器生成装置として機能させるためのプログラムである。

本発明は、コンピュータを、前記行動認識装置として機能させるためのプログラムである。

本発明によれば、撮像した映像を用いた行動認識において、三次元上の動きの軌跡に基づいて認識処理に用いるフレームの数を行動に合わせて動的に決定することにより行動認識の精度を向上させることができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 行動ラベルデータの一例を示す図である。 図１に示す学習部１の動作を示すフローチャートである。 手の軌跡を４つのベクトルで近似した例を示す図である。 図１に示す認識部２の動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による行動識別器生成装置及び行動認識装置を説明する。図１は同実施形態の構成を示すブロック図である。図１において、学習部１と認識部２に分かれている。学習部１は、行動ラベル付き三次元映像データを読み込む三次元映像データ読込部１１と、三次元映像データから手の軌跡を検出する軌跡検出部１２と、検出した手の軌跡から動的特徴量を抽出する動的特徴量抽出部１３と、動的特徴量を用いて識別単位に三次元映像を構成するフレームを分割するフレーム分割部１４と、識別単位に対する静的特徴量を抽出する静的特徴量抽出部１５と、動的特徴量と静的特徴量から特徴ベクトルを生成する特徴量生成部１６と、撮影対象者の行動を識別する識別器を学習する識別器学習部１７とで構成されている。

認識部２は、三次元映像データを取得する三次元映像データ取得部１８と、手の軌跡を検出する軌跡検出部１９と、検出した手の軌跡から動的な特徴量を抽出する動的特徴量抽出部２０と、動的特徴量を用いて三次元映像データを構成するフレームの識別単位の境界となる分割点を検出するフレーム分割点検出部２１と、フレーム分割点で区切られる複数フレームから構成される識別単位に対して静的特徴量を抽出する静的特徴量抽出部２２と、動的特徴量と静的特徴量から特徴ベクトルを生成する特徴量生成部２３と、識別器学習部１７で生成した識別器を用いて行動を認識する行動認識部２４とで構成される。

三次元映像データ読込部１１は、撮影された三次元映像データと映像中対応する撮影対象者の行動を示す行動ラベルデータの組である行動ラベル付き三次元映像データを読み込む。図２は、行動ラベルデータの一例を示す図である。行動ラベルデータは、開始と終了の時刻と、複数の行動ラベル（行動ラベル１、２、・・・）とが関係付けられて記憶されたデータである。例えば、記憶装置に保存された三次元映像データと対応する撮影対象者の行動ラベルのデータをシステムに読み込む。

また、三次元映像データは、ＲＧＢで表現される映像データと、１ピクセルあたり１６ｂｉｔの数値で表現されるデプスマップデータの組で表現される。ただし、このような形式に限られるものではなく、映像データと、深度を表現する数値データを情報として含むものであればどのような表現形式でもよい。三次元映像・ラベルデータ（行動ラベル付き三次元映像データ）は、三次元映像・ラベルデータ記憶装置３１に記憶する。

軌跡検出部１２は、例えば文献１に記載の公知の方法を使って撮影対象者の手を検出し、その軌跡となる点群を取得する。
文献１「X.Liu , K.Fujimura "Hand Gesture Recognition using Depth Data" Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition.」

動的特徴量抽出部１３は、軌跡検出部１２で得た手の軌跡点群から、各時刻における速度ベクトルを計算する。動的特徴量は、動的特徴量記憶装置３２に記憶する。フレーム分割部１４は、動的特徴量抽出部１３により計算された各時刻の速度ベクトルを比較し、速度ベクトルが大きく変化する時刻でフレームを分割し、識別単位とする。識別単位は、速度ベクトルが大きく変化する時刻までの三次元映像のフレームの集まりとなる。

静的特徴量抽出部１５は、識別単位を構成するフレームごとに、例えば、文献２に記載の公知の方法でＳＩＦＴ特徴量などの特徴量を抽出する。
文献２「D.G. Lowe "Object recognition from local scale-invariant features" The Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999.」

特徴量生成部１６は、前述の動的特徴量と静的特徴量とを、識別単位のフレーム数を考慮して正規化したものを特徴量ベクトルとして生成する。識別器学習部１７は、前述の特徴量ベクトルと識別単位に対応する行動ラベルデータから撮影対象者の行動を認識するための識別器の学習を行う。学習された識別器のパラメータは、識別器パラメータ記憶装置３３に記憶する。

三次元映像データ取得部１８は、例えばステレオカメラ等の画像取得手段などで構成されており、三次元映像データを取得する。軌跡検出部１９は、撮影対象者の手の動きの軌跡を検出する。軌跡検出部１９は、軌跡検出部１２と同様に例えば文献１に記載の公知の方法で手を検出し、その軌跡となる点群を取得する。

動的特徴量抽出部２０は、動的特徴量抽出部１３と同様、軌跡検出部１９で得られた軌跡の点群から、各時刻における速度ベクトルを計算する。フレーム分割点検出部２１は、動的特徴量抽出部２０で計算された速度ベクトルから、入力されるフレームが識別単位の分割点となるか否かを判定する。分割点と判定される場合には、ひとつ前の分割点からの複数フレームを識別単位とする。

静的特徴量抽出部２２は、識別単位を構成する各フレームからＳＩＦＴ特徴量などを抽出する。特徴量生成部２３では、特徴量生成部１６と同様、動的特徴量と静的特徴量を識別単位のフレーム数を考慮し、正規化を行い、特徴ベクトルとして生成する。行動認識部２４は、識別器パラメータ記憶装置３３に記憶された識別器パラメータを用いて、行動認識を行う。

本実施形態の目的は、一人称映像から撮影対象者の行動を推定することである。本実施形態では、一例として、フレームごとの静的な特徴量としてＳＩＦＴ特徴量を、三次元データから得られる撮影対象者の手の動きの軌跡を特徴量とし、手の軌跡を取得する手段として、文献１に記載の方法を用いて説明する。

次に、図３を参照して、図１に示す学習部１の動作を説明する。図３は、図１に示す学習部１の動作を示すフローチャートである。処理が開始されると、三次元映像データ読込部１１は、外部から画像データＩｔ（ｔ＝１，２，３，．．．，Ｔ）と三次元データＤｔ（ｔ＝１，２，３，．．．，Ｔ）を読み込む（ステップＳ１）。ここで、Ｔはフレーム数の合計である。各画像データには、図２に示す行動に関するラベルが付与されている。ここで、撮影対象者の行動の種類をＪ、撮影対象者の行動をａｊ、行動の集合をＡとした時、撮影対象者の行動をａ_ｊ（ｊ＝１，２，３，．．．，Ｊ；ａ_ｊ∈Ａ）と表す。

次に、軌跡検出部１２は、画像中の撮影対象者の手を検出し、手の軌跡の三次元点群を抽出する（ステップＳ２）。そして、動的特徴量抽出部１３は、動的特徴量の抽出を行う（ステップＳ３）。手の軌跡の点群をＨ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）（ｔ＝１，２，３，．．．，Ｔ）、とすると、時刻ｔにおける速度ベクトルはΔＤ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）−（ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）（ｔ＝１，２，３，．．．，Ｔ）と表すことができる。これらを各時刻について計算する。

本実施形態では隣り合うフレームから速度ベクトルを算出したが、フレーム数をｉとしたとき、時刻ｔ−ｉから時刻ｔまでの平均速度、すなわちΔＨ_ｔ＝（ΔＨ_ｔ−ΔＨ_ｔ−１）／｜ｔ−ｉ｜としても速度ベクトルを計算できる。また、本実施形態では、説明を簡単にするため、片手の軌跡についてのみ説明するが、両手の軌跡についても同様に計算することができる。

次に、フレーム分割部１４は、識別単位となるようなフレームの分割点を検出する（ステップＳ４）。ここでは、ステップＳ３で計算された速度ベクトルを各時刻で比較し、ベクトルが大きく変わる時刻をフレームの分割点とする。ベクトルの類似度の指標としては、例えば、コサイン類似度を用いることができる。
ｓｉｍ＝ΔＨ_ｔ・ΔＨ_ｔ−１／｜ΔＨ_ｔ｜｜ΔＨ_ｔ−１｜
このコサイン類似度が、予め設定した閾値を超える場合、その時刻をフレームの分割点とする。

次に、静的特徴量抽出部１５は、ステップＳ４で分割された各フレームに対して静的特徴量を抽出する（ステップＳ５）。ここでは、ＳＩＦＴ特徴量を各フレームで計算し、それらを静的特徴量とする。これらの静的特徴量として、例えば文献３に記載の公知の方法で、ＳＴＩＰといった別の特徴量を用いることができる。
文献３「I.Laptev, T.Lindeberg "Local Descriptors for Spatio-temporal Recognition" Spatial Coherence for Visual Motion Analysis Lecture Notes in Computer Science Volume 3667, 2006, pp 91-103」

次に、特徴量生成部１６は、ステップＳ３とステップＳ５で得た動的特徴量と、静的特徴量を正規化することにより、特徴量ベクトルを生成する（ステップＳ６）。静的特徴量は、例えば文献４に記載の公知の方法でヒストグラム化し、それぞれのビンの値をフレーム数で割ることにより正規化することが可能である。
文献４「D. Filliat, "A visual bag of words method for interactive qualitative localization and mapping"」

動的特徴量では、識別単位のフレーム内に含まれるフレームｉ個をｎ個に均等に分け、ｎ個に分けられたフレームの最初と最後のフレームにおける三次元点からｎ個の直線ベクトルで軌跡を近似する。図４は、ｎ＝４として、手の軌跡を４つのベクトルで近似している例を示す図である。図４に示すように、手の軌跡を複数のベクトルで近似する。

次に、識別器学習部１７は、ステップＳ６で得られる特徴量と、三次元映像・ラベルデータ記憶装置３１に記憶された行動ラベルデータから識別器の学習を行う（ステップＳ７）。ここでは、ナイーブベイズ分類器により、各識別単位の特徴量から行動ラベルを予測する。すなわち、特徴ベクトルをｄ、行動ラベルをａとしたとき、Ｐ（ａ｜ｄ）（ａ∈Ａ）を最大化するようなａを出力する。
＾ａ（＾はａの上に付く）＝ａｒｇｍａｘＰ（ａ｜ｄ）
＝ａｒｇｍａｘＰ（ｄ｜ａ）Ｐ（ａ）
ここで、Ｐ（ｄ｜ａ）には、例えば正規分布を仮定し、対数尤度ｌｏｇＰ（Ｄ）＝Σ_{｛ｄ，ａ｝∈Ｄ}ｌｏｇＰ（ｄ｜ａ）Ｐ（ａ） を最大化するような、正規分布のパラメータ（平均値、分散値）とＰ（ａ）を求めればよい。

学習されたパラメータは、識別器パラメータ記憶装置３３に記憶する。ここではナイーブベイズ分類器を用いたが、ＳＶＭや対数線形モデルといった他の分類器を用いることもできる。

次に、図５を参照して、図１に示す認識部２の動作を説明する。図５は、図１に示す認識部２の動作を示すフローチャートである。処理が開始されると、三次元映像データ取得部１８は、画像データと三次元データを取得する（ステップＳ１１）。

次に、軌跡検出部１９は、軌跡検出部１２と同様、画像中の撮影対象者の手を検出し、手の軌跡の三次元点群を抽出する（ステップＳ１２）。続いて、動的特徴量抽出部２０は、動的特徴量の抽出を行う（ステップＳ１３）。手の軌跡の点群をＨ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）（ｔ＝１，２，３，．．．，Ｔ）とすると、時刻ｔにおける速度ベクトルはΔＤ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）−（ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）（ｔ＝１，２，３，．．．，Ｔ）と表すことができる。これらを各時刻について計算する。

本実施形態では隣り合うフレームから速度ベクトルを算出したが、フレーム数をｉとしたとき、時刻ｔ−ｉから時刻ｔまでの平均速度、すなわちΔＨ_ｔ＝（ΔＨ_ｔ−ΔＨ_ｔ−ｉ）／｜ｔ−ｉ｜としても速度ベクトルを計算できる。また、ここでは、説明を簡単にするため、片手の軌跡についてのみ説明するが、両手の軌跡についても同様に計算することができる。

次に、フレーム分割点検出部２１は、時刻ｔにおけるフレームが識別単位の分割点か否かを判定する（ステップＳ１４）。ステップＳ１３で計算された速度ベクトルが時刻ｔ−１の速度ベクトルから大きく変化している場合には、時刻ｔをフレーム分割点とし、ひとつ前の分割点からのフレームを識別単位として処理を行う。ベクトルの変化が小さいときは、ステップＳ１１に戻り、画像と三次元データを取得する。各時刻におけるベクトルの比較には、ステップＳ１４と同様の類似度を用いる。

次に、静的特徴量抽出部２２は、ステップＳ１３までの処理で得られた識別単位のフレームについて静的特徴量の抽出を行う（ステップＳ１５）。静的特徴量には、学習部１で抽出した特徴量と同じものを用い、本実施形態においては、ＳＩＦＴ特徴量を用いる。

次に、特徴量生成部２３は、ステップＳ１３とステップＳ１５によって得られた動的特徴量と静的特徴量から、識別単位のフレーム数を考慮した正規化を行って特徴量を生成する（ステップＳ１６）。これは、学習部１のステップＳ６と同様の方法で行う。

次に、行動認識部２４は、識別器パラメータ記憶装置３３に記憶されたパラメータを用いて、ステップＳ１６で生成した特徴量から識別単位の行動ラベルを予測する。すなわち、＾ａ（＾はａの上に付く）＝ａｒｇｍａｘＰ（ａ｜ｄ）を得る。

そして、三次元映像データ取得部１８は、処理の終了判定を行う（ステップＳ１８）。次の入力画像があれば、ステップＳ１１へ戻って処理を続ける。次の入力画像がない場合、処理を終了する。

なお、前述した説明においては、手の軌跡を検出する例を説明したが、他の部位を認識してその軌跡を検出するようにしてもよい。

以上説明したように、ステレオカメラ等で撮影した映像から当該映像に映っている撮影対象者の行動・状況を認識する際に、三次元空間での手の動きを追跡し識別単位とするフレームの数を動的に決定することにより、行動・状況の認識精度を向上させることができる。

前述した実施形態における学習部１及び認識部２をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

三次元上の動きの軌跡に基づき認識処理に用いるフレームの数を行動に合わせて動的に決定することでより頑健な行動認識を行うことが不可欠な用途に適用できる。

１・・・学習部、２・・・認識部、１１・・・三次元データ読込部、１２・・・軌跡検出部、１３・・・動的特徴量抽出部、１４・・・フレーム分割部、１５・・・静的特徴量抽出部、１６・・・特徴量生成部、１７・・・識別器学習部、１８・・・三次元データ取得部、１９・・・軌跡検出部、２０・・・動的特徴量抽出部、２１・・・フレーム分割点検出部、２２・・・静的特徴量抽出部、２３・・・静的特徴量抽出部、２４・・・行動認識部、３１・・・三次元映像・ラベルデータ記憶装置、３２・・・動的特徴量記憶装置、３３・・・識別器パラメータ記憶装置

Claims (4)

1. 学習データとして入力された行動ラベル付き三次元映像データに含まれる撮影対象者の行動を識別するための行動識別器を生成する行動識別器生成装置であって、
   行動ラベル付きの三次元映像データを読み込む三次元データ読込手段と、
   前記三次元映像データから前記撮影対象者の所定の部位の軌跡を検出する軌跡検出手段と、
   検出した前記部位の軌跡から動的特徴量を抽出する動的特徴量抽出手段と、
   前記動的特徴量を用いて識別単位に前記三次元映像を構成するフレームを分割するフレーム分割手段と、
   前記識別単位毎に静的特徴量を抽出する静的特徴量抽出手段と、
   前記動的特徴量と前記静的特徴量とから特徴ベクトルを生成する特徴量生成手段と、
   前記撮影対象者の行動を識別する識別器を学習して識別器パラメータを出力する識別器学習手段と
   を備えることを特徴とする行動識別器生成装置。
2. 請求項１に記載の行動識別器生成装置によって出力された識別器パラメータを用いて、三次元映像データに含まれる撮影対象者の行動を認識する行動認識装置であって、
   前記三次元映像データを取得する三次元映像データ取得手段と、
   前記三次元映像データから前記撮影対象者の所定の部位の軌跡を検出する軌跡検出手段と、
   検出した前記部位の軌跡から動的特徴量を抽出する動的特徴量抽出手段と、
   前記動的特徴量を用いて三次元映像データを構成するフレームの識別単位の境界となるフレーム分割点を検出するフレーム分割点検出手段と、
   前記フレーム分割点で区切られる複数フレームから構成される識別単位毎に静的特徴量を抽出する静的特徴量抽出手段と、
   前記動的特徴量と前記静的特徴量とから特徴ベクトルを生成する特徴量生成手段と、
   前記特徴ベクトルと、前記識別器パラメータを用いて前記撮影対象者の行動を認識する行動認識手段と
   を備えることを特徴とする行動認識装置。
3. コンピュータを、請求項１に記載の行動識別器生成装置として機能させるためのプログラム。
4. コンピュータを、請求項２に記載の行動認識装置として機能させるためのプログラム。

Images