JP2007213528A - 行動認識システム - Google Patents

Abstract

【課題】複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる行動認識システムを提供する。
【解決手段】行動認識の対象となる人物を含む認識対象画像データを用いて、認識対象データを生成する認識対象データ生成部２３０と、人物の行動をモデル化したデータである複数の行動モデルデータと認識対象データ生成部２３０によって生成された認識対象データとを比較し、複数の行動モデルデータのそれぞれに対する認識対象データの尤度を算出する尤度算出部２３５と、予め生成された対象物のテンプレートデータと認識対象画像データとを比較する画像マッチング部２４５と、尤度算出部２３５による算出結果及び画像マッチング部２４５によるマッチング結果に基づいて、認識結果とする人物の行動を特定する認識結果判定部２５０とを行動認識システム２００が備える。
【選択図】図２

Description

本発明は、行動認識の対象となる人物を含む画像データを用いて、人物の行動を認識する行動認識システムに関する。

従来、高齢者の異常を検知するシステムや高齢者の行動を見守るシステムなどでは、人物の行動をカメラなどで撮像して、人物の行動を認識する技術（以下、行動認識技術）が用いられていた。また、このような行動認識技術としては、以下に示す行動認識技術が知られている。

第１の行動認識技術としては、人物の各部位の行動特徴を人物の画像データから抽出し、抽出された行動特徴の組合せによって人物の行動を認識する技術が挙げられる（例えば、特許文献１）。

具体的には、行動特徴の組合せによって人物の行動を定義する定義テーブルを予め用意しておき、この定義テーブルを参照することによって、抽出された行動特徴に対応する人物の行動を特定する。

また、第２の行動認識技術としては、予め生成された行動モデルデータと行動認識の対象となるデータ（以下、認識対象データ）とを比較して、認識対象データとの尤度が最も高い行動モデルデータに対応する行動を認識結果として出力する技術が挙げられる。

具体的には、隠れマルコムモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって人物の画像データから複数の行動モデルを予め生成しておき、複数の行動モデルの中で認識対象データとの尤度が最も高い行動モデルに対応する行動が認識結果として出力される。
特開２００５−２５８８３０号公報（請求項１、〔００６５〕及び〔００６６〕段落、図２１など）

しかしながら、上述した第１の行動認識技術では、複雑で多様な人物の行動の全てを行動特徴の組合せによって定義することは非常に困難であり、限られた人物の行動しか認識することができなかった。また、上述した第２の行動認識技術では、認識対象データとの尤度が高い行動モデルが複数である場合には、人物の行動を正確に認識することが難しかった。

そこで、本発明は、上述した課題を解決するためになされたものであり、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる行動認識システムを提供することを目的とする。

本発明の第１の特徴は、行動認識の対象となる人物を含む画像データである認識対象画像データを用いて、認識対象データを生成する認識対象データ生成部（認識対象データ生成部２３０）と、人物の行動をモデル化したデータである複数の行動モデルデータと前記認識対象データ生成部によって生成された前記認識対象データとを比較し、前記複数の行動モデルデータのそれぞれに対する前記認識対象データの尤度を算出する尤度算出部（尤度算出部２３５）と、予め生成された対象物の画像データであるテンプレートデータと前記認識対象画像データとを比較するテンプレート比較部（画像マッチング部２４５）と、前記尤度算出部による算出結果及び前記テンプレート比較部による比較結果に基づいて、前記認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする行動認識部（認識結果判定部２５０）とを行動認識システム（行動認識システム２００）が備えることを要旨とする。

かかる特徴によれば、行動認識部は、尤度算出部による算出結果及びテンプレート比較部による比較結果に基づいて、認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする。

すなわち、行動認識部は、尤度算出部による算出結果に基づいて、認識対象画像データに対応する人物の行動を絞り込んだ上で、尤度算出部による算出結果及びテンプレート比較部による比較結果に基づいて、認識対象画像データに対応する人物の行動を特定する。

従って、行動認識システムは、複雑で多様な人物の行動を行動特徴の組合せによって定義しなくても、認識対象画像データに対応する人物の行動を特定することができる。また、行動認識システムは、認識対象データの尤度が近接した行動モデルデータが複数である場合であっても、テンプレート比較部による比較結果を用いることによって行動認識の精度の向上を図ることができる。

換言すると、行動認識システムは、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる。

本発明の第２の特徴は、本発明の第１の特徴において、前記行動認識の対象となる人物を含む画像を構成するフレームの一部である複数の小領域の中から、前記テンプレート比較部によって前記テンプレートデータと比較される前記認識対象画像データに対応する前記小領域を選択する小領域選択部（尤度算出部２３５）を行動認識システムがさらに備えることを要旨とする。

本発明の第３の特徴は、本発明の第２の特徴において、前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部（オプティカルフロー算出部２１０）を行動認識システムがさらに備え、前記小領域選択部（尤度算出部２３５）は、前記オプティカルフロー算出部によって算出された前記オプティカルフローの和（スカラー和）が最大となる前記小領域を選択することを要旨とする。

本発明の第４の特徴は、本発明の第２の特徴において、前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部（オプティカルフロー算出部２１０）を行動認識システムがさらに備え、前記認識対象データ生成部が、前記オプティカルフローに基づいて前記認識対象データを前記小領域毎に生成し、前記尤度算出部が、前記認識対象データの前記尤度を前記小領域毎に算出し、前記小領域選択部が、前記小領域毎に算出された前記認識対象データの前記尤度が最大となる前記小領域を選択することを要旨とする。

本発明の第５の特徴は、本発明の第１の特徴において、前記テンプレートデータが、人物の複数の行動にそれぞれ対応付けられた前記対象物の画像データであることを要旨とする。

本発明の第６の特徴は、本発明の第１の特徴において、前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部（オプティカルフロー算出部２１０）を行動認識システムがさらに備え、前記認識対象データ生成部が、前記行動認識の対象となる人物を含む画像を構成するフレームの一部である小領域の中から、前記オプティカルフローの和が大きい順に所定数の前記小領域を抽出し、抽出された前記小領域に対応する前記オプティカルフローに基づいて、前記認識対象データを生成することを要旨とする。

本発明の第７の特徴は、行動認識の対象となる人物を含む画像データである認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部（オプティカルフロー算出部２１０）と、前記オプティカルフロー算出部によって算出された前記オプティカルフローに基づいて、前記行動認識の対象となる人物を含む画像を構成するフレームの一部である小領域毎に認識対象データを生成する認識対象データ生成部（認識対象データ生成部２３０ａ）と、人物の行動をモデル化したデータである複数の行動モデルデータと前記認識対象データ生成部によって生成された前記認識対象データとを比較し、前記複数の行動モデルデータのそれぞれに対する前記認識対象データの尤度を前記小領域毎に算出する尤度算出部（尤度算出部２３５ａ）と、前記小領域毎に算出された前記尤度の分散値又は前記小領域毎に算出された前記尤度の尖度を算出する分布度算出部（認識結果判定部２５０ａ）と、前記尤度算出部による算出結果及び前記分布度算出部による算出結果に基づいて、前記認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする行動認識部（認識結果判定部２５０ａ）とを行動認識システムが備えることを要旨とする。

かかる特徴によれば、行動認識部は、尤度算出部による算出結果及び分布度算出部による算出結果に基づいて、認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする。

すなわち、行動認識部は、尤度算出部による算出結果に基づいて、認識対象画像データに対応する人物の行動を絞り込んだ上で、分布度算出部による算出結果に基づいて、認識対象画像データに対応する人物の行動を特定する。

従って、行動認識システムは、複雑で多様な人物の行動を行動特徴の組合せによって定義しなくても、認識対象画像データに対応する人物の行動を特定することができる。また、行動認識システムは、認識対象データの尤度が近接した行動モデルデータが複数である場合であっても、分布度算出部による算出結果を用いることによって行動認識の精度の向上を図ることができる。

換言すると、行動認識システムは、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる。

本発明によれば、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる行動認識システムを提供することができる。

［第１実施形態］
（ロボットシステムの構成）
以下において、本発明の第１実施形態に係るロボットシステムの構成について、図面を参照しながら説明する。図１は、本発明の第１実施形態に係るロボットシステム１００を示すブロック図である。

図１に示すように、ロボットシステム１００は、詳細画像撮像部１０５と、広角画像撮像部１１０と、撮像制御部１１５と、データ処理部１２０と、通信部１２５と、移動機構制御部１３０と、移動機構部１３５とを有する。

詳細画像撮像部１０５は、行動認識の対象となる人物の一部などを撮像するカメラなどである。具体的には、詳細画像撮像部１０５は、人物が把持している物体や人物の手の形状などを撮像する。例えば、ロボットシステム１００が２つの目（カメラ）を有している場合には、詳細画像撮像部１０５は、２つの目の一方を構成する。

広角画像撮像部１１０は、行動認識の対象となる人物や人物の背景などを撮像するカメラなどである。例えば、ロボットシステム１００が２つの目（カメラ）を有している場合には、広角画像撮像部１１０は、２つの目の他方を構成する。

撮像制御部１１５は、詳細画像撮像部１０５及び広角画像撮像部１１０を制御する。具体的には、撮像制御部１１５は、詳細画像撮像部１０５及び広角画像撮像部１１０の向きなどを制御するとともに、詳細画像撮像部１０５及び広角画像撮像部１１０によって撮像された画像のデータ（画像データ）をデータ処理部１２０に入力する。なお、画像データとは、ＲＧＢやＹＣ_ｂＣ_ｒなどで表される画素データである。

データ処理部１２０は、撮像制御部１１５から取得した画像データを通信部１２５に入力する。また、データ処理部１２０は、後述する行動認識システム２００によって認識された人物の行動を示す行動認識データを移動機構制御部１３０に入力する。

通信部１２５は、ロボットシステム１００と行動認識システム２００との間で通信を行う。具体的には、通信部１２５は、データ処理部１２０から取得した画像データを行動認識システム２００に送信し、行動認識システム２００によって認識された人物の行動を示す行動認識データを行動認識システム２００から受信する。

移動機構制御部１３０は、データ処理部１２０から取得した行動認識データに応じて移動機構部１３５を制御する。

移動機構部１３５は、ロボットシステム１００の手や足などであり、行動認識システム２００による行動認識の結果に応じて制御される。

（行動認識システムの構成）
以下において、本発明の第１実施形態に係る行動認識システムの構成について、図面を参照しながら説明する。図２は、本発明の第１実施形態に係る行動認識システム２００を示すブロック図である。

図２に示すように、行動認識システム２００は、通信部２０５と、オプティカルフロー算出部２１０と、学習データ生成部２１５と、行動モデル生成部２２０と、行動モデル記憶部２２５と、認識対象データ生成部２３０と、尤度算出部２３５と、テンプレート記憶部２４０と、画像マッチング部２４５と、認識結果判定部２５０とを有する。

通信部２０５は、ロボットシステム１００と行動認識システム２００との間で通信を行う。具体的には、通信部２０５は、行動認識システム２００によって認識された人物の行動を示す行動認識データをロボットシステム１００に送信し、詳細画像撮像部１０５及び広角画像撮像部１１０によって撮像された画像データをロボットシステム１００から受信する。

ここで、画像データには、人物の行動のモデル化に用いられる学習用画像データと、行動認識の対象となる人物を含む画像データである認識対象画像データとが含まれる。

具体的には、学習用画像データは、例えば、「食べる」や「書く」といったような行動毎に対応付けられた画像データであり、「食べる」や「書く」といったような行動のモデル化に用いられる。一方、認識対象画像データは、どの行動に分類されるかが未知であり、行動認識の対象となる画像データである。

オプティカルフロー算出部２１０は、学習用画像データ及び認識対象画像データを用いて画素単位でオプティカルフローを算出する。例えば、オプティカルフローの算出方法は、特徴照合法や勾配法などの既存の手法であり、特に限定されるものではない。

また、オプティカルフロー算出部２１０は、算出されたオプティカルフローを学習データ生成部２１５及び認識対象データ生成部２３０に入力する。具体的には、オプティカルフロー算出部２１０は、学習用画像データについてオプティカルフローを算出した場合には、算出されたオプティカルフローを学習データ生成部２１５に入力する。一方、オプティカルフロー算出部２１０は、認識対象画像データについてオプティカルフローを算出した場合には、算出されたオプティカルフローを認識対象データ生成部２３０に入力する。

学習データ生成部２１５は、オプティカルフロー算出部２１０から取得したオプティカルフローに基づいて学習データを生成する。具体的には、学習データ生成部２１５は、フレームを複数に分割した領域である小領域毎にオプティカルフローのスカラー和を算出し、算出されたオプティカルフローのスカラー和が大きい順に所定数（例えば、５つ）の小領域を抽出する。続いて、学習データ生成部２１５は、抽出された小領域毎にオプティカルフローのベクトル和を算出し、抽出された小領域の番号、ベクトル和の大きさ及びベクトル和の角度を含む学習データを生成する。

行動モデル生成部２２０は、学習データ生成部２１５によって生成された学習データに基づいて行動モデルデータを生成する。具体的には、行動モデル生成部２２０は、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって、「食べる」や「書く」といったような行動毎に行動モデルデータを生成する。

例えば、上述した隠れマルコフモデルでは、行動モデル生成部２２０は、状態の数を決定する。なお、状態とは、観測者が観測できないものであり、出力記号とは、観測者が観測可能なデータであり、小領域の番号、ベクトル和の大きさ及びベクトル和の角度の組合せである。

続いて、行動モデル生成部２２０は、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムに従って、「食べる」や「書く」といったような行動毎に隠れマルコフモデルのパラメータを推定する。なお、隠れマルコフモデルのパラメータとは、一の状態から他の状態に遷移する確率（遷移確率）や一の状態から一の出力記号が出力される確率などである。また、行動モデル生成部２２０は、「食べる」や「書く」といったような行動毎に推定された隠れマルコフモデルのパラメータを行動モデルデータとして行動モデル記憶部２２５に記憶する。

行動モデル記憶部２２５は、行動モデル生成部２２０によって生成された行動モデルデータを、「食べる」や「書く」といったような行動毎に記憶する。すなわち、行動モデル記憶部２２５は、人物の行動毎に複数の行動モデルデータを記憶する。

認識対象データ生成部２３０は、オプティカルフロー算出部２１０から取得したオプティカルフローに基づいて認識対象データを生成する。具体的には、認識対象データ生成部２３０は、フレームを複数に分割した領域である小領域毎にオプティカルフローのスカラー和を算出し、算出されたオプティカルフローのスカラー和が大きい順に所定数（例えば、５つ）の小領域を抽出する。続いて、認識対象データ生成部２３０は、抽出された小領域毎にオプティカルフローのベクトル和を算出し、抽出された小領域の番号、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データを生成する。

また、認識対象データ生成部２３０は、生成した認識対象データを尤度算出部２３５に入力する。また、認識対象データ生成部２３０は、オプティカルフローのスカラー和が最も大きい小領域の番号を画像マッチング部２４５に入力する。

尤度算出部２３５は、行動モデル記憶部２２５に記憶された複数の行動モデルデータに対する認識対象データの尤度を算出する。また、尤度算出部２３５は、認識対象データの尤度が所定の閾値以上である行動モデルデータを特定し、特定された行動モデルデータに対する認識対象データの尤度を認識結果判定部２５０に入力する。さらに、尤度算出部２３５は、認識対象データの尤度が所定の閾値以上である行動モデルデータが複数である場合には、認識対象データの尤度が所定の閾値以上である行動モデルデータに対応する行動を示す行動データを画像マッチング部２４５に入力する。

以下において、統計モデル生成手法として、隠れマルコフモデルを用いた場合を例に挙げて、行動モデルデータの作成方法について説明する。

例えば、上述した隠れマルコフモデルでは、尤度算出部２３５は、小領域の番号、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データに基づいて、その認識対象データに対応する出力記号列を取得する。続いて、尤度算出部２３５は、取得された出力記号列が各隠れマルコフモデルに従って出力される確率（尤度）を算出する。

具体的には、尤度算出部２３５は、以下の式に従って、各隠れマルコフモデル（行動モデルデータ）に対する認識対象データの尤度（Ｐ_λ）を算出する。

但し、O₁,O₂,・・・O_tは、行動モデルデータ（隠れマルコフモデル）の出力記号であり、o_k(1), o_k(2)・・・o_k(t)は、認識対象データの出力記号であり、Ｎは、状態の数である。また、π_jは、初期状態が状態（ｊ）である確率であり、a_i,jは、状態（ｉ）から状態（ｊ）に遷移する遷移確率であり、b_j,k(t)は、時刻ｔにおいて状態（ｊ）から出力記号（ｏ_ｋ（ｔ））が出力される確率である。

テンプレート記憶部２４０は、対象物の画像データであるテンプレートデータを人物の複数の行動にそれぞれ対応付けて記憶する。ここで、対象物は、例えば、人物が把持している物体や物体を把持する人物の手の形状などである。また、テンプレートデータは、例えば、人物が把持している物体の画像データや物体を把持する人物の手の形状の画像データなどである。

なお、テンプレート記憶部２４０は、人物の行動とテンプレートデータとを対応付けるクラスタリングテーブルを管理することによって、テンプレートデータを人物の行動に対応付けて記憶する。なお、テンプレート記憶部２４０に管理されるクラスタリングテーブルの詳細については後述する（図３を参照）。

画像マッチング部２４５は、通信部２０５が受信した認識対象画像データとテンプレート記憶部２４０に記憶されたテンプレートデータとを画像マッチングして、認識対象画像データとテンプレートデータとの一致度を示すマッチングスコアを算出する。

具体的には、画像マッチング部２４５は、認識対象データ生成部２３０から取得した小領域の番号に基づいて、オプティカルフローのスカラー和が最も大きい小領域を特定する。また、画像マッチング部２４５は、尤度算出部２３５から取得した行動データに基づいて、画像マッチングの対象となる行動を特定する。

続いて、画像マッチング部２４５は、特定された行動に対応付けられたテンプレートデータをテンプレート記憶部２４０から読み出して、読み出されたテンプレートデータとオプティカルフローのスカラー和が最も大きい小領域の画像データ（認識対象画像データ）とを画像マッチングする。また、画像マッチング部２４５は、テンプレートデータと小領域の画像データとの一致度を示すマッチングスコアを算出し、算出されたマッチングスコアを認識結果判定部２５０に入力する。

認識結果判定部２５０は、尤度算出部２３５から取得した認識対象データの尤度に基づいて認識結果とする人物の行動を特定する。具体的には、認識結果判定部２５０は、尤度算出部２３５から取得した行動データに基づいて、認識対象データの尤度が所定の閾値以上である行動モデルデータを特定し、特定した行動モデルデータに対応する人物の行動を特定する。ここで、認識結果判定部２５０は、特定された行動が１つである場合には、その行動を認識結果とする。

また、認識結果判定部２５０は、特定された行動が複数である場合には、特定された複数の行動に対応する行動モデルデータに対する認識対象データの尤度差を算出する。例えば、認識結果判定部２５０は、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、最も高い認識対象データの尤度と２番目に高い認識対象データの尤度との差を尤度差として算出してもよく、最も高い認識対象データの尤度と３番目に高い認識対象データの尤度との差を尤度差として算出してもよい。また、認識結果判定部２５０は、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、最も高い認識対象データの尤度と最も低い認識対象データの尤度との差を尤度差として算出してもよい。

ここで、認識結果判定部２５０は、算出された尤度差が所定の尤度差閾値以上である場合には、認識対象データの尤度が高い行動モデルデータに対応する行動を認識結果とする。

一方、認識結果判定部２５０は、算出された尤度差が所定の尤度差閾値未満である場合には、尤度算出部２３５から取得した認識対象データの尤度と画像マッチング部２４５から取得したマッチングスコアとを用いて人物の行動を特定し、特定された人物の行動を認識結果とする。例えば、認識結果判定部２５０は、認識対象データの尤度とマッチングスコアとを積算して、積算結果が最大となる行動を認識結果とする。

（クラスタリングテーブルの構成）
以下において、本発明の第１実施形態に係るクラスタリングテーブルの一例について、図面を参照しながら説明する。図３は、本発明の第１実施形態に係るクラスタリングテーブルの一例を示す図である。

図３（ａ）に示すように、クラスタリングテーブルでは、人物の行動（例えば、「食べる」や「書く」など）とテンプレートデータ（箸やペンの画像データ）とが対応付けられている。同様に、図３（ｂ）に示すように、クラスタリングテーブルでは、人物の行動（例えば、「食べる」や「書く」など）とテンプレートデータ（箸を持つ手の形状やペンを持つ手の形状の画像データ）とが対応付けられていてもよい。

このように、テンプレートデータが人物の行動毎に対応付けられているため、画像マッチングの対象となるテンプレートデータが絞り込まれ、画像マッチング部２４５の処理負荷が軽減する。

（行動認識の一例）
以下において、上述した小領域の抽出方法について、図面を参照しながら説明する。図４は、本発明の第１実施形態に係る小領域の抽出方法を説明するための図である。

図４に示すように、行動認識の対象となる人物を含む画像の１フレームは、複数の小領域（小領域１−１〜小領域６−８）によって構成されている。上述したように、認識対象データ生成部２３０は、オプティカルフローのスカラー和を小領域毎に算出し、算出されたオプティカルフローのスカラー和が大きい順に所定数（例えば、５つ）の小領域を抽出する。例えば、図４では、小領域４−４、小領域４−２、小領域２−４、小領域３−３及び小領域３−５が抽出される。

続いて、上述したように、認識対象データ生成部２３０は、抽出された小領域毎にオプティカルフローのベクトル和を算出し、抽出された小領域の番号、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データを取得する。

なお、学習データ生成部２１５についても、認識対象データ生成部２３０と同様の手順で小領域を抽出し、抽出された小領域の番号、ベクトル和の大きさ及びベクトル和の角度を含む学習データを取得する。

次に、認識対象データの尤度が所定の閾値以上である行動モデルデータが複数である場合における行動認識方法について、図面を参照しながら説明する。図５は、本発明の第１実施形態に係る行動認識方法を説明するための図である。なお、図５では、横軸はフレーム数を示しており、縦軸はｎ番目のフレームまでの認識対象データに基づいて算出された尤度を示している。

図５に示すように、ｋ番目のフレームにおいて、複数の行動モデルデータ（「食べる」、「書く」、「飲む」及び「読む」の行動モデルデータ）に対する認識対象データの尤度は、「書く」に対する認識対象データの尤度が最も高く、「食べる」に対する認識対象データの尤度が２番目に高い。また、「書く」及び「食べる」に対する認識対象データの尤度が所定の閾値以上となっている。

上述したように、画像マッチング部２４５は、「書く」及び「食べる」に対応付けられたテンプレートデータをテンプレート記憶部２４０から読み出して、読み出されたテンプレートデータとオプティカルフローのスカラー和が最も大きい小領域の画像データとを画像マッチングする。また、画像マッチング部２４５は、テンプレートデータと小領域の画像データとの一致度を示すマッチングスコアを算出する。

続いて、上述したように、認識結果判定部２５０は、「書く」及び「食べる」に対する認識対象データの尤度と「書く」及び「食べる」に対応するマッチングスコアとを用いて人物の行動を特定する。

例えば、図５では、認識結果判定部２５０は、「書く」に対する認識対象データの尤度（０．０８９）と「書く」に対応するマッチングスコア（０．０３２）とを積算して、「書く」に対応する判定値（０．０２８）を算出する。同様に、認識結果判定部２５０は、「食べる」に対する認識対象データの尤度（０．０７４）と「書く」に対応するマッチングスコア（０．０８５）とを積算して、「書く」に対応する判定値（０．０６３）を算出する。従って、ｋ番目のフレームにおける「書く」に対する尤度は「食べる」に対する尤度よりも高いものの、「食べる」に対応する判定値が「書く」に対応する判定値よりも高いため、認識結果判定部２５０は「食べる」を認識結果とする。

（行動認識システムの動作）
以下において、本発明の第１実施形態に係る行動認識システムの動作について、図面を参照しながら説明する。

まず、本発明の第１実施形態に係る行動モデル生成方法について、図面を参照しながら説明する。図６は、本発明の第１実施形態に係る行動モデル生成方法を示すフロー図である。

図６に示すように、ステップ１０において、行動認識システム２００は、学習用画像データをロボットシステム１００から取得する。

ステップ１１において、行動認識システム２００は、学習用画像データに含まれる画素単位でオプティカルフローを算出する。

ステップ１２において、行動認識システム２００は、ステップ１１で算出されたオプティカルフローのスカラー和を小領域毎に算出する。

ステップ１３において、行動認識システム２００は、ステップ１２で小領域毎に算出されたオプティカルフローのスカラー和が大きい順に所定数（例えば、５つ）の小領域を抽出する。

ステップ１４において、行動認識システム２００は、ステップ１３で抽出された小領域のオプティカルフローのベクトル和をステップ１３で抽出された小領域毎に算出する。

ステップ１５において、行動認識システム２００は、ステップ１４で算出されたオプティカルフローのベクトル和の大きさ及びステップ１４で算出されたオプティカルフローのベクトル和の角度を算出する。

ステップ１６において、行動認識システム２００は、ステップ１３で抽出された小領域の番号、ステップ１４で算出されたベクトル和の大きさ及びベクトル和の角度を含む学習データを生成する。

ここで、行動認識システム２００は、ステップ１０〜ステップ１６の処理を人物の行動毎にそれぞれ繰り返すことによって、人物の行動をモデル化するのに十分な学習データを人物の行動毎に準備する。

ステップ１７において、行動認識システム２００は、ステップ１６で生成された学習データに基づいて、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって行動モデルデータを生成する。なお、行動モデルデータは、行動認識システム２００の行動モデル記憶部２２５に記憶される。

次に、本発明の第１実施形態に係るテンプレート生成方法について、図面を参照しながら説明する。図７は、本発明の第１実施形態に係るテンプレート生成方法を示すフロー図である。

図７に示すように、ステップ３０において、行動認識システム２００は、人物が把持する物体や人物が物体を把持する手などの対象物の画像データを取得する。なお、対象物の画像データは、ロボットシステム１００の詳細画像撮像部１０５が対象物を撮像することによって、ロボットシステム１００から取得することができる。また、対象物の画像データは、他の方法によって行動認識システム２００に入力されてもよい。

ステップ３１において、行動認識システム２００は、人物の複数の行動に対象物の画像データをそれぞれ対応付ける。

ステップ３２において、行動認識システム２００は、人物の行動と物体の画像データ（テンプレートデータ）とを対応付けるクラスタリングテーブルを生成する。なお、クラスタリングテーブルは、行動認識システム２００のテンプレート記憶部２４０に記憶される。

次に、本発明の第１実施形態に係る行動認識方法について、図面を参照しながら説明する。図８及び図９は、本発明の第１実施形態に係る行動認識方法を示すフロー図である。

図８に示すように、ステップ５０において、行動認識システム２００は、認識対象画像データをロボットシステム１００から取得する。

ステップ５１において、行動認識システム２００は、認識対象画像データに含まれる画素単位でオプティカルフローを算出する。

ステップ５２において、行動認識システム２００は、ステップ５１で算出されたオプティカルフローのスカラー和を小領域毎に算出する。

ステップ５３において、行動認識システム２００は、ステップ５２で小領域毎に算出されたオプティカルフローのスカラー和が大きい順に所定数（例えば、５つ）の小領域を抽出する。

ステップ５４において、行動認識システム２００は、ステップ５３で抽出された小領域のオプティカルフローのベクトル和をステップ５３で抽出された小領域毎に算出する。

ステップ５５において、行動認識システム２００は、ステップ５４で算出されたオプティカルフローのベクトル和の大きさ及びステップ５４で算出されたオプティカルフローのベクトル和の角度を算出する。

ステップ５６において、行動認識システム２００は、ステップ５３で抽出された小領域の番号、ステップ５４で算出されたベクトル和の大きさ及びベクトル和の角度を含む認識対象データを生成する。

続いて、図９に示すように、ステップ５７において、行動認識システム２００は、行動モデル記憶部２２５に記憶された複数の行動モデルデータのそれぞれに対する認識対象データの尤度を算出する。

ステップ５８において、行動認識システム２００は、ステップ５７で算出された認識対象データの尤度が所定の閾値以上である行動モデルデータがあるか否かを判定する。また、行動認識システム２００は、認識対象データの尤度が所定の閾値以上である行動モデルデータがある場合には、ステップ６０の処理に移り、認識対象データの尤度が所定の閾値以上である行動モデルデータがない場合には、ステップ５９の処理に移る。

ステップ５９において、行動認識システム２００は、認識結果とする行動がないと判定する。すなわち、行動認識システム２００は、行動認識ができなかったと判定する。

ステップ６０において、行動認識システム２００は、ステップ５７で算出された認識対象データの尤度が所定の閾値以上である行動モデルデータが複数であるか否かを判定する。また、行動認識システム２００は、認識対象データの尤度が所定の閾値以上である行動モデルデータが複数である場合には、特定された複数の行動モデルデータに対する認識対象データの尤度差が所定の尤度差閾値以上であるか否かを判定する。上述したように、例えば、行動認識システム２００は、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、最も高い認識対象データの尤度と２番目に高い認識対象データの尤度との差を尤度差として算出してもよく、最も高い認識対象データの尤度と３番目に高い認識対象データの尤度との差を尤度差として算出してもよい。また、行動認識システム２００は、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、最も高い認識対象データの尤度と最も低い認識対象データの尤度との差を尤度差として算出してもよい。

また、行動認識システム２００は、認識対象データの尤度が所定の閾値以上である行動モデルデータが１つである場合、又は、複数の行動モデルデータに対する認識対象データの尤度差が所定の尤度差閾値以上である場合には、ステップ６１の処理に移る。一方、行動認識システム２００は、複数の行動モデルデータに対する認識対象データの尤度差が所定の尤度差閾値未満である場合には、ステップ６２の処理に移る。

ステップ６１において、行動認識システム２００は、認識結果とする行動を特定する。具体的には、行動認識システム２００は、認識対象データの尤度が最も大きい行動モデルデータを特定し、特定された行動モデルデータに対応する行動を認識結果とする。

ステップ６２において、行動認識システム２００は、ステップ５２で小領域毎に算出されたオプティカルフローのスカラー和が最も大きい小領域を選択する。

ステップ６３において、行動認識システム２００は、ステップ６２で選択された小領域の画像データとテンプレート記憶部２４０に記憶されたテンプレートデータとを画像マッチングする。具体的には、行動認識システム２００は、ステップ６０で特定された複数の行動モデルデータ（行動）に対応するテンプレートデータを読み出すとともに、読み出されたテンプレートデータと小領域の画像データとを画像マッチングする。

ステップ６４において、行動認識システム２００は、ステップ６０で特定された複数の行動モデルデータに対応する行動について、テンプレートデータと小領域の画像データとの一致度を示すマッチングスコアを算出する。

ステップ６５において、行動認識システム２００は、ステップ５７で算出された行動モデルデータに対する認識対象データの尤度とステップ６４で算出されたマッチングスコアとを用いて、認識結果とする行動を特定する。

例えば、行動認識システム２００は、認識対象データの尤度とマッチングスコアとを積算して、ステップ６０で特定された複数の行動モデルデータに対応する行動毎に判定値を算出する。続いて、行動認識システム２００は、判定値が最大となる行動を認識結果とする。

（作用及び効果）
本発明の第１実施形態に係る行動認識システム２００によれば、認識結果判定部２５０は、尤度算出部２３５によって算出された認識対象データの尤度に基づいて、認識対象画像データに対応する人物の行動を絞り込む。また、画像マッチング部２４５は、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、人物の行動毎にクラスタリングされたテンプレートデータと認識対象画像データとの一致度を算出する。

さらに、認識結果判定部２５０は、認識対象データの尤度が所定の閾値以上である行動モデルデータに対応する行動の中から、尤度算出部２３５によって算出される認識対象データの尤度及び画像マッチング部２４５によって算出されるマッチングスコアに基づいて、認識結果とする人物の行動を特定する。

従って、行動認識システム２００は、複雑で多様な人物の行動を行動特徴の組合せによって定義しなくても、認識対象画像データに対応する人物の行動を特定することができる。また、行動認識システム２００は、認識対象データの尤度が近接した行動モデルデータが複数である場合であっても、尤度算出部２３５によって算出される認識対象データの尤度に加えて、認識対象画像データとテンプレートデータの一致度（マッチングスコア）を用いて、認識結果とする行動を特定することによって、行動認識の精度の向上を図ることができる。

換言すると、行動認識システムは、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる。

また、本発明の第１実施形態に係る行動認識システム２００によれば、尤度算出部２３５は、テンプレートデータと比較される認識対象画像データに対応する小領域として、オプティカルフローのスカラー和が最大となる小領域を選択する。また、画像マッチング部２４５は、オプティカルフローのスカラー和が最大となる小領域の画像データ（認識対象画像データ）とテンプレートデータとの一致度を算出する。

すなわち、行動認識システム２００は、オプティカルフローのスカラー和が大きい小領域、すなわち、動き量が大きい小領域に着目して、認識対象画像データとテンプレートデータとの一致度を算出することによって、画像マッチングに係る処理負荷の軽減を図るとともに、行動認識の精度の向上を図ることができる。

さらに、本発明の第１実施形態に係る行動認識システム２００によれば、クラスタリングテーブルにおいて、人物の行動とテンプレートデータとが対応付けられている。

従って、行動認識システム２００は、認識対象画像データとテンプレートデータとを比較する際に、テンプレートデータを容易に特定することができ、画像マッチングに係る処理負荷の軽減を図ることができる。

また、本発明の第１実施形態に係る行動認識システム２００によれば、認識対象データ生成部２３０は、オプティカルフローのスカラー和が大きい順に所定数の小領域を抽出し、抽出された小領域毎にオプティカルフローのベクトル和を算出する。また、認識対象データ生成部２３０は、算出されたベクトル和の大きさ及びベクトル和の角度を含む認識対象データを生成する。

すなわち、行動認識システム２００は、オプティカルフローのスカラー和が大きい小領域、すなわち、動き量が大きい小領域に着目して、認識対象データを生成することによって、認識対象データの生成に係る処理負荷の軽減を図るとともに、効率的に認識対象データを生成することができる。

［第２実施形態］
以下において、本発明の第２実施形態に係る行動認識システムについて、図面を参照しながら説明する。なお、以下においては、上述した第１実施形態と第２実施形態との差異について主として説明する。

具体的には、上述した第１実施形態では、認識対象データの尤度が所定の閾値以上である行動モデルデータが複数である場合に、認識対象画像データとテンプレートデータとの画像マッチングによって認識結果とする人物の行動を特定していた。

これに対して、第２実施形態では、認識対象データの尤度が所定の閾値以上である行動モデルデータが複数である場合に、小領域毎に算出された認識対象データの尤度の分散又は小領域毎に算出された認識対象データの尤度の尖度によって認識結果とする人物の行動を特定する。

これに伴って、第２実施形態では、学習データ（すなわち、行動モデルデータ）及び認識対象データは、フレームを構成する複数の小領域毎に生成される。また、行動モデルデータに対する認識対象データの尤度として、小領域毎に算出された認識対象データの尤度の和が用いられる。

（行動認識システムの構成）
以下において、本発明の第２実施形態に係る行動認識システムの構成について、図面を参照しながら説明する。図１０は、本発明の第２実施形態に係る行動認識システム２００を示すブロック図である。なお、図１０では、図２に示した行動認識システム２００と同様の構成については同様の符号を付している。

図１０に示すように、行動認識システム２００は、通信部２０５と、オプティカルフロー算出部２１０と、学習データ生成部２１５ａと、行動モデル生成部２２０ａと、行動モデル記憶部２２５と、認識対象データ生成部２３０ａと、尤度算出部２３５ａと、認識結果判定部２５０ａとを有する。

学習データ生成部２１５ａは、オプティカルフロー算出部２１０から取得したオプティカルフローに基づいて学習データを小領域毎に生成する。具体的には、学習データ生成部２１５ａは、オプティカルフローのベクトル和を小領域毎に算出し、ベクトル和の大きさ及びベクトル和の角度を含む学習データを小領域毎に生成する。

行動モデル生成部２２０ａは、学習データ生成部２１５ａによって生成された学習データに基づいて行動モデルデータを小領域毎に生成する。具体的には、行動モデル生成部２２０ａは、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって、「食べる」や「書く」といったような行動について行動モデルデータを小領域毎に生成する。

以下において、統計モデル生成手法として、隠れマルコフモデルを用いた場合を例に挙げて、行動モデルデータの作成方法について説明する。

例えば、上述した隠れマルコフモデルでは、第１実施形態と同様に、行動モデル生成部２２０ａは、小領域毎に状態の数を決定する。なお、状態とは、上述したように、観測者が観測できないものであり、出力記号とは、観測者が観測可能なデータであり、小領域毎に算出されたベクトル和の大きさ及びベクトル和の角度の組合せである。

続いて、行動モデル生成部２２０ａは、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムに従って、「食べる」や「書く」といったような行動毎に隠れマルコフモデルのパラメータを小領域毎に推定する。また、行動モデル生成部２２０ａは、「食べる」や「書く」といったような行動について小領域毎に推定された隠れマルコフモデルのパラメータを行動モデルデータとして行動モデル記憶部２２５に記憶する。

認識対象データ生成部２３０ａは、オプティカルフロー算出部２１０から取得したオプティカルフローに基づいて認識対象データを小領域毎に生成する。具体的には、認識対象データ生成部２３０ａは、オプティカルフローのベクトル和を小領域毎に算出し、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データを小領域毎に生成する。

尤度算出部２３５ａは、行動モデル記憶部２２５に記憶された複数の行動モデルデータに対する認識対象データの尤度を小領域毎に算出する。また、尤度算出部２３５ａは、小領域毎に算出された認識対象データの尤度を認識結果判定部２５０ａに入力する。

例えば、上述した隠れマルコフモデルでは、上述した第１実施形態と同様に、尤度算出部２３５ａは、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データに基づいて、その認識対象データに対応する出力記号列を小領域毎に取得する。続いて、尤度算出部２３５ａは、小領域毎に取得された出力記号列が各隠れマルコフモデルに従って出力される確率（尤度）を小領域毎に算出する。

具体的には、尤度算出部２３５は、以下の式に従って、各隠れマルコフモデル（行動モデルデータ）に対する認識対象データの尤度（Ｐ_λ）を小領域毎に算出する。

但し、O₁,O₂,・・・O_tは、行動モデルデータ（隠れマルコフモデル）の出力記号であり、o_k(1), o_k(2)・・・o_k(t)は、認識対象データの出力記号であり、Ｎは、状態の数である。また、π_jは、初期状態が状態（ｊ）である確率であり、a_i,jは、状態（ｉ）から状態（ｊ）に遷移する遷移確率であり、b_j,k(t)は、時刻ｔにおいて状態（ｊ）から出力記号（ｏ_ｋ（ｔ））が出力される確率である。

認識結果判定部２５０ａは、尤度算出部２３５ａから取得した認識対象データの尤度に基づいて認識結果とする行動を特定する。具体的には、認識結果判定部２５０ａは、小領域毎に算出された認識対象データの尤度和を行動モデルデータ毎に算出する。また、認識結果判定部２５０ａは、行動モデルデータ毎に算出された認識対象データの尤度和が所定の尤度和閾値以上である行動モデルデータを特定し、特定された行動モデルデータに対応する行動を特定する。

ここで、認識結果判定部２５０ａは、特定された行動が１つである場合には、その行動を認識結果とする。

また、認識結果判定部２５０ａは、特定された行動が複数である場合には、特定された複数の行動に対応する行動モデルデータに対する認識対象データの尤度和の差を算出する。例えば、認識結果判定部２５０ａは、認識対象データの尤度和が所定の尤度和閾値以上である行動モデルデータについて、最も高い認識対象データの尤度和と２番目に高い認識対象データの尤度和との差を尤度和の差として算出してもよく、最も高い認識対象データの尤度和と３番目に高い認識対象データの尤度和との差を尤度和の差として算出してもよい。また、認識結果判定部２５０ａは、認識対象データの尤度和が所定の閾値以上である行動モデルデータについて、最も高い認識対象データの尤度和と最も低い認識対象データの尤度和との差を尤度和の差として算出してもよい。

ここで、認識結果判定部２５０ａは、算出された尤度和の差が所定の尤度差閾値以上である場合には、認識対象データの尤度和が高い行動モデルデータに対応する行動を認識結果とする。

一方、認識結果判定部２５０ａは、算出された尤度和の差が所定の尤度差閾値未満である場合には、小領域毎に算出された認識対象データの尤度の分散値又は尖度を算出する。また、認識結果判定部２５０ａは、尤度の分散値又は尖度が大きい行動モデルデータに対応する行動を認識結果とする。

なお、第２実施形態において、尖度は、小領域毎に算出された尤度の分布の両裾の厚みを調べるために用いられており、“０”を基準として算出されている。すなわち、“０”よりも大きい尖度は、尤度の分布の両裾の厚みが厚く、尤度の分布が緩やかであることを示しており、“０”よりも小さい尖度は、尤度の分布の両裾の厚みが薄く、尤度の分布が急峻であることを示している。

（行動認識の一例）
以下において、認識対象データの尤度和が所定の尤度和閾値以上である行動モデルデータが複数である場合における行動認識方法について、図面を参照しながら説明する。図１１（ａ）及び図１１（ｂ）は、本発明の第２実施形態に係る行動認識方法を説明するための図である。

図１１（ａ）及び図１１（ｂ）に示すように、行動認識の対象となる人物を含む画像の１フレームは、複数の小領域（縦３×横３）によって構成されており、認識対象データの尤度が小領域毎に算出されている。

なお、図１１（ａ）は、行動モデルデータ（例えば、「食べる」）に対する認識対象データの尤度を示す図であり、図１１（ｂ）は、行動モデルデータ（例えば、「書く」）に対する認識対象データの尤度を示す図である。

図１１（ａ）及び図１１（ｂ）に示すように、各行動モデルデータに対する認識対象データの尤度和は、それぞれ、−１９９．７及び−１９９．０である。一方、小領域毎に算出された認識対象データの尤度の分散値は、それぞれ、１２．９５９及び３．６５９である。また、小領域毎に算出された認識対象データの尤度の尖度は、それぞれ、０．０１１９及び−１．０７２である。

このように、認識対象データの尤度和が近接した行動モデルデータが複数である場合には、上述したように、認識結果判定部２５０ａは、尤度の分散値又は尖度が大きい行動モデルデータに対応する行動を認識結果とする。すなわち、第２実施形態では、認識結果判定部２５０ａは、図１１（ａ）に示す行動モデルデータに対応する行動（例えば、「食べる」）を認識結果とする。

（行動認識システムの動作）
以下において、本発明の第２実施形態に係る行動認識システムの動作について、図面を参照しながら説明する。

まず、本発明の第２実施形態に係る行動モデル生成方法について、図面を参照しながら説明する。図１２は、本発明の第２実施形態に係る行動モデル生成方法を示すフロー図である。

図１２に示すように、ステップ７０において、行動認識システム２００は、学習用画像データをロボットシステム１００から取得する。

ステップ７１において、行動認識システム２００は、学習用画像データに含まれる画素単位でオプティカルフローを算出する。

ステップ７２において、行動認識システム２００は、全ての小領域のそれぞれについて、ステップ７１で算出されたオプティカルフローを用いてオプティカルフローのベクトル和を算出する。

ステップ７３において、行動認識システム２００は、全ての小領域のそれぞれについて、ステップ７２で算出されたオプティカルフローのベクトル和の大きさ及びステップ７２で算出されたオプティカルフローのベクトル和の角度を算出する。

ステップ７４において、行動認識システム２００は、ステップ７３で算出されたオプティカルフローのベクトル和の大きさ及びステップ７３で算出されたオプティカルフローのベクトル和の角度を含む学習データを小領域毎に生成する。

ここで、行動認識システム２００は、ステップ７０〜ステップ７４の処理を人物の行動毎にそれぞれ繰り返すことによって、人物の行動をモデル化するのに十分な学習データを人物の行動毎に準備する。

ステップ７５において、行動認識システム２００は、ステップ７４で生成された学習データに基づいて、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって行動モデルデータを生成する。なお、行動モデルデータは、行動認識システム２００の行動モデル記憶部２２５に記憶される。

次に、本発明の第２実施形態に係る行動認識方法について、図面を参照しながら説明する。図１３及び図１４は、本発明の第２実施形態に係る行動認識方法を示すフロー図である。

図１３に示すように、ステップ８０において、行動認識システム２００は、認識対象画像データをロボットシステム１００から取得する。

ステップ８１において、行動認識システム２００は、認識対象画像データに含まれる画素単位でオプティカルフローを算出する。

ステップ８２において、行動認識システム２００は、全ての小領域のそれぞれについて、ステップ８１で算出されたオプティカルフローを用いてオプティカルフローのベクトル和を算出する。

ステップ８３において、行動認識システム２００は、全ての小領域のそれぞれについて、ステップ８２で算出されたオプティカルフローのベクトル和の大きさ及びステップ８２で算出されたオプティカルフローのベクトル和の角度を算出する。

ステップ８４において、行動認識システム２００は、ステップ８３で算出されたオプティカルフローのベクトル和の大きさ及びステップ８３で算出されたオプティカルフローのベクトル和の角度を含む認識対象データを小領域毎に生成する。

続いて、図１４に示すように、ステップ８５において、行動認識システム２００は、行動モデル記憶部２２５に記憶された複数の行動モデルデータのそれぞれに対する認識対象データの尤度を小領域単位で算出する。

ステップ８６において、行動認識システム２００は、複数の行動モデルデータのそれぞれについて、ステップ８５で小領域毎に算出された尤度の和である尤度和を算出する。

ステップ８７において、行動認識システム２００は、ステップ８６で算出された尤度和が所定の尤度和閾値以上である行動モデルデータがあるか否かを算出する。また、行動認識システム２００は、尤度和が所定の尤度和閾値以上である行動モデルデータがある場合には、ステップ８９の処理に移り、尤度和が所定の尤度和閾値以上である行動モデルデータがない場合には、ステップ８８の処理に移る。

ステップ８８において、行動認識システム２００は、認識結果とする行動がないと判定する。すなわち、行動認識システム２００は、行動認識ができなかったと判定する。

ステップ８９において、行動認識システム２００は、ステップ８６で算出された尤度和が所定の尤度和閾値以上である行動モデルデータが複数であるか否かを判定する。また、行動認識システム２００は、尤度和が所定の尤度和閾値以上である行動モデルデータが複数である場合には、特定された複数の行動モデルデータに対する認識対象データの尤度和の差が所定の尤度差閾値以上であるか否かを判定する。

また、行動認識システム２００は、尤度和が所定の閾値以上である行動モデルデータが１つである場合、又は、複数の行動モデルデータに対する認識対象データの尤度和の差が所定の尤度差閾値以上である場合には、ステップ９０の処理に移る。一方、行動認識システム２００は、複数の行動モデルデータに対する認識対象データの尤度和の差が所定の尤度差閾値未満である場合には、ステップ９１の処理に移る。

ステップ９０において、行動認識システム２００は、認識結果とする行動を特定する。具体的には、行動認識システム２００は、認識対象データの尤度和が最も大きい行動モデルデータを特定し、特定された行動モデルデータに対応する行動を認識結果とする。

ステップ９１において、行動認識システム２００は、ステップ８５で小領域毎に算出された尤度を用いて、尤度の分散値又は尤度の尖度を算出する。

ステップ９２において、行動認識システム２００は、認識結果とする行動を特定する。具体的には、行動認識システム２００は、尤度の分散値が最も大きい行動モデルデータ又は尤度の尖度が最も大きい行動モデルデータを特定し、特定された行動モデルデータに対応する行動を認識結果とする。

すなわち、行動認識システム２００は、最も尤度が大きい小領域がある行動モデルデータを特定し、特定された行動モデルデータに対応する行動を認識結果とする。これによって、複数の行動モデルデータに対する認識対象データの尤度和が近接している場合であっても、行動認識システム２００は、人物の行動を従来よりも正確に認識できる。

（作用及び効果）
本発明の第２実施形態に係る行動認識システム２００によれば、認識結果判定部２５０ａは、尤度算出部２３５によって算出された認識対象データの尤度に基づいて、認識対象画像データに対応する人物の行動を絞り込む。また、認識結果判定部２５０ａは、認識対象データの尤度が所定の閾値以上である行動モデルデータについて、小領域毎に算出された認識対象データの尤度の分散値又は尖度を算出する。

さらに、認識結果判定部２５０ａは、認識対象データの尤度が所定の閾値以上である行動モデルデータに対応する行動の中から、分散値又は尖度が最も大きい行動モデルデータに対応する行動を特定し、特定された行動を認識結果とする。

従って、行動認識システム２００は、複雑で多様な人物の行動を行動特徴の組合せによって定義しなくても、認識対象画像データに対応する人物の行動を特定することができる。また、行動認識システム２００は、認識対象データの尤度が近接した行動モデルデータが複数である場合であっても、尤度算出部２３５ａによって算出された認識対象データの尤度に加えて、小領域毎に算出された認識対象データの尤度の分散値又は尖度を用いて、認識結果とする行動を特定することによって、行動認識の精度の向上を図ることができる。

換言すると、行動認識システムは、複雑で多様な人物の行動を認識するとともに、行動認識の精度の向上を図ることができる。

［その他の実施形態］
上述した第１実施形態及び第２実施形態によって本発明について説明したが、この開示の一部をなす記述及び図面は、この発明を限定するものであると理解すべきではない。当業者には、様々な代替実施形態、実施例及び運用技術がこの開示から明らかとなるであろう。

例えば、上述した第１実施形態では、テンプレートデータと比較される認識対象画像データに対応する小領域として、オプティカルフローのスカラー和が最も大きい小領域が選択されるが（上述したステップ６２）、これに限定されるものではない。

具体的には、テンプレートデータと比較される認識対象画像データに対応する小領域として、小領域毎に算出された認識対象データの尤度和が最も大きい小領域が選択されてもよい。

このような場合には、上述した第２実施形態と同様に、認識対象データ生成部２３０は、ベクトル和の大きさ及びベクトル和の角度を含む認識対象データを小領域毎に算出し、尤度算出部２３５は、行動モデルデータに対する認識対象データの尤度を小領域毎に算出する。

また、上述した第１実施形態では、認識対象データ生成部２３０は、オプティカルフローのスカラー和が大きい順に抽出された小領域についてのみ、認識対象データを生成するが、これに限定されるものではない。

具体的には、認識対象データ生成部２３０は、小領域を抽出せずに、全ての小領域について認識対象データを生成してもよい。

さらに、上述した第２実施形態では、認識結果判定部２５０ａは、小領域毎に算出された認識対象データの尤度和に基づいて、行動モデルデータ（認識結果とする行動）を絞り込むが、これに限定されるものではない。

具体的には、認識結果判定部２５０ａは、上述した第１実施形態と同様の手法によって、行動モデルデータ（認識結果とする行動）を絞り込んでもよい。

また、上述した第１実施形態及び第２実施形態では、行動モデルデータの生成方法として、隠れマルコフモデルを用いた方法を例示したが、これに限定されるものではなく、他の統計モデル生成手法によって行動モデルデータを生成してもよい。

なお、上述した第１実施形態及び第２実施形態では、認識対象となる人物の画像データを取得するシステムとして、ロボットシステム１００を例に挙げて説明したが、これに限定されるものではない。例えば、認識対象となる人物の画像データを取得するシステムは、撮像部のみを有するカメラシステムであってもよい。

本発明の第１実施形態に係るロボットシステム１００を示すブロック図である。 本発明の第１実施形態に係る行動認識システム２００を示すブロック図である。 本発明の第１実施形態に係るクラスタリングテーブルの一例を示す図である。 本発明の第１実施形態に係る小領域の抽出方法を説明するための図である。 本発明の第１実施形態に係る行動認識方法を説明するための図である。 本発明の第１実施形態に係る行動モデル生成方法を示すフロー図である。 本発明の第１実施形態に係るテンプレート生成方法を示すフロー図である。 本発明の第１実施形態に係る行動認識方法を示すフロー図である（その１）。 本発明の第１実施形態に係る行動認識方法を示すフロー図である（その２）。 本発明の第２実施形態に係る行動認識システム２００を示すブロック図である。 本発明の第２実施形態に係る行動認識方法を説明するための図である。 本発明の第２実施形態に係る行動モデル生成方法を示すフロー図である。 本発明の第２実施形態に係る行動認識方法を示すフロー図である（その１）。 本発明の第２実施形態に係る行動認識方法を示すフロー図である（その２）。

符号の説明

１００・・・ロボットシステム、１０５・・・詳細画像撮像部、１１０・・・広角画像撮像部、１１５・・・撮像制御部、１２０・・・データ処理部、１２５・・・通信部、１３０・・・移動機構制御部、１３５・・・移動機構部、２００・・・行動認識システム、２０５・・・通信部、２１０・・・オプティカルフロー算出部、２１５・・・学習データ生成部、２２０・・・行動モデル生成部、２２５・・・行動モデル記憶部、２３０・・・認識対象データ生成部、２３５・・・尤度算出部、２４０・・・テンプレート記憶部、２４５・・・画像マッチング部、２５０・・・認識結果判定部

Claims (7)

1. 行動認識の対象となる人物を含む画像データである認識対象画像データを用いて、認識対象データを生成する認識対象データ生成部と、
   人物の行動をモデル化したデータである複数の行動モデルデータと前記認識対象データ生成部によって生成された前記認識対象データとを比較し、前記複数の行動モデルデータのそれぞれに対する前記認識対象データの尤度を算出する尤度算出部と、
   予め生成された対象物の画像データであるテンプレートデータと前記認識対象画像データとを比較するテンプレート比較部と、
   前記尤度算出部による算出結果及び前記テンプレート比較部による比較結果に基づいて、前記認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする行動認識部とを備えることを特徴とする行動認識システム。
2. 前記行動認識の対象となる人物を含む画像を構成するフレームの一部である複数の小領域の中から、前記テンプレート比較部によって前記テンプレートデータと比較される前記認識対象画像データに対応する前記小領域を選択する小領域選択部をさらに備えることを特徴とする請求項１に記載の行動認識システム。
3. 前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部をさらに備え、
   前記小領域選択部は、前記オプティカルフロー算出部によって算出された前記オプティカルフローの和が最大となる前記小領域を選択することを特徴とする請求項２に記載の行動認識システム。
4. 前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部をさらに備え、
   前記認識対象データ生成部は、前記オプティカルフローに基づいて前記認識対象データを前記小領域毎に生成し、
   前記尤度算出部は、前記認識対象データの前記尤度を前記小領域毎に算出し、
   前記小領域選択部は、前記小領域毎に算出された前記認識対象データの前記尤度が最大となる前記小領域を選択することを特徴とする請求項２に記載の行動認識システム。
5. 前記テンプレートデータは、人物の複数の行動にそれぞれ対応付けられた前記対象物の画像データであることを特徴とする請求項１に記載の行動認識システム。
6. 前記認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部をさらに備え、
   前記認識対象データ生成部は、前記行動認識の対象となる人物を含む画像を構成するフレームの一部である小領域の中から、前記オプティカルフローの和が大きい順に所定数の前記小領域を抽出し、抽出された前記小領域に対応する前記オプティカルフローに基づいて、前記認識対象データを生成することを特徴とする請求項１に記載の行動認識システム。
7. 行動認識の対象となる人物を含む画像データである認識対象画像データを用いてオプティカルフローを算出するオプティカルフロー算出部と、
   前記オプティカルフロー算出部によって算出された前記オプティカルフローに基づいて、前記行動認識の対象となる人物を含む画像を構成するフレームの一部である小領域毎に認識対象データを生成する認識対象データ生成部と、
   人物の行動をモデル化したデータである複数の行動モデルデータと前記認識対象データ生成部によって生成された前記認識対象データとを比較し、前記複数の行動モデルデータのそれぞれに対する前記認識対象データの尤度を前記小領域毎に算出する尤度算出部と、
   前記小領域毎に算出された前記尤度の分散値又は前記小領域毎に算出された前記尤度の尖度を算出する分布度算出部と、
   前記尤度算出部による算出結果及び前記分布度算出部による算出結果に基づいて、前記認識対象画像データに対応する人物の行動を特定し、特定された人物の行動を認識結果とする行動認識部とを備えることを特徴とする行動認識システム。

Images