JP2021081804A - 状態認識装置、状態認識方法及び状態認識プログラム - Google Patents

Abstract

【課題】監視対象の状態認識を可能とする。【解決手段】認識部が、撮像画像に基づいて、監視対象を認識し、動作認識処理部が、認識された監視対象の所定の部位の動作をそれぞれ認識する。また、状態認識処理部が、認識された部位の動作に基づいて、監視対象の状態を認識する。そして、認識結果出力部が、状態認識処理部で認識された監視対象の状態を示す状態情報を、監視対象の状態認識結果として出力する。これにより、監視対象の各部の動作に基づいて総合的に監視対象の状態を認識でき、監視対象の状態を、より高い精度で認識可能とすることができる。【選択図】図１８

Description

本発明は、状態認識装置、状態認識方法及び状態認識プログラムに関する。

今日において、例えば人物、動物、作業機械等の監視対象の行動又は動作等をカメラ装置で撮像し、この撮像画像を解析することで、人物、動物、作業機械等の行動を可視化して認識可能とする行動認識装置が知られている。

例えば、特許文献１（特開２０１１−１００１７５号公報）には、映像処理のみで、混雑したシーンに含まれる人物の行動を判定可能とした人物行動判定装置が開示されている。この人物行動判定装置は、映像処理で同一と判別した人物の重心位置及び重心の軌跡に基づいて重心軌跡を特徴量として検出する。そして、検出した特徴量を、事前登録されている行動毎の軌跡特徴量と照合することで、人物の行動を判断する。

しかし、特許文献１に開示されている人物行動判定装置の場合、監視対象全体の動きに基づいて監視対象を認識しているため、監視対象自体の認識は可能であるが、監視対象の状態を認識することは困難であった。

本発明は、上述の課題に鑑みてなされたものであり、監視対象の状態を認識可能とした状態認識装置、状態認識方法及び状態認識プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像画像に基づいて、監視対象を認識する認識部と、認識された監視対象の所定の部位の動作をそれぞれ認識する動作認識処理部と、認識された部位の動作に基づいて、監視対象の状態を認識する状態認識処理部と、状態認識処理部で認識された監視対象の状態を示す状態情報を、監視対象の状態認識結果として出力する認識結果出力部とを有する。

本発明によれば、監視対象の状態を認識できるという効果を奏する。

図１は、実施の形態の行動認識システムのシステム構成図である。 図２は、実施の形態の行動認識システムに設けられている行動認識装置のハードウェア構成図である。 図３は、行動認識装置の機能ブロック図である。 図４は、行動認識装置における、監視対象の行動認識処理の流れを示すフローチャートである。 図５は、行動認識装置の認識部による作業者の認識動作を説明するための図である。 図６は、行動認識装置の認識部による特徴量の演算処理を説明するための図である。 図７は、行動認識装置の認識部による作業者の認識処理の階層構造を示す図である。 図８は、認識された各作業者に対して、行動認識装置の初期ＩＤ設定部により、それぞれ設定されたＩＤを示す図である。 図９は、行動認識装置の追尾処理部に対して順次入力される作業者の撮像画像を示す図である。 図１０は、行動認識装置の追尾処理部で行われる追尾動作を説明するための図である。 図１１は、行動認識装置の追尾処理部で行われる追尾動作を説明するための他の図である。 図１２は、行動認識装置の追尾処理部が、作業者の予測領域の特徴量を評価して重み係数を得る動作を説明するための図である。 図１３は、カメラ装置から行動認識装置に入力される、作業者の複数フレームの撮像画像を示す図である。 図１４は、複数フレームの撮像画像からなる時空間画像データを説明するための図である。 図１５は、行動認識装置の行動認識処理部で認識された作業者の行動認識結果の一例を示す図である。 図１６は、歩行から棚入れまでの一連の行動のうち、歩行中に、作業者が検出困難となった行動認識結果の例を示す図である。 図１７は、歩行から棚入れまでの一連の行動のうち、棚入れ中に、作業者が検出困難となった行動認識結果の例を示す図である。 図１８は、各部位の動作に基づく、各牛の状態認識処理の流れを示すフローチャートである。 図１９は、行動認識処理部における、牛の頭部の動作の認識処理を説明するための図である。 図２０は、行動認識処理部における、牛の胴体の動作の認識処理を説明するための図である。 図２１は、行動認識処理部における、牛の各部の動作に基づく、牛の状態の認識処理を説明するための図である。

以下、状態認識装置、状態認識方法及び状態認識プログラムの適用例となる実施の形態の行動認識システムを説明する。

（システム構成）
図１は、実施の形態の行動認識システムのシステム構成図である。この図１に示すように行動認識システムは、行動認識装置１及びカメラ装置２を有している。カメラ装置２は、例えば単数又は複数の人物、動物、ロボット等の監視対象を撮像する。

行動認識装置１は、入力インタフェース部３及び行動認識処理部４を有している。インタフェース３は、カメラ装置２からの監視対象の撮像画像を取得する。行動認識処理部４は、インタフェース３を介して取得した撮像画像に基づいて、監視対象の行動（動き）を認識し、この行動認識結果を例えば監視者が見るモニタ装置等の外部機器に出力する。

（行動認識装置のハードウェア構成）
図２は、行動認識装置１のハードウェア構成図である。この図２に示すように、行動認識装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、通信部１４、ＨＤＤ（Hard Disk Drive）１５、入力インタフェース部３及び出力インタフェース部１７を有している。これら各部３、１１〜１５及び１７は、バスライン１８を介して相互に接続されている。

入力インタフェース部３には、上述のカメラ装置２の他、例えばキーボード装置及びマウス装置等の操作部２０が接続されている。出力インタフェース部１７には、行動認識結果を表示するためのモニタ装置（表示部）が記憶されている。出力インタフェース部１７を介して、例えばＨＤＤ又は半導体メモリ等の外部記憶装置に行動認識結果を出力してもよい。

通信部１４には、例えばインターネット等の広域網又はＬＡＮ（Local Area Network）等のプライベート網等のネットワークを介してサーバ装置２２が接続されている。通信部１４は、このサーバ装置２２に対して行動認識結果を送信して記憶させる。これにより、管理者等は、例えばスマートホン、タブレット端末装置、パーソナルコンピュータ装置等の通信機器を介してサーバ装置２２にアクセスして行動認識結果を取得でき、監視対象を遠隔監視できる。

ＨＤＤ１５には、監視対象の行動認識処理を行う行動認識プログラムが記憶されている。ＣＰＵ１１は、この行動認識プログラムを実行することで、以下に説明する各機能を実現し、監視対象の行動認識処理を実行する。

（行動認識機能）
図３は、ＣＰＵ１１が行動認識プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、ＣＰＵ１１は、行動認識プログラムを実行することで入力部３１、認識部３２、初期識別番号設定部（初期ＩＤ設定部）３３、追尾処理部３４、行動認識処理部３５、認識結果出力部３６、監視対象認識辞書入力部３７及び行動認識辞書入力部３８の各機能を実現する。初期ＩＤ設定部３３は、識別番号設定部の一例である。行動認識処理部３５は、動作認識処理部及び状態認識処理部の一例である。

なお、入力部３１〜行動認識辞書入力部３８は、ソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、行動認識プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、行動認識プログラムは、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、行動認識プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（行動認識処理）
このような入力部３１〜行動認識辞書入力部３８による監視対象の行動認識処理を、図４のフローチャートを用いて説明する。ＣＰＵ１１は、行動認識プログラムを読み込むことで、この図４のフローチャートに示す各処理を実行する。

すなわち、まず、入力部３１は、カメラ装置２からの撮像画像を取得する（ステップＳ１）。この撮像画像は、例えば監視対象の一例となる一人又は複数の作業者が、職場の商品を棚に入れる作業等の作業状況を撮像した撮像画像である。

次に、監視対象認識辞書入力部３７が、作業者を認識するための監視対象認識辞書を、認識部３２に入力する（ステップＳ２）。この監視対象認識辞書は、認識部３２の各階層の評価値を計算するための特徴量、重み係数及び各階層での評価値閾値を示す辞書（データ群）となっている。この監視対象認識辞書は、人の撮像画像及び人ではない物体の撮像画像に対して、以下に説明する特徴量を計算するための矩形の頂点位置座標、重み係数及び各階層での評価閾値を予め学習して形成される。

次に、認識部３２は、この監視対象認識辞書を参照し、入力部３１により取得された撮像画像に写っている作業者を認識する（ステップＳ３）。図５は、認識部３２による作業者の認識動作を説明するための図である。この図５に示すように、認識部３２は、撮影画像５０の範囲内で、例えば矩形状等の所定の形状のブロック５１、５２・・・を切り出す。ブロック５１の左上の座標（Ｘｓ，Ｙｓ）と、ブロック５１の右下の座標（Ｘｅ，Ｙｅ）は、撮像画像５０内におけるブロック５１の位置及び矩形の大きさで決定される。

認識部３２は、大きいサイズから小さいサイズの順に、ブロック５１を選択して以下に説明する特徴量等の演算を行う。すなわち、大きいブロック及び小さいブロックの処理時間は同じである。また、撮像画像５０内に存在するブロックとしては、大きいサイズのブロックの数は少なく、小さいサイズのブロック数は多い。このため、認識部３２は、大きいサイズのブロックから小さいサイズのブロックの順に選択して特徴量等の演算を行う。これにより、オブジェクト（監視対象）の迅速な検出が可能となる。

図６（ａ）〜図６（ｂ）は、特徴量の演算処理を説明するための図である。この図６（ａ）〜図６（ｂ）に示すように、認識部３２は、入力された監視対象認識辞書を参照して、ブロック内における白黒の矩形領域に白い領域内の画素値を加算処理し、黒い画素領域内の画素合計値との差を、ブロック内の特徴量ｈ（ｘ）として算出する。そして、認識部３２は、この特徴量ｈ（ｘ）に、所定の重みを付け処理を行うことで、評価値ｆ（ｘ）を算出する。

以下の（１）式が、このような評価値ｆ（ｘ）の演算式である。

ここで、認識部３２は、図７に示すように第１の階層〜第ｎの階層（ｎは自然数）等の階層毎に評価値ｆ（ｘ）を算出する。算出した評価値ｆ（ｘ）が、監視対象認識辞書で示される、予め設定した閾値よりも小さい場合、認識部３２は、人以外の物体として判断し（非人ブロック）、そのブロックの評価を中止する。これに対して、算出した評価値ｆ（ｘ）が、監視対象認識辞書で示される、予め設定した閾値以上の場合、認識部３２は、そのブロックは、人が写っているブロックとして判断する。

このように人が写っているブロックが認識されると、初期ＩＤ設定部３３は、各ブロックに対して識別番号を設定する（ステップＳ４）。図８の例は、人が写っているブロックとして、３つのブロックが認識され、初期ＩＤ設定部３３が、各ブロック（初期領域）に対して、ＩＤ１、ＩＤ２及びＩＤ３の識別番号を設定した例である。

次に、追尾処理部３４は、各ブロックに写っている作業者を追尾する（ステップＳ５）。具体的には、追尾処理部３４には、図９に示すように、最初のフレームＦ０が供給され、Δｔ時間後に次のフレームＦ１が供給される等のように、入力部３１を介して取得された撮像画像が、順次（時系列に）供給される。

追尾処理部３４は、最初のフレームで、作業者の状態「Ｓ（ｘ，ｙ，ｖｘ，ｖｙ，Ｈｘ，Ｈｙ，Ｍ）」を定義する。ｘ，ｙは、図９に矩形の枠で囲んで示す作業者（追尾対象）が写っているブロックの左上の点Ａの座標値である。Ｈｘ、Ｈｙは作業者が写っているブロックの横のサイズ及び縦のサイズを示す。ｖｘ，ｖｙは、ブロック内の作業者が横方向及び縦方向に動く速度（初期値は０に設定）を示す。Ｍは、ブロック内の作業者の変倍率変化（前フレームに対する作業者のサイズ変化率：初期値は０に設定）である。

追尾処理部３４は、図１０及び図１１に示すように、作業者の状態の予測→観測→修正を繰り返し行うことで、作業者を追尾する。図１１に示す「Ｓｔ」は、時間ｔにおける作業者（追尾対象）状態を示し、「Ｙｔ」は、時間ｔの観測結果を示す。

追尾処理部３４は、以下の（２）式の演算により、作業者の状態Ｓ_ｋ-１から状態Ｓ_ｋまでの状態変化を算出する。

追尾処理部３４は、以下の（３）式〜（９）式の演算を行うことで、ｋ−１の作業者の状態から次のｋの作業者の状態を予測する。

次に、追尾処理部３４は、以下の（１０）式の演算を行うことで、作業者の状態Ｓ_ｋの観測データＺ_ｋを算出する。

観測データは、作業者の図９に示したブロック内（追尾対象が写っている領域内）のカラーヒストグラムとなっている。追尾処理部３４は、以下の（１１）式の演算を行うことで、カラーヒストグラムを算出する。（１１）式において、ｋ（）は、カラーヒストグラムを計算するカーネルである。また、（１１）式において、ａは変倍率、ｈ（ｘ_ｉ）はカラー画素値である。Ｐはカラーヒストグラムの頻度である。

この（１１）式におけるカーネルｋは、以下の（１２）式で算出される。

この数１２式で算出されるカーネルｋを用いることで、ブロック（被写体領域）の中心部の値は大きな値が算出され、ブロックの周辺に近くなるほど、小さな値が算出されるようになる。これにより、ブロック（被写体領域）の周辺の影響を軽減することができる。

次に、追尾処理部３４は、以下の（１３）式の演算を行うことで、予測状態Ｓ_ｋ ^（ｉ）を観測し、観測結果評価の重み加重平均を計算する。この際、追尾処理部３４は、図１２に複数の枠で示すようにＮ個の予測領域の特徴量を評価し、重み係数を求める。この求めた重み係数の加重平均が追尾結果となる。

具体的には、追尾処理部３４は、上述の式（３）式〜（９）式にランダム変数を加えた、以下の式（１４）式〜（２０）式の演算を行うことで、作業者の状態Ｓ_ｋを予測する。ｒ_１〜ｒ_７としては、例えばガウシアン（Gaussian）ランダム変数を用いることができる。

次に、追尾処理部３４は、予測した状態の重み係数π^ｉを、以下のように計算する。すなわち、まず、追尾処理部３４は、作業者の追尾領域から計算したヒストグラムＰをモデルとして使用し、予測したＮ個の予測領域のカラーヒストグラムｑとして、以下の（２１）式の演算を行うことで、バタチャリア（Bhattacharyya）係数を算出する。

このバタチャリア係数は、作業者の追尾領域のカラーヒストグラム（＝モデル）と、予測した領域のカラーヒストグラムの類似度を表す。このため、バタチャリア係数の値が大きいということは、両者の類似度が高いことを意味する。追尾処理部３４は、このバタチャリア係数を用いて、以下の（２２）式の演算を行うことで、予測した状態の重み係数π^ｉを算出する。

なお、（２２）式における「ｄ」は、以下の（２３）式で算出される。

追尾処理部３４は、このように算出した重み係数π^ｉ、及び、予測した状態Ｓ^ｉ _ｋを用いて、上述の（１３）式の演算を行うことで、作業者の追尾結果を算出する。

次に、追尾処理部３４は、上述の（２１）式の演算を行うことで算出したバタチャリア係数で示される追尾結果の類似度ρ［ｐ，ｑ］を、作業者追尾の確信度とする。この確信度の値は、０〜１．０の範囲の値となる。ρ［ｐ，ｑ］の値が高くなるほど、確信度が高いことを示す。

追尾処理部３４は、この確信度が、予め設定されている所定の閾値以上の値であれば、追尾成功と判断し、図８に示した各作業者のＩＤを、そのまま維持する。また、追尾処理部３４は、例えば追尾成功と判断した作業者の位置情報（＝矩形情報）及び作業者の矩形領域の画像データを作業者情報として記憶部に保存する。次のフレームの画像情報が入力されると、追尾処理部３４は、上述の追尾処理を行い、追尾成功した場合に、作業者のＩＤを維持すると共に、記憶部に保存した作業者情報を更新する。

次に、このような作業者の追尾中において、作業者同士が重なり、物陰に移動し、又は、カメラ装置２の撮像範囲外に移動することで、追尾していた作業者が撮像画像上から消失又は検出困難となり、作業者の追尾が困難となる場合がある。このような場合、消失又は検出困難となったＩＤの作業者のデータを取得することも困難となる。

なお、「追尾が困難となる場合」とは、「追尾ができない場合」、「追尾が非継続となった場合」、又は、「追尾不良となった場合」等と同義語である。

作業者の追尾に成功している場合、上述のように、追尾処理部３４は、追尾している作業者のＩＤを維持し、記憶部の作業者情報を更新する。これに対して、追尾困難となった場合、追尾処理部３４は、最後に追尾が成功したフレームで検出された追尾困難となった作業者のＩＤ及び作業者情報を維持する。例えば、図８の例において、ＩＤ３の作業者の追尾が困難となった場合、追尾処理部３４は、追尾が最後に成功したフレームで検出された作業者のＩＤ３及び作業者情報を維持する。

作業者の追尾が困難となった場合、認識部３２は、再度、各作業者の認識処理を行い、各作業者に対してＩＤを再設定する。このＩＤの再設定の際、再認識した各作業者のうち、追尾困難となった作業者の類似度に最も近似する類似度を有する作業者に対して、追尾困難となった作業者のＩＤを設定する。これにより、同一の作業者に対して同じＩＤを設定できる。

このようなＩＤの再設定動作を具体的に説明すると、作業者の追尾が困難となった場合、認識部３２は、入力部３１を介して取得された撮像画像に基づいて、再度、作業者の再認識処理を行う。この再認識処理により、例えばＡ，Ｂ，Ｃの３人の作業者が認識されたものとする。

初期ＩＤ設定部３３は、再認識したＡ，Ｂ，Ｃの３人の作業者の類似度、及び、追尾困難となった際に維持した例えばＩＤ３の作業者の類似度（バタチャリア係数）を、上述の（２１）式の演算を行うことで、それぞれ算出する。そして、初期ＩＤ設定部３３は、Ａ，Ｂ，Ｃの３人の作業者のうち、追尾困難となった際に維持したＩＤ３の作業者の類似度に最も近い類似度を有する作業者に対して「ＩＤ３」を設定する。これにより、一旦、追尾困難となった作業者が、再度検出可能な状態となった際に、追尾困難となった際に設定されていたＩＤと同じＩＤを設定して、追尾を継続することができる。

同様に、例えばＩＤ１及びＩＤ２の２人の作業者の追尾が困難となった場合、初期ＩＤ設定部３３は、Ａ，Ｂ，Ｃの３人の作業者のうち、追尾困難となった際に維持したＩＤ１の作業者の類似度に最も近い類似度を有する作業者に対して「ＩＤ１」を設定する。また、初期ＩＤ設定部３３は、Ａ，Ｂ，Ｃの３人の作業者のうち、追尾困難となった際に維持したＩＤ２の作業者の類似度に最も近い類似度を有する作業者に対して「ＩＤ２」を設定する。再認識後も、同じＩＤで各作業者を追尾可能とすることができる。

次に、行動認識処理部３５は、図４のフローチャートのステップＳ６において行動認識辞書入力部３８から入力される、作業者の行動を認識するための行動認識辞書に基づいて、作業者の行動認識処理を行う（ステップＳ７）。

具体的には、行動認識処理部３５は、図１３に示すように、入力部３１を介して入力される複数フレームにおける作業者の矩形領域の時空間特徴を抽出する。なお、図１３に示す各フレームの横軸ｘ、縦軸ｙは空間座標である。また、この図１３は、フレームＦ１、Ｆ２・・・が時間軸ｔに沿って時系列で並んでいる様子を示している。すなわち、各フレームは、時空間（ｘ，ｙ，ｔ）画像データである。また、時空間の一つ画素値Ｉ（ｘ，ｙ，ｔ）は、空間座標（ｘ，ｙ）と時間ｔの関数である。

作業者が動くと、図１３に示す時空間画像データに変化点が発生する。行動認識処理部３５は、この変化点（＝時空間の特徴点）に基づいて、作業者の特定行動を認識する。行動認識処理部３５は、この変化点（時空間の特徴点）を、以下のようにして検出する。

すなわち、図１４に、時空間画像データを示す。この図１４に示す大きな立方体が時空間画像データである。横軸は空間座標ｘ（画素）を示し、縦軸は空間座標ｙ（画素）を示す。時間軸ｔは、例えば毎秒３０フレーム等の所定のフレームレートで入力される撮像画像の時系列軸である。

行動認識処理部３５は、図１４に示す時空間画像データを、ｘ方向がＭ画素、ｙ方向がＮ画素、ｔ方向がＴフレームのサイズ（Ｍ×Ｎ×Ｔ）のブロックに分割する。作業者が特定の動作をすると、時空間画像データ中における、作業者の動作に対応するブロックの特徴量が大きくなる（時空間に大きな変化量が発生する）。行動認識処理部３５は、以下に説明するように、変化量の大きいブロックを特徴点として抽出する。

行動認識処理部３５は、時空間画像データから特徴点を抽出する場合、まず、空間方向（ｘ、ｙ）方向のノイズを除去するために、以下の（２４）式の演算を行うことで、時空間画像データに平滑化処理を施す。

この（２４）式に示すＩ（ｘ，ｙ，ｔ）は、時間ｔのフレームにおけるｘｙ座標の画素値を示している。また、（２４）式に示すｇ（ｘ，ｙ）は、平滑化処理のためのカーネルである。「＊」の記号は、畳み込み処理が行われることを意味する。平滑化処理は、画素を平均化することで行ってもよいし、ガウシアン（Gaussian）平滑化フィルタを用いて行ってもよい。

次に、行動認識処理部３５は、平滑化処理を施した時空間画像データに対して、時間軸でフィルタリング処理を施す。このフィルタリング処理としては、以下の（２５）式に示すガボール（Gabor）フィルタリング処理が行われる。

この（２５）式に示す「ｇ_ｅｖ」及び「ｇ_ｏｄ」は、それぞれ以下の（２６）式及び（２７）式に示す、ガボールフィルタのカーネルである。「＊」の記号は、畳み込み処理が行われることを意味する。「τ」及び「ω」は、ガボールフィルタのカーネルのパラメータである。

次に、行動認識処理部３５は、図１３に示した時空間画像データの全画素に対して、上述の（２）式で示したフィルタリング処理を施した後、図１４に示したように分割したブロックの平均値を、以下の（２８）式の演算で算出する。

行動認識処理部３５は、（２８）式の演算で算出されたブロックの平均値（Ｍ（ｘ，ｙ，ｔ））が、以下の（２９）式に示すように所定の閾値（Thre）以上の値である場合、このブロックを特徴点として抽出する。

次に、行動認識処理部３５は、時空間画像データから抽出した特徴点となるブロックの画素の時空間エッジ情報を、以下の（３０）式の微分演算を行うことで算出する。

図１４に示す例の場合、１つのブロックは、Ｍ×Ｎ×Ｔ個の画素を有するため、Ｍ×Ｎ×Ｔ×３個の微分値を得ることができる。従って、各ブロックを、ＭｘＮｘＴｘ３個の微分値のベクトルで記述できる。すなわち、特徴点をＭ×Ｎ×Ｔ×３次元のベクトルで記述できる。

図３に示した行動認識辞書入力部３８から行動認識処理部３５に入力される行動認識辞書は、例えば作業者が荷物を担ぐ、歩く及び荷物を棚に置く等の特定の行動を撮像したＮフレームの撮像画像から検出した特徴点に基づいて、（３０）式の演算を行うことで予め算出（学習）されたＭ×Ｎ×Ｔ×３次元のベクトル情報である。

行動認識辞書を作成する場合、行動認識辞書入力部３８は、例えばＫ平均法（k-means clustering）等を用いて、Ｍ×Ｎ×Ｔ×３次元のベクトルである特徴点を、例えばＫ種類の特徴点に分類する。この分類処理を行うことで、近似する特徴を有する特徴点同士を、同じ種類の特徴点として分類することができる。

次に、行動認識辞書入力部３８は、分類処理したＫ種類の特徴点について、同じ種類の特徴点のＭ×Ｎ×Ｔ×３次元のエッジベクトルを平均化し、Ｋ個の平均ベクトルＶｋを算出する。各ベクトルは、その種類の特徴点を代表する認識ベクトルである。作業者の特定行動の撮像画像から得られた特徴点は、同じ特定行動の学習データで得られた平均ベクトルＶｋの近くに分布する。

この特性を利用し、行動認識辞書入力部３８は、Ｋ種類の各特徴点グループのブロック合計数を計算し、特徴点グループの頻度である認識ヒストグラムＨ（ｋ）を算出する。上述のように、認識対象特徴点の分布は、学習データの特徴点の分布と近似している。このため、認識対象となる例えば作業者の認識ヒストグラムは、作業者の同じ行動（動作）の学習データの学習ヒストグラムと近似する。このため、学習データから求めたヒストグラムＨ（ｋ）で、作業者等の特定行動を認識するための行動認識辞書を作成することができる。

一例ではあるが、行動認識辞書は、ＳＶＭ（Support Vector Machine）の機械学習方法を用いて作成できる。この機械学習方法で行動認識辞書を作成する場合、認識対象となる作業者の特定行動の撮像画像から学習した正の学習データと、特定行動とは異なる作業者の行動の撮像画像から学習した負の学習データで、行動認識辞書を作成する。

なお、行動認識辞書は、ＳＶＭ機械学習方法以外でも、例えばＫ近傍法（K Nearest Neighbor）又は多層パーセプトロン（Multilayer Perceptron）等の他の機械学習方法を用いて作成してもよい。

以上説明した行動認識処理部３５の行動認識動作をまとめると、行動認識処理部３５は、認識対象となる作業者の撮像画像（動画）として入力されたＮフレームの時空間画像データから上述の時空間特徴点を抽出する。行動認識処理部３５は、各特徴点ブロックのＭ×Ｎ×Ｔ×３次元の微分ベクトルを求める。この微分ベクトル及び入力された学習データから求めたＫ個の学習平均ベクトルＶｋとの距離を計算し、特徴点ブロックの種類を、最も距離が近い学習平均ベクトルＶｋの種類に分類する。この方法で特徴点ブロックを分類することで、特徴点ブロックをＫ種類に分類できる。行動認識処理部３５は、各種類の特徴点ブロックの出現頻度に基づいて、認識対象の撮像画像（動画）の特徴点ヒストグラムＴ（ｋ）を作成する。

そして、行動認識処理部３５は、行動認識辞書入力部３８から入力された行動認識辞書、及び、認識対象の撮像画像の特徴点ヒストグラムＴ（ｋ）に基づき、上述のＳＶＭ機械学習法を用いて、作業者の特定行動の認識処理を行う。ＳＶＭ機械学習法を用いたＳＶＭ認識処理では、作業者の特定行動と特定行動以外の認識結果を出力する。

図３に示す認識結果出力部３６は、作業者の特定行動と特定行動以外の認識結果を、例えば出力インタフェース部１７を介してモニタ装置２３に出力する（ステップＳ８）。これにより、モニタ装置２３を介して作業者等の監視対象の監視を可能とすることができる。図４のフローチャートのステップＳ９では、ＣＰＵ１１が、このような認識処理が終了したか否かを判別する。認識処理が終了していないと判別された場合（ステップＳ９：Ｎｏ）、処理がステップＳ１に戻り、上述の作業者の特定行動の認識処理が繰り返し行われる。認識処理が終了したと判別された場合（ステップＳ９：Ｙｅｓ）、図４のフローチャートの全処理が終了する。

なお、認識結果出力部３６は、認識結果を通信部１４及びネットワーク２１を介してサーバ装置２２に送信してもよい。この場合、管理者等は、スマートホン、タブレット端末装置又はパーソナルコンピュータ装置等の通信機器を介してサーバ装置２２にアクセスし、認識結果を取得する。これにより、作業者等の監視対象の遠隔監視を可能とすることができる。

次に、作業者が歩行して棚の位置まで移動し、商品を抱えて棚入れする行動を、認識対象例として用いて、認識結果出力部３６による認識結果の出力形態を説明する。この場合、認識結果出力部３６は、図１５に示すように、行動認識処理部３５で認識された作業者の行動の認識結果に基づいて、行動の開始時間及び持続時間を出力する。歩行終了時間ｔ２と歩行開始時間ｔ１の差（ｔ２−ｔ１）は、歩行時間である。

また、棚入れ行動の終了時間ｔ３と棚入れ行動の開始時間ｔ２の差（ｔ３−ｔ２）は棚入れ行動の時間となる。棚入れの作業時間は、作業者の歩行時間と棚入れの作業時間との合計時間となり、棚入れ終了時間ｔ３と歩行開始時間ｔ１の差（ｔ３−ｔ１）の時間である。認識結果出力部３６は、各作業者の歩行時間、棚入れ行動時間、及び、棚入れ作業全体の時間を出力する。

次に、例えば作業者が他の作業者と重なり合い、また、作業者の姿勢が変化することで、作業者が認識困難となると、行動認識処理部３５による作業者の認識処理が中断される。図１６は、作業者が商品の棚入れ作業を行う際に、歩行途中で、作業者を認識することが困難となった例を示している。図１６に示す時間ｔ３と時間ｔ２との間が、歩行中の作業者の認識が困難となった時間を示している。

このような場合、行動認識処理部３５は、歩行中の作業者の認識が困難となった時間ｔ３−時間ｔ２の時間差は、所定の閾値Ｔｈｒｅ＿ｗ以下であるか否かを判別する。歩行中の作業者が他の作業者と重なり合うことで、例えば２秒間又は５秒間等のように、一時的に認識困難となることは多々ある。このため、行動認識処理部３５は、例えば閾値Ｔｈｒｅ＿ｗを、例えば２秒間又は５秒間等とし、歩行中の作業者の認識が困難となった時間ｔ３−時間ｔ２の時間差が、この２秒以下又は５秒以下であった場合に、時間ｔ３−時間ｔ２の間は、作業者が歩行状態であったものと認識する。

すなわち、行動認識処理部３５は、作業者の認識が困難となった時間が所定時間以下であれば、その間、認識が困難となる前に認識されていた行動（動作）が継続して行われていたものと認識する。これにより、図１６に示す歩行開始時間ｔ１から棚入れ開始時間ｔ４までの間は、途中、作業者が認識困難となった場合でも、作業者は連続して歩行状態にあったものと認識される。

図１７は、棚入れの途中に作業者が一時的に認識困難となった例である。図１７に示す時間ｔ３〜時間ｔ４が、棚入れの途中に作業者が一時的に認識困難となっていた時間である。この場合も上述と同様に、行動認識処理部３５は、作業者が認識困難となっていた時間が例えば２秒間又は５秒間等の閾値Ｔｈｒｅ＿ｗとなる時間以下であれば、作業者が認識困難となっていた時間も、作業者は継続して棚入れ作業を行っていたものと認識する。これにより、図１７に示す棚入れ開始時間ｔ２から棚入れ終了時間ｔ５までの間は、途中、作業者が認識困難となった場合でも、作業者は連続して棚入れ作業中であったものと認識される。

このように、作業者の認識が困難となった時間が所定時間以下であれば、その間、認識が困難となる前に認識されていた行動（動作）が継続して行われていたものと認識することで、途中、作業者が認識困難となった場合でも、正しい作業時間の測定等を可能とすることができる。

認識結果出力部３６は、作業者毎に、行動の認識結果となる作業開始時間、作業終了時間及び作業時間（一連の作業（動作）の開始から終了までの時間＝所要時間）等を、各作業者の行動認識結果として出力する。

（部位毎の動作認識に基づく状態判別）
次に、実施の形態の行動認識システムは、各監視対象の所定の部位毎の上述の動作認識処理を行い、各部位の動作認識結果に基づいて、各監視対象の状態等を認識可能となっている。なお、上述の説明では、監視対象として作業者を例示して説明を行ったが、以下、監視対象として動物である「牛」を例として説明を行う。すなわち、実施の形態の行動認識システムは、上述のように、各牛の行動認識を行うことができる。また、実施の形態の行動認識システムは、以下に説明するように、各牛の例えば頭部と胴体等のように所定の部位に分けて動作を認識し、各部位の動作の認識結果に基づいて、各牛の状態を認識する。また、頭部と胴体等のように複数の部位の動作を認識することとして説明を進めるが、頭部のみ等のように、一つの部位で動作を認識してもよい。

図１８は、各部位の動作に基づく、各牛の状態認識処理の流れを示すフローチャートである。この図１８のフローチャートの場合、監視対象が動物である牛であるため、ステップＳ１２で図３に示した監視対象認識辞書入力部３７から牛認識用の辞書（動物認識辞書）が認識部３２に入力される。なお、この動物認識辞書は、後述するように、牛の頭部の認識用、及び、胴体の認識用等のように、監視対象の部位毎に作成されて認識部３２に入力される。認識部３２は、上述と同様に、動物認識辞書に基づいてステップＳ１１で取得した撮像画像から一頭又は複数の牛の各部位を認識する（ステップＳ１３）。

認識された各牛に対しては、各牛の全体画像に基づいて、図８を用いて説明したように初期ＩＤ設定部３３でそれぞれＩＤが設定され、追尾処理部３４で追尾が行われる。行動認識処理部３５には、ステップＳ１４において行動認識辞書入力部３８から、動物の行動を認識するための辞書（動物行動認識辞書）が入力される。なお、この動物行動認識辞書は、後述するように、牛の頭部の認識用、及び、動体の認識用等のように、監視対象の部位毎に作成されて行動認識処理部３５に入力される。行動認識処理部３５は、追尾が成功した牛の動きを、頭及び胴体等の部位毎に認識する（ステップＳ１５）。

具体的には、行動認識処理部３５は、複数フレームの各撮像画像における動物矩形領域において時空間特徴点を抽出する。具体的には、行動認識処理部３５は、図１４に示した立方体の時空間（ｘ，ｙ，ｔ）の時空間画像データをフロックで分割する（ｔ方向サイズは、動きの認識処理に必要なフレーム数）。牛が動くと、この時空間画像データで変化点が発生する。この立方体の時空間における変化点を検出することで、牛の動きを認識する。この際、実施の形態の行動認識システムは、牛の例えば頭と胴体等の部位毎に動きを認識する。

すなわち、図１４に示した大きな時空間立法体の（ｘ、ｙ）方向のサイズは、認識された牛に対応する矩形サイズである。牛の頭部の動きを認識する場合、（ｘ、ｙ）方向の立方体サイズは、図１９に示すように牛の頭部の大きさの矩形サイズとなる。また、牛の頭部を除く胴体の動きを認識する場合、（ｘ、ｙ）方向の立方体サイズは、図２０に示すように牛の胴体の大きさの矩形サイズとなる。

このようなブロックの時空間画像データにおいて、牛の動きに対応するブロックの特徴量（変化量）は大きくなる。行動認識処理部３５は、変化量の大きいブロックを特徴点として抽出する。この特徴点の抽出を行う場合、行動認識処理部３５は、まず、空間方向及び（ｘ、ｙ）方向で、模様があるブロック等の特徴のあるブロックを抽出し、以下の（３１）式の演算を行うことで画像の模様強度を算出する。

そして、行動認識処理部３５は、算出した模様強度が所定の模様強度閾値以上であった場合に、そのブロックを特徴点抽出用のブロックとして用いる。

（３１）式において、ｘ，ｙ微分は、撮像画像のフレーム内における上下左右の差分である。積分は、ブロック内の和である。この（３１）式に基づいて、以下の（３２）式の演算を行うことで、有効な輝度模様の強度（又は画像のコントラスト）を算出する。

行動認識処理部３５は、この（３２）式で算出した「ｔ」の値が、所定の閾値Ｔｈｒｅ＿ｔ以上となるブロックを、時空間特徴抽出用のブロックとして用いる。

さらに説明すると、牛等の動物の行動認識の特徴点を抽出する場合、行動認識処理部３５は、画像の時空間微分を用いる方法を使用し，抽出した模様特徴のあるブロックの特徴抽出を行う。

すなわち、対象画像ｆ（ｘ，ｙ）が速度（ｕ，ｖ）で移動しているものとする。この対象を、微小な時間間隔Δｔをおいて撮影した２枚の画像ｆ_１（ｘ，ｙ）、ｆ_２（ｘ，ｙ）は、以下の（３３）式の関係を満たす。

ｆ（ｘ，ｙ）を一次近似し，ｘ，ｙ，ｔでそれぞれ偏微分すると、以下の（３４）式のようになる。

この（３４）式を用いて、速度（ｕ，ｖ）を算出できる。しかし、このままでは一次近似からのずれ又は雑音等の影響による測定誤差が大きい。ここで、小さい領域では物体が均一の速度で動くと仮定した場合、上述の（３４）式が成立している必要がある。この（３４）式の左辺の近傍領域内での２乗積分を評価関数とし、これを最小化すると、速度（ｕ，ｖ）は、以下の（３５）式及び（３６）式で算出できる。

この演算により、フレーム間のブロックのずれ量を画素以下のずれ量とすることができる。Ｓ_ijは、（３１）式で定義される。

このような行動認識処理部３５による行動認識処理をまとめると、行動認識処理部３５は、図１４に示した行動認識用の時空間立法体で動物行動認識を行う。この時空間立法体の小さいブロックにおける時空間特徴は、フレーム間ブロックの移動量（ｕ，ｖ）とする。（ｉ，ｊ，ｔ）番目のブロックの時空間特徴量は、（ｕ_ｉｊｔ，ｖ_ｉｊｔ）とする。これに対して、模様のないブロックの特徴量（ｕ_ｉｊｔ，ｖ_ｉｊｔ）は、（０，０）とする。

また、行動認識処理部３５は、行動認識対象となる大きい立法体内の小さいブロックで得られたブロック移動量（ｕ，ｖ）を一次元に並べて展開し、特徴ベクトルＶ（…，ｕ_ｉｊｔ，ｖ_ｉｊｔ，…）を作成する。この特徴ベクトルの要素は、小さいブロック数の２倍となる。

なお、監視対象認識辞書入力部３７から入力される動物認識辞書、及び、行動認識辞書入力部３７から入力される動物行動認識辞書は、このような特徴ベクトルを、牛等の動物の頭及び胴体等の部位別に検出して作成される。

行動認識処理部３５は、この特徴ベクトルを用いて、上述のＳＶＭ機械学習法に基づき、牛の頭部及び胴体（体全体）等の部位別に動作を認識し（ステップＳ１６〜ステップＳ１８）、特定行動及び特定行動以外の認識結果を出力する。

次に、行動認識処理部３５は、この動作の認識を行う際、牛の頭部における静止と活動、及び、胴体（体全体）における静止と活動をそれぞれ認識する。図２１（ａ）は、牛の胴体の静止及び活動の各時間を示している。これに対して、図２１（ｂ）は、牛の頭部（体全体）の静止及び活動の各時間を示している。図２１（ａ）の例は、時間ｔ１〜時間ｔ２の間、牛の胴体は静止していたが、時間ｔ２〜時間ｔ３の間、牛の胴体は活動状態にあったことを示している。図２１（ｂ）の例は、時間ｔ１〜時間ｔ２の間、及び、時間ｔ２〜時間ｔ３の間、共に牛の頭部は活動状態にあったことを示している。

行動認識処理部３５は、このような牛の各部の動作を総合的に判断して、牛の状態を認識する。一例ではあるが、図２１（ａ）及び図２１（ｂ）の時間ｔ１〜時間ｔ２の間において、牛の胴体は静止しているが、頭部は活動している。この場合、行動認識処理部３５は、時間ｔ１〜時間ｔ２の間、牛は反芻状態であったと認識する。また、図２１（ａ）及び図２１（ｂ）の時間ｔ２〜時間ｔ３の間において、牛の胴体及び頭部はそれぞれ活動している。この場合、行動認識処理部３５は、時間ｔ２〜時間ｔ３の間、牛は歩行状態であったと認識する。

なお、図１６及び図１７を用いて説明したが、行動認識処理部３５は、牛の各部の動作の認識が困難となった時間が所定時間以下であれば、その間、認識が困難となる前に認識されていた動作が継続して行われていたものと認識する。これにより、途中、牛の動作が認識困難となった場合でも、この認識困難となった前後で、同じ動作が行われていたものと認識できる。

認識結果出力部３６は、このような牛の状態認識結果となる状態認識情報、及び、各牛の体全体の動作の静止、動作開始時間、動作終了時間、運動の継続時間、及び、各牛の各部位の動作の静止、動作開始時間、動作終了時間、運動の継続時間等を各牛の行動認識結果として、モニタ装置２３又はサーバ装置２２等に出力する。このように、牛の各部の動作に基づいて、総合的に牛の状態を認識することで、より高い精度で牛の状態を認識できる。

なお、監視対象は、牛以外であっても、例えば各作業者の動作を、作業者の頭及び胴体に分けて認識し、この頭の動作の認識結果及び胴体の動作の認識結果に基づいて、作業者の状態（食事中、商品の棚入れ中、歩行中等）を認識してもよい。

（実施の形態の効果）
以上の説明から明らかなように、実施の形態の行動認識システムは、複数の作業者等の監視対象の撮像画像に基づいて各監視対象を認識して、それぞれＩＤを設定する。設定したＩＤに基づいて各監視対象を追尾するが、監視対象が認識困難となった場合、認識困難となった監視対象のＩＤ及び関連情報（位置情報及び画像データ）を維持する。この状態で、上述の（２１）式の演算を行い、認識困難となった監視対象の類似度、及び、再認識した各監視対象の類似度を算出する。そして、再認識した各監視対象のうち、認識困難となった監視対象の類似度に最も近似する類似度を有する監視対象に対して、認識困難となった監視対象のＩＤを設定する。

これにより、複数の監視対象を同時に認識し、一部又は全部の監視対象が一時的に認識困難となった場合でも、監視対象の再認識を行った際に、認識困難となる前及び後で、同じＩＤを監視対象に設定して追尾可能とすることができる。このため、複数の監視対象を精度よく監視可能とすることができる。

また、実施の形態の行動認識システムは、複数フレームの撮像画像から監視対象領域の時空間特徴点を抽出し、抽出した時空間特徴点に基づいて、各監視対象の行動（動作）に対応する特徴量を検出する。そして、この特徴量に基づいて、各監視対象の行動（動作）を認識し、各監視対象の例えば行動開始時間、行動終了時間、及び、所要時間等を認識結果として出力する。また、各監視対象の各部位の動作に基づいて判断した各監視対象の状態を示す状態情報を認識結果として出力する。これにより、複数の監視対象の行動をそれぞれ可視化することができる。

また、単数又は複数の監視対象を、例えば頭部及び胴体等のように複数の部位に分けて、それぞれ動作を認識し、この各部位の動作の認識結果に基づいて、監視対象の状態を認識する。これにより、監視対象の各部の動作に基づいて総合的に監視対象の状態を認識でき、監視対象の状態を、より高い精度で認識可能とすることができる。

また、牛の首等に装着した例えば３軸の加速度センサ等のセンサ出力を併用することで、牛の頭部のより細かな動作を精度良く検出できる。また、牛の体全体の認識処理は、画像認識処理でも精度良く検出できるため、牛の頭部の動作は、上述の加速度センサ等で検出し、牛の体全体の動作を画像に基づいて検出してもよい。

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。

例えば、上述の実施の形態の説明では、監視対象は作業者であることとして説明したが、これは、動物、道路上の通行人、特定の場所に集まった人、又は、ロボット等の他の監視対象でもよい。この場合も、上述と同じ効果を得ることができる。

また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 行動認識装置
２ カメラ装置
３ インタフェース部
１１ ＣＰＵ
１５ ＨＤＤ
３１ 入力部
３２ 認識部
３３ 初期ＩＤ設定部
３４ 追尾処理部
３５ 行動認識処理部
３６ 認識結果出力部
３７ 監視対象認識辞書入力部
３８ 行動認識辞書入力部

特開２０１１−１００１７５号公報

Claims (10)

1. 撮像画像に基づいて、監視対象を認識する認識部と、
   認識された前記監視対象の所定の部位の動作をそれぞれ認識する動作認識処理部と、
   認識された部位の動作に基づいて、前記監視対象の状態を認識する状態認識処理部と、
   前記状態認識処理部で認識された前記監視対象の状態認識結果を出力する認識結果出力部と
   を有する状態認識装置。
2. 前記認識部は、前記撮像画像に基づいて複数の監視対象を認識し、
   前記認識部で認識された各前記監視対象に識別番号を設定する識別番号設定部と、
   前記撮像画像で認識された各前記監視対象の領域に基づいて、前記撮像画像で認識される、識別番号が設定された各前記監視対象をそれぞれ追尾する追尾処理部と、をさらに備え、
   前記動作認識処理部は、各前記監視対象を追尾した前記撮像画像の結果領域で、各前記監視対象の動作を所定の部位毎にそれぞれ認識し、
   前記状態認識処理部は、認識された前記部位の動作に基づいて、前記監視対象の状態をそれぞれ認識すること
   を特徴とする請求項１に記載の状態認識装置。
3. 前記認識部は、前記撮像画像に基づいて複数の動物を認識し、
   前記動作認識処理部は、前記動物の体全体、及び、体の一部の動作をそれぞれ認識し、
   前記識別番号設定部は、前記動物の体全体の前記撮像画像に基づいて、前記認識部で認識された各前記動物に識別番号を設定すること
   を特徴とする請求項２に記載の状態認識装置。
4. 前記認識結果出力部は、前記動物の体全体の動作の静止又は運動の継続時間、及び、体の一部の動作の静止又は運動の継続時間を、前記状態認識結果として出力すること
   を特徴とする請求項３に記載の状態認識装置。
5. 前記認識結果出力部は、前記監視対象の一連の動作中における、前記追尾処理部による前記監視対象の追尾が困難となった時間が所定時間以下の場合、追尾が困難となった時間中も一連の動作が行われていたものと認識した前記状態認識結果を出力すること
   を特徴とする請求項２から請求項４のうち、いずれか一項に記載の状態認識装置。
6. 前記追尾処理部は、前記監視対象の前記識別番号、位置情報及び画像情報を維持し、追尾が成功した際に、前記位置情報及び前記画像情報を更新すること
   を特徴とする請求項２から請求項５のうち、いずれか一項に記載の状態認識装置。
7. 前記追尾処理部は、追尾が困難となった前記監視対象の前記識別番号、位置情報及び画像情報を維持し、
   前記識別番号設定部は、追尾が困難となった前記監視対象の類似度を算出すると共に、追尾が困難となることで、前記認識部により再認識された監視対象の類似度をそれぞれ算出し、前記認識部により再認識された各監視対象の類似度が、追尾が困難となった前記監視対象の類似度に、近似する場合に、追尾が困難となった前記監視対象に対して設定されていた識別番号と同じ識別番号を設定すること
   を特徴とする請求項２から請求項６のうち、いずれか一項に記載の状態認識装置。
8. 前記動作認識処理部は、複数フレームの前記撮像画像から時空間特徴点を抽出し、抽出した時空間特徴点に基づいて、前記監視対象の動作を認識すること
   を特徴とする請求項１から請求項７のうち、いずれか一項に記載の状態認識装置。
9. 認識部が、撮像画像に基づいて、監視対象を認識する認識ステップと、
   動作認識処理部が、認識された前記監視対象の所定の部位の動作をそれぞれ認識する動作認識処理ステップと、
   状態認識処理部が、認識された部位の動作に基づいて、前記監視対象の状態を認識する状態認識処理ステップと、
   認識結果出力部が、前記状態認識処理部で認識された前記監視対象の状態を示す状態情報を、前記監視対象の状態認識結果として出力する認識結果出力ステップと
   を有する状態認識方法。
10. コンピュータを、
    撮像画像に基づいて、監視対象を認識する認識部と、
    認識された前記監視対象の所定の部位の動作をそれぞれ認識する動作認識処理部と、
    認識された部位の動作に基づいて、前記監視対象の状態を認識する状態認識処理部と、
    前記状態認識処理部で認識された前記監視対象の状態を示す状態情報を、前記監視対象の状態認識結果として出力する認識結果出力部として機能させること
    を特徴とする状態認識プログラム。

Images