JP2020087312A

JP2020087312A - 行動認識装置、行動認識方法及びプログラム

Info

Publication number: JP2020087312A
Application number: JP2018225439A
Authority: JP
Inventors: 関　海克; Haike Guan; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2020-06-04
Anticipated expiration: 2038-11-30
Also published as: JP7222231B2; CN111259723A

Abstract

【課題】作業者が作業しているときの一連の行動を高精度に認識する。【解決手段】一実施形態に係る行動認識装置は、作業者を撮影した映像から予め監視対象として定められた標準作業を認識する。前記行動認識装置は、画像取得手段と、行動認識手段と、行動判定手段とを備える。前記画像取得手段は、前記映像に含まれる複数のフレーム画像を取得する。前記行動認識手段は、前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。前記行動判定手段は、前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する。【選択図】図１

Description

本発明は、行動認識装置、行動認識方法及びプログラムに関する。

例えば、オフィスや工場などの作業場において、カメラの映像から作業者の作業行動を可視化して分析することは、作業の効率化を図る上で重要なことである。

従来、カメラから連続的に得られる複数のフレーム画像から人物を認識し、その人物の重心位置の軌跡を特徴量として抽出することにより、予め登録された行動の重心軌跡と照らし合わせて、当該人物の行動を認識する方法が知られている（例えば、特許文献１参照）。

しかしながら、作業者が作業しているときの行動は１つではなく、例えば物を持つ、歩くなど、多数存在する。これらの一連の行動は、上述した重心位置の軌跡を追うことでは認識することはできない。

本発明の目的は、作業者が作業しているときの一連の行動を高精度に認識することのできる行動認識装置、行動認識方法及びプログラムを提供することにある。

一実施形態に係る行動認識装置は、作業者を撮影した映像から予め監視対象として定められた標準作業を認識する。前記行動認識装置は、画像取得手段と、行動認識手段と、行動判定手段とを備える。前記画像取得手段は、前記映像に含まれる複数のフレーム画像を取得する。前記行動認識手段は、前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。前記行動判定手段は、前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する。

本発明によれば、作業者が作業しているときの一連の行動を高精度に認識することができる。

第１の実施形態に係る行動認識装置の機能構成を示すブロック図である。作業場における作業者の作業行動の一例を示す図である。商品棚入れ作業のイメージの一例を示す図である。商品棚入れ作業に関係する作業行動のイメージの一例を示す図である。時空間画像データの構成を模式的に示した図である。Ｆフレームの時空間画像データを示す図である。Ｆフレームの時空間画像データの更新方法を説明するための図である。各要素行動の確信度の変移特性を示す図である。時空間画像データのブロック分割を示す図である。図２の作業場で作業者を撮影したときの時空間画像データから抽出した時間ｔにおける特徴点の一例を示す図である。図２の作業場で作業者を撮影したときの時空間画像データから抽出した時間ｔ＋Δｔ時間後における特徴点の一例を示す図である。第１の実施形態における行動認識装置の認識辞書作成処理の動作を説明するためのフローチャートである。第１の実施形態における行動認識装置の行動認識処理の動作を説明するためのフローチャートである。第１の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。第２の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。第３の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。第４の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。第５の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。第６の実施形態における行動認識装置の統合処理部で実行される統合処理の動作を説明するためのフローチャートである。行動認識システムの一例を示す図である。カメラのハードウェア構成の一例を示す図である。行動認識装置のハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
本発明の行動認識装置は、作業者を撮影したカメラの映像から予め監視対象として定められた作業行動（これを標準作業と称す）を認識するものである。前記作業場としては、例えばオフィスや工場などが含まれるが、本発明はこれに限定されるものではない。

（第１の実施形態）
図１は第１の実施形態に係る行動認識装置の機能構成を示すブロック図である。

本実施形態における行動認識装置１００は、画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、統合処理部１０４、辞書作成部１０５、認識結果出力部１０６を備える。

画像取得部１０１は、例えば図２に示すような作業場２０１に設置されたカメラ２０３の映像をリアルタイムあるいはオフラインで取得する。カメラ２０３の設置場所は任意であり、作業場２０１の中で作業者２０２が作業しているときの行動を撮影可能な場所であれば、どこでも良い。このカメラ２０３の映像は、例えばカメラ２０３から有線あるいは無線で行動認識装置１００に直接送ることでも良いし、記録媒体を介して行動認識装置１００に与えることでも良い。

時空間特徴抽出部１０２は、画像取得部１０１によって得られた映像に含まれる各フレーム画像から時空間特徴点を抽出する。「時空間特徴点」とは、画像の空間的な変化と時間的な変化を表す特徴点のことであり、人物の動きの変化を表している。なお、この時空間特徴点の抽出方法については後に詳しく説明する。

行動認識部１０３は、時空間特徴抽出部１０２によって抽出された時空間特徴点に基づいて行動認識辞書１０５ａを検索することにより、標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する。「要素行動」とは、標準作業に含まれる特徴的な行動のことであり、作業の内容に応じて複数種類存在する。「確信度」とは、認識結果の確からしさを表す指標であり、０．０〜１．０の範囲の値を取り、数値が大きいほど、確信度が高いことを意味する。

行動認識辞書１０５ａは、辞書作成部１０５によって作成される。行動認識辞書１０５ａには、予め標準作業に含まれる各種行動（要素行動）を認識するための情報が登録されている。なお、行動認識辞書１０５ａの作成方法については、後に詳しく説明する。

統合処理部１０４は、行動判定部１０４ａと行動時間算出部１０４ｂとで構成される。行動判定部１０４ａは、各要素行動の確信度を統合処理し、各要素行動の中から作業者２０２の作業行動を時系列で判定する。「統合処理」とは、各要素行動の確信度を所定の時間単位で比較し、これらの各要素行動の中から最終的な認識結果を導き出す処理のことである。行動時間算出部１０４ｂは、行動判定部１０４ａによって作業者２０２の作業行動として判定された要素行動の開始時間と持続時間をフレームレートに従って算出する。

認識結果出力部１０６は、統合処理部１０４によって最終的に得られた認識結果の出力処理を行う。

図２は作業場における作業者の作業行動の一例を示す図であり、例えば工場等の作業場２０１において、作業者２０２が商品の棚入れ作業を行っている状態を示している。

商品棚入れ作業時における作業者２０２の作業行動には、例えば、「箱２０４を床に仮置きする行動（仮置き行動）」，「箱２０４の中の商品を確認する行動（商品確認行動）」，「箱２０４から商品を取り出す行動（商品取り出し行動）」，「商品を棚に入れる行動（商品棚入れ行動）」などがある。本実施形態における行動認識装置１００は、行動認識辞書１０５ａを用いて、これらの一連の行動を要素行動として認識する。

図３は商品棚入れ作業に関係する作業行動のイメージの一例を示す図であり、作業者２０２が箱２０４を床に仮置きしているときの状態を示している。図４は歩き行動のイメージの一例を示す図である。作業者２０２が歩きながら商品棚入れ作業を行うことが多いので、歩き行動を含めて認識する必要がある。

作業場２０１に設置されたカメラ２０３は、連続撮影可能な機能（動画撮影機能）を有する。このカメラ２０３の映像に含まれるフレーム画像は、例えば１秒間に３０フレームレートで行動認識装置１００に取り込まれる。この場合、１フレームの時間は１／３０秒である。

図５は時空間画像データの構成を模式的に示した図である。ｘ軸は画像の横幅であり、ｙ軸は画像の縦幅である。奥行きは時間ｔの長さであり、フレーム数で決まる。フレーム画像の空間座標は（ｘ，ｙ）である。１フレームの時間をｔとすると、図５に示すように、時空間画像データは３次元の立方体で表される。つまり、時空間画像データの座標は（ｘ，ｙ，ｔ）であり、時空間画像データの一つの画素値Ｉは空間座標（ｘ，ｙ）と時間ｔの関数となる。

図６はＦフレームの時空間画像データを示す図である。縦軸は確信度Ｐを示し、横軸は時間ｔを示し、フレーム番号に比例する。ＱはＦフレームの時空間画像データを時間に換算したときの中心位置を示している。

本実施形態では、Ｆフレームの時空間画像データを一つの認識対象単位としている。Ｆはフレーム数であり、任意に設定できる。例えば、作業者２０２の作業行動を２秒間で認識したい場合には、Ｆ＝６０フレームに設定すれば良い。

上述したように、作業者２０２の作業行動には複数の要素行動が含まれており、これらの要素行動を認識したときに確信度Ｐ_ｉ（Ｑ）を算出する。つまり、図３に示すような商品棚入れ作業行動を認識したときに確信度Ｐ_０（Ｑ）を算出する。また、図４に示すような作業者２０２が歩く行動を認識したときに確信度Ｐ_１（Ｑ）を算出する。要素行動の数Ｉ個がある場合、Ｐ_０（Ｑ）〜Ｐ_Ｉ−１（Ｑ）のＩ個の確信度が得られる。

ここで、Ｆフレームの時空間画像データから得られた要素行動の確信度Ｐ_ｉ（Ｑ）を当該時空間画像データの中心フレームの結果とする。つまり、図６に示すように、中心位置をＱとすると、確信度Ｐ_ｉ（Ｑ）は、Ｑ番目でのフレーム位置でのｉ番目の要素行動の確信度となる。

図７はＦフレームの時空間画像データの更新方法を説明するための図である。縦軸は確信度Ｐを示し、横軸は時間ｔを示す。

図７の例では、Ｆフレームの時空間画像データを時間軸方向に１フレームずつ移動させた状態を示している。上述したように、Ｆフレームの時空間画像データを一つの認識対象単位とし、要素行動の確信度Ｐ_ｉ（Ｑ）を当該時空間画像データの中心フレームの結果とする。図中のＱ，Ｑ＋１，…Ｑ＋ｎ（ｎは０以上の整数）は、それぞれにＦフレームの時空間画像データを移動させたときの中心位置を示している。なお、時空間画像データを移動させる間隔は、１フレームに限らず、複数フレーム単位であっても良い。

図８は各要素行動の確信度の変移特性を示す図である。図８の例では、Ｆフレームの時空間画像データを時間軸方向に１フレームずつ移動させたときに得られる２つの要素行動ａ，ｂを認識したときの確信度の変移を表している。横軸は時間であり、単位はフレーム数である。縦軸は確信度Ｐを示している。

図中のＴｗは要素行動を監視している時間（判定時間）、Ｔｈｒｅは確信度の閾値を示している。なお、判定時間Ｔｗと閾値Ｔｈｒｅについては、後に他の実施形態において詳しく説明する。

一般的に、商品棚入れ作業では、作業者２０２が歩きながら作業を行うことが多いため、歩き行動も含めて認識する必要がある。実線は要素行動ａ（例えば商品の棚入れ行動）の確信度の変移特性を示している。点線は要素行動ｂ（例えば歩き行動）の確信度の変移特性を示している。なお、図８の例では、説明を簡単にするため、２つの要素行動ａ，ｂだけを示したが、実際には商品棚入れ作業にはさらに複数の要素行動が存在し、これらの要素行動毎にそれぞれの確信度の変移特性が得られる。

次に、図９乃至図１１を用いて、時空間画像データを用いた行動認識方法について説明する。

図９は時空間画像データのブロック分割を示す図である。横軸は空間座標ｘ、縦軸は空間座標ｙである。時間軸をｔで示す。つまり、時間軸ｔの方向は、例えば１秒間に３０フレームレートで入力される映像の時系列軸である。フレーム数で換算して、実際の時間が求められる。作業者２０２が何らかの行動を取ると、時空間画像データに変化点が発生する。この変化点つまり時空間の特徴点を見つけることで、要素行動を認識することができる。

図９に示すように、時空間画像データを所定サイズ（Ｍｐ，Ｎｐ，Ｔ）のブロックで分割する。Ｍｐ，Ｎｐは画素数、Ｔは特徴点を抽出するための時間幅である。つまり、１ブロックのサイズは横Ｍｐ画素、縦Ｎｐ画素、奥行きＴフレームになる。

作業者が何らかの行動をしたとき、その動きに対応した時空間画像データのブロックの特徴量が大きくなる。つまり、時空間に大きな変化量が発生する。その変化量の大きいブロックを特徴点として抽出する。

まず、空間方向である（ｘ、ｙ）方向でノイズを除去するため、式（１）の平滑化処理を行う。

ここで、Ｉ（ｘ，ｙ，ｔ）は時間ｔのフレーム画像、（ｘ，ｙ）座標での画素値である。ｇ（ｘ，ｙ）は平滑化処理ためのカーネルである。＊は畳み込み処理である。平滑化処理は、画素平均処理でも良いし、既存のＧａｕｓｓｉａｎ平滑化フィルタ処理でも良い。

次に、時間軸でフィルタリング処理を行う。ここで、式（２）に示すＧａｂｏｒフィルタリング処理を行う。

ここで、ｇ_ｅｖとｇ_ｏｄは式（３）と式（４）が示すＧａｂｏｒフィルタのカーネルである。＊は畳み込み処理である。τとωはＧａｂｏｒフィルタのカーネルのパラメータである。

図９に示す時空間画像データの全画素に対して、前記式（２）のフィルタリング処理した後、式（５）で、時空間座標（ｘ，ｙ，ｔ）にあるブロックＲの平均値Ｍを求める。

そして、式（６）に示すように、ブロックＲの平均値Ｍ（ｘ，ｙ，ｔ）が一定の閾値Ｔｈｒｅ＿Ｍよりも高い場合に、当該ブロックＲを特徴点として抽出する。

図１０は図２の作業場２０１で作業者２０２を撮影したときの時空間画像データから抽出した時間ｔにおける特徴点の一例である。例えば、作業者２０２が屈んだときに、時空間画像データの中で動きのある部分が特徴点として抽出される。図１１は時間ｔ＋Δｔ時間後における時空間画像データから抽出された特徴点の一例である。

次に、時空間画像データから抽出した特徴点の記述方法について説明する。
時空間画像データから特徴点となるブロックを抽出すると、当該ブロック内の画素Ｉ（ｘ，ｙ，ｔ）の時空間エッジ情報Ｅ（ｘ，ｙ，ｔ）を求める。具体的には、下記の式（７）の微分演算を行う。

１ブロックにＭｐ×Ｎｐ×Ｔの画素があるので、Ｍｐ×Ｎｐ×Ｔ×３個の微分値が得られる。このブロックは、Ｍｐ×Ｎｐ×Ｔ×３次元ベクトルで記述される。つまり、特徴点がＭｐ×Ｎｐ×Ｔ×３次元ベクトルで記述される。

次に、本実施形態における行動認識装置１００の処理動作について、（ａ）認識辞書作成処理と、（ｂ）行動認識処理とに分けて説明する。なお、以下の各フローチャートで示される処理は、コンピュータである行動認識装置１００が所定のプログラムを読み込むことにより実行される。

（ａ）認識辞書作成処理
図１２は第１の実施形態における行動認識装置１００の認識辞書作成処理の動作を説明するためのフローチャートである。

図２に示した作業場２０１において、作業者２０２の作業行動を認識する場合に、事前に行動認識辞書１０５ａを作成しておく必要がある。行動認識装置１００は、以下のような手順で行動認識辞書１０５ａを作成する。

まず、行動認識装置１００は、画像取得部１０１を通じて学習動画データを取得する（ステップＳ１１）。すなわち、標準作業に関する動画サンプルを集めて、その動画サンプルを学習動画データとして使う。この場合、動画サンプルの中でＦフレームの時空間画像データを１つの学習動画データとする。行動認識装置１００に備えられた時空間特徴抽出部１０２は、この学習動画データ（Ｆフレームの時空間画像データ）から上述した方法で動き変化に対応した特徴点を要素行動として抽出する（ステップＳ１２）。

このようにして、複数の学習動画データを集め、それぞれの学習動画データから動き変化に対応した特徴点がそれぞれ抽出される。この場合、同じ行動であれば、行動認識のシステムは同じでなくとも良い。要は、後述するＫ種類の要素行動に関するデータを取得できれば良い。行動認識部１０３は、前記各学習動画データから抽出した各特徴点を前記式（７）で微分処理して、Ｍｐ×Ｎｐ×Ｔ×３次元ベクトルを求め、これらをＫ−ｍｅａｎｓ方法によって要素行動毎に分類する（ステップＳ１３）。

ここで、分類したクラスの数をＫとすると、複数の学習動画データから抽出された特徴点はＫ種類の要素行動に分類される。同じ種類の特徴点は、類似の特徴を持つ。行動認識部１０３は、Ｋ種類の要素行動に分類された各特徴点について、それぞれに同じ種類の特徴点のＭｐ×Ｎｐ×Ｔ×３次元ベクトルを平均化することで、平均ベクトルＶｋを作成する（ステップＳ１４）。この平均ベクトルＶｋは、それぞれの要素行動の特徴点を代表するベクトルである。

また、行動認識部１０３は、Ｋ種類の特徴点に対応したブロックの合計数を計算し、学習用のヒストグラムＨ（ｋ）を求める（ステップＳ１５）。このヒストグラムＨ（ｋ）は、Ｋ種類の特徴点の頻度を表している。

このようにして、各特徴点の平均ベクトルＶｋとヒストグラムＨ（ｋ）が求められる。辞書作成部１０５は、これらの情報を学習情報として行動認識辞書１０５ａに登録する（ステップＳ１６）。

（ｂ）行動認識処理
図１３は第１の実施形態における行動認識装置１００の行動認識処理の動作を説明するためのフローチャートである。

まず、行動認識装置１００は、作業場２０１に設置されたカメラ２０３の映像に含まれる複数のフレーム画像を時系列順に取得する（ステップＳ２１）。行動認識装置１００の時空間特徴抽出部１０２は、これらのフレーム画像を用いてＦフレーム単位で時空間画像データを生成し、その時空間画像データから上述した方法で動き変化に対応した複数の特徴点を要素行動として抽出する（ステップＳ２２）。

ここで、行動認識部１０３は、Ｆフレームの時空間画像データから抽出された各特徴点のＭｐ×Ｎｐ×Ｔ×３次元ベクトルを求める（ステップＳ２３）。この３次元ベクトルと行動認識辞書１０５ａに登録されたＫ種類の平均ベクトルＶｋとの距離が最も近いベクトルが同じ要素行動の特徴点になる。

次に、行動認識部１０３は、Ｆフレームの時空間画像データから抽出された各特徴点をＫ種類の要素行動に分類して、それぞれにヒストグラムＴs（ｋ）を作成する（ステップＳ２４）。行動認識部１０３は、これらのヒストグラムＴs（ｋ）と行動認識辞書１０５ａに登録された各特徴点のヒストグラムＨ（ｋ）とを比較することで、両者の類似度Ｓ（Ｔs，Ｈ）を式（８）で求める。行動認識部１０３は、この類似度Ｓ（Ｔs，Ｈ）を確信度Ｐとして算出する（ステップＳ２５）。

行動認識部１０３は、上述した処理をＦフレームの時空間画像データに含まれる各要素行動毎に繰り返し行い、それぞれの確信度Ｐを得る（ステップＳ２６）。統合処理部１０４は、行動認識部１０３によって得られた各要素行動の確信度Ｐに基づいて、各要素行動の中から作業者２０２の作業行動を判定する（ステップＳ２７）。この統合処理については、後に図１４を参照して説明する。

認識結果出力部１０６は、統合処理部１０４によって最終的に得られた認識結果の出力処理を行う（ステップＳ２８）。この出力処理には、例えば図示せぬ監視者の端末装置に要素行動の種類と時間を時系列で視認可能に表示することや、通信ネットワークを介して外部の監視センタに送ることなどを含む。

なお、図１３のフローチャートでは、説明を簡単にするために、Ｆフレーム分の処理だけを示した。実際には図７で説明したように、Ｆフレームの時空間画像データを時間軸方向に例えば１フレームずつ移動させながら前記同様の処理を繰り返し、標準作業時における一連の行動をフレーム単位で時系列に認識し、その認識結果を出力する。

また、図１３のフローチャートで示される処理は、オフラインでもリアルタイムでも実行可能である。以下では、説明を簡単にするため、オフラインで処理する場合を想定して説明する。

（統合処理）
図１４は第１の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

作業場２０１において、作業者２０２の作業行動は１つではなく、歩く行動を含め、様々な行動（要素行動）を含んでいる。これらの行動は時間的に重なることもあり、その時々で主としてどのような行動を取っていたのかを的確に判定することが重要となる。行動認識装置１００の統合処理部１０４は、以下のような手順で、行動認識部１０３によって認識された各要素行動の確信度Ｐを統合処理して、作業者２０２の一連の行動を時系列順に区分けして判定する。

すなわち、まず、統合処理部１０４は、行動認識部１０３からＦフレームの各要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ３１）。統合処理部１０４は、前記ワークメモリをサーチし、Ｆフレームの中で最大の確信度Ｐを有する要素行動を選択する（ステップＳ３２）。

統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ３３）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ３４）。なお、「対象作業行動」とは、監視対象としている作業者２０２の作業行動のことである。

詳しく説明すると、図６に示したＦフレームの時空間画像データからＮ種類の要素行動が得られたとする。統合処理部１０４は、これらの要素行動の確信度Ｐを統合して、その中で対象作業行動を決める。ここで、第１の実施形態では、Ｆフレームの時空間画像データから得られたＮ種類の要素行動の中で、確信度Ｐが最大値Ｐ_ｍａｘの要素行動を対象作業行動として選択する。

また、対象作業行動として選択された要素行動は、図６に示したＦフレームの中心位置Ｑの認識結果としている。要素行動の開始時間は、フレームレートに従って算出される。つまり、映像のフレーム取得毎が開始のタイミングになり、要素行動の判定との兼ね合いから決めることができる。また、この要素行動の持続時間は、Ｆフレームの中心位置Ｑに存在するフレームの持続時間となる。

具体的には、フレームレートは、Ｆ＿ｒａｔの場合は１秒間Ｆ＿ｒａｔフレームがあるので、１フレーム当たりの時間は１／Ｆ＿ｒａｔ秒となる。例えばフレームレートが「３０」の場合、１フレームあたりの時間は１／３０秒である。要素行動が最初に検知されたときの開始フレームはＱであり、開始時間はＱ／Ｆ＿ｒａｔ秒である。要素行動が検知続ける持続フレーム数がＱ＿ａｃｔフレームの場合、持続時間はＱ＿ａｃｔ／Ｆ＿ｒａｔ秒である。この要素行動の開始時間と持続時間を可視化すれば、例えば作業者に負担がかかっている作業の分析などに役立つ。

このようにして、統合処理部１０４は、Ｆフレームの中で最も確信度Ｐが高い要素行動を対象作業行動として判定し、そのＦフレームの中心位置Ｑを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ３５）。

以後、図７に示したように、Ｆフレームが例えば１フレームずつ更新される毎に前記同様の処理が繰り返し実行される。これにより、図８の例であれば、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。

・ｔ０〜ｔ４：要素行動ｂ
・ｔ４〜ｔ５：要素行動ａ
・ｔ５〜ｔ８：要素行動ｂ
・ｔ８〜ｔ１２：要素行動ａ

このように第１の実施形態によれば、各フレーム画像から得られた各要素行動の確信度Ｐを統合処理し、フレーム単位毎に各要素行動の中で最も確信度Ｐの高い要素行動を選択することで、作業者の一連の行動を時系列順に区分けして正しく認識することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態では、前記第１の実施形態において、要素行動の確信度Ｐが予め判定基準として設定された閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。

行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第２の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐをフレーム単位で比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最も高い要素行動を対象作業行動として判定する機能を有する。以下に、第２の実施形態の処理動作について詳しく説明する。

図１５は第２の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

前記第１の実施形態と同様に、まず、統合処理部１０４は、行動認識部１０３からＦフレームの各要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ４１）。統合処理部１０４は、前記ワークメモリをサーチし、Ｆフレームの中で最大の確信度Ｐを有する要素行動を選択する（ステップＳ４２）。

ここで、第２の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、前記ステップＳ４２で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅより高いか否かを判断する（ステップＳ４３）。要素行動の確信度Ｐが閾値Ｔｈｒｅより高い場合には（ステップＳ４３のＹｅｓ）、統合処理部１０４は、当該要素行動を対象作業行動として判定し（ステップＳ４４）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ４６）。

一方、前記ステップＳ４２で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合には（ステップＳ４３のＮｏ）、統合処理部１０４は、当該要素行動を対象作業行動の可能性ありとして判定する（ステップＳ４５）。

なお、要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合に対象作業行動ではないと判定しても良い。ただし、ある程度の確信度Ｐを持っていれば、対象作業行動の可能性があるため、可能性ありとして判定することが好ましい。対象作業行動の可能性ありと判定した場合もその対象作業行動の開始時間と持続時間を算出する。また、対象作業行動の可能性ありと判定した場合には、例えば特定の色を付けて認識結果を出力するなど、前記ステップＳ４４で判定した対象作業行動と区別することが好ましい。

このようにして、統合処理部１０４は、要素行動の確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて、Ｆフレームの中から対象作業行動を判定する。

以後、図７に示したように、Ｆフレームが例えば１フレームずつ更新される毎に前記同様の処理が繰り返し実行される（ステップＳ４７）。これにより、図８の例であれば、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。

・ｔ１〜ｔ４：要素行動ｂ
・ｔ４〜ｔ５：要素行動ａ
・ｔ５〜ｔ７：要素行動ｂ
・ｔ９〜ｔ１０：要素行動ａ
また、可能性ありを含めること下記のようになる。
・ｔ０〜ｔ１：要素行動ｂの可能性あり
・ｔ７〜ｔ８：要素行動ｂの可能性あり
・ｔ８〜ｔ９：要素行動ａの可能性あり
・ｔ１０〜ｔ１２：要素行動ａの可能性あり

このように第２の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを設定しておき、その閾値Ｔｈｒｅより高い確信度Ｐを有する要素行動を対象作業行動として判定することで、作業者の一連の行動をより正確に認識することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。
第３の実施形態では、要素行動を判定するための判定時間Ｔｗを有し、その判定時間Ｔｗの間隔で要素行動を判定するようにしたものである。

行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第３の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗで比較し、最も確信度Ｐが高い要素行動を対象作業行動と判定する機能を有する。以下に、第３の実施形態の処理動作について詳しく説明する。

図１６は第３の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ５１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境などに応じて任意に設定される。

統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ５２）。統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの全フレームの中から最大の確信度Ｐを有する要素行動を選択する（ステップＳ５３）。

統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ５４）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ５５）。要素行動の開始時間は、その要素行動を含むフレームを基準にして算出される。
要素行動の開始時間は最初に要素行動が検知されたとき、判定時間Ｔｗ単位で、要素行動の開始時間を計測する。また、この要素行動の持続時間は、判定時間Ｔｗの中で当該要素行動を含むフレームの持続時間となる。この場合、要素行動の連続検知した判定時間Ｔｗの倍数時間となる。例えば、連続して３回判定時間Ｔｗ内に要素行動として検知されたとき、持続時間は３×Ｔｗとなる。

このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、最も確信度Ｐが高い要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ５６）。

これにより、図８の例であれば、判定時間Ｔｗの間隔（ｔ０〜ｔ３，ｔ３〜ｔ６，ｔ６〜ｔ１１）で要素行動が判定され、以下のような認識結果が出力されることになる。要素行動ａは、例えば商品の棚入れ行動である。要素行動ｂは、例えば歩き行動である。

・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ｂ

このように第３の実施形態によれば、要素行動を判定するための時間に幅を持たせ、その時間間隔の中で要素行動を判定する。これにより、例えば画像にノイズが入っているような場合に、そのノイズによる誤判定を防いで、作業者２０２の行動を正しく認識することができる。
また、作業者が作業動作中に例えば別の方向を振り向くなど、イレギュラーな行動を取ることがある。このような場合も判定時間に幅を持たせておくことで、そのイレギュラーな行動による誤判定を防ぐことができる。

（第４の実施形態）
次に、第４の実施形態について説明する。
第４の実施形態では、前記第３の実施形態において、確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。

行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第４の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗで比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最も高い要素行動を対象作業行動と判定する機能を有する。以下に、第４の実施形態の処理動作について詳しく説明する。

図１７は第４の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

前記第３の実施形態と同様に、まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ６１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ６２）。統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの全フレームの中から最大の確信度Ｐを有する要素行動を選択する（ステップＳ６３）。

ここで、第４の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、前記ステップＳ６３で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅより高いか否かを判断する（ステップＳ６４）。要素行動の確信度Ｐが閾値Ｔｈｒｅより高い場合には（ステップＳ６４のＹｅｓ）、統合処理部１０４は、当該要素行動を対象作業行動として判定し（ステップＳ６５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ６７）。

一方、前記ステップＳ６３で選択された要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合には（ステップＳ６４のＮｏ）、統合処理部１０４は、当該要素行動を対象作業行動の可能性ありとして判定する（ステップＳ６６）。

なお、要素行動の確信度Ｐが閾値Ｔｈｒｅ以下であった場合に対象作業行動ではないと判定しても良い。ただし、ある程度の確信度Ｐを持っていれば、対象作業行動の可能性があるため、可能性ありとして判定することが好ましい。対象作業行動の可能性ありと判定した場合もその対象作業行動の開始時間と持続時間を算出する。また、対象作業行動の可能性ありと判定した場合には、例えば特定の色を付けて認識結果を出力するなど、前記ステップＳ６５で判定した対象作業行動と区別することが好ましい。

このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、閾値Ｔｈｒｅを基準にして最も確信度Ｐが高い要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ６８）。

・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ｂ
なお、判定時間Ｔｗの中で要素行動ａと要素行動ｂのどちらの確信度Ｐが閾値Ｔｈｒｅ以下であれば、確信度Ｐの高い要素行動が対象作業行動の可能性ありとして選択される。

このように第４の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを条件に加えることで、前記第３の実施形態よりも作業者の一連の行動をより正確に認識することができる。

（第５の実施形態）
次に、第５の実施形態について説明する。
第５の実施形態では、前記第３の実施形態と同様に、要素行動を判定するための判定時間Ｔｗを有し、その判定時間Ｔｗの間隔で要素行動を判定する。ただし、前記第３の実施形態では、判定時間Ｔｗの中で最大の確信度Ｐを有する要素行動を選択した。これに対し、第５の実施形態では、判定時間Ｔｗの中で時系列順に最大の確信度Ｐを有する要素行動の数をカウントし、そのカウント値が最多の要素行動を選択する点で異なる。

行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第４の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗの間隔で比較し、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動と判定する機能を有する。以下に、第５の実施形態の処理動作について詳しく説明する。

図１８は第５の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ７１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ７２）。

ここで、第５の実施形態において、統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの中で最大の確信度Ｐを有する要素行動の数をカウントする（ステップＳ７３）。このカウント値は、判定時間Ｔｗの間に確信度Ｐが最大になる要素行動の頻度を表している。

統合処理部１０４は、カウント値が最多の要素行動つまり判定時間Ｔｗの間に確信度Ｐが最大になる頻度が最多の要素行動を選択する（ステップＳ７４）。統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ７５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ７６）。

要素行動の開始時間は、その要素行動を含むフレームを基準にして算出される。要素行動の開始時間は最初に要素行動が検知されたとき、判定時間Ｔｗ単位で、要素行動の開始時間を計測する。また、この要素行動の持続時間は、判定時間Ｔｗの中で当該要素行動を含むフレームの持続時間となる。要素行動の連続検知した判定時間Ｔｗの倍数時間となる。例えば、連続して３回判定時間Ｔｗ内に要素行動として検知されたとき、持続時間は３×Ｔｗとなる。

このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ７７）。

・ｔ０〜ｔ３：要素行動ｂ
・ｔ３〜ｔ６：要素行動ａ
・ｔ６〜ｔ１１：要素行動ａ

このように第５の実施形態によれば、要素行動を判定するための判定時間Ｔｗを設定しておき、その判定時間Ｔｗの間隔で確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定する。これにより、例えば画像にノイズが入りやすい作業環境であった場合に、ノイズによる判定誤差を防いで作業者２０２の行動を正しく認識することができる。また、作業者が瞬間的にイレギュラーな行動を取った場合にも対応できる。特に、第５の実施形態では、確信度Ｐが最大になる頻度に基づいて要素行動を判定しているため、第３の実施形態よりもノイズやイレギュラーな行動による判定誤差を防いで、より正しい認識結果を得ることができる。

（第６の実施形態）
次に、第６の実施形態について説明する。
第６の実施形態では、前記第５の実施形態において、確信度Ｐが閾値Ｔｈｒｅよりも高いことを条件に加えて統合処理を行うようにしたものである。

行動認識装置１００として基本的な構成は前記第１の実施形態の図１と同様である。第６の実施形態において、統合処理部１０４の行動判定部１０４ａは、各要素行動の確信度Ｐを判定時間Ｔｗの間隔で比較し、確信度Ｐが閾値Ｔｈｒｅよりも高く、かつ、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動と判定する機能を有する。以下に、第６の実施形態の処理動作について詳しく説明する。

図１９は第６の実施形態における行動認識装置１００の統合処理部１０４で実行される統合処理の動作を説明するためのフローチャートである。なお、このフローチャートで示される統合処理は、図１３のステップＳ２７で実行される。

前記第５の実施形態と同様に、まず、統合処理部１０４は、要素行動を判定するための時間Ｔｗを設定する（ステップＳ８１）。この判定時間ＴｗはＦフレームの時間以上であり、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、行動認識部１０３から判定時間Ｔｗの全フレームの要素行動をこれらの確信度Ｐと共に取得し、図示せぬワークメモリに保持する（ステップＳ８２）。ここで、第６の実施形態において、統合処理部１０４は、予め要素行動の判定基準として設定された閾値Ｔｈｒｅを有する。この閾値Ｔｈｒｅは、作業場４０１の環境や作業内容などに応じて任意に設定される。

統合処理部１０４は、前記ワークメモリをサーチし、判定時間Ｔｗの中で閾値Ｔｈｒｅより大きく、かつ、最大の確信度Ｐを有する要素行動の数をカウントする（ステップＳ８３）。このカウント値は、判定時間Ｔｗの間に閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる要素行動の頻度を表している。

統合処理部１０４は、カウント値が最多の要素行動つまり判定時間Ｔｗの間に閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる頻度が最多の要素行動を選択する（ステップＳ８４）。統合処理部１０４は、この選択された要素行動を対象作業行動として判定し（ステップＳ８５）、その対象作業行動の開始時間と持続時間を算出する（ステップＳ８６）。

このようにして、統合処理部１０４は、判定時間Ｔｗの全フレームに対して同様の処理を繰り返し、閾値Ｔｈｒｅより大きく、確信度Ｐが最大になる頻度が最多の要素行動を対象作業行動として判定し、その要素行動を含むフレームを基準にして当該要素行動の開始時間と持続時間を算出する（ステップＳ８７）。

このように第６の実施形態によれば、要素行動の確信度Ｐに対する閾値Ｔｈｒｅを条件に加えることで、例えばノイズの多い作業環境において、前記第５の実施形態よりも作業者の一連の行動をより正確に認識することができる。

（各実施形態の組み合わせ）
上述した各実施形態で説明した手法は、作業環境などに応じて適宜切り替えて使用することができる。この場合、行動認識装置１００に全実施形態に対応した各機能を組み込んでおき、状況に応じて選択できるようにしておくことでも良い。「状況に応じて」とは、例えば、工場などでラインの製造物が変わることなどが含まれる。
各機能の切り替え方法としては、例えば監視者が行動認識装置１００に備えられた図示せぬモードスイッチを操作して各機能を切り替えても良い。また、例えば照明光による影響、人混みによる影響など、映像にノイズが入りやすい環境を検知するセンサを用い、そのセンサの信号に基づいて各機能を切り替えることでも良い。

なお、前記各実施形態は、以下のような使い分けができる。
・行動認識の確信度が低くても、認識結果を出力する必要がある場合。つまり、要素行動の開始時間、持続時間をより細かい時間単位（例えば１／３０秒）で出力したい場合に第１実施形態を採用する。
・細かい時間単位で確実に認識結果を出力したい場合に第２の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗの時間単位で確信度Ｐの最大値を重視して認識結果を出力したい場合に第３の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗの時間単位で確信度Ｐの最大値を重視して、第３の実施形態よりも的確な認識結果を出力したい場合に第４の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗ内で確信度Ｐの最大値が発生する頻度を重視して認識結果を出力する場合に第５の実施形態を採用する。
・細かい時間単位で認識結果を出力する必要がなく、判定時間Ｔｗ内で確信度Ｐの最大値が発生する頻度を重視して、第５の実施形態よりも的確な認識結果を出力したい場合に第６の実施形態を採用する。

（システム構成）
図２０は上述した行動認識装置１００を用いた行動認識システムの一例を示す図である。

行動認識装置１００は、情報処理装置３０１の中に組み込まれている。情報処理装置３０１は、作業場２０１の中に設置されていても良いし、作業場２０１以外の場所に設置されていても良い。作業場２０１には動画撮影可能なカメラ２０３が設置されており、作業場２０１で作業中の作業者２０２を撮影する。カメラ２０３で撮影された映像（動画）は、有線あるいは無線で情報処理装置３０１に送られ、Ｉ／Ｆ（インターフェイス）３０２を介して行動認識装置１００に与えられる。

行動認識装置１００は、上述した第１乃至第６の実施形態で説明した手法により作業者２０２の作業行動を認識する。情報処理装置３０１は、行動認識装置１００の認識結果を例えば図示せぬ表示装置に所定の形式で表示する。さらに、情報処理装置３０１は、行動認識装置１００の認識結果をインターネット等の通信ネットワーク３０３を介して外部の監視装置３０４に送ることでも良い。

（カメラのハードウェア構成）
図２１はカメラ２０３のハードウェア構成の一例を示す図である。

被写体光は、撮影光学系１を通してＣＣＤ（Charge Coupled Device）３に入射される。撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータドライバ６より駆動される。

ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。

画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報をＬＣＤ(Liquid Crystal Display)１６に表示する。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路１３を介してメモリカード１４に記録される。圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力するとともに、メモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。

また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ９によってタイミングが制御されている。さらに、画像処理回路８、圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。

カメラ２０３には、プログラムに従って各種演算処理を行うＣＰＵ９が備えられている。また、カメラ２０３には、プログラムなどを格納したＲＯＭ１１及び各種の処理過程で利用するワークエリア、各種データを格納するＲＡＭ１０などを備え、これらがバスラインによって相互接続されている。

（行動認識装置のハードウェア構成）
図２２は行動認識装置１００のハードウェア構成の一例を示す図である。

行動認識装置１００は、ＣＰＵ２１、不揮発性メモリ２２、主メモリ２３、通信デバイス２４等を備える。

ＣＰＵ２１は、行動認識装置１００内の様々なコンポーネントの動作を制御するハードウェアプロセッサである。ＣＰＵ２１は、ストレージデバイスである不揮発性メモリ２２から主メモリ２３にロードされる様々なプログラムを実行する。

ＣＰＵ２１によって実行されるプログラムには、オペレーティングシステム（ＯＳ）の他に、図１２乃至図１９のフローチャートに示した各種処理を実行するためのプログラム（以下、行動認識処理プログラムと称す）等が含まれる。また、ＣＰＵ２１は、例えばハードウェア制御のためのプログラムである基本入出力システム（ＢＩＯＳ）等も実行する。

図１に示した画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、辞書作成部１０５、統合処理部１０４、認識結果出力部１０６の一部または全ては、ＣＰＵ２１（コンピュータ）に行動認識処理プログラムを実行させることで実現される。

この行動認識処理プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布されても良いし、またはネットワークを通じて行動認識装置１００にダウンロードされても良い。

ＣＰＵ２１は、この行動認識プログラムを読み込みことで、前記各実施形態のそれぞれに対応した各種処理を実行する。例えば、ＣＰＵ２１は、Ｆフレームの時空間画像データから抽出された各特徴点をＫ種類の要素行動に分類して、それぞれにヒストグラムＴ（ｋ）を作成する。ＣＰＵ２１は、各特徴点のヒストグラムＴ（ｋ）と行動認識辞書１０５ａに登録された各特徴点のヒストグラムＨ（ｋ）との類似度Ｓ（Ｔｓ，Ｈ）を求め、この類似度Ｓ（Ｔｓ，Ｈ）を各要素行動の確信度Ｐとして算出する。ＣＰＵ２１は、各要素行動の確信度Ｐを統合処理して、作業者２０２の一連の行動を時系列順に区分けして判定し、それぞれの行動の開始時間と持続時間を認識結果として出力する。

なお、図１に示した画像取得部１０１、時空間特徴抽出部１０２、行動認識部１０３、辞書作成部１０５、統合処理部１０４、認識結果出力部１０６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、当該ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。通信デバイス２４は、例えば有線または無線による外部の装置との通信を実行するように構成されたデバイスである。

以上のように少なくとも１つの実施形態によれば、作業者が作業しているときの一連の行動を高精度に認識することができる。特に、各フレーム画像の特徴的変化から抽出された各要素行動の確信度を所定時間単位で比較して作業者の作業行動を判定するといった手法により、例えば複数の要素行動が時間的に重なるような状況であっても、最も確からしい要素行動を認識結果として出力することができる。これに対し、例えば各フレーム画像で人物の重心軌跡を追うような手法では、複数の要素行動が時間的に重なるような状況で作業者の作業行動を正しく認識することはできない。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…行動認識装置、１０１…画像取得部、１０２…時空間特徴抽出部、１０３…行動認識部、１０４…統合処理部、１０４ａ…行動判定部、１０４ｂ…行動時間算出部、１０５…辞書作成部、１０５ａ…行動認識辞書、１０６…認識結果出力部、２０１…作業場、２０２…作業者、２０３…カメラ、２０４…箱、３０１…情報処理装置、３０２…Ｉ／Ｆ、３０３…通信ネットワーク、３０４…監視装置、２１…ＣＰＵ、２２…不揮発性メモリ、２３…主メモリ、２４…通信デバイス。

特開２０１１−１００１７５号公報

Claims

作業者を撮影した映像から予め監視対象として定められた標準作業を認識する行動認識装置であって、
前記映像に含まれる複数のフレーム画像を取得する画像取得手段と、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する行動認識手段と、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する行動判定手段と
を具備した行動認識装置。
前記行動判定手段は、前記各要素行動の中から前記作業者の作業行動を時系列で判定する請求項１記載の行動認識装置。
前記作業者の作業行動として判定された要素行動の開始時間と持続時間を算出する行動時間算出手段をさらに具備した請求項１または２に記載の行動認識装置。
前記行動判定手段は、
前記各要素行動の確信度をフレーム単位で比較し、確信度が高い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
前記行動判定手段は、
前記各要素行動の確信度を一定の時間間隔で比較し、確信度が高い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
前記行動判定手段は、
前記各要素行動の確信度を一定の時間間隔で比較し、確信度が高い要素行動の頻度が多い要素行動を前記作業者の作業行動として判定する請求項１または２に記載の行動認識装置。
前記行動判定手段は、
予め判定基準として設定された閾値よりも高い確信度を有する要素行動を条件にして前記作業者の作業行動を判定する請求項４乃至６のいずれか１つに記載の行動認識装置。
作業者を撮影した映像から予め監視対象として定められた標準作業を認識する行動認識方法であって、
前記映像に含まれる複数のフレーム画像を取得するステップと、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出するステップと、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定するステップと
を有する行動認識方法。
作業者を撮影した映像から予め監視対象として定められた標準作業を認識するためのプログラムであって、
コンピュータを、
前記映像に含まれる複数のフレーム画像を取得する画像取得手段、
前記各フレーム画像の特徴的な変化から前記標準作業に含まれる複数の要素行動を認識するとともに、これらの要素行動の確信度を算出する行動認識手段、
前記各要素行動の確信度を統合処理し、前記各要素行動の中から前記作業者の作業行動を判定する行動判定手段
として機能させるためのプログラム。