JP2019175268A - 行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体 - Google Patents

Abstract

【課題】作業現場で作業者の多様な姿勢変化に対応して標準作業の所用時間を自動的に計測する。【解決手段】実施形態に係る行動認識装置は、現場を撮影することで得られた動画から作業者の標準作業を認識する行動認識装置であって、前記現場の動画を入力する動画入力部と、入力した前記動画に含まれる前記作業者の前記標準作業を構成する１つ以上の要素行動を認識する要素行動認識部と、認識された前記１つ以上の要素行動から前記標準作業の開始時間と所要時間とを特定する標準作業認識処理部とを備える。【選択図】図８

Description

本発明は、行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体に関する。

オフィスや工場などの職場において、作業者の行動を可視化し、職場の生産効率を改善することは重要な課題である。そのため、職場をカメラで動画撮影し、得られた動画を分析することで、作業者による特定の標準的な作業（以下、標準作業という）の行動を認識し、分析する手段は有効である。

ただし、カメラで撮影した職場動画を目視で解析し、決まった一定の手順で行う標準作業の行動を抽出し、各動作の時間を測定し、そして、それらを可視化するには、膨大な解析時間と労力が必要である。そこで従来では、人間の行動を自動認識するために、撮影した動画から人を認識し、認識した人の重心から人の移動軌跡を求め、移動軌跡から特定の行動を認識する方法が提案されている。

しかしながら、職場では、作業者が特定な行動を行うときの作業姿勢は多様であり、いろいろな姿勢変化した人の認識は困難である。また、人認識の誤差は人が移動する軌跡の検知結果に大きく影響を及ぼす。その結果、人の動きの軌跡に基づいた特定行動の認識には大きな誤差が発生する。そのため、特定行動の開始時間と所要時間とを正確に測定するのは不可能である。このように従来では、作業者が標準作業を行うにあたって、作業者が物を運んだり、物を操作したりする場合、作業者の動きだけでは、標準作業の行動を認識できないという問題があった。

本発明は、上記に鑑みてなされたものであって、作業現場で作業者の多様な姿勢変化に対応して標準作業の所用時間を自動的に計測することを可能にする行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る行動認識装置は、現場を撮影することで得られた動画から作業者の標準作業を認識する行動認識装置であって、前記現場の動画を入力する動画入力部と、入力した前記動画に含まれる前記作業者の前記標準作業を構成する１つ以上の要素行動を認識する要素行動認識部と、認識された前記１つ以上の要素行動から前記標準作業の開始時間と所要時間とを特定する標準作業認識処理部とを備える。

本発明によれば、作業現場で作業者の多様な姿勢変化に対応して標準作業の所用時間を自動的に計測することを可能にする行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体を実現することができる。

図１は、本発明の一実施形態に係る行動認識装置の概略構成例を示すブロック図である。 図２は、職場において撮影された作業者の標準作業の例を示す図である。 図３は、本発明の一実施形態に係る標準作業の内容を記載する標準作業書の内容を示す図である。 図４は、対象商品を入れた箱を仮置きする標準作業の要素行動を示す図である。 図５は、作業者が腰を曲げたままで対象商品を入れた箱から対象商品４４を探して取り出す標準作業の要素行動を示す図である。 図６は、取り出した対象商品を商品棚に入れる標準作業の要素行動を示す図である。 図７は、図３に例示した標準作業およびその要素行動の所要時間の例を示す図である。 図８は、本発明の一実施形態に係る行動認識処理部の概略構成例を示すブロック図である。 図９は、本発明の一実施形態に係る行動認識処理の一例を示すフローチャートである。 図１０は、本発明の一実施形態において職場撮影・動画入力部に入力される時系列の画像フレームの例を示す図である。 図１１は、本発明の一実施形態に係る特徴点検知方法を説明するための図である。 図１２は、図２に示す時空間データから抽出した特徴点の例を示す図である。 図１３は、図２に示す要素行動から所定時間経過後の時間での特徴点の例を示す図である。 図１４は、本発明の一実施形態に係る歩行行動の認識処理を説明するための図である。 図１５は、本発明の一実施形態に係る要素行動認識処理でエラーが発生した際の動作を説明するための図である。 図１６は、本発明の一実施形態において３つの要素行動のうち１つの要素行動しか認識されなかった場合の全体行動の開始時間と所用時間とを説明するための図である。 図１７は、本発明の一実施形態において３つの要素行動のうち連続する２つの要素行動が認識された場合の全体行動の開始時間と所用時間とを説明するための図である。 図１８は、本発明の一実施形態において３つの要素行動のうち不連続の２つの要素行動が認識された場合の全体行動の開始時間と所用時間とを説明するための図である。 図１９は、本発明の一実施形態において全ての要素行動が認識された場合の全体行動の開始時間と所用時間とを説明するための図である。 図２０は、本発明の一実施形態に係る要素行動認識辞書を作成する動作の一例を示すフローチャートである。 図２１は、本発明の一実施形態に係るカメラのハードウェア構成例を示すブロック図である。

以下に添付図面を参照して、行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体の実施形態を詳細に説明する。以下で説明するように、本実施形態では、カメラにより職場を撮影し、撮影した動画から、職場における作業者が行う標準作業の要素行動を自動認識し、要素行動から標準作業の行動を認識し、標準作業の時間を自動計測する。職場作業者の行動は多様であり、標準作業の行動がいろいろな姿勢がある。そこで、本実施形態では、標準作業の行動を複数の要素行動に分解し、別々に認識することで、作業現場で作業者の多様な姿勢変化を対応し、標準作業の所用時間を自動的に計測することを可能にしている。なお、以下の説明において、「動画」には、「動画像（映像ともいう）データ」のみならず、「複数の連続した静止画で構成された画像データ」も含まれるものとする。この「複数の連続した静止画で構成された画像データ」には、たとえば、所定の周期で撮影を実行することで得られた複数の連続した静止画で構成された画像データも含まれ得る。

図１は、本発明の一実施形態に係る行動認識装置の概略構成例を示すブロック図である。図１に示すように、行動認識装置は、カメラ２０と、認識処理装置１０とを備える。

カメラ２０は、例えばビデオカメラなどの動画像を撮影可能な撮影手段であり、職場に設置されて、職場作業者の作業を撮影し、得られた動画を認識処理装置１０へ入力する。職場入力動画の例を図２に示す。図２は、職場において撮影された作業者の標準作業の例を示している。標準作業の内容が標準作業書に記載されている。図２に示されている標準作業内容の一例を、図３に例示する標準作業書を用いて説明する。ここでは、商品を商品棚に入れる標準作業の例を示す。図３は、本実施形態に係る標準作業の内容を記載する標準作業書の内容を示す図である。商品を商品棚に入れる標準作業には、以下のｓ１〜ｓ３の３つの要素行動がある。それぞれの標準作業は、決められた時間内に完了する必要がある。
ｓ１：対象商品を入れた箱を仮置きする。
ｓ２：箱から対象商品を探して取り出す。
ｓ３：対象商品を商品棚に入れる。

ただし、作業者の姿勢変化の多い行動をそのまま認識する方法では、職場の標準作業を特定することが困難な場合がある。そこで本実施形態では、標準作業を図４〜図６に示すような要素行動に分解して、別々に認識する。図４〜図６は、商品を商品棚に入れる標準作業を複数の要素行動に分解した例を示す図である。図４〜図６において、符号２０はカメラを示し、符号４２は作業者を示し、符号４３は箱を示し、符号４４は対象商品を示す。また、図４は、対象商品４４を入れた箱４３を仮置きする標準作業の要素行動（ｓ１）を示す。図５は、作業者４２が腰を曲げたままで対象商品４４を入れた箱４３から対象商品４４を探して取り出す標準作業の要素行動（ｓ２）を示す。図６は、取り出した対象商品４４を商品棚に入れる標準作業の要素行動（ｓ３）を示す。

図７は、図３に例示した標準作業およびその要素行動の所要時間の例を示す図である。要素行動ｓ１の時間はｔ１とする。要素行動ｓ２の所要時間はｔ２、要素行動ｓ３の所要時間はｔ３である。したがって、標準作業全体の所要時間は、ｔ１、ｔ２、ｔ３の合計の所要時間ｔ１＋ｔ２＋ｔ３となる。

また、図１に示す認識処理装置１０は、インタフェース部１１と、行動認識処理部１２とを備える。インタフェース部１１は、カメラ２０で取得された動画を入力し、行動認識処理部１２へ出力する。行動認識処理部１２は、本実施形態に係る行動認識処理を実行する。図８は、本実施形態に係る行動認識処理部の概略構成例を示すブロック図である。図８に示すように、図１に示すように、本実施形態に係る認識処理装置１０は、職場撮影・動画入力部１０１と、時空間特徴点抽出部１０２と、要素行動認識部１０３と、標準作業認識処理部１０４と、要素行動認識辞書入力部１０５と、標準作業認識結果出力部１０６とを備える。

ここで、本実施形態に係る行動認識処理部１２の動作を、図８に示したブロック図、及び、図９〜図１６を用いて詳細に説明する。なお、図９は、カメラ２０で取得された動画に対して実行される行動認識処理の一例を示すフローチャートである。

図８及び図９に示すように、本動作では、まず、職場撮影・動画入力部１０１は、カメラ２０から入力した動画をインタフェース部１１を介して入力する（ステップＳ１０１）。図１０に、職場撮影・動画入力部１０１に入力される時系列の画像フレームの例を示す。図１０において、入力した画像フレームの横軸ｘ、縦軸ｙは空間座標である。Ｆ１、Ｆ２，…は、時間軸ｔｉｍｅに沿った時系列の画像フレームを示している。つまり、入力した画像フレームは、図１１に示すような、時空間（ｘ，ｙ，ｔ）で表される画像データ（以下、時空間画像データという）になる。時空間の一つの画素Ｉ（ｘ，ｙ，ｔ）は空間座標（ｘ，ｙ）と時間ｔの関数である。

次に、職場標準作業を認識するために、要素行動を認識する動作が実行される。具体的には、時空間特徴点抽出部１０２が、入力された動画から画像フレームをＮ個ずつ切り出し、このＮ個ずつ切り出された画像フレームに対して、時空間における特徴点（時空間特徴点ともいう）を抽出する処理を実行する（ステップＳ１０２）。そこで、ステップＳ１０２では、まず、図３及び図４〜図６に例示したような要素行動が定義される。例えば、商品を商品棚に入れる標準作業を図３の標準作業書に記載されたように標準作業を３つの要素行動で分解し、定義する。つまり、対象商品４４を入れた箱４３を仮置きする標準作業の要素行動（ｓ１）、作業者４２が腰を曲げたままで対象商品４４を入れた箱４３から対象商品４４を探して取り出す標準作業の要素行動（ｓ２）、取り出した対象商品４４を商品棚に入れる標準作業の要素行動（ｓ３）を定義する。標準作業を認識しやすく分解する要素行動の数を決める。上記の例では、標準作業を３つの要素行動に分解したが、その他標準作業では、異なる数の要素行動に分割しても良い。それぞれの要素行動に対して、行動認識を行う。そのため、異なる数の要素行動認識辞書を用意する必要がある。

つづいて、ステップＳ１０２では、時空間特徴点抽出部１０２が、定義した要素行動を認識する。職場の作業者が動くと、図１１に示す時空間画像データで変化点が発生する。時空間特徴点抽出部１０２は、時空間画像データにおける変化点、つまり時空間の特徴点を見つけることで、要素行動を認識する。

ここで、本実施形態に係る特徴点検知方法を説明する。本動作では、図１１に示すように、Ｎ個の画像フレームよりなる時空間の画像データである時空間画像データがブロックに分割される。図１１における大きい立方体は、時空間画像データ全体を示す。図１１において、横軸は空間座標ｘを示し、縦軸はｙを示している。また、それぞれの単位は画素であり、ｔは時間軸を示している。例えば時系列画像データは、３０フレーム／秒のレートで入力された画像データで構成されている。時間軸ｔｉｍｅ方向は、画像フレームの時系列軸である。時間軸ｔｉｍｅの値を画像フレームで換算することで、実際の時間を求めることができる。

図１１に示す例では、時空間画像データがサイズ（Ｍ，Ｎ，Ｔ）のブロックに分割される。１ブロックのサイズは、横Ｍ画素、縦Ｎ画素、Ｔフレームになる。図１１における１つのマスが１つのブロックを示している。作業者の動きがある行動を発生するとき、動きのある時空間画像データでは、対応するブロックの特徴量が大きくなる。つまり、時空間に大きな変化量が発生する。

つづいて、ステップＳ１０２において、変化量の大きいブロックを特徴点として抽出する方法を説明する。時空間特徴点抽出部１０２は、時空間画像データから特徴点を抽出するにあたり、まず、空間方向、すなわち（ｘ，ｙ）方向でノイズを除去するための平滑化処理を行う。この平滑処理では、次の式（１）が用いられる。

式（１）において、Ｉ（ｘ，ｙ，ｔ）は、時間ｔのフレームにおける（ｘ，ｙ）座標の画素の画素値である。また、ｇ（ｘ，ｙ）は、平滑処理ためのカーネルである。＊は畳込み処理である。平滑処理は、単純に画素平均処理であってもよいし、既存のガウシアン平滑化フィルタ処理であってもよい。

次に、ステップＳ１０２において、時空間特徴点抽出部１０２は、時間軸でフィルタリング処理を行う。このフィルタリング処理では、以下の式（２）を用いたＧａｂｏｒフィルタリング処理が実行される。ここで、ｇ_ｅｖとｇ_ｏｄとは、後述する式（３）と式（４）とが示すＧａｂｏｒフィルタのカーネルである。また、＊は畳込み処理である。τとωとはＧａｂｏｒフィルタのカーネルのパラメータである。

以上のようなフィルタリング処理を図１０に示す時空間画像データの全画素に対して実行すると、時空間特徴点抽出部１０２は、ステップＳ１０２において、図１１に示す分割したブロック内のＲ（ｘ，ｙ，ｔ）の平均値を求める。この平均値算出処理では、例えば、以下の式（５）を用いることで、時空間座標（ｘ，ｙ，ｔ）にあるブロックの平均値が求められる。

そして、時空間特徴点抽出部１０２は、以下の式（６）に示すように、ブロック内の平均値Ｍ（ｘ，ｙ，ｔ）が一定の閾値Ｔｈｒｅ＿Ｍより大きい場合、このブロックを特徴点とする。

図１２は図２の職場の商品を商品棚に入れる標準作業の要素行動（ｓ１）を示す時空間データから抽出した時間ｔの特徴点の例を示す図である。図１２に示すように、動きのある部分に特徴点が抽出されている。また、図１３は、図２に示す要素行動（ｓ１）から所定時間Δｔ経過後の時間ｔ＋Δｔでの特徴点の例を示す図である。

つづいて、以上のようにして時空間画像データから抽出した特徴点の記述方法を説明する。図１１に示す時空間画像データから特徴点ブロックを抽出した場合、時空間特徴点抽出部１０２は、この特徴点ブロック内の画素の時空間エッジ情報Ｅ（ｘ，ｙ，ｔ）を求める。この時空間エッジ情報の算出では、以下の式（７）に示す微分演算を実行することで、画素Ｉ（ｘ，ｙ，ｔ）のエッジ情報が求められる。

その結果、図１１に示す時空間画像データでは、１ブロックにＭ×Ｎ×Ｔの画素があるので、Ｍ×Ｎ×Ｔ×３の微分値が得られる。そこで、時空間特徴点抽出部１０２は、このブロックをＭ×Ｎ×Ｔ×３個の微分値のベクトルで記述する。つまり、特徴点をＭ×Ｎ×Ｔ×３次元の微分ベクトルで記述する。

次に、要素行動認識処理の実行に先だって、要素行動認識部１０３が、要素行動認識ヒストグラムを作成する（ステップＳ１０３）。この要素行動認識ヒストグラムの作成では、まず、要素行動認識辞書入力部１０５が要素行動認識辞書を取得し、この取得した要素行動認識辞書を要素行動認識部１０３へ入力する。なお、要素行動認識辞書の作成動作については、後述において図２０を用いて説明する。つづいて、要素行動認識部１０３は、各特徴点ブロックのＭ×Ｎ×Ｔ×３次元微分ベクトルと、要素行動認識辞書におけるＫ個の平均ベクトルＶｋとの距離を計算し、各特徴点ブロックの種類を最も近い学習平均ベクトルのブロックと同じ種類とする。その結果、特徴点ブロックがＫ種類のブロックに分類される。そして、ステップＳ１０３において、要素行動認識部１０３は、それぞれの種類の出現頻度でテスト動画の特徴点ヒストグラムＴ（ｋ）を求める。

次に、ステップＳ１０３において、要素行動認識部１０３は、テスト動画の特徴点ヒストグラムＴ（ｋ）と学習データの学習ヒストグラムＨ（ｋ）との類似度Ｓ（Ｔ，Ｈ）を以下の式（８）を用いて求める。

そして、要素行動認識部１０３は、以下の式（９）に示すように、テスト動画の特徴点ヒストグラムＴ（ｋ）と学習データの学習ヒストグラムＨ（ｋ）との類似度Ｓ（Ｔ，Ｈ）が一定の閾値Ｔｈｒｅ＿Ｓより大きい場合、テスト動画が学習データと同じ要素行動であると認識する要素行動認識処理を実行する（ステップＳ１０４）。

次に、標準作業認識処理部１０４が、標準作業認識処理を実行する（ステップＳ１０５）。標準作業認識処理では、標準作業認識処理部１０４は、ステップＳ１０４で認識した要素行動に該当する職場行動が認識される。例えば、図２に例示したような、標準作業の場合では、後述において図１５を用いて例示する動作にて標準作業認識結果が求められる。そして、このようにして求められた標準作業認識結果は、標準作業認識結果出力部１０６から出力され（ステップＳ１０６）、本動作が終了する。

次に、図９のステップＳ１０４に示す要素行動認識処理でエラーが発生した場合、すなわち、要素行動が認識されなかった場合の動作について説明する。図１５は、図９のステップＳ１０４に示す要素行動認識処理でエラーが発生した際の動作を説明するための図である。

図１５に示すように、まず、本動作では、まず、図９のステップＳ１０４と同様に、要素行動認識処理が実行される（ステップＳ１０４）。そして、要素行動認識処理の結果を用いて、標準作業の要素行動を探知する要素行動探知が実行される（Ｓ１１１）。標準作業の要素行動が未検知の場合（Ｓ１１１のＮＯ）、要素行動認識処理でエラーが発生した場合、標準作業とは別の行動を認識する別要素行動認識処理が実行される（Ｓ１１３）。別要素行動認識処理では、例えば、図１４に示す歩行行動の認識処理が実行される。そして、例えば歩行処理行動が検知された場合（ステップＳ１１４のＹＥＳ）、標準作業の要素行動認識を終了し、標準作業の認識結果を出力する（Ｓ１１６）。

また、歩行行動以外にその他標準作業の要素行動が認識対象とされた場合、その他要素行動の認識処理も行う（Ｓ１１４）。同じように別の行動が認識されたら（Ｓ１１４のＹＥＳ）、標準作業の要素行動認識を終了し、標準作業の認識結果を出力する（Ｓ１１６）。

一方、その他要素行動が認識されない場合（Ｓ１１４のＮＯ）、要素行動認識処理（Ｓ１０４）で認識された要素行動の間隔Ｔと予め定めておいた時間閾値Ｔｈｒｅ＿ｔｉｍｅとを比較し（Ｓ１１５）、その結果に基づいて、要素行動認識処理（Ｓ１０４）又は標準作業認識結果出力（Ｓ１１６）を実行する。

ここで、ステップＳ１１５の動作を、図１６〜図１９に示す認識された標準作業及びその要素行動の所要時間の例を用いて説明する。例えば、図１６に示すように、要素行動ｓ１〜ｓ３のうちの１つの要素行動ｓ３しか認識されなかった場合、全体行動の開始時間をｓ３の開始時間とし、全体行動の所用時間をｓ３の所要時間ｔ３とする。

一方、図１７に示すように、連続する２つの要素行動ｓ２及びｓ３が認識された場合、一番早い要素行動ｓ２の開始時間を全体行動の開始時間とし、一番遅い要素行動ｓ３の終了時間を全体行動の終了時間とし、全体行動の所要時間をｓ２とｓ３との合計の所要時間ｔ２＋ｔ３とする。

また、図１８に示すように、不連続の２つの要素行動ｓ１及びｓ３が認識された場合であって、先頭の要素行動ｓ１と最後の要素行動ｓ３との間隔Ｔが予め設定しておいた時間閾値Ｔｈｒｅ＿ｔｉｍｅより短い場合（Ｓ１１５のＹＥＳ）、要素行動ｓ１及びｓ３を同一の行動とし、全体行動の開始時間を要素行動ｓ１の開始時間とし、全体行動の終了時間を要素行動ｓ３の終了時間とする。そして、全体行動の所要時間を要素行動ｓ１の開始時間と要素行動ｓ３の終了時間とから計算する。

ただし、不連続の２つの要素行動ｓ１及びｓ３が認識された場合であって、先頭の要素行動ｓ１と最後の要素行動ｓ３との間隔Ｔが時間閾値Ｔｈｒｅ＿ｔｉｍｅ以上の場合（Ｓ１１５のＮＯ）、要素行動ｓ１及びｓ３は同じ種類の行動とするが、行動自体は異なる行動として、それぞれの開始時間と所要時間を別々に計上する。

また、図１９に示すように、３つの要素行動ｓ１、ｓ２及びｓ３の全てが認識された場合、要素行動ｓ１の開始時間を腰曲げ行動の開始時間とし、全体行動の所要時間を３つ要素行動ｓ１〜ｓ３の合計の所要時間ｔ１＋ｔ２＋ｔ３とする。

そして、図１５のＳ１１６に示すように、以上のようにして特定された全体行動の開始時間と全体行動の所用時間とが、標準作業認識結果として出力される。

次に、要素行動認識辞書の作成動作を、図２０を用いて詳細に説明する。図２０は、要素行動の動画サンプルを学習データとして使用して要素行動認識辞書を作成する動作の一例を示すフローチャートである。

図２０に示すように、要素行動認識辞書を作成する動作では、要素行動認識辞書入力部１０５が要素行動の動画サンプルを集め、これを職場学習用の動画データ（以下、職場学習動画という）として入力する（ステップＳ２０１）。

つぎに、要素行動認識辞書入力部１０５は、入力された職場学習動画のうち、要素行動を含むＮ個の画像フレームを１つの学習データとし、この学習データから時空間特徴点を抽出する（ステップＳ２０２）。なお、時空間特徴点の抽出方法は、上述において図９のステップＳ１０２を用いて説明した方法と同様であってよい。また、ステップＳ２０２では、入力された職場学習動画から複数の学習データが生成され、生成された複数の学習データそれぞれに対して時空間特徴点が抽出される。そして、抽出されたそれぞれの時空間特徴点を式（７）で微分処理することで、Ｍ×Ｎ×Ｔ×３次元の微分ベクトルが求められる。

つぎに、要素行動認識辞書入力部１０５は、ステップＳ２０２で全部の学習データから抽出した時空間特徴点を分類（クラスタリング）する（ステップＳ２０３）。要素行動認識辞書入力部１０５は、たとえば、Ｋ−ｍｅａｎｓのクラスタリング方法を用いて、学習した時空間特徴点を分類する。つまり、Ｍ×Ｎ×Ｔ×３次元の微分ベクトルをＫ−ｍｅａｎｓのクラスタリング方法で分類する。分類したクラスの数をＫとする。これにより、学習データから抽出した特徴点がＫ種類の特徴点に分類される。なお、Ｋ−ｍｅａｎｓのクラスタリング方法では、同じ種類の特徴点は似ている特徴を持っている。

次に、要素行動認識辞書入力部１０５は、Ｋ種類の時空間特徴点について、同じ種類の特徴点のＭ×Ｎ×Ｔ×３次元のエッジベクトルを平均し、Ｋ個の平均ベクトルＶｋを求める（ステップＳ２０４）。各平均ベクトルＶｋは、その種類の特徴点を代表するベクトルである。

次に、要素行動認識辞書入力部１０５は、Ｋ種類の時空間特徴点について、各グループのブロック合計数を計算し、学習ヒストグラムＨ（ｋ）を求める（ステップＳ２０５）。Ｈ（ｋ）は、特徴点ｋグループの頻度である。

そして、要素行動認識辞書入力部１０５は、学習データから求めた平均ベクトルＶｋと学習ヒストグラムＨ（ｋ）とを要素行動認識辞書データとした要素行動認識辞書を作成する（ステップＳ２０６）。なお、作成された要素行動認識辞書は、要素行動認識部１０３（図８参照）に入力される。

つぎに、本実施形態に係るカメラ２０（図１参照）について説明する。図２１は、本実施形態に係るカメラのハードウェア構成例を示すブロック図である。図２１に示すように、図２１に示すように、被写体光は、撮影光学系２０１を通してＣＣＤ（Charge Coupled Device）２０３に入射する。なお、撮影光学系２０１とＣＣＤ２０３との間には、入射光を通過／遮断するメカシャッタ２０２が配置されている。撮影光学系２０１及びメカシャッタ２０２は、モータドライバ２０６より駆動される。

ＣＣＤ２０３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ２０３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路２０４によりノイズ成分を除去され、Ａ／Ｄ変換器２０５によりデジタル値に変換された後、画像処理回路２０８に対して出力される。

画像処理回路２０８は、画像データを一時格納するＳＤＲＡＭ（Synchronous DRAM）２１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路２０８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ２１６（以下、ＬＣＤ１６と略記する）に表示する。

また、信号処理、画像処理が施された画像情報は、圧縮伸張部２１３を介して、メモリカード２１４に記録される。上記圧縮伸張部２１３は、操作部２１５から取得した指示によって、画像処理回路２０８から出力される画像情報を圧縮してメモリカード２１４に出力すると共に、メモリカード２１４から読み出した画像情報を伸張して画像処理回路２０８に出力する回路である。

また、ＣＣＤ２０３、ＣＤＳ回路２０４及びＡ／Ｄ変換器２０５は、タイミング信号を発生するタイミング信号発生器２０７を介してＣＰＵ（Central Processing Unit）２０９によって、タイミングが制御されている。さらに、画像処理回路２０８、圧縮伸張部２１３、メモリカード２１４も、ＣＰＵ２０９によって制御されている。

撮像装置において、ＣＰＵ２０９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）２１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）２１０などを内蔵し、これらがバスラインによって相互接続されている。

そして、上記説明したカメラ２０の出力は、図１に示す認識処理装置１０のインタフェース部１１を介して行動認識処理部１２に入力される。

以上のように、本実施形態では、職場を撮影した動画から一定の手順がある作業者の標準作業を認識する。標準作業を複数の要素行動に分解し、要素行動認識により、標準作業を認識する。認識した標準作業の要素行動時間を計測し、標準作業全体の作業時間を計算する。複数枚画像フレームを入力し、これらの画像から時空間特徴点を抽出する。抽出した特徴点から標準作業の要素行動の特徴量を求め、標準作業の要素行動を認識する。認識した要素行動により職場作業者が行う標準作業の認識を行う。このような構成を備えることで、職場における作業者が行う標準作業の認識ができ、標準作業の作業時間を計測することが可能となる。その結果、作業現場で作業者の多様な姿勢変化に対応して標準作業の所用時間を自動的に計測することを可能にする行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体を実現することが可能となる。

なお、本実施形態の認識装置で実行される職場標準作業認識プログラムは、上述した職場標準作業認識機能を含むモジュール構成となっており、図１の認識処理装置１０の実際のハードウェアとしては、ＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、標準作業認識結果を出力する。要素行動認識辞書を入力し、評価式（８）の認識動画から得られた特徴点ヒストグラムＴ（ｋ）と学習ヒストグラムＨ（ｋ）との類似度を求め、要素行動認識処理を行う。要素行動の認識結果により、職場行動の開始時間と所要時間を求め、行動認識の結果を出力する。

本実施形態に係る行動認識装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

また、本実施形態に係る行動認識装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態に係る行動認識装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の〜装置で実行される〜プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態に係る行動認識装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
本実施形態に係る行動認識装置で実行されるプログラムは、上述した各部（職場撮影・動画入力部１０１、時空間特徴点抽出部１０２、要素行動認識部１０３、標準作業認識処理部１０４、要素行動認識辞書入力部１０５、標準作業認識結果出力部１０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、職場撮影・動画入力部１０１、時空間特徴点抽出部１０２、要素行動認識部１０３、標準作業認識処理部１０４、要素行動認識辞書入力部１０５、標準作業認識結果出力部１０６が主記憶装置上に生成されるようになっている。

１０ 認識処理装置
１１ インタフェース部
１２ 行動認識処理部
２０ カメラ
４２ 作業者
４３ 箱
４４ 対象商品
１０１ 職場撮影・動画入力部
１０２ 時空間特徴点抽出部
１０３ 要素行動認識部
１０４ 標準作業認識処理部
１０５ 要素行動認識辞書入力部
１０６ 標準作業認識結果出力部

特開２０１１−１００１７５号公報

Claims (14)

1. 現場を撮影することで得られた動画から作業者の標準作業を認識する行動認識装置であって、
   前記現場の動画を入力する動画入力部と、
   入力した前記動画に含まれる前記作業者の前記標準作業を構成する１つ以上の要素行動を認識する要素行動認識部と、
   認識された前記１つ以上の要素行動から前記標準作業の開始時間と所要時間とを特定する標準作業認識処理部と、
   を備える行動認識装置。
2. 入力した前記動画の時空間における１つ以上の特徴点を抽出する時空間特徴点抽出部をさらに備え、
   前記要素行動認識部は、前記時空間特徴点抽出部が抽出した前記１つ以上の特徴点を分類し、分類した前記１つ以上の特徴点の第１ヒストグラムと事前に学習しておいた第２ヒストグラムとの類似度を求め、求めた前記類似度が一定の閾値以上である場合、前記１つ以上の特徴点よりなる前記作業者の行動を要素行動と認識する
   請求項１に記載の行動認識装置。
3. 前記時空間特徴点抽出部は、前記動画をＭ×Ｎ×Ｔサイズのフロックに分割し、各ブロックを微分処理することで、Ｍ×Ｎ×Ｔ×３次元の微分ベクトルを計算し、計算した前記微分ベクトルと事前に学習してＫ種類に分類しておいたエッジベクトルとを比較し、当該比較の結果に基づいて前記微分ベクトルを分類し、当該分類の結果に基づいて前記第１ヒストグラムを作成する請求項２に記載の行動認識装置。
4. 前記時空間特徴点抽出部は、前記入力した動画を構成する画像フレームに対して時間軸でのフィルタリング処理を行い、前記フィルタリング処理の結果に基づいて前記１つ以上の特徴点を抽出する請求項３に記載の行動認識装置。
5. ｇ_ｅｖ及びｇ_ｏｄを、以下の式（１）及び式（２）で示されるＧａｂｏｒフィルタのカーネルとし、＊を畳込み処理とし、τ及びωを前記カーネルのパラメータとした場合、前記フィルタリング処理は、以下の式（３）を用いたＧａｂｏｒフィルタリング処理である
   請求項４に記載の行動認識装置。
6. 前記時空間特徴点抽出部は、前記フィルタリング処理の前に、各画像フレームに対して平滑化処理を実行する請求項４に記載の行動認識装置。
7. 前記要素行動認識部は、前記動画から要素行動が検知されない場合、前記標準作業の要素行動以外の特定の行動を検知し、
   前記標準作業認識処理部は、前記要素行動認識部が前記特定の行動を検知した場合、前記認識された１つ以上の要素行動から前記標準作業の前記開始時間と前記所要時間とを特定して出力する
   請求項１に記載の行動認識装置。
8. 前記標準作業認識処理部は、前記要素行動認識部により前記標準作業についての全ての要素行動が認識された場合、一番早い要素行動の開始時間を前記標準作業の開始時間とし、認識された前記全ての要素行動の合計の所要時間を前記標準作業の所要時間とする請求項１に記載の行動認識装置。
9. 前記標準作業認識処理部は、前記要素行動認識部により前記標準作業についての一部の連続する２つ以上の要素行動が認識された場合、一番早い要素行動の開始時間を前記標準作業の開始時間とし、認識された前記一部の連続する２つ以上の要素行動の合計の所要時間を前記標準作業の所要時間とする請求項１に記載の行動認識装置。
10. 前記標準作業認識処理部は、前記要素行動認識部により前記標準作業についての一部の不連続の２つ以上の要素行動が認識された場合であって先頭の要素行動と最後の要素行動との時間間隔が所定の時間閾値以上の場合、前記一部の不連続の２つ以上の要素行動をそれぞれ異なる行動とする請求項１に記載の行動認識装置。
11. 前記標準作業認識処理部は、前記要素行動認識部により前記標準作業についての一部の不連続の２つ以上の要素行動が認識された場合であって先頭の要素行動と最後の要素行動との時間間隔が所定の時間閾値よりも短い場合、前記一部の不連続の２つ以上の要素行動を同一の行動とし、前記先頭の要素行動の開始時間を前記標準作業の開始時間とし、前記一部の不連続の２つ以上の要素行動の合計の所要時間を前記標準作業の所要時間とする請求項１に記載の行動認識装置。
12. 現場を撮影することで得られた動画から作業者の標準作業を認識する行動認識方法であって、
    前記現場の動画を入力し、
    入力した前記動画に含まれる前記作業者の前記標準作業を構成する１つ以上の要素行動を認識し、
    認識された前記１つ以上の要素行動から前記標準作業の開始時間と所要時間とを特定する
    ことを備える行動認識方法。
13. 現場を撮影することで得られた動画から作業者の標準作業を認識するコンピュータを機能させるためのプログラムであって、
    前記現場の動画を入力するステップと、
    入力した前記動画に含まれる前記作業者の前記標準作業を構成する１つ以上の要素行動を認識するステップと、
    認識された前記１つ以上の要素行動から前記標準作業の開始時間と所要時間とを特定するステップと、
    を前記コンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。