JP2021082137A - 行動認識装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 映像のように誤検知が発生しやすい場合においても、対象物の行動が行動順序にしたがっていないときの作業の実施状況を精度良く検知することができる。【解決手段】 予め順序が定められた複数の定型行動から成る、対象物の行動を認識する行動認識装置であって、定型行動の順序と定型行動の性質を表す属性情報に基づき行動情報を定義する定義部と、行動情報から起こり得る行動順序を表すコンテキスト情報を生成するコンテキスト生成部とを備える。【選択図】 図１

Description

本発明は、時系列データから対象の行動を推定するための行動認識技術に関するものである。

これまで対象の状態を観測した時系列データから行動認識を行う技術が数多く開発されている。例えば、近年、深層学習を始めとする機械学習分野の発展により、行動を表す映像を事前に学習することで、映像から対象の行動を推定する技術が開発されている（例えば、非特許文献１）。

このような行動認識技術を産業用に応用することにより、異常行動の自動検知を行うような技術の開発が期待されている。例えば、工場等における、人手による製品の組み立てにおいて、作業者は複数の定型行動（以下、工場の例なので作業とも呼ぶ）から成る行動（以下、工場の例では工程とも呼ぶ）を繰り返すことにより製品を組み立てる。このとき、作業者は作業順序や作業内容等を記した作業標準書等で規定されている工程情報にしたがって作業を行わなければならないが、作業者の作業の実施状況を目視で監視することは多大な労力がかかる。そこで、映像を用いて作業抜けや作業順序の入れ替えといった不備を自動検知するような技術が望まれている。

例えば特許文献１は、工場における工程の作業毎の開始時刻と終了時刻を検知し、その検知状況と作業時間に基づき、作業抜けや作業順序の逆転といった異常を検知し、異常が検知された時刻と工程をタイミングチャートに表示する技術を提案している。

また、特許文献２のように、作業順序が予め規定された工程の場合、作業に応じて観測される時系列データとコンテキスト情報のシーケンスマッチングを行うことにより、作業順序を守ったか否かを判定する技術も知られている。ここで、コンテキスト情報とは、一般に、行動の順序を表現したモデルを総称し、例えば、有向グラフィカルモデルで表される状態遷移モデルや隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）等で与えられる。コンテキスト情報が、状態遷移モデルであれば、定型行動を状態、行動の順序を状態遷移に対応付けることで与えられる。

特許第４６７０４５５号公報 特開２０１９−５３５２７号公報

Joao Carreira, Andrew Zisserman. "Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset" In Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.4724-4733, 2017.

一般に、映像から対象の行動を検知しようとした場合、類似した定型行動や事前に学習していない定型行動等により誤検知が発生する。そのような誤検知を抑制し、行動の順序に従わなかった場合に行動の実施状況を精度良く検知する手段が必要である。

このため、特許文献１では、作業開始・作業終了の検知手段については、作業開始時・作業終了時に必ず発生するモノ又は人の行動を検知することにより行うことが好ましいとしている。本方法では作業順序にしたがって実施されたか否かに依らず検知精度の向上を狙っている。しかしながら、作業順序に従わなかった場合においても、起こり得る順序の変更を考慮した作業の検知精度の向上や誤検知の抑制に関する具体的な手段は記載されていない。起こり得る順序の変更を考慮していないため、十分な検知精度の向上や誤検知の抑制に課題が残ると考える。

特許文献２によれば、検知した作業にコンテキスト情報を当てはめることにより、誤検知を抑制できるため、作業順序にしたがわなかった箇所を精度良く検知することができている。しかしながら、規定された作業順序にしたがうコンテキスト情報の使用を想定しているため、作業順序にしたがわなかった場合の作業の実施状況を検知することは困難である。

本発明は、映像のように誤検知が発生しやすい場合においても、対象物の行動が行動順序にしたがっていないときの作業の実施状況を精度良く検知することができる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の行動認識装置は以下の構成を備える。すなわち、
予め順序が定められた複数の定型行動から成る、対象物の行動を認識する行動認識装置であって、
前記定型行動の順序と前記定型行動の性質を表す属性情報に基づき行動情報を定義する定義手段と、
前記行動情報から起こり得る行動順序を表すコンテキスト情報を生成するコンテキスト生成手段とを備える。

本発明によれば、映像のように誤検知が発生しやすい場合においても、対象物の行動が行動順序にしたがっていないときの作業の実施状況を精度良く検知することができる。

第１の実施形態の行動認識システムのブロック構成図。 工程情報に付与する属性を例示する図。 工程情報を例示する図。 コンテキスト生成処理手順を表すフローチャート。 コンテキスト情報（状態遷移モデル）を例示する図。 作業抜けに対処するコンテキスト生成処理手順を表すフローチャート。 検知処理手順を表すフローチャート。 第２の実施形態の行動認識システムのブロック構成図。 コンテキスト情報（状態遷移モデル）を例示する図。 第３の実施形態の行動認識システムのブロック構成図。 第３の実施形態の行動検知結果の表示例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

また、説明を分かりやすくするため、本実施形態では工場の工程に基づく作業実施状況の検知方法について説明する。また、ここでは、定型行動を作業、複数の定型作業から成る行動を工程に対応付けて説明する。予め定められた複数の定型行動を順序通りに実施しなければならない場合であれば、本提案により、行動の実施状況を検知することができる。例えば、調理の行動認識やスポーツ行動認識においても適用可能である。

［第１の実施形態］
図１は、第１の実施形態に関わる行動認識システムのブロック構成図である。行動認識システム１は、工程定義部１０１、コンテキスト生成部１０３、推定部１０５、行動検知部１０７、及び、装置全体の制御を司る制御部１１０を有する。

制御部１１０は、ＣＰＵ、及び、当該ＣＰＵが実行するプログラムとワークエリアとして使用されるメモリ（ＲＯＭ、ＲＡＭ）で構成される。

工程定義部１０１は、工程情報（対象物が人間の場合には、その行動に関する行動情報）を入力する機能を有する。この機能は、例えば、グラフィカルユーザーインターフェース（ＧＵＩ）により実現するものとする。工程定義部１０１が入力する工程情報は、工程を構成する作業名の他に、作業順序や標準作業時間、さらには作業の性質や作業と作業の関連性を記述する作業の属性情報が含まれる。

図２に、作業の属性の例を示す。図示において「初回作業」は、工程の最初に必ず行う作業であり、「最終作業」は工程の最後に必ず行う作業である。「作業Ｎ依存」のＮは作業のラベルを指しており、指定した作業が完了しないと作業が開始できない作業である。「作業非依存」は他の作業と独立して作業が開始できるものであり、この作業の前後で作業順序の入れ替えが発生しやすいと考えられる。「外部依存」は、別の工程や自動機等の作業とは独立して実行される工程に依存し、その部品供給が無いと作業開始できない作業を表す。「非必須作業」は必ず行われるとは限らない作業である。そして、「非作業」は作業ではない行動を指す。

工程定義部１０１は、入力されたテキストを工程情報１０２として出力する。図３は工程情報１０２の例であり、各作業には作業名、作業順序、ラベル、標準作業時間、１つまたは２つ以上の属性を有する。

コンテキスト生成部１０３は、受信した工程情報１０２を基に、起こり得るコンテキスト情報１０４を生成する。図４のフローチャートは、コンテキスト生成部１０３による、工程情報１０２からコンテキスト情報を生成する処理手順の例を示すフローチャートである。以下、同図を参照して、コンテキスト生成部１０３の処理内容を説明する。

Ｓ４０１にて、コンテキスト生成部１０３は、工程情報１０２を読み込む。そして、Ｓ４０２にて、コンテキスト生成部１０３は、初回作業の属性を持つ作業を作業順序の先頭に設定する。

そして、コンテキスト生成部１０３は、以下に説明するＳ４０３〜Ｓ４０８までの処理を、実行可能な作業順序に最終作業の属性を持つ作業が含まれるまで繰り返し実行する。

Ｓ４０３にて、コンテキスト生成部１０３は、これまで列挙した全ての作業順序を取得する。図３の場合、１回目の処理では、初回作業だけの作業順序｛１｝だけがある状態である。

次に、Ｓ４０４にて、コンテキスト生成部１０３は、取得した全ての作業順序から１つずつ作業順序を取得する。図３の場合、１回目の処理では、作業順序｛１｝のみが取得される。

次に、Ｓ４０５〜Ｓ４０８において、コンテキスト生成部１０３は、取得した作業順序の次に実行可能な作業を、属性１、２を参照して、作業順序に追加する処理を繰り返す。図３の場合、１回目の処理では、作業２が作業１の次に実行可能な作業であると判定し、作業順序｛１，２｝を作成する。また、作業３も、作業１の後に実行可能（作業非依存）であるので、コンテキスト生成部１０３は、作業順序｛１，３｝を作成する。作業４以降についても判定するが、これ以降の作業は、作業１の後に実行する属性を持たなない。よって、Ｓ４０５〜Ｓ４０６のループにて、コンテキスト生成部１０３が作成する作業順序は、作業順序｛１，２｝と｛１，３｝の２つとなる。

Ｓ４０７において、コンテキスト生成部１０３は、他の作業順序を取得できるかを判定する。１回目の処理では作業順序は｛１｝のみであったため、次のステップに進む。図３の場合、１回目の処理で作成した作業順序は｛１，２｝と｛１，３｝であり、最終作業は含まないので、処理はＳ４０３に戻る。

そして、Ｓ４０８にて、コンテキスト生成部１０３は、前記作業順序が最終作業を保持したと判定し、否の場合はＳ４０３乃至Ｓ４０８を繰り返す。

上記Ｓ４０３〜Ｓ４０８の処理の結果、図３の工程情報１０２の場合、コンテキスト生成部１０３は、以下の５つの作業順序を作成することになる。
｛１，２，３，４，５，６，７｝
｛１，２，３，５，４，６，７｝
｛１，２，５，３，４，６，７｝
｛１，３，２，４，５，６，７｝
｛１，３，２，５，４，６，７｝
ここで、作成した作業順序の中で、工程情報１０２を満足する作業順序は｛１，２，３，４，５，６，７｝のみであり、残り４個の作業順序は定義した順序通りでない。

次に、Ｓ４０９にて、コンテキスト生成部１０３は、作成した各作業順序をコンテキスト情報に変換する。コンテキスト情報は、ここでは作業を状態、作業順序を状態遷移とする状態遷移表でもよいし、ＨＭＭとしてもよい。コンテキスト情報に変換するときは、作業順序だけの状態遷移に限定する必要はなく、例えば、同じ状態への遷移（自己遷移）や状態を一つ飛ばして遷移するようなこともルールベース的に許容してもよい。また、状態遷移モデルの各状態を作業のみに限定するのではなく、作業の開始、途中、終了といった作業の粒度を細かくしてそれぞれを状態に対応付けた状態遷移モデルを生成してもよい。また、作業と作業の間に属性が「非作業」の状態（図３ではラベル「０」）を追加してもよい。

図５は、コンテキスト情報の一例を示している。図５では、作業順序｛１，２，３，５，４，６，７｝に対応したＨＭＭの有向グラフィカルモデルの一例を示している。図５では、作業順序の遷移の他に、同じ状態への遷移（自己遷移）や状態を一つ飛ばして遷移する可能性と、作業と次の作業の間に図３のその他の作業に遷移する可能性を考慮している。

最後に、Ｓ４１０にて、コンテキスト生成部１０３は、Ｓ４０９の変換で得たコンテキスト情報を出力する。

更に、コンテキスト生成部１０３では、工程情報１０２の属性を用いて、作業抜けが起こり得る要因（作業抜け要因）を考慮したコンテキスト情報１０４を生成することもできる。例えば、図２の「外部依存」の属性を有する作業は、別の工程からの部品供給を待つ状態が発生した際に、この作業を飛ばしてして別の作業を行われ、飛ばされた作業が行われない可能性がある。

図６は、作業抜け要因の作業から作業抜けを考慮したコンテキスト情報を生成する処理の流れを示すフローチャートの一例である。なお、図６に示す処理は、図４の処理の後に実行されるものと理解されたい。

Ｓ６０１にて、コンテキスト生成部１０３は、生成したコンテキスト情報を一つ取得する。ここでは、図３と図４の例から｛１，２，３，４，５，６，７｝に対応するコンテキスト情報を取得したとする。

次に、Ｓ６０２にて、コンテキスト生成部１０３は、取得したコンテキスト情報が作業抜け要因を含むか否かを判定する。ここでは、図３より、「作業５」に外部依存の作業抜け要因の属性を含むことがわかる。

次に、Ｓ６０３にて、コンテキスト生成部１０３は、コンテキスト情報から作業抜け要因を除去する。ここでは、｛１，２，３，４，６，７｝の作業順序に対応したコンテキスト情報が得られる。

次に、Ｓ６０４にて、 コンテキスト生成部１０３は、Ｓ６０３で作成したコンテキスト情報の追加を行う。既に追加されているコンテキスト情報は追加しない。

そして、Ｓ６０５にて、コンテキスト生成部１０３は、以上の処理（Ｓ６０１〜Ｓ６０４）を、全てのコンテキスト情報に対して行ったと判定するまで繰り返す。図３と図４の例では、最終的に残る作業順序は以下の２つとなり、コンテキスト生成部１０３は、それぞれに対応するコンテキスト情報を生成し、出力することになる。
｛１，２，３，４，６，７｝
｛１，３，２，４，６，７｝

推定部１０５は、動画１１の各フレームから、対象物（作業者）の時間軸に沿った作業の作業ラベルを推定し、推定結果１０６を出力する。なお、動画１１は、不図示の撮像装置が撮像し、記憶媒体に格納された動画像ファイルであるものとする。また、作業ラベルの推定方法は特に問わないが、例えば、非特許文献１のように深層学習モデルを用いて動画から取得される静止画から推定してもよい。或いは、作業者の姿勢を骨格データ（スケルトンデータ）に変換してその時系列パターンから推定してもよい。或いは、作業者の頭の位置や手の位置等をトラッキングしてその位置から推定してもよい。

行動検知部１０７は、コンテキスト情報１０４と推定結果１０６を用いて行動の実施状況を検知する。図７は、行動検知部１０７による、コンテキスト情報１０４と工程１サイクル分の推定結果１０６を用いた行動の実施状況検知する処理の流れを示すフローチャートの一例である。以下、同図を参照して、行動検知部１０７の処理を説明する。

まず、Ｓ７０１にて、行動検知部１０７は、工程１サイクル分の推定結果を読み込み、次のＳ７０２にて、コンテキスト情報１０４（実施形態では２つ）を読み込む。

Ｓ７０３〜Ｓ７０５においてコンテキスト情報１０４からコンテキストを１つずつ取得（もしくは選択）して、コンテキスト情報の全てについて行動検知処理を繰り返す。

Ｓ７０４では、行動検知部１０７は、推定結果にコンテキストを適用して、行動検知を行う。行動検知では、工程１サイクル分の各作業の作業ラベルと作業区間（作業開始時間と作業終了時間の時間的な区間）を推定する。例えば、コンテキストがＨＭＭであるとすると、Ｓ７０１で取得した工程１サイクル分の推定結果に対して、ビタビアルゴリズム等の動的計画法のシーケンスマッチングを適用することにより１サイクル分の行動検知を推定することができる。このような手法は公知のため詳細は省略する。

次に、Ｓ７０６にて、行動検知部１０７は、Ｓ７０３〜Ｓ７０５の処理で尤もらしい行動検知結果を選択する。例えば、コンテキストがＨＭＭであり、ビタビアルゴリズムで行動検知を推定したとした場合、ビタビアルゴリズムのスコアが最大となる行動検知結果を選択する。更に、選択した行動検知結果が順序通りで無い、又は、作業抜け等の異常行動が含まれる場合は、異常行動を表す異常情報を検知結果に付与してもよい。

最後に、Ｓ７０７にて、行動検知部１０７は動検知結果を出力する。

上記の本第１の実施形態によれば、工程情報から作業順序の異常を含んで起こり得る複数のコンテキスト情報を用いることが可能となるため、映像のように誤検知が発生しやすい場合においても、作業者の作業の実施状況を精度良く検知することができる。

なお、図１におけるコンテキスト生成部１０３をはじめとする各処理部は、それぞれ独立した処理部が行うものとして説明した。しかし、各処理部は制御部１１０がアプリケーションプログラムを実行することで実現するようにしても構わない。以下に説明する第２、第２の実施形態に固有の処理を行う部分（例えば図８の参照符号２０１、２０２、図１０の参照符号３０１、３０３，３０４，３０６，３０７）も、制御部１１０が実行するアプリケーションプログラムで代替できることを付言しておく。

［第２の実施形態］
第２実施形態では、検知結果に対して異常行動の情報を付与し、更に、異常行動の情報に基づきコンテキストを動的に生成し、行動検知を再実行する。これにより、事前に生成したコンテキスト情報で上手く検知できない異常を検知するものである。

図８は、第２の実施形態に関わる行動認識システムのブロック構成例を示す図である。図８のシステム２は、異常行動を検知する異常検知部２０１と、異常行動の発生に応じて起こり得る行動順序を考慮したコンテキスト情報を動的に追加するコンテキスト追加部２０２を有する。それ以外の構成は第１実施形態と同様であるものとし、その説明は省略する。

異常検知部２０１は、定型行動の実行時間と、行動検知部１０７により検知された定型行動の実行時間を比較することにより作業中断（行動中断）が発生したか否か判定する。具体的には、異常検知部２０１は、行動認識システム１の第１の検知結果から、各作業の作業時間を計測し、それぞれの作業時間が事前に計測した標準作業時間や最短作業時間、平均作業時間等から作業中断を判定する。例えば、作業時間が標準差表時間のＭ％以下（Ｍは閾値で、例えば７０）である場合に作業中断が発生したと判定する。或いは、作業時間が平均作業時間からＬ×（作業時間の標準偏差）を減じた閾値時間（Ｌは例えば１）を下回る場合に、作業中断が発生したと判定してもよい。いずれにせよ、異常検知部２０１は、作業中断が発生したと判定した場合、該当する作業に作業中断の発生を表す情報を付与する。

更に、異常検知部２０１は、作業順序の入れ替えの発生を判定する。異常検知部２０１は、第１の検知結果から順序通りでないコンテキスト情報による検知結果が出力されたと判定した場合、作業順序の入れ替えが発生したとして、検知した１サイクルの検知結果に作業順序入れ替えの情報を付与する。

更に、異常検知部２０１は、作業の抜けの発生を判定する。異常検知部２０１は、第１の検知結果から工程内の作業が検知されなかったと判定した場合、作業抜けが発生したと判定し、該当する作業に作業抜けの情報を付与する。

コンテキスト追加部２０２では、事前に生成したコンテキスト情報だけではとらえられない異常を考慮したコンテキスト情報を追加してコンテキスト情報２１を出力する。例えば、作業中断が発生している場合は、「作業を中断したが再開した」という順序を行っていると判定される場合と、「作業を中断したが再開しなかった」という一種の作業抜けが発生していると判定される場合の、少なくとも２つの作業の流れが存在する。後者は事前に生成したコンテキスト情報で検知されているため、前者の順序に対応するコンテキスト情報を追加する。

図９は、コンテキスト追加部２０２によって追加されるコンテキスト情報の一例を示す。図９では、作業順序｛１，２，３，５，４，６，７｝という検知結果がある場合に、異常検知部２０１で、作業３にて作業中断がある場合に追加される有向グラフィカルモデルが示されている。ここでは、作業３を中断して、その他の作業を行った後に作業３を再開するようなコンテキストを追加している。

更に、動的に追加したコンテキスト情報２１は、行動認識システム１の行動検知部１０７に適用され、それにより得られる検知結果が第１の検知結果よりも尤もらしい場合は、第２の検知結果２２を出力する。第２の検知結果２２には推定した作業ラベルだけでなく、異常行動を表す異常情報が付与される。特に異常行動の発生が検知されなければ、第１の検知結果をそのまま第２の検知結果として出力されることになる。

図９の例では、第２の検知結果で１回目の作業３の後に２回目の作業３を実行したことを検知できなければ作業を中断したが再開しなかったことになるため、作業抜けが発生したと判定され、作業３に対して作業中断と作業抜けの異常情報を付与する。

上記第２の実施形態によれば、事前に生成したコンテキスト情報だけでなく、検知結果に基づき生成したコンテキストを用いることが可能となるため、工程情報からは想定できない異常な状況においても、作業者の作業の実施状況を精度良く検知することができる。

［第３の実施形態］
第３実施形態では、第１、第２の実施形態で検知した異常行動の発生に基づき、異常情報をシステムの利用者に掲示する例を説明する。

図１０は、本第３の実施形態に関わる行動認識システムのブロック構成の例を示している。図１０における、システム３は、検知結果２２に異常行動を含む異常情報が付与されている場合にユーザーに報知する異常報知部３０１を有する。更に、図１０のシステム３は、異常情報の統計情報を算出する異常情報算出部３０３と、それを出力する異常情報出力部３０４、異常原因を特定する異常原因特定部３０６と、それを出力する異常原因出力部３０７と、異常情報を掲示する表示部３０９とを有する。

異常報知部３０１は、システム２が出力した第２の検知結果２２に異常情報が付与されているか否かを判定し、異常情報が付与されている場合に、その内容を取得してアラート情報３２０として表示部３０９に表示する。アラート情報３０２としては、異常の通知のみならず、異常の状態（作業抜けとその作業名、作業中断とその作業名、作業順序の入れ替えなど）を工程１サイクル実行後に毎回通知する。これにより、システムの利用者は異常の発生と異常箇所の特定が容易となる。

異常情報算出部３０３は、ユーザーが指定した期間の異常情報を集計し、異常情報毎（異常発生箇所毎）の通算発生回数や発生頻度といった統計情報を算出し、異常情報出力部３０４はその算出結果を異常情報３０５として、表示部３０９に表示する。これにより、システムの利用者は工程で発生しやすい異常が何かを特定することでき、工程の改善活動を容易に行うことができる。

異常原因特定部３０６は、異常情報の発生箇所と工程情報１０２で定義されている作業毎の属性を用いて、特定可能な原因を特定する。例えば、異常情報が作業中断に起因する作業抜けであれば、作業中断が原因となるし、図３で作業５が作業抜けする場合は、外部依存の属性により、待ち時間が発生して作業を飛ばしてしまったことが原因であると考えられるため、外部依存が原因となる。異常原因出力部３０７は、このような特定可能な原因を異常情報に付与した異常原因情報３０８を表示部３０９に表示する。

図１１は、表示部３０９による表示例を示している。表示部３０９は、動画部３１０、動画コントロール部３１１、検知情報部３１２、タイムライン部３１５で構成される。

動画部３１０と動画コントロール部３１１の操作により、作業者と作業を撮影した映像を再生や逆再生等で行動を確認することができる。また、動画を再生すると、再生時刻に合わせてバー３１８が動くことにより、動画に対応している作業が何かを把握することが容易になる。

検知情報部３１２は、対象となる工程の異常情報３１３や一定期間の通算異常情報３１４等を表示している。対象となる工程の異常情報３１３は、例えば、アラート情報３０２と異常原因情報３０８を組み合わせることにより、異常とその原因を１サイクル検知する毎にユーザーに報知することができる。また、タイムライン部３１５上にアラート情報３０２と異常原因情報３０８を組み合わせた情報を作業毎のタイムラインに表示することができる（３１６、３１７）。

検知情報部３１２の通算異常情報３１４では、一定期間に発生した異常情報３０５の内容を表示しており、発生確率を表示することができる。

上記第３の実施形態によれば、異常作業の検知結果、及び、その異常の原因や発生確率も含めて異常情報をシステムの利用者に掲示することができるようになるため、工程の改善活動や作業の不備の予防を容易に行うことができる。

なお、上記第１乃至第３の実施形態において、推定部１０５は、人工知能（ＡＩ：artificial intelligence）を適用して、行動を推定するようにしても構わない。例えば、上記処理部の代わりとして、機械学習された学習済みモデルを代わりに用いても良い。その場合には、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。また、上記学習済みモデルは、必要に応じて一定のデータを処理するごとに更新する等も可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…工程定義部、１０３…コンテキスト生成部、１０５…推定部、１０７…行動検知部、２０１…以上検知部、２０２…コンテキスト追加部、３０１…異常報知部、３０３…異常情報算出部、３０６…異常原因特定部、３０９…表示部

Claims (12)

1. 予め順序が定められた複数の定型行動から成る、対象物の行動を認識する行動認識装置であって、
   前記定型行動の順序と前記定型行動の性質を表す属性情報に基づき行動情報を定義する定義手段と、
   前記行動情報から起こり得る行動順序を表すコンテキスト情報を生成するコンテキスト生成手段と、
   を備えることを特徴とする行動認識装置。
2. 前記対象物を含む映像を取得する取得手段と、
   取得した映像における前記対象物に対して時間軸に沿った前記定型行動を表すラベルを推定する推定手段と、
   前記推定されたラベルと前記コンテキスト情報を用いて前記行動の状況を検知し、出力する行動検知手段と
   を更に有することを特徴とする請求項１に記載の行動認識装置。
3. 前記行動検知手段による検知結果と前記コンテキスト生成手段が生成したコンテキスト情報とを用いて、新たなコンテキスト情報を生成する第２のコンテキスト生成手段を備えることを特徴とする請求項２に記載の行動認識装置。
4. 前記第２のコンテキスト生成手段は、前記行動検知手段による検知結果と前記コンテキスト生成手段が生成したコンテキスト情報とを用いて、異常行動を検知する異常検知手段とを含み、
   前記異常検知手段で検知した異常行動に基づき前記新たなコンテキスト情報を生成することを特徴とする請求項３に記載の行動認識装置。
5. 前記異常検知手段は、前記行動情報で定義された行動順序にしたがわなかった行動を検知することを特徴とする請求項４に記載の行動認識装置。
6. 前記異常検知手段は、定型行動の実行時間と、前記行動検知手段により検知された定型行動の実行時間を比較することにより行動中断を検知することを特徴とする請求項４に記載の行動認識装置。
7. 前記異常検知手段は、行動検知手段による検知結果を用いて、行われていない、或いは、完了していない定型作業を検知する手段を含むことを特徴とする請求項４に記載の行動認識装置。
8. 前記異常検知手段で検知した異常行動を、ユーザーに報知する報知手段を更に有することを特徴とする請求項４に記載の行動認識装置。
9. 前記異常検知手段で検知した異常行動の異常発生箇所毎の統計情報を算出する算出手段を更に有し、
   前記報知手段は、前記統計情報を更に報知することを特徴とする請求項８に記載に行動認識装置。
10. 前記異常検知手段で検知した異常行動のうち、前記行動情報の属性から異常の原因を特定する特定手段を更に有し、
    前記報知手段は、前記特定手段で特定した異常の原因を更に報知することを特徴とする請求項８又は９に記載の行動認識装置。
11. 予め順序が定められた複数の定型行動から成る、対象物の行動を認識する行動認識装置の制御方法であって、
    前記定型行動の順序と前記定型行動の性質を表す属性情報に基づき行動情報を定義する定義工程と、
    前記行動情報から起こり得る行動順序を表すコンテキスト情報を生成するコンテキスト生成工程と、
    を備えることを特徴とする行動認識装置の制御方法。
12. コンピュータが読み込み実行することで、前記コンピュータに、請求項１１の方法の各工程を実行させるためのプログラム。

Images