JP2021144525A - 検出装置、検出方法およびプログラム - Google Patents

Abstract

【課題】時間帯検出の精度および行動のカテゴリ検出の精度を向上する。【解決手段】検出装置は、設定部と推定部と検出部とを備える。設定部は、予め定められた１以上の時間帯候補を設定する。推定部は、複数の時系列画像から求められる特徴量と、時間帯候補と、を入力し、検出対象として予め定められた１以上の行動それぞれが発生した尤度を示す１以上の第１尤度と、１以上の時間帯候補それぞれを修正した１以上の修正時間帯を求めるための修正情報と、を出力する第１モデルに、特徴量および時間帯候補を入力し、第１モデルが出力する第１尤度および修正情報を得る。検出部は、修正情報に基づいて求められる１以上の修正時間帯と、第１尤度とに基づいて、時系列画像に含まれる行動と、行動が発生した時間帯の開始時刻および終了時刻と、を検出する。【選択図】図１

Description

本発明の実施形態は、検出装置、検出方法およびプログラムに関する。

時系列画像（動画、映像）から行動を示すカテゴリの尤度、カテゴリ名、行動の開始時刻、および、行動の終了時刻を求める行動時間帯検出技術が提案されている。例えば、動画全体から算出した特徴量から、あるモデル（モデルＭ１とする）によりカテゴリによらない時間帯候補を推定し、推定した時間帯候補ごとに別のモデル（モデルＭ２とする）により尤度を推定する技術が提案されている。

Yu-Wei Chao，et al., "Rethinking the Faster R-CNN Architecture for Temporal Action Localization", Google Research, Michigan university, CVPR2018．

しかしながら、従来技術では、カテゴリおよびカテゴリごとの時間帯（開始時刻、終了時刻）を適切に検出できない場合があった。例えば上記のように２つのモデル（モデルＭ１、モデルＭ２）を用いる技術では、モデルＭ１はカテゴリによらない時間帯候補を推定するため、カテゴリごとに適切な時間帯を推定できない場合があった。

実施形態の検出装置は、設定部と推定部と検出部とを備える。設定部は、予め定められた１以上の時間帯候補を設定する。推定部は、複数の時系列画像から求められる特徴量と、時間帯候補と、を入力し、検出対象として予め定められた１以上の行動それぞれが発生した尤度を示す１以上の第１尤度と、１以上の時間帯候補それぞれを修正した１以上の修正時間帯を求めるための修正情報と、を出力する第１モデルに、特徴量および時間帯候補を入力し、第１モデルが出力する第１尤度および修正情報を得る。検出部は、修正情報に基づいて求められる１以上の修正時間帯と、第１尤度とに基づいて、時系列画像に含まれる行動と、行動が発生した時間帯の開始時刻および終了時刻と、を検出する。

第１の実施形態にかかる検出装置のブロック図。 特徴量算出の例を示す図。 時間帯候補の例を示す図。 カテゴリごとに実行するＮＭＳ処理の例を示す図。 カテゴリを区別せずに実行するＮＭＳ処理の例を示す図。 第１の実施形態における特徴量抽出処理のフローチャート。 第１の実施形態における検出処理のフローチャート。 第２の実施形態にかかる検出装置のブロック図。 ノンパラメトリック手法による時間帯候補の生成例を示す図。 第２の実施形態における検出処理のフローチャート。 第３の実施形態にかかる検出装置のブロック図。 第３の実施形態の推定部による処理手順の例を説明する図。 第３の実施形態における検出処理のフローチャート。 第１〜第３の実施形態にかかる検出装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる検出装置の好適な実施形態を詳細に説明する。

以下では、主に人物の行動（アクション、動作）を時系列画像から検出する例を説明するが、検出対象は人物の行動に限られるものではない。人物の代わりに、動物、ロボット、車両、および、飛行体などの他の移動体の行動を検出してもよい。

（第１の実施形態）
第１の実施形態にかかる検出装置は、複数の時間帯候補の基準を持つ推定モデルによりカテゴリごとに適切な時間帯を算出する。これにより、時間帯検出の精度、および、行動のカテゴリ検出の精度を向上することができる。

図１は、第１の実施形態にかかる検出装置１００の構成の一例を示すブロック図である。本実施形態の検出装置１００は、例えば人物が映るエリアを撮影し、撮影された動画から、予め定められたカテゴリ（種類）の行動（特定行動）が発生した時間帯、および、そのカテゴリを検出する検出装置（検出システム）である。以下、検出対象として予め定められた行動のカテゴリを行動カテゴリという場合がある。

本実施形態では、例えば商業施設の店舗内で、顧客が起こす行動を監視カメラにより監視し、以下の（Ａ１）〜（Ａ５）に示す５つの行動カテゴリ（動作）を検出する検出装置を例に説明する。このように、検出装置１００は、監視カメラシステムに含まれるように構成することができる。
（Ａ１）棚から商品を取り出す動作
（Ａ２）棚に商品を戻す動作
（Ａ３）商品を買い物カゴに入れる動作
（Ａ４）商品を買い物カゴから出す動作
（Ａ５）商品を自分の服に隠す動作

検出装置１００は、カメラで撮影される動画内から、動画内に映る人物が上記５つの行動カテゴリに示す行動を起こしているか、また、起こしている場合は、いずれの時間帯にその行動を起こしているかを解析する。検出装置１００は、解析の結果得られる時間帯、当該行動カテゴリ、および、行動カテゴリが示す行動が発生した尤もらしさを示す度合い（尤度、スコア）を出力する。以下ではこのような行動カテゴリごとの尤度を行動カテゴリ尤度（第１尤度）という場合がある。検出装置１００は、報知が必要な行動カテゴリが検出された場合は、例えば監視員に対して注意喚起する等の出力処理を実行する。

なお検出する行動カテゴリは上記例に限られず、どのようなカテゴリであってもよい。例えば検出装置１００は、スポーツ（例えばバスケットボール）の試合などを撮影した動画から、選手が起こした行動（例えば、シュート、ドリブルなど）と、その行動の開始時刻および終了時刻とを検出してもよい。

図１に示すように、検出装置１００は、カメラ１０１と、画像記憶部１１１と、特徴量算出部１０２と、特徴量記憶部１１２と、出力部１０３と、記憶部１１３と、時間帯記憶部１１４と、制御部１２０と、を備えている。

画像記憶部１１１は、カメラ１０１によって取り込まれた画像を記憶する画像キューとして機能する。例えば画像記憶部１１１は、規定の長さの画像（フレーム）を記憶するように構成される。記憶する画像の長さが規定の長さを超える場合は、画像記憶部１１１は、記憶した時刻が古い画像から破棄し、規定の長さを維持する。

特徴量記憶部１１２は、特徴量算出部１０２により算出される特徴量を記憶する特徴量キューとして機能する。例えば特徴量記憶部１１２は、規定の長さの特徴量を記憶するように構成される。記憶する特徴量の長さが規定の長さを超える場合は、特徴量記憶部１１２は、記憶した時刻が古い特徴量から破棄し、規定の長さを維持する。

記憶部１１３は、検出装置１００による各種処理で用いられる各種情報を記憶する記憶媒体である。例えば記憶部１１３は、後で再生可能とするため、画像記憶部１１１とは別に、カメラ１０１により撮影された画像（動画）を記憶する。時間帯記憶部１１４は、制御部１２０により算出される時間帯の情報を記憶する時間帯キューとして機能する。

なお、各記憶部（画像記憶部１１１、特徴量記憶部１１２、記憶部１１３、時間帯記憶部１１４）は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

各記憶部の一部または全部は、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに記憶部のそれぞれは、物理的に異なる複数の記憶媒体により実現してもよい。例えば検出装置１００を１つのコンピュータ（サーバコンピュータ、パーソナルコンピュータなど）として構成する場合、各記憶部を物理的に１つの記憶媒体により構成してもよい。

カメラ１０１は、例えば監視対象エリアを撮影して時系列の画像（動画）を出力する。例えばカメラ１０１は、フレームごとの画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する。カメラ１０１は、後にユーザが検出結果と該当時間帯の動画とを合わせて一覧するときに必要な分だけ、取り込んだフレームを録画記録として記憶部１１３に記憶する。また、カメラ１０１は、動画の特徴的な情報を集約した特徴量を算出するため、取り込んだフレームを画像記憶部１１１に継続的に追加（記憶）する。

特徴量算出部１０２は、画像記憶部１１１に記憶される動画を解析し、動画の特徴量を算出する。図２は、特徴量算出の例を示す図である。例えば特徴量算出部１０２は、一定の時間間隔ごとに、画像記憶部１１１に記憶された動画２０１を読み出し、読み出した動画２０１から特徴量を算出する。一定の時間間隔ごとに算出される特徴量２１１は、特徴量記憶部１１２に記憶されている特徴量２１２に追加される。特徴量算出部１０２は、特徴量記憶部１１２に記憶された特徴量のうち、一定の長さの時間帯に対応する時系列の特徴量を定期的に出力してもよい。出力された一定の長さの特徴量は、例えば制御部１２０により取得され、行動カテゴリの検出に用いられる。

特徴量算出部１０２は、例えば、動画を入力して特徴量を出力するように学習された特徴量算出用のモデルを用いて特徴量を算出する。特徴量算出用のモデルは、例えば、１個以上の静止画像内の輝度値の位置に応じた変化、または、２個以上の隣接する静止画像間の輝度値の時間的な変化などに基づく特徴量を出力するように学習される。特徴量算出用のモデルは、例えばニューラルネットワークモデルである。

特徴量算出部１０２は、短く切り出された映像を行動カテゴリに分類するように事前に学習したニューラルネットワーク（特徴量算出用のモデルの一例）のカテゴリ出力層の１つ前の内部状態を特徴量として利用してよい。例えば特徴量算出部１０２は、上記の（Ａ１）〜（Ａ５）に示す行動カテゴリ（動作）が映った映像を（Ａ１）〜（Ａ５）に分類できるように事前に学習したニューラルネットワークのカテゴリ出力層の１つ前の内部状態を特徴量とみなし利用してよい。

カメラ１０１および画像記憶部１１１は物理的に一体に構成されてもよい。特徴量算出部１０２および特徴量記憶部１１２は物理的に一体に構成されてもよい。また、カメラ１０１、画像記憶部１１１、特徴量算出部１０２、および、特徴量記憶部１１２が物理的に一体に構成されてもよい。

例えばカメラ１０１、画像記憶部１１１、特徴量算出部１０２、および、特徴量記憶部１１２を備える機器が、監視対象エリアごとに備えられ、各機器がネットワークを介して制御部１２０に特徴量を送信するように構成してもよい。ネットワークはどのような形態であってもよいが、例えばインターネットである。ネットワークは有線であっても無線であってもよい。

出力部１０３は、検出結果などを出力するための装置である。出力部１０３は、例えば表示装置（ディスプレイ、照明装置など）、および、音声出力装置（スピーカなど）である。出力部１０３は、検出装置１００の外部に備えられてもよい。例えば出力部１０３は、ネットワーク（インターネットなど）を介して制御部１２０と接続される情報処理装置（パーソナルコンピュータ、サーバコンピュータなど）であってもよい。

制御部１２０は、特徴量算出部１０２により算出され特徴量記憶部１１２に記憶された特徴量を参照して、行動カテゴリ尤度、カテゴリ名、行動の開始時刻、および、行動の終了時刻を検出する。制御部１２０は、取得部１２１と、設定部１２２と、推定部１２３と、検出部１２４と、出力制御部１２５と、を備えている。

取得部１２１は、制御部１２０で用いられる各種情報を取得する。例えば取得部１２１は、特徴量算出部１０２により算出される時系列の特徴量を取得し、推定部１２３へ出力する。

設定部１２２は、行動カテゴリを検出する時間帯の候補となる１以上の時間帯候補を設定する。設定された時間帯候補は、行動カテゴリを推定するための推定モデル（第１モデル）の入力として用いられる。例えば設定部１２２は、予め定められた時間帯候補を記憶部１１３から読み出し、読み出した時間帯候補を推定部１２３へ出力する。

設定部１２２は、取得された特徴量に応じて設定する時間帯候補を切り替えてもよい。例えば、設定部１２２は、特徴量を入力して１以上の時間帯候補を出力するモデル（ニューラルネットワークモデルなど）を用いて、取得された特徴量に応じた１以上の時間帯候補を選択し、選択した時間帯候補を設定する。取得された特徴量に応じた時間帯候補の選択方法はこれに限られるものではない。例えば、記憶部１１３に特徴量と１以上の時間帯候補を対応づけて記憶しておき、設定部１２２が、取得された特徴量に応じた時間帯候補を記憶部１１３から選択してもよい。このような処理により、検出結果の時間的な検出精度を改善することができる。

時間帯候補は、例えば、特徴量記憶部１１２が記憶する一定の長さの特徴量に相当する、一定の長さの時間帯（一定時間帯）に対する相対位置により定められる。図３は、時間帯候補の一例を示す図である。例えば、時間帯候補は以下のように定められる。
・一定時間帯の開始時刻から、一定時間帯の５０％までの時間帯、すなわち一定時間帯の前半に対応する時間帯候補３０１
・一定時間帯の開始時刻から一定時間の３０％経過した時刻から７０％経過した時刻まで、すなわち一定時間帯の中心４０％分に対応する時間帯候補３０２
・一定時間帯の末尾の２５％に対応する時間帯候補３０３

以下では、この３つの時間帯候補が設定される例に説明する。時間帯候補はこれらに限られるものではなく、１つ以上の時間帯候補がどのような位置および範囲で設定されてよい。

推定部１２３は、取得部１２１により取得された時系列の特徴量と、設定部１２２により設定された時間帯候補とから、行動カテゴリごとの行動時間帯（開始時刻、終了時刻）、および、行動カテゴリ尤度を推定する。推定部１２３は、例えばニューラルネットワークモデルなどの推定モデルを用いて推定を行う。

推定モデルは、例えば、時系列の特徴量と時間帯候補とを入力し、行動カテゴリごとに、行動カテゴリ尤度、および、時間帯の修正量（修正情報の一例）を出力するように学習されたモデルである。推定モデルに入力する時系列の特徴量は、例えば特徴量記憶部１１２に記憶された規定の長さの特徴量である。修正量とは、行動カテゴリ尤度が他の時間帯より大きくなる時間帯へ時間帯候補を修正する量を示す。行動カテゴリ尤度が他の時間帯より大きくなる時間帯は、例えば、行動カテゴリ尤度が最大となる時間帯である。

修正量の代わりに、行動カテゴリ尤度が他の時間帯より大きくなる時間帯へ時間帯候補を修正した時間帯（修正情報の他の例）を出力するモデルを用いてもよい。推定部１２３は、このような推定モデルに特徴量および時間帯候補を入力し、推定モデルが出力する行動カテゴリ尤度および修正情報（修正量または修正した時間帯）を得る。

以下では、修正情報として修正量を用いる例を主に説明する。

推定モデルは、各時間帯候補および各行動カテゴリに対してそれぞれ独立に修正量を出力する。すなわち、本実施形態では３つの時間帯候補と５つの行動カテゴリとの１５パターン（３候補×５カテゴリ）の組み合わせに対して、それぞれ最も尤もらしい修正量と、行動カテゴリ尤度とが算出される。

各修正量は、時刻をずらす量と、時間を拡縮する量と、を含む。例えば、時間帯候補３０２の行動カテゴリ（Ａ１）（「棚から商品を取り出す動作」）に対する修正量は、中心が一定時間帯の１０％過去側にずれ、時間の長さは１０％拡大する、という情報を含む。この修正量に従い、中心が一定時間の５０％位置、継続する長さが４０％である時間帯候補３０２は、中心が一定時間の開始時刻から４０％の位置、継続する長さが一定時間の４４％である修正時間帯３０４に修正される。また、行動カテゴリ（Ａ２）（「棚に商品を戻す動作」）に対する修正量も同様に算出され、この修正量に従い、例えば時間帯候補３０２は修正時間帯３０５に修正される。同様に、時間帯候補３０２に対して、残りの行動カテゴリ（Ａ３）〜（Ａ５）に基づく修正が実行される。また、他の時間帯候補３０１、３０３に対しても、５つの行動カテゴリ（Ａ１）〜（Ａ５）に基づく修正が実行される。

推定部１２３は、修正量を算出するとともに、修正時間帯の当該行動カテゴリに対する行動カテゴリ尤度を、例えば０以上１以下の値で算出する。推定部１２３は、修正量を対応する時間帯候補に適用した修正時間帯と、行動カテゴリ尤度と、を対応づけた情報（推定結果）を時間帯記憶部１１４へ追加する。

検出部１２４は、時間帯記憶部１１４に記憶された修正時間帯と行動カテゴリ尤度とに基づいて、動画に含まれる行動を示す情報と、行動が発生した時間帯（検出時間帯）の開始時刻および終了時刻と、を検出する。行動を示す情報は、例えば行動カテゴリの名称（行動カテゴリ名）である。検出部１２４は、検出時間帯に対する最終的な行動カテゴリ尤度（検出スコア）を出力してもよい。

検出部１２４は、例えば、時間帯記憶部１１４の記憶する推定結果（修正時間帯）が十分古くなった場合に、時間帯記憶部１１４に記憶された修正時間帯および行動カテゴリ尤度から確定検出結果を算出し、確定検出結果を出力制御部１２５へ出力する。検出部１２４は、確定検出結果の算出に用いた修正時間帯に関する情報を時間帯記憶部１１４から破棄する。

検出部１２４は、修正時間帯が十分古くなったかは、例えば以下のような基準に従い判定する。
（Ｒ１）特徴量算出部１０２が出力する時系列の特徴量が、時間帯記憶部１１４に記憶された修正時間帯を含まなくなった。
（Ｒ２）推定部１２３が新規に算出した修正時間帯と、時間帯記憶部１１４に記憶された修正時間帯とが重複を持たない時刻が一定時間以上経過した。

検出部１２４が確定検出結果を算出する処理は、以下の２つの除外処理を含む。
（Ｓ１）時間帯記憶部１１４に記憶された推定結果のうち、行動カテゴリ尤度が低い推定結果を除外する処理
（Ｓ２）時間帯の重複が多い複数の修正時間帯を対象とし、これらの複数の修正時間帯のうち最も行動カテゴリ尤度の高い修正時間帯のみを残し、その他の修正時間帯に対応する推定結果を除外するノンマキシマムサプレッション（Non-Maximum Suppression）処理（以下、ＮＭＳ処理）

（Ｓ１）では、例えば検出部１２４は、修正時間帯に対応する行動カテゴリ尤度と、行動カテゴリの基準値とを比較し、行動カテゴリ尤度が基準値以下の修正時間帯を推定結果から取り除く。行動カテゴリの基準値は、例えば記憶部１１３に記憶され、検出部１２４から参照される。

（Ｓ２）では、例えば検出部１２４は、修正時間帯同士の重複度に基づきＮＭＳ処理の対象とする推定結果を選択する。例えば検出部１２４は、時間的インターセクションオーバーユニオン（ｔＩｏＵ：Temporal Intersection Over Union）に基づき重複度を算出し、算出したｔＩｏＵがｔＩｏＵの基準値より大きい推定結果を対象として選択する。ｔＩｏＵの基準値は、例えば記憶部１１３に記憶され、検出部１２４から参照される。ｔＩｏＵの基準値は、０より大きく１以下の値（例えば０．５）に設定される。

ＮＭＳ処理は、カテゴリごとに実行されてもよいし、カテゴリを区別せずに実行されてもよい。図４は、カテゴリごとに実行するＮＭＳ処理の例を示す図である。図４は、行動カテゴリ（Ａ１）（「棚から商品を取り出す動作」）、および、行動カテゴリ（Ａ２）（「棚に商品を戻す動作」）それぞれに対してＮＭＳ処理を行う例を示す。行動カテゴリ（Ａ１）に対しては、時間帯記憶部１１４に、修正時間帯４０１、４０２、４０３が記憶されているものとする。

検出部１２４は、まず、修正時間帯４０１、４０２、４０３を含む推定結果を未確定検出結果とする。検出部１２４は、未確定検出結果のうち、最も行動カテゴリ尤度が高い未確定検出結果を選択し、確定検出結果として未確定検出結果から取り除く。検出部１２４は、選択した確定検出結果と、他の未確定検出結果との間のｔＩｏＵを算出し、ｔＩｏＵが基準値以上である未確定検出結果を棄却検出結果として未確定検出結果から取り除く。検出部１２４は、これらの処理を未確定検出結果がなくなるまで繰り返す。

修正時間帯４０１、４０２、４０３の行動カテゴリ尤度がそれぞれ０．９、０．７、０．３である場合のＮＭＳ処理の例を以下に説明する。

検出部１２４は、まず最も行動カテゴリ尤度が高い修正時間帯４０４を確定検出結果として未確定検出結果から取り除く。検出部１２４は、修正時間帯４０１とのｔＩｏＵが基準値０．５より大きい修正時間帯４０２を棄却検出結果として取り除く。次に検出部１２４は、残された未確定検出結果のうち最も行動カテゴリ尤度が高い修正時間帯４０３を確定検出結果として取り除く。この結果、未確定検出結果がなくなるため、ＮＭＳ処理は終了する。

同様に、検出部１２４は、行動カテゴリ（Ａ２）（「棚に商品を戻す動作」）に対応する修正時間帯４０４、４０５、４０６を対象にＮＭＳ処理を行い、修正時間帯４０５、４０６を確定検出結果として出力する。

次に、カテゴリを区別せずにＮＭＳ処理が実行される例について説明する。図５は、カテゴリを区別せずに実行するＮＭＳ処理の例を示す図である。時間帯記憶部１１４には、図４と同様に、修正時間帯４０１〜４０６が記憶されているものとする。

カテゴリを区別せずにＮＭＳ処理する場合、検出部１２４は、修正時間帯４０１〜４０６を対象に、カテゴリの区別なく行動カテゴリ尤度が高い修正時間帯に対応する推定結果から確定検出結果として取り除くＮＭＳ処理を行う。この結果、図５の例では、修正時間帯４０１、４０６が確定検出結果として出力される。

検出部１２４は、例えば、ＮＭＳ処理の結果として得られる確定検出結果に、行動カテゴリ名を付加した情報を、出力制御部１２５へ出力する。行動カテゴリ名は、例えば行動カテゴリと対応づけて記憶部１１３に記憶され、検出部１２４から参照される。

検出部１２４は、行動が発生しない尤度（第２尤度）が高い修正時間帯を除外するように構成してもよい。この場合、例えば推定部１２３は、行動カテゴリ尤度のみでなく、予め定められた行動が発生しない尤度を出力するように学習された推定モデルを用いる。検出部１２４は、例えば行動が発生しない尤度が他のすべての行動カテゴリ尤度より大きい場合に、対応する修正時間帯を含む推定結果を棄却検出結果として取り除く。これにより、誤った検出（過検出）を削減することができる。

図１に戻り、出力制御部１２５は、検出装置１００により処理される各種情報の出力を制御する。例えば出力制御部１２５は、検出部１２４が出力した検出結果と、記憶部１１３に記憶された録画記録とから、検出された行動カテゴリ名、行動カテゴリ尤度、検出時間帯、および、対応する時間帯の動画の組とを求め、記憶部１１３へ記憶する。

また、検出された行動カテゴリが、ユーザの犯罪行為（万引きなど）などのように報知が必要な行動カテゴリであった場合は、出力制御部１２５は、例えば監視員の注意を喚起する情報などを出力部１０３に出力させる。

上記各部（特徴量算出部１０２、および、制御部１２０）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

次に、このように構成された第１の実施形態にかかる検出装置１００による特徴量抽出処理について説明する。特徴量抽出処理は、撮影した動画から特徴量を抽出する処理である。図６は、第１の実施形態における特徴量抽出処理の一例を示すフローチャートである。

カメラ１０１は、例えば監視対象エリアを撮影して時系列の画像（動画）を取得する（ステップＳ１０１）。カメラ１０１は、取得した動画を画像記憶部１１１に記憶する（ステップＳ１０２）。特徴量算出部１０２は、例えば一定の時間間隔ごとに、画像記憶部１１１に記憶された動画から特徴量を算出する（ステップＳ１０３）。特徴量算出部１０２は、算出した特徴量を特徴量記憶部１１２に記憶する（ステップＳ１０４）。

このようにして、画像記憶部１１１には継続して動画が記憶される。また、特徴量記憶部１１２には一定の時間間隔で継続して特徴量が記憶される。

次に、検出装置１００による検出処理について説明する。検出処理は、特徴量抽出処理により抽出された特徴量を用いて動画から行動のカテゴリおよび行動が発生した時間帯を検出する処理である。図７は、第１の実施形態における検出処理の一例を示すフローチャートである。

検出処理は、例えば、一定時間が経過するごとに、その時点で特徴量記憶部１１２に記憶されている規定の長さの複数の特徴量を用いて実行される。一定時間は、例えば特徴量記憶部１１２に記憶される規定の長さの特徴量に相当する時間より短い時間とする。これにより、特徴量を徐々にずらしながら（スライドさせながら）、検出処理の入力として用いることが可能となる。

設定部１２２は、例えば記憶部１１３に記憶された時間帯候補を読み出し、読み出した情報に基づき時間帯候補を設定する（ステップＳ２０１）。推定部１２３は、取得部１２１により特徴量記憶部１１２から取得された特徴量と、設定された時間帯候補とを推定モデルに入力し、行動カテゴリごとの修正量および尤度を推定し、修正量に従い時間帯候補を修正して修正時間帯を算出する（ステップＳ２０２）。

検出部１２４は、推定部１２３により算出された修正時間帯と、既に時間帯記憶部１１４に記憶されている修正時間帯とが重複するか否かを判定する（ステップＳ２０３）。この判定は、修正時間帯が十分古くなったかの判定であり、例えば上記の（Ｒ１）に相当する。検出部１２４は、上記の（Ｒ２）またはその他の基準に従い判定してもよい。

重複する場合（ステップＳ２０３：Ｙｅｓ）、推定部１２３は、算出した修正時間帯を含む推定結果を時間帯記憶部１１４に記憶し（ステップＳ２０４）、検出処理を終了する。重複しない場合（ステップＳ２０３：Ｎｏ）、検出部１２４は、以下のように確定検出結果を算出する処理を実行する。

すなわち、検出部１２４は、既に時間帯記憶部１１４に記憶されている修正時間帯を含む推定結果を、未確定検出結果とする（ステップＳ２０５）。検出部１２４は、行動カテゴリ尤度が基準値以下の修正時間帯を含む未確定検出結果を除外する（ステップＳ２０６）。検出部１２４は、残っている未確定検出結果のうち、行動カテゴリ尤度が最大となる修正時間帯を含む未確定検出結果を、確定検出結果として選択する（ステップＳ２０７）。検出部１２４は、上記のようなＮＭＳ処理を実行し、選択した確定検出結果に含まれる修正時間帯との重複が多い修正時間帯を含む未確定推定結果を除外する（ステップＳ２０８）。

検出部１２４は、確定検出結果が得られたか否かを判定する（ステップＳ２０９）。例えば行動カテゴリ尤度が基準値より大きい修正時間帯がないような場合は、確定検出結果が得られないと判定される。

確定検出結果が得られた場合（ステップＳ２０９：Ｙｅｓ）、検出部１２４は、確定した修正時間帯および行動カテゴリ尤度を、検出結果として出力制御部１２５に出力する。出力制御部１２５は、検出部１２４が出力した検出結果と、記憶部１１３に記憶された録画記録とから、検出された行動カテゴリ名、行動カテゴリ尤度、検出時間帯、および、対応する時間帯の動画の組とを求め、記憶部１１３へ記憶する（ステップＳ２１０）。また、出力制御部１２５は、検出された行動カテゴリが報知対象の行動カテゴリであった場合、報知対象に応じた情報を出力部１０３に出力させる。

検出部１２４は、ステップＳ２０５〜ステップＳ２１０の処理で対象とした修正時間帯を含む推定結果を時間帯記憶部１１４から削除し（ステップＳ２１１）、検出処理を終了する。

このように、第１の実施形態にかかる検出装置では、推定モデルによりカテゴリごとに行動を推定するとともに適切な時間帯を算出する。これにより、時間帯検出の精度、および、行動のカテゴリ検出の精度を向上することができる。

例えば商業施設などの監視対象エリアを撮影して行動を検出するシステムなどにおいて、監視対象の行動ごとに適切な時間帯を、予め定めた候補時間帯から算出することができる。従って、監視対象の行動が発生した時間帯と検出結果の行動カテゴリ尤度を高精度に算出することが可能となる。また、検出結果の行動カテゴリ名および対応する時間帯の動画は、例えば、ユーザが確認できるように出力することができる。

また、本実施形態では、継続して算出される特徴量を一定の時間間隔ごと取得し、一定の時間間隔で得られる行動の推定結果を統合して最終的な検出結果を得ることができる。すなわち、動画に基づく行動を高い頻度で継続的に検出することが可能になる。

（第２の実施形態）
第２の実施形態にかかる検出装置は、時間帯候補を調整する機能をさらに有する。図８は、第２の実施形態にかかる検出装置１００−２の構成の一例を示すブロック図である。図８に示すように、検出装置１００−２は、カメラ１０１と、画像記憶部１１１と、特徴量算出部１０２と、特徴量記憶部１１２と、出力部１０３と、記憶部１１３と、時間帯記憶部１１４と、制御部１２０−２と、を備えている。

第２の実施形態では、制御部１２０−２が備える設定部１２２−２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる検出装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

設定部１２２−２は、時間帯記憶部１１４に記憶されている修正時間帯の傾向に基づき時間帯候補を調整する機能をさらに備えている。例えば設定部１２２−２は、時間帯記憶部１１４に記憶されている過去の修正時間帯の開始時刻および終了時刻から、予め記憶部１１３に設定されていた時間帯候補を修正した時間帯候補を算出する。修正した時間帯候補は、例えば予め設定されていた時間帯候補に追加して使用される。修正した時間帯候補を予め設定されていた時間帯候補の代わりに使用するように構成してもよい。

これにより、行動が発生している可能性の高い時間帯に時間帯候補を設定することが可能になり、より高精度に行動を検出することが可能になる。

設定部１２２−２は、例えば以下のような手法により、過去の修正時間帯に基づく時間帯候補を算出する。

・統計的クラスタリング手法
例えば設定部１２２−２は、時間帯記憶部１１４に記憶されている複数の修正時間帯の開始時刻および終了時刻に対して統計的クラスタリング手法を適用し、開始時刻および終了時刻が相互に類似する修正時間帯を含む複数のクラスタを算出する。設定部１２２−２は、各クラスタに含まれる修正時間帯の開始時刻および終了時刻の代表値（平均値、中央値など）を算出する。設定部１２２−２は、代表値を、新たな時間帯候補の開始時刻および終了時刻とする。

・ノンパラメトリック手法
例えば設定部１２２−２は、時間帯記憶部１１４に記憶されている複数の修正時間帯の開始時刻および終了時刻それぞれを近似するモデルを求める。設定部１２２−２は、求めたモデルから、モデルが示す値に応じて開始時刻および終了時刻をサンプリングし、サンプリングされた開始時刻および終了時刻により定められる時間帯候補を設定する。
設定部１２２−２は、最も頻度が大きい開始時刻および終了時刻を算出し、新たな時間帯候補の開始時刻および終了時刻としてもよい。

図９は、ノンパラメトリック手法による時間帯候補の生成例を示す図である。時間帯候補群９０１は、予め定められた複数の時間帯候補の例である。修正時間帯群９１１は、時間帯記憶部１１４に記憶されている修正時間帯の例である。

設定部１２２−２は、修正時間帯群９１１に含まれる修正時間帯の開始時刻をフィッティングしたモデル９２１と、終了時刻をフィッティングしたモデル９２２とを算出する。設定部１２２−２は、モデル９２１、９２２それぞれから同じ個数の時刻をサンプリングする。設定部１２２−２は、サンプリングした開始時刻および終了時刻で定められる時間帯を、新たな時間帯候補として生成する。図９では、３個の時刻をそれぞれサンプリングし、３つの追加の時間帯候補を生成した例が示されている。修正時間帯群９３１は、このように生成された修正時間帯を示している。

次に、このように構成された第２の実施形態にかかる検出装置１００−２による検出処理について図１０を用いて説明する。図１０は、第２の実施形態における検出処理の一例を示すフローチャートである。

設定部１２２−２は、上記のような手法により新たな時間帯候補を生成し、例えば記憶部１１３に記憶されている時間帯候補に追加する（ステップＳ３０１）。設定部１２２−２は、追加した時間帯候補を含む時間帯候補を、以降の処理で使用する時間帯候補として設定する（ステップＳ３０２）。

ステップＳ３０３からステップＳ３１２までは、第１の実施形態にかかる検出装置１００におけるステップＳ２０２からステップＳ２１１までと同様の処理なので、その説明を省略する。

このように、第２の実施形態では、過去の修正時間帯の開始時刻および終了時刻を参照して新たに時間帯候補を算出して使用することができる。これにより、行動が発生している可能性の高い時間帯に時間帯候補を設定することが可能になり、より高精度に行動を検出することが可能になる。

設定部１２２−２は、時間帯記憶部１１４に記憶された修正時間帯の一部または全部を時間帯候補として設定してもよい。この場合、上記の統計的クラスタリング手法およびノンパラメトリック手法などは適用しなくてもよい。

時間帯候補の個数、開始時刻、および、相対位置などは、例えば予めユーザにより決定され、記憶部１１３に記憶される。推定される修正時間帯が、予め決定された時間帯候補から大きくずれることにより、修正量が大きくなる場合がある。このような場合を考慮し、設定部１２２−２が、過去の推定結果等に基づき、記憶部１１３に記憶された時間帯候補を更新（修正）する機能を備えてもよい。

例えば設定部１２２−２は、過去の予め定められた期間または個数の検出結果を参照して、推定された修正時間帯と、時間帯候補との差分を算出する。設定部１２２−２は、差分が減少するように、時間帯候補を修正し、記憶部１１３に記憶する。このような処理により、時間帯候補の相対位置および長さなどがより適切に設定可能となり、検出精度をより改善することができる。

（第３の実施形態）
第１および第２の実施形態は、特徴量記憶部１１２に記憶される規定の長さの特徴量全てを用いて修正時間帯を算出した。このような方法によれば、規定の長さ全体に相当する大域的な特徴量に基づく行動の検出が可能となる。一方、一部の特徴量を用いれば、規定の長さより小さい局所的な特徴量（局所特徴量）に基づく行動の検出が可能となる。

第３の実施形態にかかる検出装置は、局所特徴量を用いた行動の検出を行う機能をさらに備える。図１１は、第３の実施形態にかかる検出装置１００−３の構成の一例を示すブロック図である。図１１に示すように、検出装置１００−３は、カメラ１０１と、画像記憶部１１１と、特徴量算出部１０２と、特徴量記憶部１１２と、出力部１０３と、記憶部１１３と、時間帯記憶部１１４と、制御部１２０−３と、を備えている。

第３の実施形態では、制御部１２０−３が備える推定部１２３−３の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる検出装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

推定部１２３−３は、第１の実施形態の推定部１２３に対して、以下のような機能が追加される。すなわち、推定部１２３−３は、推定モデル（推定モデルＭＡとする）を用いて修正時間帯を算出した後に、算出した修正時間帯に対応する特徴量である局所特徴量（第２特徴量）を算出する。そして推定部１２３−３は、別の推定モデルＭＢ（第２モデル）に対して局所特徴量を入力し、推定モデルＭＢから出力される尤度修正量および時間帯再修正量を得る。推定モデルＭＢは、例えば、局所特徴量を入力して尤度修正量および時間帯再修正量を出力するように事前に学習される。

尤度修正量は、推定モデルＭＡにより推定された行動カテゴリ尤度を修正する量を示す。例えば推定部１２３−３は、行動カテゴリ尤度に尤度修正量を乗じることにより、行動カテゴリ尤度を修正することができる。時間帯再修正量は、推定モデルＭＡにより推定された修正量に従い修正された修正時間帯（第１修正時間帯）をさらに修正する量を示す。時間帯再修正量は、例えば時刻をずらす量と、時間を拡縮する量と、を含む。推定部１２３−３は、時間帯再修正量に従って時刻をずらす、または、時間を拡縮することにより、修正時間帯（第１修正時間帯）をさらに修正した修正時間帯（第２修正時間帯）を求めることができる。

局所特徴量、尤度修正量、および、時間帯再修正量は、例えば以下のような手順で算出される。図１２は、推定部１２３−３による処理手順の例を説明する図である。

推定部１２３−３は、時間帯候補１２０１から、ある行動カテゴリに対応する修正時間帯１２１１を推定したとする。推定部１２３−３は、特徴量記憶部１１２に記憶された特徴量のうち、修正時間帯１２１１の開始時刻ｔ_ｓおよび終了時刻ｔ_ｅで定められる時間帯に対応した特徴量を求める。推定部１２３−３は、求めた特徴量を対象として、例えば１次元平均プーリングを適用し、時間の長さを固定長に正規化した時系列の特徴量１２２１を算出する。特徴量を正規化するのは、推定モデルＭＢへ入力する特徴量の長さを一定とするためである。時系列の特徴量の長さを一定とすることができる手法であれば、一次元平均プーリング以外の正規化手法を適用してもよい。

推定部１２３−３は、算出した特徴量１２２１を推定モデルＭＢに入力することにより、尤度修正量および時間帯再修正量を推定する。

推定部１２３−３は、推定モデルＭＡにより推定した対応する行動カテゴリの行動カテゴリ尤度に尤度修正量を乗じることにより、修正済み行動カテゴリ尤度を算出する。次に推定部１２３−３は、推定モデルＭＡにより推定された修正量に従い修正された修正時間帯に、時間帯再修正量を作用させた時間帯（再修正時間帯）を算出する。推定部１２３−３は、このようにして得られる修正済み行動カテゴリ尤度、および、再修正時間帯を、時間帯記憶部１１４に追加する。

時間帯記憶部１１４に記憶された修正時間帯を用いた検出部１２４による処理は、第１の実施形態と同様である。なお、検出部１２４は、推定モデルＭＡによる推定結果に加えて、推定部１２３−３により追加された修正済み行動カテゴリ尤度および再修正時間帯を含む推定結果を用いて、検出処理を実行する。検出部１２４は、推定部１２３−３により追加された修正済み行動カテゴリ尤度および再修正時間帯を含む推定結果のみを用いて検出処理を実行してもよい。

次に、このように構成された第３の実施形態にかかる検出装置１００−３による検出処理について図１３を用いて説明する。図１３は、第３の実施形態における検出処理の一例を示すフローチャートである。

ステップＳ４０１、ステップＳ４０２は、第１の実施形態にかかる検出装置１００におけるステップＳ２０１、ステップＳ２０２と同様である。

推定部１２３−３は、ステップＳ４０２に推定された修正時間帯に対応する特徴量（局所特徴量）を求め、局所特徴量を推定モデルＭＢに入力することにより、尤度修正量および時間帯再修正量を推定する（ステップＳ４０３）。推定部１２３−３は、ステップＳ４０２で求めた尤度および修正時間帯を、ステップＳ４０３で求めた尤度修正量、および、時間帯再修正量でそれぞれ修正し、修正した尤度および修正時間帯を時間帯記憶部１１４に追加する（ステップＳ４０４）。

ステップＳ４０５からステップＳ４１３までは、第１の実施形態にかかる検出装置１００におけるステップＳ２０３からステップＳ２１１までと同様の処理なので、その説明を省略する。

このように、第３の実施形態にかかる検出装置は、推定モデルＭＡに基づき算出された行動カテゴリごとの修正時間帯に対応する特徴量から、行動カテゴリ尤度と、行動が発生した時間帯と、を算出する。これにより、行動時間帯の検出性能をさらに改善することができる。

なお、これまでは算出した修正時間帯に対応する局所特徴量を用いたが、時間帯候補に対応する局所特徴量を用いるように構成してもよい。例えば推定部１２３−３は、特徴量記憶部１１２に記憶された時系列の特徴量（第１特徴量）に加えて、この特徴量を時間帯候補に対応するように修正した特徴量（第２特徴量）を推定モデルＭＡに入力してもよい。修正した特徴量は、推定モデルＭＡへ入力する特徴量の長さとなるように正規化されてもよい。推定部１２３−３は、特徴量記憶部１１２に記憶された時系列の特徴量を時間帯候補に対応するように修正した特徴量（第２特徴量）のみを推定モデルＭＡに入力してもよい。

以上説明したとおり、第１から第３の実施形態によれば、時間帯検出の精度および行動のカテゴリ検出の精度を向上することができる。

次に、第１〜第３の実施形態にかかる検出装置のハードウェア構成について図１４を用いて説明する。図１４は、第１〜第３の実施形態にかかる検出装置のハードウェア構成例を示す説明図である。

第１〜第３の実施形態にかかる検出装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１〜第３の実施形態にかかる検出装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１〜第３の実施形態にかかる検出装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１〜第３の実施形態にかかる検出装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第３の実施形態にかかる検出装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１〜第３の実施形態にかかる検出装置で実行されるプログラムは、コンピュータを上述した検出装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００−２、１００−３ 検出装置
１０１ カメラ
１０２ 特徴量算出部
１０３ 出力部
１１１ 画像記憶部
１１２ 特徴量記憶部
１１３ 記憶部
１１４ 時間帯記憶部
１２０、１２０−２、１２０−３ 制御部
１２１ 取得部
１２２、１２２−２ 設定部
１２３、１２３−３ 推定部
１２４ 検出部
１２５ 出力制御部

Claims (13)

1. 予め定められた１以上の時間帯候補を設定する設定部と、
   複数の時系列画像から求められる特徴量と、前記時間帯候補と、を入力し、検出対象として予め定められた１以上の行動それぞれが発生した尤度を示す１以上の第１尤度と、１以上の前記時間帯候補それぞれを修正した１以上の修正時間帯を求めるための修正情報と、を出力する第１モデルに、前記特徴量および前記時間帯候補を入力し、前記第１モデルが出力する前記第１尤度および前記修正情報を得る推定部と、
   前記修正情報に基づいて求められる１以上の前記修正時間帯と、前記第１尤度とに基づいて、前記時系列画像に含まれる前記行動と、前記行動が発生した時間帯の開始時刻および終了時刻と、を検出する検出部と、
   を備える検出装置。
2. 前記推定部は、定期的に求められる複数の特徴量および前記時間帯候補を前記第１モデルに入力し、前記第１モデルが出力する複数の第１尤度および複数の修正情報を得て、
   前記検出部は、複数の前記修正情報に基づいて求められる複数の前記修正時間帯のうち、対応する前記第１尤度が他の前記修正時間帯より大きい前記修正時間帯の開始時刻、終了時刻、および、対応する前記行動を検出する、
   請求項１に記載の検出装置。
3. 前記設定部は、複数の前記特徴量に対して求められた複数の前記修正時間帯に基づいて得られる１以上の時間帯を、新たな時間帯候補として追加する、
   請求項２に記載の検出装置。
4. 前記設定部は、前記修正時間帯と前記時間帯候補との差分が減少するように、前記時間帯候補を修正する、
   請求項１に記載の検出装置。
5. 前記第１モデルは、さらに、前記行動が発生しない尤度である第２尤度を出力し、
   前記検出部は、前記修正時間帯と、前記第１尤度と、前記第２尤度と、に基づいて、前記時系列画像に含まれる前記行動と、前記行動が発生した時間帯の開始時刻および終了時刻と、を検出する、
   請求項１に記載の検出装置。
6. 前記設定部は、複数の時間帯候補から前記特徴量に応じた１以上の前記時間帯候補を選択し、選択した前記時間帯候補を設定する、
   請求項１に記載の検出装置。
7. 前記推定部は、
   複数の時系列画像から求められる第１特徴量および前記時間帯候補を前記第１モデルに入力し、前記第１尤度および前記修正情報を得て、
   特徴量を入力し、行動が発生した尤度の修正量を表す尤度修正量と、修正時間帯の修正量を表す時間帯再修正量と、を出力する第２モデルに、前記修正情報に基づいて求められる第１修正時間帯に対応する第２特徴量を入力し、前記第２モデルが出力する前記尤度修正量および前記時間帯再修正量を得て、
   前記検出部は、前記第１修正時間帯と、前記第１修正時間帯を前記時間帯再修正量により修正した第２修正時間帯と、前記第１尤度と、前記第１尤度を前記尤度修正量により修正した第２尤度と、に基づいて、前記時系列画像に含まれる前記行動、前記開始時刻および前記終了時刻を検出する、
   請求項１に記載の検出装置。
8. 前記推定部は、
   複数の時系列画像から求められる第１特徴量および前記時間帯候補を前記第１モデルに入力し、前記第１尤度および前記修正情報を得て、
   特徴量を入力し、行動が発生した尤度の修正量を表す尤度修正量と、修正時間帯の修正量を表す時間帯再修正量と、を出力する第２モデルに、前記修正情報に基づいて求められる第１修正時間帯に対応する第２特徴量を入力し、前記第２モデルが出力する前記尤度修正量および前記時間帯再修正量を得て、
   前記検出部は、前記第１修正時間帯を前記時間帯再修正量により修正した第２修正時間帯と、前記第１尤度を前記尤度修正量により修正した第２尤度と、に基づいて、前記時系列画像に含まれる前記行動、前記開始時刻および前記終了時刻を検出する、
   請求項１に記載の検出装置。
9. 前記推定部は、複数の時系列画像から求められる第１特徴量、および、前記第１特徴量を前記時間帯候補に対応するように修正した第２特徴量を前記第１モデルに入力し、前記第１モデルが出力する前記第１尤度および前記修正情報を得る、
   請求項１に記載の検出装置。
10. 前記推定部は、複数の時系列画像から求められる第１特徴量を前記時間帯候補に対応するように修正した第２特徴量を前記第１モデルに入力し、前記第１モデルが出力する前記第１尤度および前記修正情報を得る、
    請求項１に記載の検出装置。
11. 前記修正情報は、前記第１尤度が他の時間帯より大きくなる時間帯へ前記時間帯候補を修正する修正量、または、前記第１尤度が他の時間帯より大きくなる時間帯へ前記時間帯候補を修正した時間帯を示す、
    請求項１に記載の検出装置。
12. 予め定められた１以上の時間帯候補を設定する設定ステップと、
    複数の時系列画像から求められる特徴量と、前記時間帯候補と、を入力し、検出対象として予め定められた１以上の行動それぞれが発生した尤度を示す１以上の第１尤度と、１以上の前記時間帯候補それぞれを修正した１以上の修正時間帯を求めるための修正情報と、を出力する第１モデルに、前記特徴量および前記時間帯候補を入力し、前記第１モデルが出力する前記第１尤度および前記修正情報を得る推定ステップと、
    前記修正情報に基づいて求められる１以上の前記修正時間帯と、前記第１尤度とに基づいて、前記時系列画像に含まれる前記行動と、前記行動が発生した時間帯の開始時刻および終了時刻と、を検出する検出ステップと、
    を含む検出方法。
13. コンピュータに、
    予め定められた１以上の時間帯候補を設定する設定ステップと、
    複数の時系列画像から求められる特徴量と、前記時間帯候補と、を入力し、検出対象として予め定められた１以上の行動それぞれが発生した尤度を示す１以上の第１尤度と、１以上の前記時間帯候補それぞれを修正した１以上の修正時間帯を求めるための修正情報と、を出力する第１モデルに、前記特徴量および前記時間帯候補を入力し、前記第１モデルが出力する前記第１尤度および前記修正情報を得る推定ステップと、
    前記修正情報に基づいて求められる１以上の前記修正時間帯と、前記第１尤度とに基づいて、前記時系列画像に含まれる前記行動と、前記行動が発生した時間帯の開始時刻および終了時刻と、を検出する検出ステップと、
    を実行させるためのプログラム。

Images