JP2020071717A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 画像に映った人物の領域が小さい場合でも異常検出の未検出または誤検出を減らすことができる。【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、シーンを撮像した画像から人物の異常状態を検出する情報処理装置であって、前記画像において人物の領域を特定する特定手段と、前記領域に含まれる前記人物の状態を取得する第１取得手段と、前記画像から得た画像特徴と、前記シーンを予め撮像した背景画像の画像特徴とに基づいて前記領域に所定時間以上、存在する物体を取得する第２取得手段と、前記第１取得手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出する検出手段とを有することを特徴とする。【選択図】 図６

Description

本発明は、監視カメラの映像から異常を検出する技術に関する。

監視カメラの画像を使った画像認識において、人物の姿勢を推定する方法が提案されている。非特許文献１では、人の関節の位置関係（例えば立位では肩の関節はひざの関節より重力方向で高い位置にあること等）を学習し、人物の姿勢を推定する。最近は、画像認識によって推定された人物の姿勢から、人物の異常状態を検出する技術が知られている。

Ｘｉａｏ Ｃｈｕ，ｅｔｃ．，"Ｍｕｌｔｉ−Ｃｏｎｔｅｘｔ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ，"

しかしながら、画像に映った人物の領域が小さい場合、歩行等を含む正常な行動と転倒等を含む異常な状態との差を識別することが困難になり、異常検出が失敗する可能性が高い。本発明は上記課題に鑑みてなされたものであり、画像に映った人物の領域が小さい場合でも異常状態の未検出または誤検出を減らすことを目的とする。

上記課題を解決する本発明にかかる情報処理装置は、シーンを撮像した画像から人物の異常状態を検出する情報処理装置であって、前記画像において人物の領域を特定する特定手段と、前記領域に含まれる前記人物の状態を取得する第１取得手段と、前記画像から得た画像特徴と、前記シーンを予め撮像した背景画像の画像特徴とに基づいて前記領域に所定時間以上、存在する物体を取得する第２取得手段と、前記第１取得手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出する検出手段とを有することを特徴とする。

画像に映った人物の領域が小さい場合でも異常検出の未検出または誤検出を減らすことができる。

異常検出を行う情報処理装置の機能構成例を表すブロック図。 情報処理装置１００が実行する処理を説明するフローチャート。 検出部１１０が実行する転倒検出処理の例を説明するフローチャート。 転倒検出における転倒状態を示す画像の例を示す図。 転倒検出における正常状態を示す画像の例を示す図。 転倒検出と物体の状態検出を組み合わせた異常検出の一例を示す図。 情報処理装置１００が実行する処理を説明するフローチャート。 情報処理システム１０００が実行する処理を説明するフローチャート。 検出部１１０が実行する転倒検出処理の例を説明するフローチャート。 検出部１１０が実行する転倒検出処理の例を説明するフローチャート。 情報処理装置１００が実行する処理を説明するフローチャート。 検出部１１０が実行する転倒検出処理の例を説明するフローチャート。 情報処理装置１００が実行する処理を説明するフローチャート。 情報処理装置１００が実行する処理を説明するフローチャート。 検出部１１０が実行する転倒検出処理の例を説明するフローチャート。 情報処理装置のハードウェア構成の一例を示す図。 情報処理装置のＵＩの一例を示す図。

以下に添付図面を参照しながら、本発明に好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

下記実施形態では、具体例として人物が転倒するといった異常状態を検出する情報処理装置について説明する。例えば、長い廊下等の奥行のある空間を監視カメラによる監視対象にする場合には、遠くにいる人物や物体の状態を画像から判断することは解像度が低くなってしまうため難しい。遠くにいる人物や物体について状態を検出しようとすると未検出や誤検出がしばしば発生する。また、監視したい空間全体をカバーできるようにカメラを設置できればよいが、場所やコストの制約の為、十分な台数のカメラを設置できない可能性がある。物理的な制約としては、たとえば空港など広い空間ではカメラを設置する柱などが少ない。このような状況下で、人物の異常状態の未検出や誤検出を減らす情報処理装置について実施形態１で述べる。なお、未検出とは、そこに「ある」のに検出しないことである。また、誤検出（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）はそこに「ない」のに検出することである。

＜実施形態１＞
本実施形態では、監視カメラの画像又は映像から、人物の異常状態を検出する方法について述べる。ここでは、人物の異常状態として、主に転倒を扱う。監視カメラの利用シーンによっては、うずくまったまま動かなくなる動作や立ち止まり続けるといった動作を異常状態として検出してもよい。人物の転倒検出とは、人物を撮像した画像から人物の姿勢情報を推定し、その姿勢情報からその人物が転倒しているか否か（立位であるか）を判定する。人物ｉが転倒しているか否かの尺度である転倒スコアとして、予め定めた閾値を転倒スコアが超えた場合にその人物は転倒状態であると判定する。また、物体の状態検出は、以前は動体だった物体が所定時間経過後、不動体（静止物体）に変化した可能性を検出する。たとえばある画像において元々空間内に存在しなかった物体の特徴が所定時間以上あるか否かを検出する。物体の状態検出には不動体スコアを用いる。不動体スコアとは、置き去り物体など以前は動体だった物体がある時点から不動体に変化した可能性の尺度である。このような物体をここでは不動体（静止物体）と呼ぶ。不動体スコアが所定の閾値より高い場合、または所定の期間で閾値を超えた場合、その領域には不動体がある状態であることを判定する。この物体の状態検出は、転倒検出と比較して、解像度についてロバストであるとよい。転倒検出と、物体の状態検出とは、１つの撮像センサを用いた同一の画像または映像を使って異常を検出するため、複雑なシステムを準備しなくてもよい。

図６を用いて、転倒検出と不動体検出を組み合わせた異常検出システムの一例を説明する。画像６０００は、ある時刻において監視の対象となる空間を撮像した画像を示す。画像６０００に写った人物６０１が人体検出によって検出されており、人物が存在している領域として６１０が示されている。点線で囲われた領域６１０は、人物領域を示す。本実施形態では、この枠の大きさが所定のサイズより小さい場合、領域６１０について物体が不動体になっていないか否かの判定を行う。同じ空間をｔ秒後に撮像した画像が６００１である。人物６０１は移動しており、領域６２０の中には存在しない。この場合、領域６２０についての不動体判定については不動体スコアが低くなる。不動体スコアが所定の値より小さい場合には、人物６０１が領域６２０で転倒している可能性は低い。このとき、転倒スコアは小さい値に更新される。このように、物体の状態検出の取得結果を用いることで転倒判定における転倒の誤検出を防ぐ可能性がある。また、同じように空間をｔ秒後に撮像した画像が６００２では、領域６３０に人物６０１が存在している。この場合、領域６３０について、不動体判定では不動体スコアが高くなる。この結果に基づいて人物６０１の転倒スコアを更新すると、転倒スコアは大きくなる。このように、物体の状態検出の取得結果を用いることで転倒判定における転倒の未検出を防ぐ可能性がある。

図１３は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ＣＰＵ４１と、ＲＡＭ４２と、ＲＯＭ４３と、記憶装置１０４と、出力装置４５と、入力装置４６と、通信装置４７と、システムバス４８とを備える。

ＣＰＵ４１は、情報処理装置１００における動作を統括的に制御するプロセッサであり、システムバス４８を介して、各構成部（４２〜４７）を制御する。ＲＡＭ４２は、ＲＯＭ４３や記憶装置１０４からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ４２は、通信装置４７を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ４２は、ＣＰＵ４１が各処理を実行する際に用いるワークエリアも有する。

ＲＯＭ４３は、ＣＰＵ４１が情報処理を実行するために必要な情報処理プログラム等を記憶する不揮発性メモリである。この情報処理プログラムは、ＯＳ（オペレーティングシステム）上で動作するアプリケーションプログラムであってよい。なお、当該プログラムは、記憶装置１０４や不図示の記録媒体に記録されていてもよい。ＣＰＵ４１は、ＯＳとアプリケーションプログラムとをＲＯＭ４３あるいは記憶装置１０４から読み出してＲＡＭ４２にロードし、実行することで各種の機能動作を実現することができる。

出力装置４５は、各種処理結果やユーザインタフェース画面（ＵＩ画面）を表示するモニタにより構成される。入力装置４６は、キーボードやマウス等のポインティングデバイス、タッチパネル等により構成することができる。情報処理装置１００のユーザ（例えば、システム設定者）は、入力装置４６を操作して情報処理装置１００に対して指示を入力することができる。通信装置４７は、ネットワーク６０に接続された外部装置と通信するためのインタフェースである。システムバス４８は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、記憶装置１０４、出力装置４５、入力装置４６および通信装置４７を通信可能に接続する。

図１は、異常検出を行う情報処理システム１０００の機能構成例を表すブロック図である。情報処理システム１０００は、異常検出を行う情報処理装置１００、監視対象である空間を撮像する撮像装置２００、撮像された画像や異常検出に用いる識別器を記憶する記憶装置１０４から構成される。図１において１００は情報処理装置であって、１０１は画像取得部、１０２は推定部、１０３は判定部、１０５は検出部を有する。各機能構成部が実行する処理については、後述のフローチャートで詳細に説明する。更に、情報処理装置１００は撮像装置２００と記憶装置１０４と表示装置３００とに接続されている。

撮像装置２００は、監視対象の空間を撮像し、時系列の画像を情報処理装置１００に入力する。撮像装置は、具体的には広域撮影可能なカラーカメラであるとする。記憶装置１０４は、撮像装置２００が撮像した画像（映像）を記録する。表示装置３００は、表示制御部１０６の制御に従って、監視対象である空間に異常が発生している旨の表示を行う。例えば、人物が転倒していることを報知する。情報処理装置１００は、撮像装置２００が空間を撮像した画像から人物の異常状態を判定する。画像取得部１０１は、監視対象である空間を撮像した時系列の画像または映像を取得する。特定部１０５は、取得した画像を使って人物が存在する領域を特定する。第１取得部１０２は、特定部１０５で検出された領域毎に、人物の姿勢ベクトル（姿勢情報）に基づいて人物ｉが転倒しているか否かの状態を示す尺度である転倒スコアを取得し、所定の閾値より転倒スコアが大きい場合に人物ｉは転倒していると判定する。また、所定の閾値より転倒スコアが小さい場合には人物ｉは転倒していないと判定する。さらに、第２取得部１０３から人物ｉが含まれる領域についての第２の取得結果（不動体スコア）を取得した場合は、取得結果に基づいて転倒スコアを更新する。更新された転倒スコアが閾値よりも大きい場合は、人物ｉは転倒していると判定する。

第２取得部１０３は、第２取得部１０３が、画像から得た画像特徴と背景の画像特徴とに基づいて、所定領域に所定時間より長く静止する物体があることを示す不動体スコアを取得する。所定領域は、前記特定部１０５で人物ｉが存在すると特定された領域を指す。また、物体は該領域に検出された物体（人物ｉ）を指す。不動体スコアとは、置き去り物体など以前は動体だった物体がある時点から不動体に変化したものか否かを判定するための尺度であり、所定領域ごとに取得される。例えば、領域内の画像の変化量が閾値より小さく、領域内の物体が静止しているとみなせる時間が長くなるほど、不動体らしさを表す不動体スコアを徐々に高くする。不動体スコアが所定の値より大きい場合に領域に含まれる物体が静止している状態であると判定し、不動体スコアが所定の値より小さい場合に領域に含まれる物体が移動していると判定する。第１取得部１０２においてある領域に存在する人物が転倒していると推定された場合、同じ領域について不動体スコアが大きければ、その人物は転倒している可能性が高い。逆に、転倒していると判定された人物の不動体スコアが低い場合は、人物が転倒から復帰もしくは転倒していなかった可能性がある。このようなケースにおいて不動体スコアを用いることによって転倒検出の誤検出を減らすことが期待される。

検出部１１０は、第１取得部１０２の取得結果（転倒スコア）と第２取得部１０３の取得結果（不動体スコア）とに基づいて人物の異常状態を検出する。更新された転倒スコアが所定の閾値より大きい場合、その領域に転倒している人物がいることが検出される。

表示制御部１０６は、検出部１１０の検出結果に基づいて、特定された領域に存在する人物に異常状態を検出した旨の報知を行う表示を制御する。具体的には、特定された領域に存在する人物ｉが転倒している旨の報知を行う表示を制御する。また、判定部の取得結果に基づいて物体が静止している状態が所定の期間より継続する場合は物体が置き去りにされている旨の報知を行う表示を制御する。

上記のように構成された情報処理装置１００が実行する処理について、図２のフローチャートを用いて具体的に説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。図２のフローチャートに示した処理は、コンピュータである図１６のＣＰＵ４１により記憶装置１０４に格納されているコンピュータプログラムに従って実行される。ただし、情報処理装置１００は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。

Ｓ２０１では、情報処理装置１００における画像取得部１０１が、監視対象である空間を撮像した時系列の画像を取得する。なお、画像は、連続フレームでもサンプリングされたフレームでも良い。

Ｓ２０２では、特定部１０５が、Ｓ２０１で取得した画像を使って人物が存在する領域を特定する（人物検出）。図６（Ｂ）における領域６１１、６１２、６１３を特定する。人物検出とは、画像内で人物がいる可能性の高い領域を検出し、その領域情報（少なくとも位置情報とサイズ情報とを含む）を出力することである。人物のパターン画像と入力画像の人物領域との比較によって、入力画像から人物を検出する。人物の画像特徴を学習した学習モデルを活用しても良い。ここでは説明のため、Ｎ人の人物が検出されたものとする。検出された人物が存在する領域は、０からＮまでのＩＤが割り振られ、ｉ＝０から順にＳ２０４以降の処理にかけられる。ここでは、図６（Ｂ）において、Ｎ＝３であり、人物６４０がｉ＝０、人物６４１がｉ＝１、人物６３２がｉ＝２というふうに割り振る。このように、画像認識を使った異常検出では複数人の異常状態を同時に処理することが可能である。

Ｓ２０３では、特定部１０５が、Ｓ２０４の判定で利用する変数ｉを０に初期化する。変数ｉは本実施形態の処理において現在着目している人物ＩＤの役割を果たす。

Ｓ２０４では、特定部１０５が、変数ｉの値が０≦ｉ＜Ｎであるか否かを判定する。本実施形態では、値が０≦ｉ＜Ｎである場合は処理をＳ３００に進め、それ以外の場合は処理をＳ２０１に戻す。

次に、Ｓ３００では、検出部１１０が、対象の空間を撮像した画像から特定の人物の異常状態を検出する。具体的にここでは、Ｓ２０２で特定部１０５が検出した人物のうち、ｉ番目の人物（以後「人物ｉ」と呼ぶ）についての転倒検出処理を行う。

Ｓ３００が終了すると、Ｓ２０５で情報処理装置１００がユーザからの終了指示の有無を判断する。特に終了指示がない場合はＮＯに進み、Ｓ２０６により変数ｉの値をインクリメントして、Ｓ２０４の処理に戻る。ユーザからの終了指示がある場合は、処理を終了する。

以下、図３は、検出部１１０が実行する転倒検出処理の例を説明するフローチャートである。

Ｓ３０１では、第１取得部１０２が、Ｓ２０２で検出された領域毎に、人物の姿勢ベクトル（姿勢情報）に基づいて人物ｉが転倒しているか否かの状態を示す尺度である転倒スコアを取得する。

本実施形態では、転倒スコアの取得に、非特許文献１の姿勢推定技術および一般的な機械学習技術を利用する。図４および図５は、姿勢判定を行う識別器の学習に用いる画像の一例である。図４の画像４０００〜４００４は、「転倒」を示す画像である。図５の画像５０００〜５００４は「非転倒」を示す画像である。まず、学習用に「転倒」、「非転倒」の画像４０００等を準備して、それぞれの画像に対して姿勢推定する。姿勢推定は、人物が写った画像を入力するとその人物の姿勢取得結果を出力するような学習モデルを用いる（具体的にはＣＮＮ）。学習モデルとは、入力画像から入力画像に対応する結果を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータとする。もしくは、人物が写った画像から、人物の各部位についての画像特徴を特定し、体の部位を特定するような画像認識の手法を用いても良い。その結果、各画像について姿勢取得結果として出力された数値を要素として持つ姿勢ベクトル（姿勢情報）を生成する。なお、姿勢ベクトルとは、人物の身体の部位の方向を表す。姿勢ベクトルは、複数の数値の組み合わせによって表現される。たとえば、姿勢推定に用いる体の部位を右腕、左腕、頭部、胴体、右足、左足とする。それぞれの部位を（始点座標、終点座標）といったふうに座標で表す（４次元ベクトル）。その場合、姿勢ベクトルはたとえば（右腕始点ｘ座標値、右腕始点ｙ座標値、右腕終点ｘ座標値、右腕終点ｙ座標値、左腕始点ｘ座標値、・・・）となる。この場合の姿勢ベクトルは、４（次元／部位）×６（部位）で２４次元ベクトルとなる。

次に、図４の「転倒（異常）」を表す画像４０００〜４００４から得られた姿勢ベクトルを正例、図５の「非転倒（正常）」を表す画像５０００〜５００４から得られた姿勢ベクトルを負例とする。そして、サポートベクトルマシンにより姿勢ベクトルを入力として、転倒スコアを出力する識別器を作成する。なお、前述したニューラルネットワーク（ＣＮＮ）に、さらに転倒検出まで学習させて用いても良い。この場合、例えば、入力画像に対して転倒か立位かの状態を出力するニューラルネットワークを用意する。学習用データが十分に準備できるときは、学習モデルを用いることで精度が向上する可能性がある。

転倒スコアの取得時には、学習時と同様、まず入力画像のｉ番目の人物領域について姿勢推定により姿勢ベクトルを生成する。生成した姿勢ベクトルを識別器に入力し、識別器の出力を転倒スコアとする。また、本実施形態では、転倒スコアの精度を安定させるため、複数の画像の出力結果から得られた転倒スコアの平均を最終的な転倒スコアとする。平均計算に利用する画像数はシーンにより異なるため、事前実験により決定する。

Ｓ３０２では、第１取得部１０２が、人物ｉの人物領域のサイズがＡＮｍｉｎ以上であるかをチェックし、ＡＮｍｉｎ以上の場合はＳ３０５に処理を進め、ＡＮｍｉｎ未満の場合はＳ３０３からＳ３０４の処理を行う。ここで、ＡＮｍｉｎは、例えば転倒検出処理が単体で転倒判定可能とする最小サイズである。もしくは、ＡＮｍｉｎは第１取得部１０２で人物の姿勢情報が認識可能な大きさの領域サイズであるとする。本実施形態ではサイズとして検出した人物の外接矩形の長辺の長さを利用し、ＡＮｍｉｎの値は実験により事前に定めておくこととする。

Ｓ３０３では、撮像した画像から得た画像特徴と、監視対象のシーンを予め撮像した背景画像の画像特徴との差分から特定した領域について、所定時間以上、静止していると見做せる物体がある可能性を示す不動体スコアを取得する。領域は、特定部１０５で特定された、人物ｉが検出された領域を指す。また、物体とは、特定部１０５で特定された領域で検出された物体（人物ｉ）を指す。不動体スコアとは、置き去り物体など以前は動体だった物体がある時点から不動体に変化した可能性の尺度である。第２取得部１０３は、まず記憶装置１０４から監視対象の空間のシーンモデルを取得する。シーンモデルは、空間に人や動体がない状態で撮像された画像である。このシーンモデルをグリッド分割し、各グリッドの画像特徴を記憶する。なお、グリッドの大きさは予め設定しておく。また、グリッドは領域単位でも画素単位でもよい。第２取得部１０３は、シーンモデルから各領域について壁や床の画像特徴を取得する。第２取得部１０３は、入力画像とシーンモデルの背景差分を取得する。具体的には、入力された画像を、シーンモデル同様グリッド分割し、各グリッドの画像特徴を取得する。次に、各グリッドについて、シーンモデルの画像特徴と入力画像と画像特徴をマッチングする。シーンモデルの画像特徴と、入力画像の画像特徴が類似する場合は、背景から変化のないグリッドである。すなわち、動体か不動体（静止物体）かに関わらず、その領域には物体が存在する可能性が低い。この場合、その領域についての不動体スコアは低くする（例えば０。）一方で、シーンモデルの画像特徴と、入力画像の画像特徴が類似しない場合は、空間に新たな物体または人物が現れた可能性がある。この時刻（時刻ｔとする）の入力画像の画像特徴を記憶装置１０４が記憶する。時刻ｔ以降の入力画像に対しては、時刻ｔにおける画像の画像特徴が類似しなかったグリッドについて、時刻ｔの画像の画像特徴とマッチングを行う。時刻ｔから所定時間以上（例えばΔｔ＝３分）、時刻ｔの画像の画像特徴が、入力画像の対応する位置のグリッドと類似し続けた場合は、そのグリッドには不動体が存在する可能性が高い。このとき、対応する位置のグリッドに対して大きい不動体スコアを与える。不動体が存在する可能性が高い時間が長く経過するほど、不動体スコアを０から１の間で徐々に高くし、さらに、例えばΔｔ＝３分を超えると、不動体スコアを最大値にしても良い。なお、複数のグリッドにまたがって物体が検出される可能性もある。

なお、連続的な不動体スコアを取得するには以下の処理結果を反映してもよい。例えば、複数の隣接するグリッドで物体が検出された場合、それらのグリッドで検出された物体がひとつの物体であることを確かめる。例えば、人物が４つのグリッドにまたがって検出された場合、この４つのグリッドをひとまとまりの物体として不動体スコアを取得する。各グリッドが同じ時間に渡って検出された場合（例えば、各グリッドで１分ずつ）は、不動体スコアが高くなる。一方で、一部の領域が一瞬影になる状況下では、各グリッドで同じ時間だけ画像特徴が検出できるとは限らない（例えば、１つのグリッドだけ５０秒、他のグリッドは１分ずつ検出された場合。）このような場合は、不動体スコアを少しだけ小さくする。また、特定部１０５で特定された人物（物体）がどれくらい物体らしいかを示す指標を不動体スコアに用いる。これは、背景と物体の区別をするために、不動体がある領域に対してエッジ検出を行う。エッジで囲まれた領域が存在する場合は、不動体が物体（人体）であると仮定し、不動体スコアを高くする。エッジが検出されない場合は、壁や床等の一定のテクスチャをもつ背景であると仮定し、不動体スコアを低くする。もしくは、ＣＮＮを使ってセマンティックセグメンテーションを用いても良い。これは、入力画像の各グリッドから検出された物体のカテゴリや種類を推定する技術である。本実施形態での目的は転倒検出であるため、人物を検出した場合に不動体スコアを高くつけるように設定する。また、鞄や傘などの人の携帯品を検出した場合は、不動体スコアを高くする。逆に、ホワイトボードやごみ箱といった備品が検出された場合は不動体スコアを低くする。

Ｓ３０４では、第１取得部１０２が、不動体スコアに基づいて転倒スコアを更新する。本実施形態では転倒スコアと不動体スコアとの重み付き和で取得した値で更新を行う（式１のａ、ｂ）。
・転倒スコアの更新値＝ａ×転倒スコア＋ｂ×不動体スコア ・・・（式１）
ただし、ａ＋ｂ＝１、ｂ＝ｋ／物体領域画素数、ｋ：利用環境に応じて事前設定される定数である。

式１によると、不動体スコアが大きい場合は、転倒スコアが小さくても転倒スコアの更新値も大きくなるため、未検出が減らせる可能性がある。例えば、病院の廊下等で転倒検出の未検出のリスクをなるべく減らしたい場合に有効である。

また、式１によると、不動体スコアが小さい場合は、転倒スコアが大きくても転倒スコアの更新値は小さくなるため、誤検出を減らす可能性がある。誤検出を減らしたい場合は、転倒スコアが所定の閾値より大きい場合にのみ、不動体スコアを反映するように設定してもよい。例えば、駅のホーム等、立ち止まっている人が多くいる状況において転倒検出の誤検出を減らしたい場合に有効である。

Ｓ３０５では、第１取得部１０２が、転倒スコアと事前に定めたしきい値Ｔｈとを比較することによって人物ｉの状態が「転倒」であるか否かを判定する。転倒スコア＞Ｔｈの場合はＳ３０６に処理を移し、それ以外の場合は人物ｉに対する転倒検出処理を終了する。

Ｓ３０６では、表示制御部１０６が、検出部１１０の検出結果に基づいて、特定された領域に存在する人物に異常状態を検出した旨の報知を行う表示を制御する。本実施形態では、所定の画面上、例えば表示装置３００に「転倒検出」と表示することで報知を行う。報知を終えたら、人物ｉに対する転倒検出処理を終了する。

以上のように、本実施形態では画像から人物を検出し、検出した人物に対して転倒スコアを取得するよう構成した。検出した人物のサイズが所定サイズより小さい場合には、さらに不動体スコアを取得し、取得した不動体スコアを用いて転倒スコアを更新する。転倒スコアが所定値より大きい場合には人が転倒している旨の報知を行うよう構成した。これにより、人物サイズが小さいために転倒判定スコアが低めに出てしまった場合でも、今まで動いていた物体の動きが所定時間止まった状態を表す不動体スコアが高くなるので、転倒時の未報知を抑制することが可能になる。一方、人物サイズが小さいために転倒判定スコアが高めに出てしまった場合でも、今まで動いていた物体の動きが所定時間止まった状態を表す不動体スコアが低くなるので、転倒時の誤報知を抑制することが可能になる。

なお、Ｓ３０３において、画面をグリッド分割し、人物ｉの領域の包含割合が最も大きいグリッドで取得された不動体スコアを人物ｉの不動体スコアとみなすよう構成した。これに限らず、人物ｉに対する不動体スコアを取得できれば他の方法を用いても良い。たとえば、人物ｉが重なるグリッドそれぞれについて、グリッド面積に対する人物ｉの領域の包含割合を取得し、それぞれのグリッドで取得した不動体スコアを前述の包含割合に応じて積算するように構成しても良い。

また、Ｓ３０６では、報知の方法として所定の画面上に「転倒検出」と表示するよう構成したが、転倒を検出した旨を伝えられれば、もちろん他の報知方法でも構わない。たとえば、所定ファイルにログとして出力しても良いし、所定のアプリケーションやプログラムに通知するよう構成しても良い。あるいは、音や音声で周囲に伝えるように構成しても良いし、赤色灯を点灯させるよう構成しても良い。

さらに、Ｓ３０６における報知の内容として、転倒を検出した旨を伝えるだけではなく、内部情報を伝えるように構成したり、内部情報に応じて表示方法を変更するよう構成したりしてもよい。図１７に情報処理装置のＵＩの一例を示す図を示す。図１７（Ａ）（Ｂ）は、２種類の異常検出が確認状態であることをユーザに報知する。たとえば、転倒スコアがＳ３０４にて更新されていた場合、転倒スコアに占める不動体スコアの割合の提示など、転倒スコアの内部的な構成も伝えるよう構成してもよい。また、不動体スコアの割合が小さい場合に青文字、不動体スコアの割合が大きい場合には赤文字で伝えるなどのように内部情報に応じて表示方法を変更するよう構成してもよい。例えば、図１７（Ａ）の枠の色を、確認中は黄色、異常時は赤、正常であることが確認できたら青のように設定してもよい。もちろん、内部情報として転倒スコアと不動体スコアの両方を使わなくてもよいし、転倒スコアや不動体スコアあるいはそれらの取得過程で生成される値をさらに加工してそれらの値の組み合わせを内部情報としてもよい。あるいは、転倒確率あるいは不動体確率を定義し、これらの確率に応じて報知方法を変更するように構成してもよい。たとえば、Ｓ３０１で用いた識別器の出力値を０から１の範囲に正規化し、正規化した値を確率とみなし、確率に応じて報知の文字や音を大きくするように構成してもよい。また、Ｓ３０５では、転倒スコアと事前に定めたしきい値Ｔｈとを比較し、転倒スコア＞Ｔｈの場合にＳ３０６に処理を移して転倒報知を行うように構成した。しかし、転倒スコア＞Ｔｈの場合でも、人物ｉのサイズがＡＮｍｉｎ未満であれば不動体スコアが所定値以下の場合には人物ｉに対する転倒検出処理を終了するよう構成しても良い。これにより、人物ｉのサイズが小さい場合に姿勢判別が難しくなることに起因した、未転倒の人物での転倒スコア異常値（ここでは大きな値）による誤報知の抑制が可能となる。

なお、上記の説明では、しきい値等のパラメータ値を事前設定し、不動体スコアの取得には背景差分に基づく方法を利用した。また、転倒スコアの取得には従来技術を利用してスコアを取得し、その後数式（１）を利用して転倒スコアの更新値を取得した。しかし、パラメータ値やスコアの取得方法はこれに限らない。パラメータ、不動体スコア、転倒スコアの少なくとも１つを機械学習により生成された識別器を利用して取得するように構成してもよい。例えば、監視画像を入力すると転倒スコアが出力されるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて推定しても良い。

上記実施形態の説明では、具体例として物体が人物、異常が転倒の場合について説明したが、本発明の適用は物体が人物、異常が転倒の場合の組み合わせに限らない。動きのある物体の通常状態ではない状態を検出可能であれば、人物の転倒以外にも適用可能である。たとえば、人の急変、車の事故の検出において対象物体サイズが小さい場合に、本発明で説明したように、不動体スコアを考慮することで誤報知や未検出を抑制することが可能となる。

また、上記実施形態の説明では、情報処理装置が画像を取得して人物の異常判定および不動体判定を行うように構成したが、処理の一部または全部を他の機器の出力で代替することも可能である。たとえば、Ｓ２０２の人物検出処理をカメラ内蔵の人物検出処理装置で行い、Ｓ２０２ではカメラから送られてきた人物検出処理結果を利用するように構成してもよい。もちろん、本発明で説明したすべての処理をカメラに内蔵させるよう構成してもよい。

＜実施形態２＞
実施形態１では、画像から人物を検出し、検出した人物に対して転倒スコアを取得するよう構成した。検出した人物のサイズが所定サイズより小さい場合には、さらに不動体スコアを取得し、取得した不動体スコアを用いて転倒スコアを更新する。転倒スコアが所定値より大きい場合には人が転倒している旨の報知を行うよう構成した。

しかしながら、不動体スコアが正しく取得されない可能性の考慮が必要な場合もある。たとえば、日が落ちて電気がついたタイミングなどの照明条件の変化等の影響を受けると、移動している物体の有無を認識する画像認識が困難になる。このようなケースで不動体スコアが非常に小さな値になった場合、転倒判定時の転倒スコアも低くなり、転倒を見逃す結果になりかねない。

そこで、本実施形態では、映像内の人物が所定回数連続で転倒状態であると判定された場合には、不動体等の他の取得結果に関わらず転倒状態であると判定する場合について説明する。

なお、説明の重複を避けるため、実施形態１との差分となる部分についてのみ説明する。

本実施形態では、実施形態１のＳ３００の動作を追加する。すなわち、実施形態１のＳ３０１を図７のフローチャートに置き換える。図７は、本発明の実施形態２に係る情報処理装置１００が実行する処理を説明するフローチャートである。

Ｓ４０１では、画像取得部１０１が、変数Ｃｎｔおよびｍを０に初期化する。

Ｓ４０２では、画像取得部１０１が、変数Ｍに画像枚数を設定する。ここでの画像枚数Ｍは、転倒状態であると判定するために必要な連続画像枚数である。Ｍの値についてはシーンにより異なるため、適用シーンに応じて実験等により事前に確定しておく。

Ｓ４０３では、画像取得部１０１が、変数ｍの値が０以上Ｍ未満であるかの条件を満たすかどうか確認し、条件を満たす場合はＳ４０４に処理を移し、条件を満たさない場合はＳ４１１に処理を移す。

Ｓ４０４では、第１取得部１０２が、Ｓ３０１に渡された画像の中からｍ番目の画像に対する転倒スコアである画像別転倒スコアＳｃ（ｍ）を取得する。Ｓｃ（ｍ）の取得時には隣接する画像を複数枚利用してもよいが、本実施形態では説明のため画像を１枚だけ使ってＳｃ（ｍ）を取得するものとする。取得した画像フレーム別転倒スコアＳｃ（ｍ）は記憶装置１０４に記録しておく。

Ｓ４０５では、第１取得部１０２が、画像別転倒スコアＳｃ（ｍ）が所定のしきい値Ｔｈ＿ｓｃより大きいか否かを判定する。大きい場合はＳ４０６により変数Ｃｎｔをインクリメントし、そうでない場合はＳ４０７により変数Ｃｎｔを０に初期化する。

Ｓ４０８では、変数Ｃｎｔの値が所定のしきい値Ｔｈ＿ｃｎｔより大きいか否かを判定する。大きい場合はＳ４１０に処理を移し、そうでない場合はＳ４０９で変数ｍをインクリメントした後にＳ４０３に処理を戻す。

Ｓ４１０では、表示制御部１０６が、Ｓ３０６での動作と同様、人物ｉが転倒している旨の報知を行う。報知を終えたら、人物ｉに対する転倒検出処理Ｓ３００を終了し、処理をＳ２０６に移す。

Ｓ４０３においてｍの値がＭ以上と判定された場合は、Ｓ４１１に処理が移る。Ｓ４１１では、第１取得部１０２が、画像別転倒スコアｓｃ（０）からｓｃ（ｍ）までのｍ個の値から転倒スコアを取得する。本実施形態では画像別転倒スコアの平均値を転倒スコアとする。しかし、転倒スコアの取得方法はこの方法に限らない。転倒スコアとして重み付き平均を取得してもよいし、最大値や中央値などを利用してもよい。すなわち、画像別転倒スコアから得られる値であればどのような値を利用あるいは取得してもよい。

Ｓ４１１で転倒スコアを取得したら、呼び出し元に戻って処理を続ける。本実施形態ではＳ３０２に処理を移す。

以上のように、本実施形態では映像内の人物が所定回数連続で転倒状態であると判定された場合には、不動体等の他の取得結果に関わらず転倒状態であると判定する方法を説明した。このような構成により、不動体スコアが正しく取得されない状況に陥った場合にも、人物サイズが小さい場合の転倒時の誤報知や未報知を抑制することが可能になる。

＜実施形態３＞
実施形態２では、映像内の人物が所定回数連続で転倒状態であると判定された場合には、不動体等の他の取得結果に関わらず転倒状態であると判定する場合について説明した。

本実施形態では、人物サイズが所定サイズ未満の場合に、パン、チルト、ズーム（ＰＴＺ）を用いて人物の画面内のサイズを調整してから転倒の判定を行う場合について説明する。ただし、実施形態２と同様、説明の重複を避けるため、実施形態１との差分となる部分についてのみ説明する。

図８は、本発明の実施形態３に係る情報処理システムが実行する処理を説明するフローチャートであり、以下、図８を使って動作を説明する。ただし、Ｓ２０１、Ｓ２０２、Ｓ２０４、Ｓ２０６については実施形態１と同じであるため、動作の説明は割愛する。

Ｓ２０１およびＳ２０２の処理を経た後、Ｓ５０１では、検出部１１０が、Ｓ２０４の判定で利用する変数ｉとＳ５０２およびＳ５０４の判定で利用する変数ｃとを０に初期化する。ここで、変数ｉは実施形態１と同様、本実施形態の処理において現在着目している人物ＩＤの役割を果たす。また、変数ｃは人物サイズが所定サイズ未満である人物に関する人物ＩＤの役割を果たす（人物ｃと呼ぶ）。

Ｓ２０４では、本実施形態では、変数ｉの値が０≦ｉ＜Ｎである場合は処理をＳ６００に進め、それ以外の場合は処理をＳ５０２に移す。

Ｓ６００では検出部１１０が転倒検出処理を行う。検出部１１０が実行する転倒検出処理の例を説明するフローチャートである図９を使って詳しく説明する。ただし、実施形態１における図３との差分についてのみ説明する。

図６は本発明の実施形態３に係る転倒検出処理の構成を表すフローチャートである。

Ｓ３０１からＳ３０２は実施形態１での処理と同じである。

Ｓ３０２において、第１取得部１０２が、人物ｉのサイズがＡＮｍｉｎ未満と判定された場合、人物ｃとしてＳ６０１からＳ３０４の処理が行われる。

Ｓ６０１では、第１取得部１０２が、人物ｃの画面内位置とサイズとから、人物ｃが画面中央かつ所定サイズになるようなカメラ制御用ＰＴＺ（パン、チルト、ズーム）パラメータを設定する。ここで設定したパラメータは後述のＳ５０５で利用する。

Ｓ６０２では、第１取得部１０２が、変数ｃの値をインクリメントする。

Ｓ３０４以降の処理は実施形態１における図３の説明と同様である。

転倒検出処理Ｓ６００が終了すると、実施形態１同様、Ｓ２０６により変数ｉの値をインクリメントして、Ｓ２０４の処理に戻る。

Ｓ２０４では、検出部１１０が、変数ｉの値が０≦ｉ＜Ｎを満たさない場合、Ｓ５０２の処理に進む。

Ｓ５０２では、検出部１１０が、変数ｃの値が０より大きい値を持つ場合は処理をＳ５０３に移し、そうでない場合は転倒検出処理を終える。

Ｓ５０３では、検出部１１０が、変数ｊの値を０に初期化する。

Ｓ５０４では、検出部１１０が、変数ｊの値が０≦ｊ＜ｃを満たす場合に処理をＳ５０５に移し、そうでない場合は転倒検出処理を終える。

Ｓ５０５では、撮像装置２００が、Ｓ６０２で設定したカメラ制御用ＰＴＺパラメータを使い、人物ｃがＡＮｍｉｎ以上の所定サイズでかつ画面中央に位置するよう、カメラのＰＴＺを行う。

Ｓ６００では、検出部１１０が所定サイズで画面中央に位置付けられた人物ｃに対して、あらためて転倒検出処理Ｓ６００を実行する。転倒検出処理Ｓ６００の重複説明は割愛する。ただし、人物サイズはＰＴＺによりＡＮｍｉｎ以上になっているので、転倒検出処理Ｓ６００では図９のＰＴＺパラメータ設定Ｓ６０１から転倒スコア更新Ｓ３０４までの処理は実行されない。

以上のように、人物サイズが所定サイズ未満の場合に、ＰＴＺを用いて人物の画面内のサイズを調整してから転倒の判定を行うよう構成したので、人物サイズが小さい場合にも転倒時の誤報知や未報知を抑制することが可能になる。

＜実施形態４＞
実施形態１から実施形態３では、転倒を検出した後に不動体検出を行う場合について説明した。本実施形態では、先に不動体検出を行った後に転倒検出を行う構成について説明する。不動体検出（判定）を先に行うことによって、推定処理を行うべき画像領域が限定される。その結果、情報処理装置の処理負荷を軽減できる可能性がある。処理の概要を説明する。まず、第２取得部１０３が、撮像された画像を分割する。第２取得部１０３が、分割された画像から得た画像特徴と、シーンを予め撮像した背景画像の画像特徴とに基づいて所定時間以上、物体が存在する領域を取得する。第１取得部１０２が、物体が存在する領域に含まれる人物の状態（転倒スコア）を推定する。物体が存在する領域について、検出部１１０が、更新された転倒スコアと事前に定めたしきい値Ｔｈとを比較することによって人物の異常状態を検出する。

前記第２取得手段によって変化があると推定された領域について、前記推定手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出する。

図１０は本発明の実施形態４に係る転倒検出処理の構成を表すフローチャートである。Ｓ２０１の動作は実施形態と同じであり、画像取得部１０１が画像を取得する。Ｓ７０１では、画像取得部１０１が、画像領域を小領域に分割する。本実施形態では、Ｇ個の均一矩形にグリッド分割するものとする。Ｓ７０２では、画像取得部１０１が、変数ｇを０に初期化する。変数ｇはＳ７０１で分割した個々のグリッドを識別するために利用する（以降の説明では、着目グリッドをグリッドｇと呼ぶ）。Ｓ７０３では、画像取得部１０１が、変数ｇの値が０≦ｇ＜Ｇであるか否かを判定して処理を分岐する。本実施形態では、値が０≦ｇ＜Ｇである場合は処理をＳ７０４に進め、それ以外の場合は転倒検出処理を終了する。

Ｓ７０４では、第２取得部１０３が、グリッドｇに対する不動体スコアを取得する。本実施形態では、グリッドごとに取得する不動体スコアは、グリッド内で背景差分を行って得た差分値の合計を利用する。Ｓ７０５では、第２取得部１０３が、グリッドｇに対する不動体スコアと事前に定めたしきい値Ｔｈ２とを比較する。グリッドｇに対する不動体スコア＞Ｔｈ２の場合はＳ８００に処理を移し、それ以外の場合はＳ７０６で変数ｇをインクリメントした後、Ｓ７０３に処理を戻す。Ｓ８００では、特定部１０５が、グリッドｇに対して人物領域を特定する。人物検出処理について、図１１を使って詳しく説明する。図１１は本発明の実施形態４に係る転倒検出処理を説明するフローチャートである。

Ｓ８０１では、特定部１０５が、グリッドｇに対して人物領域を特定する。ここでは説明のため、Ｎ人の人物が検出されたものとする。Ｓ８０２では、特定部１０５が、Ｓ８０３の判定で利用する変数ｉを０に初期化する。変数ｉは本実施形態の処理において現在着目している人物ＩＤの役割を果たす。Ｓ８０３では、特定部１０５が、変数ｉの値が０≦ｉ＜Ｎであるか否かを判定して処理を分岐する。本実施形態では、値が０≦ｉ＜Ｎである場合は処理をＳ９００に進め、それ以外の場合は人物検出処理を終了する。

以下、図１２を使ってＳ９００における転倒検出処理を説明する。図１２は本発明の実施形態４に係る転倒検出処理の構成を表すフローチャートである。Ｓ９０１では、第１取得部１０２が、人物ｉが転倒しているか否かの尺度である転倒スコアを取得する。転倒スコアの取得方法は実施形態１と同様である。Ｓ９０２では、第１取得部１０２が、人物ｉのサイズがＡＮｍｉｎ以上であるかをチェックし、ＡＮｍｉｎ以上の場合はＳ９０４に処理を進め、ＡＮｍｉｎ未満の場合はＳ９０３の処理を行う。ここで、ＡＮｍｉｎは転倒検出処理が単体で転倒判定可能とする最小サイズである。本実施形態ではサイズとして検出した人物の外接矩形の長辺の長さを利用し、ＡＮｍｉｎの値は事前に定めておくこととする。

Ｓ９０３では、第１取得部１０２が、転倒スコアを更新する。本実施形態では実施形態１と同様、転倒スコアと不動体スコアとの重み付き和で取得した値で更新を行う（式１のａ、ｂ）。

Ｓ９０４では、検出部１１０が、更新された転倒スコアと事前に定めたしきい値Ｔｈとを比較する。転倒スコア＞Ｔｈの場合はＳ９０５に処理を移し、それ以外の場合は人物ｉに対する転倒検出処理を終了する。

Ｓ９０５では、表示制御部１０６が、人物ｉが転倒している旨の報知を行う。本実施形態では、所定の画面上に「転倒検出」と表示することで報知を行う。なお、報知の方法は画面表示に限らず、ログとして出力、所定アプリへの通知、サイレンを含む音や音声での伝達など、報知の目的を達せられればどのような報知方法でもよい。報知を終えたら、人物ｉに対する転倒検出処理を終了する。

以上のように、本実施形態では不動体判定された人物についてだけ転倒判定するように構成した。すなわち、画像から不動体が存在する領域を検出し、検出した領域に対して人物検出と転倒スコアの取得とを実施するよう構成した。検出した人物のサイズが所定サイズより小さい場合には、不動体スコアを用いて転倒スコアを更新する。転倒スコアが所定値より大きい場合には人が転倒している旨の報知を行うよう構成した。これにより、人物サイズが小さい場合の転倒時の誤報知や未報知を抑制することが可能になる。

＜実施形態５＞
実施形態４では、先に不動体検出を行った後に転倒検出を行う構成について説明した。本実施形態では、さらに、検出した人物の人物サイズが所定サイズ未満の場合に、パン、チルト、ズーム（ＰＴＺ）を用いて人物の画面内のサイズを調整してから転倒の判定を行う場合について説明する。

図１３は、本発明の実施形態５に係る人物検出転倒検出処理の構成を表すフローチャートである。以下、図５を使って動作を説明する。ただし、Ｓ２０１およびＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０６については実施形態１での処理と同じ処理である。また、Ｓ７０１、Ｓ７０３、Ｓ７０４、Ｓ７０５については実施形態４での処理と同じ処理である。これらのステップの動作の細かい説明は省略する。

Ｓ２０１で画像取得部１０１が画像を取得し、Ｓ７０１で画像取得部１０１が画像領域をＧ個の均一矩形領域にグリッド分割する。

Ｓ１００１では、画像取得部１０１が変数ｇおよび変数ｃを０に初期化する。変数ｇはＳ７０１で分割した個々のグリッドを識別するために利用する（以降の説明では、着目グリッドをグリッドｇと呼ぶ）。変数ｃは実施形態３と同様、Ｓ５０２およびＳ５０４で利用され、人物サイズが所定サイズ未満である人物に関する人物ＩＤの役割を果たす（人物ｃと呼ぶ）。

Ｓ７０３の判定、Ｓ７０４での不動体スコア取得を経て、Ｓ７０５において不動体スコア＞Ｔｈ２の場合はＳ１１００に処理を移す。

Ｓ１１００では人物検出処理を行う。図１４を使って詳しく説明する。ただし、実施形態４における図１１との差分についてのみ説明する。図１４は本発明の実施形態５に係る人物検出処理の構成を表すフローチャートである。図１４において、Ｓ８０１からＳ８０４までは、実施形態４と同じである。本実施形態では、Ｓ８０３において、特定部１０５は、変数ｉの値が０≦ｉ＜Ｎである場合は処理をＳ１２００に進める。それ以外の場合は実施形態４と同様、人物検出処理を終了する。

Ｓ１２００では転倒検出処理を行う。Ｓ１２００の動作については、図１５を用いて説明する。図１５は本発明の実施形態５に係る転倒検出処理の構成を表すフローチャートである。Ｓ９０１からＳ９０２の処理およびＳ９０３からＳ９０５の処理は実施形態４の図１２と同じである。また、Ｓ６０１およびＳ６０２の処理は、実施形態３の図９と同じである。各ステップの詳細について説明済みなので、ここでは処理の流れを簡単に説明する。

本実施形態の転倒検出処理Ｓ１２００では、まず、第１取得部１０２が、人物ｉに対する転倒スコアを取得する（Ｓ９０１）。人物ｉの人物サイズが所定サイズ未満であれば（Ｓ９０２）、人物ｃが画面中央かつ所定サイズになるようなカメラ制御用ＰＴＺ（パン、チルト、ズーム）パラメータを設定する。その後変数ｃをインクリメントし（Ｓ６０２）、第１取得部１０２が転倒スコアを更新する（Ｓ９０３）。転倒スコアが事前に定めたしきい値Ｔｈより大きい場合は（Ｓ９０４）、表示制御部１０６が、人物ｉが転倒している旨の報知を行う（Ｓ９０５）。

以上のように、本実施形態では先に不動体検出を行った後に転倒検出を行う場合でかつ検出した人物の人物サイズが所定サイズ未満の場合に、パン、チルト、ズーム（ＰＴＺ）を用いて人物の画面内のサイズを調整してから転倒の判定を行うように構成した。これにより、人物サイズが小さい場合の転倒時の誤報知や未報知を抑制することが可能になる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

１００ 情報処理装置
１０１ 画像取得部
１０２ 第１取得部
１０３ 第２取得部
１０４ 記憶装置
１１０ 検出部
１０６ 表示制御部
２００ 撮像装置
３００ 表示装置

Claims (15)

1. シーンを撮像した画像から人物の異常状態を検出する情報処理装置であって、
   前記画像において人物の領域を特定する特定手段と、
   前記領域に含まれる前記人物の状態を取得する第１取得手段と、
   前記画像から得た画像特徴と、前記シーンを予め撮像した背景画像の画像特徴とに基づいて前記領域に所定時間以上、存在する物体を取得する第２取得手段と、
   前記第１取得手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出する検出手段とを有することを特徴とする情報処理装置。
2. 前記検出手段は、前記特定手段によって特定された領域が所定の大きさより大きい場合に、前記第１取得手段の取得結果に基づいて前記人物の異常状態を検出し、前記特定手段によって特定された領域が所定の大きさより小さい場合に、前記第１取得手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像は、前記シーンを撮像した時系列の画像であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第１取得手段は、前記人物の身体の部位の方向を表す姿勢情報に基づいて前記人物の状態を取得することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第１取得手段は、前記人物の身体の部位の方向を表す姿勢情報に基づいて前記人物が転倒しているか否かについての状態を取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第１取得手段は、前記画像を入力すると前記人物の前記姿勢情報を出力するニューラルネットワークに基づいて前記人物の状態を取得することを特徴とする請求項４に記載の情報処理装置。
7. 前記第１取得手段は、前記画像を入力すると前記人物の前記姿勢情報を出力するニューラルネットワークに基づいて前記人物が転倒しているか否かについての状態を取得することを特徴とする請求項６に記載の情報処理装置。
8. 前記第２取得手段は、前記画像から得た画像特徴と前記シーンを予め撮像した背景画像の画像特徴とを比較することによって前記領域の差分を取得し、差分がない場合は前記物体は存在しないことを取得し、差分がある場合は、前記画像から得た画像特徴と、前記画像より後に取得された画像の画像特徴との差分を取得することで前記物体が存在することを取得し、さらに所定時間以上、前記画像から得た画像特徴が取得された場合は前記領域に静止する物体が存在することを取得することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記第２取得手段は、前記領域において前記所定時間にわたって静止する物体が存在する状態を取得することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記第１取得手段は、前記人物が転倒しているか否かについて状態を示す尺度である転倒スコアを取得し、
    前記第２取得手段は、前記領域に所定時間以上、物体が存在するか否かを示す不動体スコアを取得することを特徴とする
    前記検出手段は、前記不動体スコアに基づいて更新された前記転倒スコアが所定の値より大きい場合に前記人物が転倒していることを検出することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記第１取得手段は、前記特定手段によって特定された領域が所定の大きさより小さい場合に、前記不動体スコアに基づいて更新された前記転倒スコアを推定することを特徴とする請求項１０に記載の情報処理装置。
12. 前記検出手段の検出結果に基づいて、前記人物に異常状態を検出した旨の報知を行う表示を制御する表示制御部をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. シーンを撮像した画像から人物の異常状態を検出する情報処理装置であって、
    前記画像の所定領域に含まれる前記人物の状態を取得する第１取得手段と、
    前記所定領域から得た画像特徴と、前記シーンを予め撮像した背景画像の前記所定領域に対応する領域の画像特徴とに基づいて前記領域に所定時間以上、存在する物体を取得する第２取得手段と、
    前記第２取得手段によって前記物体が取得された領域について、前記第１取得手段の取得結果と前記第２取得手段の取得結果とに基づいて前記人物の異常状態を検出する検出手段とを有することを特徴とする情報処理装置。
14. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
15. シーンを撮像した画像から人物の異常状態を検出する情報処理方法であって、
    前記画像において人物の領域を特定する特定工程と、
    前記領域に含まれる前記人物の状態を取得する第１取得工程と、
    前記画像から得た画像特徴と、前記シーンを予め撮像した背景画像の画像特徴とに基づいて前記領域に所定時間以上、存在する物体を取得する第２取得工程と、
    前記第１取得工程の取得結果と前記第２取得工程の取得結果とに基づいて前記人物の異常状態を検出する検出工程とを有することを特徴とする情報処理方法。

Images