JP2021106019A - 画像処理装置、異常検知方法、及びプログラム - Google Patents

Abstract

【課題】様々な異常状態を網羅的に検知する技術を提供する。【解決手段】画像処理装置（１００）は、入力画像に基づいて人物における対象の状態変化を検出する変化検出部（１０１）と、上記対象の状態変化が複数人で生じたことを検出し、当該検出に応じて異常状態を判定する判定部（１０２）と、を有する。【選択図】図１４

Description

本発明は、画像を用いて異常を検知する技術に関する。

防犯、防災、異常検知等のために、監視画像を用いて、人物、物体、場等の異常状態を検知するシステムが存在する。例えば、下記特許文献１には、放置物体や紛失物体の有無を確認可能とする監視画像表示システムが提案されている。具体的には、このシステムは、所定領域を時系列に撮像して得られる画像から、その所定領域の基準画像と異なる画像領域で、かつ、その位置が時間的に変化しない画像領域を抽出する。

下記特許文献２には、画像に映る人物の中で特定の意図を持つ不審人物を自動的に検出する映像監視装置が提案されている。この装置は、人物の視線方向情報から人物の興味対象や心理状態を表す情報を抽出し、その抽出された情報を用いて、特定の心理状態にある人物を探し出す。具体的には、この装置は、撮影された画像から人物を検出し、その人物の視線方向情報を抽出し、人物ごとの視線方向情報から注視特徴量（特定方向総注視時間、視線遷移回数等）を計算し、この注視特徴量から撮像された人物の行動に関する情報を取得する。

特開平１０−２８５５８６号公報 特開２００７−６４２７号公報

現状、上述の各提案のように、検出対象となる個々の異常状態ごとに、特有のアルゴリズムを持つ異なるシステムがそれぞれ存在する。上記特許文献１のシステムは、撮影された画像における通常存在しない放置物体の存在を場の異常状態として検出する。上記特許文献２の装置は、撮影された画像における特定の心理状態にある人物を人物の異常状態として検出する。

しかしながら、監視場所には、様々な異常状態が発生し得る。例えば、監視場所として公園を考えた場合、放置物、汚物、不審人物等の存在、遊具の破損、事故の発生等のように、公園には様々な異常状態が発生し得る。上述の各提案手法では、このような複数種の異常状態を網羅的に検知することはできない。

本発明は、このような事情に鑑みてなされたものであり、様々な異常状態を網羅的に検知する技術を提供することにある。本明細書では、検知対象となる異常状態は、制限されない。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、画像処理装置に関する。第一の側面に係る画像処理装置は、
同一の入力画像上に映る複数の人物について、異常状態に関連する所定の状態であることを検出する検出手段と、
前記入力画像において、前記複数の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す出力手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される異常検知方法に関する。第二の側面に係る異常検知方法は、
画像処理装置が、
同一の入力画像上に映る複数の人物について、異常状態に関連する所定の状態であることを検出し、
前記入力画像において、前記複数の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、様々な異常状態を網羅的に検知する技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第一実施形態における画像処理装置のハードウェア構成例を概念的に示す図である。 第一実施形態における画像処理装置の処理構成例を概念的に示す図である。 保持部に保持される状態変化情報の例を示す図である。 保持部に保持される状態変化情報の他の例を示す図である。 出力装置の出力画像の第一例を示す図である。 出力装置の出力画像の第二例を示す図である。 出力装置の出力画像の第三例を示す図である。 出力装置の出力画像の第四例を示す図である。 出力装置の出力画像の第五例を示す図である。 第一実施形態の変形例における画像処理装置の処理構成例を概念的に示す図である。 第一実施形態における画像処理装置の動作例を示すフローチャートである。 第二実施形態における画像処理装置の処理構成例を概念的に示す図である。 第二実施形態における画像処理装置の動作例を示すフローチャートである。 第三実施形態における画像処理装置の処理構成例を概念的に示す図である。 第三実施形態における画像処理装置の動作例を示すフローチャートである。

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

［第一実施形態］
〔装置構成〕
図１は、第一実施形態における画像処理装置（以降、単に処理装置と表記する場合もある）１のハードウェア構成例を概念的に示す図である。処理装置１は、いわゆるコンピュータであり、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信ユニット４、入出力インタフェース（Ｉ／Ｆ）５等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等である。通信ユニット４は、他のコンピュータや機器と信号のやりとりを行う。第一実施形態では、通信ユニット４には監視カメラ７が接続される。通信ユニット４は、監視カメラ７から映像信号を取得する。また、通信ユニット４には、可搬型記録媒体等も接続され得る。

監視カメラ７は、監視すべき任意の場所を撮影可能な位置及び向きに設置され、撮影した映像信号を通信ユニット４に送る。以降、監視カメラ７により撮影される場所を監視対象場所と表記する場合もある。図１では、１台の監視カメラ７が示されるが、複数台の監視カメラが通信ユニット４に接続されていてもよい。

入出力Ｉ／Ｆ５は、出力装置６等のユーザインタフェース装置と接続可能である。出力装置６は、表示装置、印刷装置、投影装置等のいずれか１つ又はいずれか複数である。表示装置は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ２やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入出力Ｉ／Ｆ５には、キーボード、マウス等のようなユーザ操作の入力を受け付ける入力装置（図示せず）が接続されてもよい。また、入出力Ｉ／Ｆ５には、出力装置６及び入力装置が一体化されたタッチパネルが接続されてもよい。処理装置１のハードウェア構成は制限されない。

〔処理構成〕
図２は、第一実施形態における画像処理装置１の処理構成例を概念的に示す図である。図２に示されるように、処理装置１は、取得部１１、人物検出部１２、変化検出部１３、保持部１４、判定部１５、出力処理部１６等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット４又は入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

取得部１１は、入力画像を取得する。具体的には、取得部１１は、監視カメラ７からの映像信号を任意のタイミングでキャプチャすることにより、入力画像を逐次取得する。任意のタイミングは例えば所定周期である。取得部１１により取得された入力画像は、保持部１４に保持される。

人物検出部１２は、取得部１１により取得された入力画像から人物を検出する。人物検出部１２は、人の全身を検出してもよいし、頭部、顔、上半身等のように人の一部を検出してもよい。人物検出部１２による人物の検出範囲は、後述する変化検出部１３による状態変化の検出内容に依存する。この依存関係については後述する。

人物検出部１２は、周知の画像認識手法を用いて人を検出する。例えば、人物検出部１２は、人の検出範囲に相当する画像の特徴量を保持し、入力画像中のその特徴量と類似する領域を当該検出範囲として検出する。人物検出部１２による検出手法は制限されない。

変化検出部１３は、取得部１１により逐次取得される複数の入力画像に基づいて、人物検出部１２により検出された人物における対象の状態変化を検出する。例えば、変化検出部１３は、人物検出部１２により検出された人を複数の入力画像間で追跡（トラッキング）しながら、その人の見た目が対象の状態に変化するのを検出する。複数画像間の人物の追跡手法には、物体及び人物の周知の追跡手法が用いられれば良い。例えば、変化検出部１３は、各画像でそれぞれ検出された各人物領域の特徴量を比較して、近似する人物領域どうしを同一人物と認識する。変化検出部１３による人物の追跡手法は制限されない。

また、変化検出部１３は、当該対象の状態変化における変化後の状態を予め保持し、この保持される変化後の状態を使って、次のように、対象の状態変化を検出することができる。ここで、変化後の状態は、例えば、画像特徴量により予め保持される。変化検出部１３は、人物検出部１２により検出された人物の状態が、入力画像において、その保持される状態となっているか否かを判断する。入力画像でその保持される状態を検出した場合に、変化検出部１３は、その入力画像よりも時間的に前に撮像された入力画像を用いて、その人物の状態が変化しているか否かを判断する。変化検出部１３は、入力画像間の人物の追跡において、あらゆる状態変化を検出し、変化が検出された場合に、その変化後の状態が予め保持される状態となっているか否かを判断してもよい。但し、変化検出部１３による状態変化の検出手法は、このような手法に制限されない。複数の画像間でのトラッキングを行わずに、当該対象の状態変化を検出することもできる。例えば、ジャンプを検出するためには、変化検出部１３は、１つの入力画像において、地面や床から足が浮いている状態を検出すればよい。また、顔をしかめる、目をつむる、座るといった監視対象場所に存在する人物が通常行わない状態への変化が対象の状態変化となる場合には、その状態変化は１つの入力画像から検出することができる。

入力画像に映る人物の状態変化は様々な要因で発生し得る。例えば、人は歩行しているだけでも、足が動くため、画像間でその人の姿勢（状態）は変化することになる。また、人が、歩行しながらスマートフォンを見た場合、歩行による姿勢変化と、スマートフォンを見るという姿勢変化とが生じる。変化検出部１３は、このようなあらゆる状態変化の中の、異常状態の発生に起因して生じる人物の見た目の変化を当該対象の状態変化として検出する。

当該対象の状態変化には、姿勢の変化、動作の変化、感情により表出する見た目の変化等があり得る。例えば、当該対象の状態変化には、しゃがむ、振り向く、見上げる、頭を押さえる、指を指す、撮影を行う、駆け出す、ころぶ、倒れる、ジャンプする、立ち上がる、顔をしかめる、目をつむる、驚いた顔をする等があり得る。当該対象の状態変化は、人の見た目の変化であり、異常状態の発生に起因して生じる変化であれば、その具体的な変化内容は制限されない。

但し、入力画像を撮像する監視カメラ７の設置位置や監視カメラ７の画素数（画像解像度）等に応じて、検出可能な状態変化が制限される場合がある。例えば、顔の表情や顔の一部（目など）の変化は、微小な画像領域における変化として表れるため、検出できない可能性がある。このような場合、変化検出部１３は、頭部、胴体、上肢及び下肢のように体の大まかな一部、又は、体全体の見た目の変化を当該対象の状態変化として検出すればよい。体全体又は体のおおまかな一部の見た目の変化を当該対象の状態変化とする場合であっても、しゃがむ、ころぶ、駆け出す、指差し等を検出することができるため、異常状態は判定可能である。

変化検出部１３により検出されるべき対象の状態変化に応じて、人物検出部１２による人物の検出範囲が予め決められる。例えば、振り向く、見上げる、頭を押さえるといった状態変化を検出するためには、人物検出部１２は、頭部又は上半身を検出すればよい。顔をしかめる、目をつむる、赤面する、青ざめるといった状態変化を検出するためには、人物検出部１２は、顔を検出すればよい。しゃがむ、ころぶ、ジャンプするといった状態変化を検出するためには、人物検出部１２は、人の全体像を検出することが望まれる。

ここで、状態変化と異常状態との関係を例示する。例えば、人物の不審な状態のような人物の異常状態が発生した場合には、その人物の周囲の者は、振り向く、指を指す、駆け出す、顔をしかめる、驚いた顔をするといった状態変化を起こす可能性が高い。また、放置物、汚物等のような物体の異常状態が発生した場合には、その物体の周囲の者は、ジャンプする、振り向く、顔をしかめる、鼻をつまむといった状態変化を起こす可能性が高い。また、火災のような場の異常状態が発生した場合には、その場の周囲の者は、駆け出す、携帯電話を操作する、指を指す、撮影を行う、振り向く、手を振るといった状態変化を起こす可能性が高い。そこで、後述の判定部１５での判定対象となる異常状態に応じて、変化検出部１３で検出されるべき対象の状態変化が決められればよい。

保持部１４は、取得部１１により取得された各入力画像を保持し、更に、変化検出部１３により検出された対象の状態変化ごとの情報（状態変化情報）を保持する。

図３は、保持部１４に保持される状態変化情報の例を示す図である。図３に示されるように、状態変化情報は、発生時間、人物ＩＤ、状態変化の内容等の情報を含む。発生時間には、変化後の状態が検出された入力画像の取得時間、又は、その入力画像の識別番号が設定される。人物ＩＤは、人物検出部１２により新たな人物が検出される度に、その人物に付与される識別データである。

図４は、保持部１４に保持される状態変化情報の他の例を示す図である。図４に示されるように、状態変化情報には、画像上における人物ＩＤに対応する人の位置が設定されてもよい。このような位置は、例えば、人物検出部１２により特定され、保持部１４に保持される状態変化情報に設定される。この位置は、頭部の中心位置、胸の中心位置等のように、人物検出部１２により検出される人物の代表的な位置に決定される。また、監視カメラ７の位置や姿勢、焦点距離等を示すカメラパラメータを保持している場合、上記に示す画像上の人の位置からカメラパラメータを用いて人の三次元位置（実空間の位置）を求め、その位置も追加して設定してもよい。また、後述の処理で、人の位置を扱う場合、この人の三次元位置を利用してもよい。

判定部１５は、対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定する。具体的には、判定部１５は、保持部１４に保持される状態変化情報を常時監視し、その状態変化情報に基づいて、対象の状態変化が所定人数以上で生じていることを検出する。所定人数は、判定部１５により予め保持される。当該所定人数は、２人以上であればよく、取得される入力画像に映り得る人の人数に応じて決められる。但し、所定人数が多い程、異常状態の判定精度は向上する。多くの者に上述のような対象の状態変化が生じたということは、何らかの異常状態が発生している可能性が高いからである。

判定部１５は、対象の状態変化が複数人で生じたことを検出した場合に、何かしらの異常状態が存在する又は発生したと判定する。異常状態判定の根拠とされる対象の状態変化は、１種であっても、複数種であってもよい。例えば、判定部１５は、しゃがむ、ころぶ、頭をおさえるという複数種の対象の状態変化の各々について、生じた人数をそれぞれ集計し、それらの合計人数が所定人数以上であれば、異常状態が存在する又は発生したと判定してもよい。また、判定部１５は、対象の状態変化ごとに集計された各人数の中で、所定人数以上のものが存在する場合に、異常状態が存在する又は発生したと判定してもよい。

《異常状態の他の判定手法１》
判定部１５は、複数人での対象の状態変化の発生時期のずれを異常状態の判定のために更に用いることもできる。この場合、判定部１５は、対象の状態変化が所定人数以上で生じていることを検知すると、その状態変化の発生時期の集合の時間幅を計算する。判定部１５は、その時間幅が所定時間幅内か否かを判定する。即ち、判定部１５は、所定時間内で対象の状態変化が複数人で生じたことを検出し、この検出結果に応じて異常状態を判定する。複数人での対象の状態変化の発生時期のずれが小さい程、何らかの異常状態が発生している可能性が高い。ほぼ同じタイミングで複数人が対象の状態変化を生じさせることは、異常状態の発生に起因する可能性が高いからである。このように、「所定時間内」という条件を更に設けて異常状態を判定することで、異常状態の判定精度を向上させることができる。

所定時間は、判定部１５により予め保持される。当該所定時間は、入力画像の数を用いて表すこともできる。例えば、監視カメラ７から送られる映像信号から入力画像を得る周期に応じて、入力画像の数は時間に換算できる。０．５秒周期で映像信号から入力画像がキャプチャされる場合には、１０個の入力画像は５秒に相当する。よって、保持部１４に保持される状態変化情報に、発生時間として、上述のように入力画像の識別番号が含まれる場合には、入力画像の所定数が所定時間として用いられる。

更に、判定部１５は、複数人での対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測することもできる。推測される異常状態の程度とは、異常状態の大きさ、異常度の高さ、異常状態に伴う危険度の高さ等である。判定部１５は、当該ずれが小さい場合には、異常状態の程度が大きいと判定することができる。異常状態の程度が大きい場合には、その異常状態に対するその周囲の者の反応速度は速くなる。例えば、監視対象場所に危険人物が侵入してきた場合、その危険人物に気付いた者が即座に大きく反応し、その反応の大きさによりその反応が周囲の者にも急速に伝搬する。一方で、監視対象場所に少しの汚物が存在する場合、その汚物に伴う周囲の人の反応は、弱く、結果として、その反応速度は遅くなる。よって、判定部１５は、当該ずれが大きい場合には、異常状態の程度が小さく、かつ、その異常状態がある程度継続していると推測することができる。

《異常状態の他の判定手法２》
判定部１５は、変化後の状態が同一の上記対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部１５は、保持部１４に保持される状態変化情報の中で、状態変化の内容が同一の人物の数をカウントし、この人数が所定人数以上となる状態変化が存在した場合に、異常状態有りと判定する。複数人が同じ状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「変化後の状態が同一」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。

《異常状態の他の判定手法３》
判定部１５は、対象の状態変化が距離的に近い複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部１５は、保持部１４に保持される状態変化情報の位置情報を用いて、対象の状態変化を起こした各人の相対的距離（画像内距離）を算出する。判定部１５は、算出された相対距離が所定距離以内となる人数をカウントし、その人数が所定人数以上となる場合に、異常状態有りと判定する。距離的に近い複数人が対象の状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「対象の状態変化を起こした各人の相対距離が近い」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。

以上のとおり異常状態判定の手法は複数存在する。各手法は、検知対象となる異常状態の種類に応じて適宜選択されればよい。例えば、可能な限り複数種の異常状態を検知対象としたい場合には、判定部１５は、対象の状態変化が所定人数以上で生じたことを以て、異常状態有りと判定する。判定精度をより高めたい場合には、判定部１５は、《異常状態の他の判定手法１、２及び３》の各々を実行し、各々の判定結果に応じて、異常状態を判定すればよい。また、更に判定精度を高めたい場合には、判定部１５は、上述の全ての条件を満たした場合、即ち、所定時間内に変化後の状態が同一の対象の状態変化を、距離的に近い所定人数以上の者が起こした場合にのみ、異常状態有りと判定するようにすればよい。但し、各手法で用いられる各条件は適宜組み合して用いてもよい。

出力処理部１６は、判定部１５による判定結果が示す異常状態有りを出力装置６に出力させることができる。例えば、出力処理部１６は、監視カメラ７からの映像信号を出力装置６に送り、出力装置６に監視カメラ７により撮像された映像を常時表示させる。出力処理部１６は、判定部１５により異常状態有りと判定された場合に、表示映像に異常状態有りを示す描画要素を重畳させて表示させる。出力処理部１６は、異常状態有りを示す画像に並べて、その異常状態が判定される前の画像を出力することもできる。また、出力処理部１６は、表示映像を表示する出力装置６とは別の出力装置（ＬＥＤ（Light Emitting Diode）等）を用いて、異常状態有りを出力することもできる。例えば、ＬＥＤを点灯させる、ＬＥＤの点灯色を変える等により、異常状態有りを出力することもできる。但し、出力形態は、表示や点灯に制限されず、例えば、印刷、データファイルの生成等でもよく、当該出力形態は制限されない。

出力処理部１６は、異常状態の有無に加えて、又は、異常状態の有無に代えて、次のような内容を出力装置６に出力させることもできる。以下の各出力例において、描画要素（人数情報、順番情報、着色等を含む）は、保持部１４に保持される入力画像に対する編集で付されてもよいし、監視カメラ７からの映像信号に基づく映像に重畳される形で付されてもよい。

《出力例１》
出力処理部１６は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は当該人物群の各人に、描画要素が付された画像を出力装置６に出力させる。描画要素を付す位置は、例えば、保持部１４に保持される状態変化情報の位置情報により決定される。以降、状態変化の検出が異常状態判定の根拠とされた人物群を「根拠となる人物群」と表記する場合もある。出力処理部１６は、保持部１４に保持される入力画像に対して当該描画要素を付して得られる画像を出力装置６に出力させる。当該描画要素は、例えば、根拠となる人物群を囲む線、その人物群又はその人物群の各人に付される何らかのマーク（点、星、感嘆符、矢印、吹き出し等）である。根拠となる人物群又はその各人が特定できるように付されていれば、当該描画要素自体及び当該描画要素を付す位置及びその付し方は、制限されない。

図５は、出力装置６の出力画像の第一例を示す図である。図５には、監視カメラ７が撮影する監視対象場所に危険人物Ｄ１が現れ、処理装置１により人物の異常状態（場の異常状態とも考えられる）が検知される様子が示されている。出力画像Ｆ１の撮像タイミングでは、異常状態は存在しておらず、複数の通行人が往来している。出力画像Ｆ２の撮像タイミングにおいて、当該監視対象場所に危険人物Ｄ１が現れ、最寄りの２人の通行人Ｍ１及びＭ２が逃避行動を取っている。図５の例では、この出力画像Ｆ２が入力画像として取得した処理装置１は、異常状態有りと判定していない。

出力画像Ｆ３の撮像タイミングでは、通行人Ｍ１及びＭ２に加えて、更に、通行人Ｍ３からＭ１３が危険人物Ｄ１に気付き、対象の状態変化を起こしている。具体的には、通行人Ｍ１からＭ８は、歩行状態から駆け出す状態に変化しており、通行人Ｍ９からＭ１１は、歩行状態から振り向く状態に変化しており、通行人Ｍ１２及びＭ１３は、歩行状態から立ち止まる状態に変化している。他の通行人は、依然、通常の歩行を行っている。このとき、判定部１５は、駆け出す、振り向く、立ち止まるという対象の状態変化を起こした１３人を入力画像中から検出し、この検出に応じて異常状態有りと判定する。即ち、図５の例では、判定部１５は、所定人数「３」を保持し、対象の状態変化が３人以上で生じた場合に、異常状態有りと判定する。出力処理部１６は、異常状態判定の根拠とされた人物群Ｍ１からＭ１３に対して、それらを囲む方形の描画要素Ｐ１を付した画像を出力装置６に出力させる。図５の例では、描画要素Ｐ１内に異常状態（危険人物Ｄ１）が存在するため、出力画像を見た者は、即座に、異常状態の位置及びその内容を確認することができる。

図６は、出力装置６の出力画像の第二例を示す図である。図６の例では、判定部１５は、上述の《異常状態の他の判定手法２》を用いて異常状態を判定する。具体的には、判定部１５は、変化後の状態が同一の対象の状態変化を起こした人数をカウントする。対象の状態変化「駆け出す」を起こした人数が「８人」（通行人Ｍ１からＭ８）とカウントされ、対象の状態変化「振り向く」を起こした人数が「３人」（通行人Ｍ９からＭ１１）とカウントされ、対象の状態変化「立ち止まる」を起こした人数が「２人」（通行人Ｍ１２及びＭ１３）とカウントされる。判定部１５は、対象の状態変化「駆け出す」及び「振り向く」が所定人数「３人」以上で生じているため、異常状態有りと判定する。この場合、出力処理部１６は、図６に示されるように、変化後の状態が同一の人物群ごとに方形の描画要素が付された画像を出力する。描画要素Ｐ１は、変化後の状態が「駆け出す」となる人物群を囲み、描画要素Ｐ２は、変化後の状態が「振り向く」となる人物群を囲み、描画要素Ｐ３は、変化後の状態が「立ち止まる」となる人物群を囲む。なお、図６では、図面を見易くするために、各描画要素が重なる部分が点線で示されている。

このように、根拠となる人物群又はその人物群の各人に描画要素を付した画像を出力することで、その画像を見た者が、異常状態の存在場所を容易に推測できるようになる。根拠となる人物群又はその人物群の各人が存在する位置の周囲に異常状態が存在している可能性が高いからである。

《出力例２》
出力処理部１６は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、当該人物群の人数及び当該人物群の各人の相対距離のいずれか一方又は両方が更に付された画像を出力装置６に出力させることもできる。人数及び相対距離は、対象の人物群を特定可能な位置に付される。ここで、根拠となる人物群の人数及び当該人物群の各人の相対距離は、異常状態の判定精度を表すと考えられる。対象の状態変化を起こした人数が多い場合、及び、対象の状態変化を起こした各人の距離が近い場合には、異常状態が存在している可能性が高いからである。よって、このような出力画像により、その画像を見た者が、異常状態の判定精度を容易に推測できるようになる。

また、根拠となる人物群の人数は、更に、異常状態の程度を表すとも考えられる。対象の状態変化を起こした人数が多い場合、異常状態の程度が大きい可能性がある。よって、人数が付された出力画像によれば、その画像を見た者が、異常状態の程度を推測することもできる。

図７は、出力装置６の出力画像の第三例を示す図である。図７の例では、出力処理部１６は、根拠となる人物群に対して方形の描画要素と共にその人数「１３」が付された画像を出力装置６に出力させる。

《出力例３》
出力処理部１６は、上記描画要素として又は上記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された画像を出力装置６に出力させることもできる。各人物の状態変化の時間としては、その状態変化が検出された各入力画像に対応する時間が用いられる。ここで、状態変化の時間差とは、最先の状態変化が生じた時間から、各人が起こした状態変化の時間までの間の時間差である。例えば、最先の状態変化を起こした人の周囲に「±０」が付され、その他の各人の周囲にその人が起こした状態変化の時間までの時間差「＋５秒」、「＋８秒」が付される。異常状態に伴う状態変化は、その異常状態に近い者から起こす可能性が高い。よって、状態変化の順番又は状態変化の時間差を付した画像を出力することにより、その画像を見た者が、異常状態の存在場所を容易に推測できるようになる。

図８は、出力装置６の出力画像の第四例を示す図である。図８の例では、出力処理部１６は、根拠となる人物群に対して方形の描画要素が付されると共に、当該人物群の各人に状態変化の順番がそれぞれ付された画像を出力装置６に出力させる。図８の例では、人毎に異なる順番が付されているが、同じ入力画像で対象の状態変化が検出された各人物には同じ順番が付されてもよい。

《出力例４》
出力処理部１６は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す描画要素が付された画像を出力装置６に出力させることもできる。この方向を表す描画要素は、根拠とされた人物群又は当該人物群の各人に付される。出力処理部１６は、変化後の状態と対応する方向情報との関連付けを予め保持する。例えば、変化後の状態が「しゃがむ」の場合、異常状態は、その人の上方又は下方に存在する可能性が高いため、変化後の状態「しゃがむ」に対して「上方向」及び「下方向」が対応付けられる。また、状態変化が「駆け出す」の場合、異常状態は、その駆け出した方向とは逆方向に存在する可能性が高いため、「駆け出す」に対応する変化後の状態に対して「駆け出す方向とは逆方向」が対応付けられる。出力処理部１６は、このような関連付け情報を用いて、変化後の状態に対応する方向情報を特定し、この特定された方向情報に対応する描画要素を選択する。方向を表す描画要素には、例えば、矢印等が挙げられる。

図９は、出力装置６の出力画像の第五例を示す図である。図９の例では、出力処理部１６は、根拠となる人物群に対して方形の描画要素が付されると共に、当該人物群の各人に変化後の状態に対応する方向を表す描画要素がそれぞれ付された画像を出力装置６に出力させる。通行人Ｍ１、Ｍ６、Ｍ７及びＭ８には、「駆け出す」方向（図面右方向）とは逆の矢印（図面左方向）が付され、通行人Ｍ２からＭ５には、「駆け出す」方向（図面左方向）とは逆の矢印（図面右方向）が付されている。また、通行人Ｍ１０及びＭ１１には、「振り向く」方向として図面左方向の矢印が付され、通行人Ｍ９には、「振り向く」方向として図面右方向の矢印が付されている。また、通行人Ｍ１２及びＭ１３には、「立ち止まる」状態における顔が向く方向として図面左方向及び右方向の各矢印が付されている。

《出力例５》
出力処理部１６は、根拠となる人物群の入力画像上での代表位置を中心とする円状又は楕円状に、入力画像がその代表位置からの距離に対応する色で着色された画像を出力装置６に出力させることもできる。この場合、処理装置１は、次のような処理構成を有すればよい。

図１０は、第一実施形態の変形例における画像処理装置１の処理構成例を概念的に示す図である。図１０に示されるように、処理装置１は、図２に示される処理構成に加えて、決定部１７を更に有する。決定部１７も他の処理部と同様に実現される。

決定部１７は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する。決定部１７は、保持部１４に保持される状態変化情報の位置情報を用いて、根拠となる人物群の各人の位置を特定し、特定された位置に基づいて、当該人物群の重心位置を代表位置として決定することができる。代表位置は、根拠となる人物群の代表的な位置を示せばよく、重心位置には限らない。

この出力例によれば、根拠となる人物群の代表位置、及び、その代表位置からの距離が把握し易くなるため、異常状態の場所の特定に役立つ画像を出力することができる。

出力処理部１６は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、上記画像の出力を継続させるようにしてもよい。上述のとおり、対象の状態変化を起こした者が多数である程、実際に異常状態が存在している可能性が高い。よって、根拠となる人物群の人数が多い程、長くその画像を出力することで、画像を見る者がその異常状態に気付き易くすることができる。

〔異常検知方法／動作例〕
以下、第一実施形態における異常検知方法について図１１を用いて説明する。図１１は、第一実施形態における処理装置１の動作例を示すフローチャートである。図１１に示されるように、第一実施形態における異常検知方法は、処理装置１のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、処理装置１が有する各処理部により実行される。各工程は、処理装置１が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。

処理装置１は、入力画像を取得する（Ｓ９１）。入力画像は、監視カメラ７からの映像信号を任意のタイミングでキャプチャすることで逐次取得される。

処理装置１は、取得された入力画像から人物を検出する（Ｓ９２）。処理装置１は、人の全身を検出してもよいし、人の一部を検出してもよい。

処理装置１は、（Ｓ９１）で取得された入力画像に基づいて、（Ｓ９２）で検出された人物における対象の状態変化を検出する（Ｓ９３）。対象の状態変化は、異常状態の発生に起因して生じる人物の見た目の変化を意味する。

処理装置１は、（Ｓ９３）で検出された対象の状態変化ごとの情報（状態変化情報）を保持する（Ｓ９４）。状態変化情報は、発生時間、人物ＩＤ、状態変化の内容等の情報を含む。また、状態変化情報は、それらに加えて、人物ＩＤが示す人の画像上の位置を含んでもよい。また、状態変化情報は、人の実空間上の位置を含んでもよい。

処理装置１は、保持される状態変化情報を参照して、対象の状態変化が所定人数以上で生じたか否かを判定する（Ｓ９５）。処理装置１は、対象の状態変化が所定人数以上で生じたことを検出すると（Ｓ９５；ＹＥＳ）、異常状態有りと判定する（Ｓ９６）。このとき、処理装置１は、所定人数以上での対象の状態変化の発生時期のずれを異常状態の判定のために更に用いることもできる。この場合、処理装置１は、所定時間内に対象の状態変化が所定人数以上で生じた場合に、異常状態有りと判定する。この発生時期のずれを使うことで、処理装置１は、異常状態の程度を推測することもできる。

処理装置１は、異常状態の判定結果を出力装置６に出力させる（Ｓ９７）。処理装置１は、異常状態の有無を出力装置６に出力させてもよいし、異常状態の有無と共に、又は、異常状態の有無に代えて、上述の《出力例１から５》で示される画像を出力させることもできる。

図１１では、複数の工程（処理）が順番に表されているが、第一実施形態における異常検知方法での各工程の実行順序は、図１１の例に限定されない。例えば、（Ｓ９４）は、（Ｓ９２）及び（Ｓ９３）の両方の検出が成功した場合にのみ実行される。また、（Ｓ９１）は、（Ｓ９５）の判定結果に関わらず、所定の周期で実行され得る。

図１１での異常状態判定の条件（Ｓ９５）には、上述の《異常状態の他の判定手法１から３》で示されるように、更なる条件が付加されてもよい。《異常状態の他の判定手法１》が実行される場合には、（Ｓ９５）では、処理装置１は、所定時間内に対象の状態変化が所定人数以上で生じたか否かを判定する。《異常状態の他の判定手法２》が実行される場合には、（Ｓ９５）では、処理装置１は、変化後の状態が同一の対象の状態変化が所定人数以上で生じたか否かを判定する。《異常状態の他の判定手法３》が実行される場合には、（Ｓ９５）では、処理装置１は、対象の状態変化が距離的に近い所定人数以上で生じたか否かを判定する。また、処理装置１は、これら条件のいずれか複数が組み合わせられた条件を（Ｓ９５）で判定するようにしてもよい。

〔第一実施形態における作用及び効果〕
上述のように、第一実施形態では、入力画像に基づいて、人物における対象の状態変化が検出され、対象の状態変化が所定人数以上で生じた場合に、異常状態有りと判定される。人物の不審な状態のような人物の異常状態、放置物、汚物等のような物体の異常状態、火災や事故のような場の異常状態が発生した場合、その発生場所の周囲に人が存在している場合には、その人々は、その監視対象場所において通常時には起こさない姿勢、行動、表情等の見た目の変化を起こす。そこで、第一実施形態では、人物、物体、場等における様々な異常状態がその周囲の人々の状態変化により捉えられる。

従って、第一実施形態によれば、人物、物体、場等の様々な異常状態を網羅的に検知することができる。更に、第一実施形態によれば、周囲の人々の状態変化を捉えることができれば、異常状態自体が入力画像に映っていなくても、異常状態を検知することができる。例えば、異常状態が監視カメラ７の撮影範囲外に存在する場合や、異常状態が障害物に隠れている場合でも、第一実施形態によれば、異常状態を検知することができる。更に、第一実施形態によれば、出力画像において、異常状態判定の根拠となった人物群又は当該人物群の各人に何らかの描画要素を付すことで、画像を見る者に、異常状態の存在位置を推測させることができる。

［第二実施形態］
第二実施形態における処理装置１は、異常状態の判定結果を用いて、監視カメラ７を制御する。以下、第二実施形態における処理装置１について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

図１２は、第二実施形態における画像処理装置１の処理構成例を概念的に示す図である。図１２に示されるように、処理装置１は、第一実施形態における処理構成に加えて、制御部１８を更に有する。制御部１８も他の処理部と同様に実現される。制御部１８は、保持部１４に保持される状態変化情報等を用いて、監視カメラ７を制御する。以下、制御部１８による監視カメラ７の制御手法の具体例を説明する。

《カメラ制御手法１》
制御部１８は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置に基づいて、監視カメラ７の撮像方向を制御することができる。この場合、図１０に示されるように、処理装置１は、決定部１７を更に有する。決定部１７は、上述のとおり、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する。

この場合、監視カメラ７は、撮像方向を調整する機構（図示せず）を含む。この機構は、監視カメラ７の向きを変更してもよいし、可動型ミラーや光学系により、撮像方向を変更してもよい。制御部１８は、通信ユニット４を介して、監視カメラ７又は当該機構に撮像方向の変更を指示する。具体的には、制御部１８は、根拠となる人物群の代表位置が入力画像の中央にくるように撮像方向の変更を指示する。この指示に応じて、監視カメラ７の撮像方向は調整される。

この手法によれば、異常状態判定の根拠とされた人物群の代表位置が入力画像の中央にくるため、その画像を見る者にとって、根拠となる人物群の代表位置及びその周辺が確認し易くなる。これにより、根拠となる人物群の位置及びその周辺に異常状態が存在している可能性が高いため、異常状態の場所を推測し易くすることができる。

《カメラ制御手法２》
制御部１８は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、監視カメラ７の画角を制御することができる。例えば、制御部１８は、根拠となる人物群が入力画像内の一部の所定範囲に収まり、その人物群の周辺が入力画像に映るように、監視カメラ７の画角を変更する指示を監視カメラ７に送る。この指示に応じて、監視カメラ７は、ズームイン又はズームアウトする。人物群の入力画像上の大きさは、例えば、人物検出部１２により検出された人物の画像領域を足し合わせることで決めることができる。制御部１８は、当該人物群の大きさが当該所定範囲内に収まるまで、ズームイン又はズームアウトする指示を監視カメラ７に送り続けてもよい。

この手法によれば、異常状態判定の根拠とされた人物群が入力画像内の一部の所定範囲に収まるように、監視カメラ７の画角が変更されるため、その画像を見る者にとって、根拠となる人物群及びその周辺が確認し易くなる。これにより、根拠となる人物群の位置及びその周辺に異常状態が存在している可能性が高いため、異常状態の場所を推測し易くすることができる。

《カメラ制御手法３》
制御部１８は、状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、監視カメラ７の撮像方向を連続的に変化させることができる。具体的には、制御部１８は、保持部１４に保持される状態変化情報に基づいて、根拠となる人物群の入力画像上の位置を認識する。制御部１８は、この認識された位置に基づいて、当該人物群の少なくとも一部が入力画像に収まる範囲に対応する、撮像方向の変更範囲を算出することができる。制御部１８は、この変更範囲内で、当該人物群の入力画像上の位置が変わるように、撮像方向を変更する指示を連続的に監視カメラ７又は撮像方向を調整する機構に送る。制御部１８は、例えば、撮像方向の変更指示に、変更すべき方向（上下左右等）及び変更すべき角度を含める。

この手法によれば、根拠となる人物群の周囲の状況を網羅的に確認することを可能とする。異常状態有りとの判定時には入力画像に映っていなかった異常状態を監視カメラ７の撮影範囲に含めることができる場合もある。

《カメラ制御手法４》
制御部１８は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に監視カメラ７の撮像方向を変更させることもできる。変化後の状態に対応する方向、及び、その方向情報の取得手法については、《出力例４》で説明したとおりである。制御部１８は、変化後の状態に対応する方向情報を取得し、その方向情報を含む撮像方向変更指示を監視カメラ７又は撮像方向を調整する機構に送る。

この手法によれば、対象の状態変化における変化後の状態から推測される異常状態の存在方向に監視カメラ７の撮像方向を向けることができるため、異常状態が存在する可能性が高い場所を重点的に確認することを可能とする。異常状態有りとの判定時には入力画像に映っていなかった異常状態を監視カメラ７の撮影範囲に含めることができる場合もある。

出力処理部１６は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、監視カメラ７の制御を継続するようにしてもよい。上述のとおり、対象の状態変化を起こした者が多数である程、実際に異常状態が存在している可能性が高い。よって、根拠となる人物群の人数が多い程、上述のような監視カメラ７の制御を長く継続する。例えば、根拠となる人物群の代表位置や変化後の状態に基づいて変更された撮像方向が長く維持されるように、監視カメラ７が制御される。また、根拠となる人物群の入力画像上での大きさに基づいて変更された画角が長く維持されるように、監視カメラ７が制御される。また、根拠となる人物群の位置に基づく監視カメラ７の撮像方向の連続的変化が長く継続される。これにより、画像を見る者がその異常状態に気付き易くすることができる。

〔異常検知方法／動作例〕
以下、第二実施形態における異常検知方法について図１３を用いて説明する。図１３は、第二実施形態における処理装置１の動作例を示すフローチャートである。図１３では、図１１と同じ処理内容の工程には、図１１と同じ符号が付されている。第二実施形態における異常検知方法の実行主体は、第一実施形態と同様である。

第二実施形態における異常検知方法では、第一実施形態における方法に対して、（Ｓ１３１）が更に実行される。（Ｓ１３１）では、処理装置１は、保持部１４に保持される状態変化情報等を用いて、監視カメラ７を制御する。具体的な制御手法については、上述したとおりである。

〔第二実施形態における作用及び効果〕
上述のとおり、第二実施形態では、異常状態有りと判定された場合に、根拠となる人物群の位置やその人物群の各人の変化後の状態等に基づいて、監視カメラ７の撮像方向や画角が制御される。結果として、異常状態が存在している可能性の高い、根拠となる人物群の周囲の状況が視認可能となるため、異常状態を確認し易くすることができる。

［第二実施形態の変形例］
処理装置１は、複数の監視カメラ７に接続されており、当該複数の監視カメラ７を制御することもできる。この変形例では、各監視カメラ７は、異なる監視対象場所が撮影範囲となるように、それぞれ設置される。この変形例では、処理装置１は、或る監視カメラ７で撮像された入力画像に基づいて異常状態が検知された場合に、その異常状態判定の根拠とされた人物群の位置に対応する他の監視カメラ７を選択し、その監視カメラ７の撮像方向及び画角を変更させてもよい。このようにすれば、１台の監視カメラ７の撮像方向や画角を上述のように変更しても、その監視カメラ７では映すことができない位置に異常状態が存在する場合でも、周囲の他の監視カメラ７を制御することで、その位置を撮像することができる。

少なくとも１台の監視カメラ７にそれぞれ接続される複数の処理装置１が連携するようにしてもよい。この場合、或る処理装置１が異常状態を検知した場合に、その処理装置１が、周囲の他の処理装置１に、異常状態判定結果を提供する。この結果を受けた処理装置１は、その提供元の処理装置１の監視カメラ７の監視対象場所の周囲を撮影するように、自身の監視カメラ７の撮像方向や画角を変更する。この場合、処理装置１は、異常状態判定結果に加えて、根拠となる人物群の位置に関する情報を他の処理装置１に提供することもできる。

［各実施形態の変形例］
処理装置１には監視カメラ７が接続されず、処理装置１が他のコンピュータに接続される監視カメラ７を用いてもよい。この場合、取得部１１は、可搬型記録媒体、又は、他のコンピュータから通信ユニット４を介して、入力画像又は映像信号を取得すればよい。当該他のコンピュータとしては、例えば、カメラで撮影した画像を一旦蓄積して配信する、画像蓄積配信装置や、画像を蓄積し、再生する画像録画器等があり得る。この場合、出力処理部１６は、その画像を他のコンピュータに対して通信ユニット４を介して出力してもよい。また、制御部１８は、当該他のコンピュータに監視カメラ７を制御するための指示情報を送信する。

［第三実施形態］
以下、第三実施形態における画像処理装置及び異常検知方法について図１４及び図１５を用いて説明する。

図１４は、第三実施形態における画像処理装置の処理構成例を概念的に示す図である。図１４に示されるように、画像処理装置１００は、変化検出部１０１及び判定部１０２を有する。画像処理装置１００は、例えば、図２に示される上述の処理装置１と同様のハードウェア構成を有し、その処理装置１と同様にプログラムが処理されることで、上述の各処理部が実現される。但し、画像処理装置１００は、出力装置６及び監視カメラ７に接続されていなくてもよい。

変化検出部１０１は、入力画像に基づいて人物における対象の状態変化を検出する。変化検出部１０１の具体的処理内容は、上述の変化検出部１３と同様である。第三実施形態では、変化検出部１０１は、他のコンピュータで実現される取得部１１及び人物検出部１２から、各入力画像上での人物の画像領域に関する情報をそれぞれ取得し、この情報を用いて、人物における対象の状態変化を検出することもできる。このように、第三実施形態における画像処理装置１００は、取得部１１及び人物検出部１２を必ずしも必要としない。また、変化検出部１０１は、検出した対象の状態変化に関する情報を他のコンピュータに保持させることができる。

判定部１０２は、対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定する。判定部１０２の具体的処理内容は、上述の判定部１５と同様である。画像処理装置１００が保持部１４を有していない場合には、判定部１０２は、他のコンピュータ上の保持部１４から当該状態変化情報を取得して、異常状態判定に用いることができる。また、判定部１０２は、判定結果を他のコンピュータに通知することができる。

図１５は、第三実施形態における画像処理装置１００の動作例を示すフローチャートである。図１５に示されるように、第三実施形態における異常検知方法は、画像処理装置１００のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、画像処理装置１００が有する各処理部により実行される。

第三実施形態における異常検知方法は、入力画像に基づいて人物における対象の状態変化を検出し（Ｓ１５１）、対象の状態変化が複数人で生じたことを検出した場合に（Ｓ１５２；ＹＥＳ）、異常状態を判定する（Ｓ１５３）、ことを含む。（Ｓ１５１）は、図１１及び図１３の（Ｓ９３）に相当し、（Ｓ１５２）は、図１１及び図１３の（Ｓ９５）に相当し、（Ｓ１５３）は、図１１及び図１３の（Ｓ９６）に相当する。

また、第三実施形態は、このような異常検知方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。

第三実施形態によれば、上述の第一実施形態及び第二実施形態と同様の作用効果を得ることができる。

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。

１． 入力画像に基づいて人物における対象の状態変化を検出する変化検出手段と、
前記対象の状態変化が複数人で生じたことを検出し、該検出に応じて異常状態を判定する判定手段と、
を備える画像処理装置。
２． 前記判定手段は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
１．に記載の画像処理装置。
３． 前記判定手段は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
１．又は２．に記載の画像処理装置。
４． 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれを異常状態の判定のために更に用いる、
１．から３．のいずれか１つに記載の画像処理装置。
５． 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
４．に記載の画像処理装置。
６． 入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段
を更に備える１．から５．のいずれか１つに記載の画像処理装置。
７． 前記出力処理手段は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
６．に記載の画像処理装置。
８． 前記出力処理手段は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
６．又は７．に記載の画像処理装置。
９． 前記出力処理手段は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
６．から８．のいずれか１つに記載の画像処理装置。
１０． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる出力処理手段と、
を更に備える１．から９．のいずれか１つに記載の画像処理装置。
１１． 前記出力処理手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
６．から１０．のいずれか１つに記載の画像処理装置。
１２． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置に基づいて、撮像装置の撮像方向を制御する制御手段と、
を更に備える１．から１１．のいずれか１つに記載の画像処理装置。
１３． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する制御手段、
を更に備える１．から１２．のいずれか１つに記載の画像処理装置。
１４． 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる制御手段、
を更に備える１．から１３．のいずれか１つに記載の画像処理装置。
１５． 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる制御手段、
を更に備える１．から１４．のいずれか１つに記載の画像処理装置。
１６． 前記制御手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
１２．から１５．のいずれか１つに記載の画像処理装置。

１７． 少なくとも１つのコンピュータにより実行される異常検知方法において、
入力画像に基づいて人物における対象の状態変化を検出し、
前記対象の状態変化が複数人で生じたことを検出し、
前記検出に応じて異常状態を判定する、
ことを含む異常検知方法。
１８． 前記対象の状態変化が複数人で生じたことの検出は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
１７．に記載の異常検知方法。
１９． 前記対象の状態変化が複数人で生じたことの検出は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
１７．又は１８．に記載の異常検知方法。
２０． 前記対象の状態変化が複数人で生じたことの検出は、前記複数人での前記対象の状態変化の発生時期のずれが所定時間内であることを更に判断する、
１７．から１９．のいずれか１つに記載の異常検知方法。
２１． 前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
ことを更に含む２０．に記載の異常検知方法。
２２． 入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる
ことを更に含む１７．から２１．のいずれか１つに記載の異常検知方法。
２３． 前記出力は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
２２．に記載の異常検知方法。
２４． 前記出力は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
２２．又は２３．に記載の異常検知方法。
２５． 前記出力は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
２２．から２４．のいずれか１つに記載の異常検知方法。
２６． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる、
ことを更に含む１７．から２５．のいずれか１つに記載の異常検知方法。
２７． 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
ことを更に含む２２．から２６．のいずれか１つに記載の異常検知方法。
２８． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置に基づいて、撮像装置の撮像方向を制御する、
ことを更に含む１７．から２７．のいずれか１つに記載の異常検知方法。
２９． 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する、
ことを更に含む１７．から２８．のいずれか１つに記載の異常検知方法。
３０． 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる、
ことを更に含む１７．から２９．のいずれか１つに記載の異常検知方法。
３１． 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる、
ことを更に含む１７．から３０．のいずれか１つに記載の異常検知方法。
３２． 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
ことを更に含む２８．から３１．のいずれか１つに記載の異常検知方法。

３３． １７．から３２．のいずれか１つに記載の異常検知方法をコンピュータに実行させるプログラム。
３４． ３３．に記載のプログラムをコンピュータに読み取り可能に記録する記録媒体。

この出願は、２０１４年６月２７日に出願された日本出願特願２０１４−１３２３０４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

第一の側面は、画像処理装置に関する。第一の側面に係る画像処理装置は、
同一の入力画像上に映る第１の人物及び第２の人物それぞれに対し、異常状態に関連する所定の状態であることを検出する検出手段と、
前記入力画像において、前記第１の人物及び前記第２の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す出力手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される異常検知方法に関する。第二の側面に係る異常検知方法は、
画像処理装置が、
同一の入力画像上に映る第１の人物及び第２の人物それぞれに対し、異常状態に関連する所定の状態であることを検出し、
前記入力画像において、前記第１の人物及び前記第２の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す、ことを含む。

Claims (15)

1. 同一の入力画像上に映る複数の人物について、異常状態に関連する所定の状態であることを検出する検出手段と、
   前記入力画像において、前記複数の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す出力手段と、
   を備える画像処理装置。
2. さらに前記出力手段は、前記所定の状態である人物で構成される人物群ごとに複数の異なる強調表示を付す、
   請求項１に記載の画像処理装置。
3. さらに前記出力手段は、前記入力画像において、二種類以上の前記所定の状態が検出された場合に、前記入力画像内に存在する前記所定の状態の種類ごとに、前記所定の状態に対応する一つの強調表示を付す、
   請求項１または２に記載の画像処理装置。
4. さらに前記出力手段は、前記入力画像において、同一の所定の状態である人物を二人以上含む人物群が存在する場合に、前記人物群ごとに一つの強調表示を付す、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記所定の状態を検出した場合に、異常状態の発生を判定する判定手段、
   を更に備える、請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像処理装置が、
   同一の入力画像上に映る複数の人物について、異常状態に関連する所定の状態であることを検出し、
   前記入力画像において、前記複数の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す、異常検知方法。
7. 前記画像処理装置が、
   さらに、前記所定の状態である人物で構成される人物群ごとに複数の異なる強調表示を付す、
   請求項６に記載の異常検知方法。
8. 前記画像処理装置が、
   さらに、前記入力画像において、二種類以上の前記所定の状態が検出された場合に、前記入力画像内に存在する前記所定の状態の種類ごとに、前記所定の状態に対応する一つの強調表示を付す、
   請求項６または７に記載の異常検知方法。
9. 前記画像処理装置が、
   さらに、前記入力画像において、同一の所定の状態である人物を二人以上含む人物群が存在する場合に、前記人物群ごとに一つの強調表示を付す、
   請求項６から８のいずれか１項に記載の異常検知方法。
10. 前記画像処理装置が、
    さらに、前記所定の状態を検出した場合に、異常状態の発生を判定する、
    請求項６から９のいずれか１項に記載の異常検知方法。
11. コンピュータに、
    同一の入力画像上に映る複数の人物について、異常状態に関連する所定の状態であることを検出する手順、
    前記入力画像において、前記複数の人物それぞれに対し、前記所定の状態ごとに異なる強調表示を付す手順、
    を実行させるためのプログラム。
12. さらに、前記所定の状態である人物で構成される人物群ごとに複数の異なる強調表示を付す手順をコンピュータに実行させるための、
    請求項１１に記載のプログラム。
13. さらに、前記入力画像において、二種類以上の前記所定の状態が検出された場合に、前記入力画像内に存在する前記所定の状態の種類ごとに、前記所定の状態に対応する一つの強調表示を付す手順をコンピュータに実行させるための、
    請求項１１または１２に記載のプログラム。
14. さらに、前記入力画像において、同一の所定の状態である人物を二人以上含む人物群が存在する場合に、前記人物群ごとに一つの強調表示を付す手順をコンピュータに実行させるための、
    請求項１１から１３のいずれか１項に記載のプログラム。
15. 前記所定の状態を検出した場合に、異常状態の発生を判定する手順をコンピュータに実行させるための、
    請求項１１から１４のいずれか１項に記載のプログラム。

Images