JP2019200715A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】適切な危険レベルを推定する画像処理装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置は、撮像画像に基づいて、人の混雑度を推定する混雑解析部２０２と、撮像画像に基づいて、人の属性を推定する属性解析部２０３と、混雑度と人の属性とに基づいて、危険レベルを推定する危険レベル解析部２０４と、各種情報を表示部に表示するよう制御するを表示処理部２０５有する。表示処理部は、危険レベルを示す画面を表示する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

イベント会場や祭り、新店舗オープン会場などでは限られた場所に不特定多数の人が集まり混雑が発生する。人が混雑し、人の密度が極度に高くなると、事故や事件に繋がることがある。そこで、人の混雑レベルの進行を適切に把握し、適切な対処を行うことが求められる。特許文献１には、人の混雑レベルを判定するために、カメラからの映像を画像処理によって解析し、人の混雑密度や移動速度によって混雑を判定する技術が開示されている。

また、事故や事件を未然に防ぐためには、人の混雑レベルの進行を適切に把握するための情報が必要となる。特許文献２には、人の混雑を監視する監視員が即座に監視状況を把握するため、監視対象の状態の変化度合いを表示する技術が開示されている。

特開２００８−２１７１８４号公報 特開２０１６−５３１２０３号公報

しかしながら、例えば、混雑の中に子供や高齢者が含まれている場合には、大人だけの場合に比べて、転倒の可能性が高くなる。このように、混雑度だけでは、危険性の判断が難しい場合があるという問題があった。

本発明はこのような問題点に鑑みなされたもので、適切な危険レベルを推定することを目的とする。

そこで、本発明は、画像処理装置であって、撮像画像に基づいて、人の混雑度を推定する混雑度推定手段と、撮像画像に基づいて、人の属性を推定する属性推定手段と前記混雑度と前記属性とに基づいて、危険レベルを推定する危険推定手段とを有することを特徴とする。

本発明によれば、適切な危険レベルを推定することができる。

画像処理装置のハードウェア構成図である。 画像処理装置の機能構成図である。 混雑度解析処理の説明図である。 属性解析処理の説明図である。 危険レベルの説明図である。 解析処理を示すフローチャートである。 表示画面の一例を示す図である。 表示画面の一例を示す図である。 設定画面の一例を示す図である。 危険レベルテーブルの一例を示す図である。 サムネイル情報の表示例を示す図である。 危険レベルの表示例を示す図である。 危険レベルの表示例を示す図である。 危険レベルの表示例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、第１の実施形態にかかる画像処理装置１００のハードウェア構成図である。画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。

なお、後述する画像処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１０１は、ＲＯＭ１０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

また、他の例としては、画像処理装置１００の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、画像処理装置１００の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。

図２は、画像処理装置１００の機能構成図である。画像処理装置１００は、画像取得部２０１と、混雑解析部２０２と、属性解析部２０３と、危険レベル解析部２０４と、表示処理部２０５と、を有している。画像取得部２０１は、外部から供給された撮像画像を取得する。撮像画像は、動画像でもよく静止画像でもよいものとする。なお、撮像画像の供給元は、特に限定するものではなく、撮像装置や撮像画像を記憶管理するサーバ装置等であってもよい。

混雑解析部２０２は、撮像画像に基づいて、人又は人らしさを検出し、混雑度として人の密度を算出する。人の密度は、検出した人の大きさや画角に基づいて算出される。例えば、顔を確認するため監視カメラ映像では、斜めか上ら撮影されることが多い。この場合、図３（ａ）に示すように、監視カメラに対し手前側の人は大きく、奥側の人は小さく映像上に表示される。この場合、混雑解析部２０２は、図３（ｂ）に示すように、撮影画像を実空間上の地面の面積がほぼ同じになるように複数の領域に分割する。そして、混雑解析部２０２は、領域毎の人数をカウントし、カウント結果を混雑度として得る。なお、他の例としては、混雑解析部２０２は、検出した人と人との間の距離に基づいて人の密度（混雑度）を算出してもよく、複数の混雑度の映像を学習し、学習を用いて混雑度を算出してもよい。

図２に戻り、属性解析部２０３は、予め設定された基準値以上の混雑度が特定された領域を特定する。そして、属性解析部２０３は、図４に示すように、この領域内の人の顔を検出し、検出した顔に基づいて属性を推定する。本実施形態の属性解析部２０３は、属性として、年齢を推定する。なお、属性解析部２０３は、例えば身長、服装、性別等、年齢以外の属性を更に推定してもよい。

危険レベル解析部２０４は、混雑解析部２０２により得られた混雑度と、属性解析部２０３により得られた属性と、に基づいて、危険レベルを推定する。危険レベル解析部２０４は、具体的には、図５（ａ）に示す危険レベルテーブル５００を参照する。ここで、危険レベルテーブル５００は、混雑度（密度）と属性との組み合わせと危険レベルとを対応付けた情報である。本実施形態においては、属性は、年齢に応じて、子供（例えば、１３歳未満）と高齢者（例えば、６５歳以上）に分けられている。また、危険レベルテーブル５００に示される、通常の列は、属性として一般の成人（例えば１３歳以上６５歳未満）に対応する危険レベルを示している。本実施形態においては、図５（ｂ）に示すように、危険レベルは、６段階を取る評価値とするが、段階数は特に限定されるものではなく、例えば、安全と危険の２段階でもよい。図５（ａ）に示すとおり、子供（あるいは老人）の方が一般の成人より、混雑度が低くても危険レベルが上がるように設定されている。

図２に戻り、表示処理部２０５は、各種情報を表示部１０５に表示するよう制御する。表示処理部２０５は、例えば、危険レベルを示す画面を表示する。

図６は、画像処理装置１００による、解析処理を示すフローチャートである。Ｓ６００において、画像取得部２０１は、撮像画像を取得する。次に、Ｓ６０１において、混雑解析部２０２は、撮像画像を複数の領域に分割し、各領域の混雑度を推定する。本処理は、混雑度推定処理の一例である。次に、Ｓ６０２において、属性解析部２０３は、混雑度が基準値以上の領域が存在するか否かを判定する。基準値は、予め設定されているものとする。例えば、図５に示す危険レベルテーブルにおいて、子供と高齢者の「ほぼ安全」に対応した混雑度０．８人／ｍ²が基準値として設定されているものとする。

属性解析部２０３は、混雑度が基準値以上の領域が存在する場合には（Ｓ６０２でＹＥＳ）、処理をＳ６０３へ進める。属性解析部２０３は、混雑度が基準値の領域が存在しない場合には（Ｓ６０２でＮＯ）、処理をＳ６０５へ進める。Ｓ６０３において、属性解析部２０３は、混雑度が基準値以上の領域を処理対象として抽出する。次に、Ｓ６０４において、属性解析部２０３は、処理対象の領域において、属性解析を行い、処理対象の領域において検出された人の属性を推定する。本処理は、属性推定処理の一例である。

次に、Ｓ６０５において、危険レベル解析部２０４は、混雑度が基準値以上の領域については、混雑度と属性とに基づいて、危険レベルを推定する。具体的には、危険レベル解析部２０４は、危険レベルテーブルを参照し、混雑解析部２０２により特定された混雑度と、属性解析部２０３により推定された属性との組み合わせに対応する危険レベルを特定する。例えば、混雑度１．８人／ｍ²の場合で、かつ属性に高齢者が含まれていたとする。この場合には、危険レベルテーブルより危険レベル「やや危険」の危険レベルが特定される。一方、危険レベル解析部２０４は、混雑度が基準値未満の領域については、属性に基づいて、危険レベルを推定する。具体的には、危険レベル解析部２０４は、危険レベルテーブルの属性「通常」の列を参照し、混雑度に対応付けられた危険レベルを特定する。ＣＰＵ１０１は、その後処理をＳ６０６へ進める。なお、Ｓ６０５の処理は、危険推定処理の一例である。

Ｓ６０６において、表示処理部２０５は、危険レベルと予め設定された画面レイアウトとを用いて、表示画面を生成する。そして、表示処理部２０５は、危険レベルを示す表示画面を表示する。本処理は、表示処理の一例である。以上で、解析処理が完了する。図７は、危険レベルを示す表示画面７００の一例を示す図である。表示画面７００の領域７１０には、映像が表示され、映像上には、混雑度の推定に用いられた領域の境界線７１１が重畳表示される。さらに、各領域の危険レベルを示すヒートマップが重畳表示される。また、領域７１０の右上には危険レベルメーター７２０が表示される。危険レベルメーター７２０には、各領域の危険レベルのうち最大の危険レベルの値が表示される。そして、危険レベルが最大となる領域が視認可能に示される。図７の例では、危険レベルが最大となる領域は、点線枠７３０で示される。さらに、表示画面７００の下の領域７４０には、危険レベルの時間変化を示すグラフが表示される。なお、グラフに示される危険レベルは、危険レベルの最大値の時間変化でもよく、危険レベルの平均値の時間変化でもよい。

以上のように、本実施形態に係る画像処理装置１００は、混雑度が基準値以上の領域については、属性を考慮して危険レベルを推定する。これにより、適切な危険レベルを推定することができる。

なお、第１の実施形態の第１の変形例としては、画像処理装置１００は、混雑度によらず、各領域について属性を考慮した危険度レベルの推定を行ってもよい。

また、第２の変形例としては、画像処理装置１００は、撮像画像を分割することなく、フレーム（画像）単位で混雑度解析、属性解析、危険レベル解析を行ってもよい。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置１００について説明する。第２の実施形態に係る画像処理装置１００は、複数のカメラそれぞれから撮像画像を取得し、各カメラから取得した撮像画像に対する解析を行い、各解析結果を表示画面に表示する。以下、第２の実施形態に係る画像処理装置１００について、第１の実施形態に係る画像処理装置１００と異なる点を主に説明する。

複数のカメラがある場合、画像処理装置１００は、各カメラをカメラの名前により区別することとする。なお、ＩＰアドレスやシリアルナンバーなど固有の番号で各カメラを区別してもよい。カメラＡの混雑監視対象領域の名前をエリア１、カメラＢの監視対象領域の名前をエリア２とする。ここでは、監視対象領域の名前の違いが、監視対象領域の違いを示す。

１画面上に複数カメラの危険レベルを表示する例を、図８を用いて説明する。図８（ａ）の表示画面８００の右の領域８１０には、サムネイルリストが表示されている。サムネイルリストには、複数のカメラに対応した複数のサムネイル情報が表示されている。図８（ｂ）は、サムネイル情報を示す図である。サムネイル情報８３０には、カメラ映像８３１と、領域の名前８３２と、混雑情報８３３と、危険レベルメーター８３４、混雑詳細情報８３５とが含まれている。サムネイルの生成は、Ｓ６０６において行われる。表示処理部２０５は、解析処理において、危険レベルが所定の閾値以上になった場合には、閾値以上となった範囲の画像を切り出して、サムネイル表示画像を生成する。そして、表示処理部２０５は、サムネイル表示画像をカメラ映像８３１として表示する。領域の名前８３２には、カメラの名前が表示される。混雑情報８３３には、混雑解析処理の実行時刻と、混雑度が表示されている。危険レベルメーター８３４には、危険レベルがレベルメーターとして表示される。

サムネイルが選択されると、図８（ａ）に示す選択枠８１１が表示され、選択状態となる。そして、選択されたサムネイルに対応するカメラの映像８２１が左の領域８２０に表示され、その下には危険度レベルの時間変化を示すグラフ８２４が表示される。カメラの映像８２１上には、エリアを示す情報８２２と、危険レベルメーター８２３とが重畳して表示される。サムネイルデータの更新は、危険レベルが変更されるタイミングがよいが、解析処理の実行毎でもよい。また、サムネイル情報の表示順は、ユーザ操作によるものと、危険レベルによるものとを選択的に採用することができる。さらに、画像処理装置１００は、危険レベルが所定の閾値以上となるカメラのサムネイル情報のみをサムネイルリストに表示する。例えば、危険レベル「やや危険」を閾値とし、画像処理装置１００は、「混雑」以下のサムネイル情報は表示しないようにする。

図９に示す設定画面９００において、ユーザは、表示順（並び順）の設定をユーザ操作によるものとするか、危険レベルに応じたものとするかを選択することができる。さらに、ユーザは、表示対象とする危険レベルの閾値を設定することができる。なお、第２の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１００の構成及び処理と同様である。

以上の説明により、本実施形態によれば、画像処理装置１００は、複数のカメラそれぞれに対応した危険レベルの推定を行い、その結果を表示することができる。これにより、ユーザは、複数のカメラによる危険レベルの推定結果を把握することができる。

第２の実施形態の第１の変形例としては、１つのカメラ内で、複数の領域に領域名を割り当て、それぞれを監視対象とし、監視対象毎のサムネイル情報を表示することとしてもよい。

第２の変形例としては、画像処理装置１００は、危険レベルが指定以上のカメラのサムネイル情報のみを表示してもよい。これにより、ユーザは、危険な状態な箇所に集中して監視できるようになる。

第３の変形例としては、常に危険レベルが最大となるカメラの映像をカメラ映像８２１として表示することとしてもよい。これにより、ユーザは、危険レベルが最大のカメラ映像を常に確認することができる。さらに、危険レベルが最大となるカメラの入れ替わりが多い場合もあるため、カメラ映像８２１の切り替わりは、一定時間映像の表示を継続した後で行うこととしてもよい。

（第３の実施形態）
次に、第３の実施形態に係る画像処理装置１００について説明する。第３の実施形態に係る画像処理装置１００は、年齢だけでなく、怒り、恐れ、笑顔といった感情の属性を考慮して危険レベルを推定する。以下、第３の実施形態に係る画像処理装置１００について、他の実施形態に係る画像処理装置１００と異なる点を主に説明する。

図１０は、第３の実施形態に係る危険レベルテーブル１０００を示す図である。怒り、恐れの感情の属性が追加されている。Ｓ６０４において、属性解析部２０３は、年齢だけでなく、感情の属性を推定する。本処理は、感情推定処理の一例である。そして、Ｓ６０５において、危険レベル解析部２０４は、混雑度が基準値以上の領域については、図１０に示す危険レベルテーブル１０００を参照し、混雑度と、属性との組み合わせに対応する危険レベルを特定する。なお、第３の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１００の構成及び処理と同様である。以上のように、第４の実施形態に係る画像処理装置１００は、感情の属性を考慮した危険度レベルの推定を行うことができる。

第３の実施形態の第１の変形例としては、画像処理装置１００は、第２の実施形態において説明したのと同様に、複数のカメラの撮像画像に対する解析を行い、各解析結果を表示画面に表示してもよい。図１１は、この場合のサムネイル情報の表示例を示す図である。サムネイル情報１１００には、感情の情報がさらに表示される。なお、表示スペースが限られている場合は、文字の代わりとしてアイコンを使用してもよい。

第２の変形例としては、感情の属性については、実施形態に限定されるものではない。画像処理装置１００は、例えば、通常の男性で怒りの属性の場合は危険レベルを上げることとしてもよい。これにより、監視員が気付き易くなる。また、テーマパークなど楽しみで待つような場合の混雑は、笑顔である可能性が高い。このような場合は、混雑度が高くても危険レベルは通常より低いレベルで判断する。なお、感情のデータを用いて判定する場合は、ある一定時間継続した割合を用いて判定するのが望ましい。

次に、第４の実施形態を例に、より効果的な表示方法について説明する。図１２は、危険レベル、混雑度、感情の怒りの割合の時間変化のグラフを示す図である。画像処理装置１００は、これらのグラフを表示してもよい。これにより、混雑状況の変化を見易くすることができる。図１３は、危険レベル、混雑度、属性のレーダーチャートを示す図である。レーダーチャートを表示することで、ユーザは、混雑状況を視覚的に把握することができる。

さらに、グラフと映像の変化を同時に表示してもよい。例えば、図１４に示す表示画面１４００を表示してもよい。さらに、危険レベルが一定以上になったカメラのサムネイル情報のみを表示画面１４００に表示するようにしてもよい。また、表示テンプレートは、一例であり、画像処理装置１００は、さらに多くの表示テンプレートを用意し、表示を切り替えてもよい。画像処理装置１００は、例えば、混雑危険レベルが一定値未満の場合は、画面全体に対象となる領域のサムネイルを表示させてもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ ＣＰＵ
１０５ 表示部

Claims (13)

1. 撮像画像に基づいて、人の混雑度を推定する混雑度推定手段と、
   撮像画像に基づいて、人の属性を推定する属性推定手段と、
   前記混雑度と前記属性とに基づいて、危険レベルを推定する危険推定手段と
   を有することを特徴とする画像処理装置。
2. 前記危険レベルを表示手段に表示する表示処理手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示処理手段は、前記危険レベルの時間変化を表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記危険推定手段は、前記混雑度が基準値以上の場合に、前記混雑度と前記属性とに基づいて、前記危険レベルを推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記危険推定手段は、前記混雑度が基準値未満の場合に、前記混雑度に基づいて、前記危険レベルを推定することを特徴とする請求項４に記載の画像処理装置。
6. 前記危険推定手段は、前記混雑度と前記属性との組み合わせと、前記危険レベルと、を対応付けたテーブルを参照することにより、前記危険レベルを推定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記撮像画像を複数の領域に分割する分割手段をさらに有し、
   前記混雑度推定手段は、領域毎の前記混雑度を推定し、
   前記属性推定手段は、領域毎の前記属性を推定し、
   前記危険推定手段は、領域毎の前記危険レベルを推定することを特徴とする請求項１に記載の画像処理装置。
8. 領域毎の前記危険レベルを表示手段に表示する表示処理手段をさらに有することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示処理手段は、前記撮像画像の領域に、前記危険レベルを示すヒートマップを重畳して表示することを特徴とする請求項８に記載の画像処理装置。
10. 撮像画像に基づいて、人の感情を推定する感情推定手段をさらに有し、
    前記危険推定手段は、さらに人の前記感情に基づいて、前記危険レベルを推定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記表示処理手段は、複数の撮像画像それぞれから得られた前記危険レベルを表示手段に表示するよう制御することを特徴とする請求項２に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    撮像画像に基づいて、人の混雑度を推定する混雑度推定ステップと、
    撮像画像に基づいて、人の属性を推定する属性推定ステップと、
    前記混雑度と前記属性とに基づいて、危険レベルを推定する危険推定ステップと
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images