JP2020074512A - 画像処理装置、監視システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像された画像において監視すべき箇所を適切に把握できる技術を提供する。【解決手段】監視システム３０００において、画像処理装置２０００の状態取得部２０２０は、カメラ３０４０によって撮像された撮像画像に写っている監視対象の状態を取得する。監視ポイント取得部２０４０は、監視ポイント情報記憶部３０２０から、状態取得部２０２０によって取得された監視対象の状態に対応する監視ポイントを取得する。監視ポイントは、撮像画像内の監視すべき位置を表す。提示部２０６０は、撮像画像上に監視ポイントを提示する。【選択図】図１

Description

本発明は画像処理技術に関する。

施設等を監視する方法の一つとして、監視カメラで当該施設等を撮像した映像（以下、監視映像）を見て監視する方法がある。そして、監視カメラによる監視を容易にするための技術が開発されている。例えば特許文献１は、モニタに表示する監視映像上の各点検項目（ドアなど）の周囲に枠を提示する監視システムを開示している。

特開２００１−０５４０９９号公報

同じ場所を撮像した監視映像であっても、監視員が監視すべき監視対象はいつも同じであるとは限らず、状況に応じて変化しうる。しかし特許文献１では、このように監視すべき監視対象が状況に応じて変化しうることは考慮されていない。

本発明の目的は、以上の課題に鑑みてなされたものである。本発明の目的は、撮像された画像において監視すべき箇所を適切に把握できる技術を提供することである。

本発明が提供する第１の画像処理装置は、カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報を記憶する監視ポイント情報記憶手段から、前記状態取得手段が取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得手段と、前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得手段によって取得された監視ポイントを提示する提示手段と、を有する。前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけている。前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している。

本発明が提供する第１の監視システムは、本発明が提供する第１の画像処理装置、前記カメラ、及び前記監視ポイント情報記憶手段を有する。

本発明が提供する第１の画像処理方法は、コンピュータによって実行される。当該画像処理方法は、カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報を記憶する監視ポイント情報記憶手段から、前記状態取得ステップが取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得ステップと、前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得ステップによって取得された監視ポイントを提示する提示ステップと、を有する。前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけている。前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している。

本発明が提供する第１のプログラムは、本発明が提供する第１の画像処理装置が有する各機能構成部の機能をコンピュータに持たせることで、コンピュータを、本発明が提供する第２の画像処理装置として動作させる。

本発明が提供する第２の画像処理装置は、カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得手段と、
前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成して、前記生成した監視ポイント情報を監視ポイント情報記憶手段に格納する監視ポイント情報生成手段と、を有する。前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけている。前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している。

本発明が提供する第２の監視システムは、本発明が提供する第２の画像処理装置及び前記カメラを有する。

本発明が提供する第２の画像処理方法は、コンピュータによって実行される。当該画像処理方法は、カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得ステップと、前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成して、前記生成した監視ポイント情報を監視ポイント情報記憶手段に格納する監視ポイント情報生成ステップと、を有する。前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけている。前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している。

本発明が提供する第２のプログラムは、本発明が提供する第２の画像処理装置が有する各機能構成部の機能をコンピュータに持たせることで、コンピュータを、本発明が提供する第２の画像処理装置として動作させる。

本発明によれば、撮像された画像において監視すべき箇所を適切に把握できる技術を提供することである。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る画像処理装置を示すブロック図である。 実施形態１の画像処理装置が実行する処理の流れを例示するフローチャートである。 画像処理装置のハードウエア構成を例示するブロック図である。 監視ポイントの提示方法を例示する図である。 提示対象画像ごとに状態情報を生成する処理を概念的に例示する図である。 複数の提示対象画像に対して共通の監視ポイントを提示する処理を概念的に例示する図である。 混雑度合いに応じた監視ポイントの提示を例示する図である。 監視対象の動きに応じた監視ポイントの提示を例示する図である。 行列の状態に応じた監視ポイントの提示を例示する図である。 ２つの異なるカメラによって撮像された２つの撮像画像を示す図である。 実施形態２に係る画像処理装置をその使用環境と共に示すブロック図である。 監視員の視線方向に基づいて提示する監視ポイントを決定する様子を概念的に示す図である。 実施形態２の画像処理装置が実行する処理の流れを例示するフローチャートである。 実施形態３の画像処理装置が実行する処理の流れを例示するフローチャートである。 実施形態４に係る画像処理装置を示すブロック図である。 実施形態４の画像処理装置が実行する処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

また、以下の説明で用いられる「監視員」という言葉は、後述する撮像画像を見て監視を行う人全般を意味し、「監視員」という役職を与えられている者に限定されない。

［実施形態１］
図１は、実施形態１に係る画像処理装置２０００を示すブロック図である。図１において、矢印は情報の流れを表している。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

画像処理装置２０００は、人などの監視対象の状態（移動しているか等）に応じ、その監視対象をカメラ３０４０が撮像して得られた画像上に、監視すべき位置を提示する。そのために、画像処理装置２０００は、状態取得部２０２０、監視ポイント取得部２０４０、及び提示部２０６０を有する。状態取得部２０２０は、カメラ３０４０によって撮像された画像（以下、撮像画像）に写っている監視対象の状態を取得する。カメラ３０４０は、例えば監視カメラなどである。撮像画像は、例えばカメラ３０４０によって撮像された動画を構成するフレームである。なお、画像処理装置２０００が扱う監視対象及び監視対象の状態の詳細については後述する。

監視ポイント取得部２０４０は、状態取得部２０２０によって取得された監視対象の状態を用いて、監視ポイント情報記憶部３０２０から監視ポイントを取得する。監視ポイントは、撮像画像内の監視すべき位置を表す情報である。なお、監視ポイントは、広さを持たない１つの点であってもよいし、広さを持つ領域であってもよい。監視ポイント情報記憶部３０２０は、監視対象の状態と監視ポイントとを対応付けて記憶している。監視ポイント取得部２０４０は、監視ポイント情報記憶部３０２０から、状態取得部２０２０によって取得された監視対象の状態に対応付けられて記憶されている監視ポイントを取得する。なお、ある１つの「監視対象の状態」に対応付けられている監視ポイントは、１つであってもよいし、複数であってもよい。

提示部２０６０は、カメラ３０４０によって撮像された撮像画像上に、監視ポイント取得部２０４０によって取得された監視ポイントを提示する。以下、監視ポイントを提示する撮像画像を、提示対象画像とも表記する。

監視システム３０００は、画像処理装置２０００及びカメラ３０４０によって構成されるシステムである。監視システム３０００は、表示画面３０６０をさらに含んでもよい。表示画面３０６０は、カメラ３０４０によって撮像された撮像画像を表示する画面である。また表示画面３０６０は、提示部２０６０によって監視ポイントを表す表示が提示された提示対象画像を表示してもよい。例えば表示画面３０６０は、カメラ３０４０によって撮像された撮像画像をそのまま表示するモードと、画像処理装置２０００によって処理された画像を表示するモードとを切り替えられるように構成される。ただし後述するように、画像処理装置２０００によって処理された提示対象画像は、表示画面３０６０に対して出力されるとは限らない。

＜処理の流れ＞
図２は、実施形態１の画像処理装置２０００が実行する処理の流れを例示するフローチャートである。ステップＳ１０２において、状態取得部２０２０は、撮像画像に写っている監視対象の状態を取得する。ステップＳ１０４において、監視ポイント取得部２０４０は、監視ポイント情報記憶部３０２０から、状態取得部２０２０が取得した監視対象の状態に対応する監視ポイントを取得する。ステップＳ１０６において、提示部２０６０は、提示対象画像上に、監視ポイント取得部２０４０によって取得された監視ポイントを提示する。

＜作用・効果＞
本実施形態の画像処理装置２０００によれば、監視対象の状態に対応する監視ポイントを表す表示が、撮像画像上に提示される。そのため画像処理装置２０００によれば、監視映像等において、監視対象の状態に応じて監視すべき箇所が適切に提示されるようになる。よって、監視映像等を監視する監視員等は、監視映像等において監視すべき箇所を適切に把握することができるようになる。

以下、本実施形態の画像処理装置２０００について、さらに詳細に説明する。

＜ハードウエア構成例＞
画像処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア構成要素（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエア構成要素とソフトウエア構成要素との組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図３は、画像処理装置２０００のハードウエア構成を例示するブロック図である。画像処理装置２０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。入出力インタフェース１１００は、画像処理装置２０００が監視ポイント情報記憶部３０２０やその他の外部装置等との間でデータを送受信するための入出力インタフェースである。例えば画像処理装置２０００は、入出力インタフェース１１００を介して、監視対象の状態を表す情報や監視ポイントを取得する。また例えば、画像処理装置２０００は、入出力インタフェース１１００を介して、監視ポイントを表す表示を提示した提示対象画像を出力する。

ストレージ１０８０は、画像処理装置２０００の機能を実現するためのプログラムを記憶している。具体的には、状態取得部２０２０、監視ポイント取得部２０４０、及び提示部２０６０の機能をそれぞれ実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、状態取得部２０２０、監視ポイント取得部２０４０、及び提示部２０６０の機能をそれぞれ実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

画像処理装置２０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、画像処理装置２０００は、ストレージ１０８０を備えていなくてもよい。

＜監視対象の詳細＞
画像処理装置２０００が扱う監視対象は様々である。例えば画像処理装置２０００は、人や物などのオブジェクト、又はこれらオブジェクトの集合（群衆など）などを監視対象として扱う。なお、物を表すオブジェクトには、場所が含まれてもよい。つまり、画像処理装置２０００は、撮像画像に写っている場所（領域）を監視対象として扱ってもよい。

例えばオブジェクトは、撮像画像に含まれる領域を前景領域と背景領域とに分けた場合における前景領域である。ただし、オブジェクトは上記の前景領域方法に限定されない。画像から人や物などのオブジェクトを抽出する方法には様々な既知の手法があり、画像処理装置２０００が扱うオブジェクトの抽出にはこれら既知の技術を適宜利用することができる。ここで、これら既知の技術についての説明は省略する。

監視対象は、撮像画像から抽出される全てのオブジェクトであってもよいし、特定のオブジェクトのみであってもよい。例えば画像処理装置２０００は、人又は人の集合（群衆）を監視対象として扱う。また、画像処理装置２０００は、特定の人や群衆のみを監視対象としてもよい。特定のオブジェクトは、例えば監視対象を示す情報によって特定される。監視対象を示す情報は、特定のオブジェクトの特徴量を示すリスト（例えばブラックリスト）や、「帽子をかぶっている」や「サングラスをかけている」など、監視対象とするオブジェクトの特徴を示す情報である。ここで、画像に含まれるオブジェクトから、特定の特徴を持つオブジェクトを抽出する技術は既知の技術であるため、詳細な方法については省略する。

＜監視対象の状態の取得方法＞
状態取得部２０２０は、監視対象の状態を示す情報（以下、状態情報）を取得する。状態情報は、示されている状態がどの監視対処についてのものであるかを特定できる情報である必要がある。ここで監視対象は、例えば「撮像画像のＩＤ、撮像画像上の座標、監視対象の種類」の組み合わせによって表される。この場合、状態情報は、「撮像画像のＩＤ、撮像画像上の座標、監視対象の種類、監視対象の状態」という組み合わせで構成される。

また、カメラ３０４０が複数ある場合、どのカメラ３０４０によって撮像された監視対象であるかが分かるようにしてもよい。この場合、状態情報はさらにカメラ３０４０のＩＤなどを示す。

状態情報の生成は、画像処理装置２０００によって行われてもよいし、画像処理装置２０００とは別の外部装置で行われてもよい。状態情報の生成を画像処理装置２０００の内部で行う場合、画像処理装置２０００は、カメラ３０４０によって撮像された撮像画像を取得する。そして、撮像画像から監視対象の抽出を行い、抽出した監視対象の状態を表す状態情報を算出する。状態情報の具体的な算出方法は後述する。

なお、状態情報の生成が外部装置で行われる場合、状態情報を取得する処理は、上記外部装置によって出力される状態情報を状態取得部２０２０が受信する処理であってもよいし、状態取得部２０２０が上記外部装置から状態情報を読み出す処理であってもよい。

＜提示部２０６０の詳細＞
＜＜監視ポイントの表し方＞＞
前述したように、提示部２０６０は、カメラ３０４０によって撮像された撮像画像（提示対象画像）上に監視ポイントを提示する。ここで、提示部２０６０が監視ポイントを提示する方法は様々である。例えば、提示部２０６０は、監視ポイントの周囲に枠線等を提示することで監視ポイントを提示する。また例えば、提示部２０６０は、監視ポイント又はその周辺の色を変更することで、監視ポイントを提示する。なお、「監視ポイント等の色を変更する」という処理には、監視ポイント等の色の明るさやコントラスト等を変更する処理、監視ポイント等の元々の色に別の色をブレンドする処理、監視ポイント等を特定の色で塗りつぶす処理など、様々な処理が含まれる。また提示部２０６０は、監視ポイントの周囲に枠線等を表示し、その内部の色を変更したり、その枠線や色を変更した領域を点滅させたりしてもよい。

図４は、監視ポイントの提示方法を例示する図である。図４において、監視ポイントは出入り口２０を表している。図４（ａ）では、出入り口２０の周囲に枠線３０を提示することで監視ポイントが提示されている。一方、図４（ｂ）では、出入り口２０を特定の色で塗りつぶすことで監視ポイントが提示されている。なお、描画の都合上、特定の色で塗りつぶすことを、ドット柄で塗りつぶすことで表現している。

ここで、「提示対象画像上に監視ポイントを提示する」とは、例えば提示対象画像にその表示を埋め込む、あるいは重畳する処理である。この場合、提示部２０６０は、上記表示が埋め込まれた提示対象画像を表示画面３０６０などの出力装置に出力してもよいし、画像処理装置２０００の内部又は外部に設けられた記憶装置に記憶してもよい。後者の場合、この記憶装置に記憶された提示対象画像を表示画面３０６０やその他の装置が読み込んで、表示画面３０６０に出力する。なお表示画面３０６０は、例えば監視員の居室等に設置されているモニタや、現場で警備を行っている警備員の携帯端末のモニタ等である。

また、提示部２０６０は、監視ポイントを表す表示を提示対象画像に埋め込まず、その表示を表す画像データを別途生成してもよい。この場合、当該画像データと提示対象データとを合わせて表示することで、提示対象画像上に上記表示が提示される。

また、提示部２０６０は、カメラ３０４０が設置されている施設の地図データを利用して、監視ポイントを地図上に提示してもよい。この地図データは、表示画面や警備員の携帯端末等のモニタに表示される。地図上における監視対象の位置は、カメラ３０４０の各種パラメータ（カメラ３０４０の設置位置やカメラ３０４０の向きなど）と、撮像画像上における監視ポイントの位置（座標等）とに基づいて算出することができる。この場合、提示部２０６０は、カメラ３０４０が設置されている施設の地図データや、カメラ３０４０に関する各種パラメータを取得して利用する。なお、カメラ３０４０の各種パラメータと地図上の位置との関係は、キャリブレーション等の処理を行うことにより予め定義しておく。

＜＜監視ポイントが複数取得された場合の処理＞＞
監視ポイント取得部２０４０によって監視ポイントが複数取得されたとする。この場合、提示部２０６０は、取得された監視ポイントの全てを提示対象画像上に提示してもよいし、取得された監視ポイントの一部のみを提示してもよい。取得された監視ポイントの一部のみを提示する場合、例えば監視ポイント情報記憶部３０２０に記憶する監視ポイントに優先度を付しておく。そして、提示部２０６０は、取得した複数の監視ポイントのうち、優先度が高いものほど優先的に表示する。例えば１つの提示対象画像上に提示できる監視ポイントの上限数を設けておく。そして、提示部２０６０は、取得された監視ポイントの数が上限数を超えている場合、優先度が高い順に、上限数以下の監視ポイントのみを提示対象画像上に提示する。この上限数は、画像処理装置２０００の内部又は外部に設けた記憶部に予め記憶しておく。

＜＜状態情報の生成に利用される撮像画像と提示対象画像の関係＞＞
ある状態情報に対応する監視ポイントが提示される提示対象画像は、その状態情報の生成に用いられた撮像画像であってもよいし、それ以外の撮像画像であってもよい。前者の場合、例えば提示部２０６０は、１番目から n 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを、n 番目の撮像画像上に提示する。また後者の場合、例えば提示部２０６０は、１番目から n 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを、n+1 番目の撮像画像上に提示する。

例えば状態情報は、提示対象画像ごとに生成される。図５は、提示対象画像ごとに状態情報を生成する処理を概念的に例示する図である。図５において、提示部２０６０は、１番目から n 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを n+1 番目の撮像画像上に提示している。同様に、提示部２０６０は、２番目から n+1 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを n+2 番目の撮像画像上に提示し、３番目から n+2 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを n+3 番目の撮像画像上に提示している。

また例えば、提示部２０６０は、ある複数の撮像画像を用いて生成された状態情報を、複数の提示対象画像に対して共通に利用してもよい。図６は、複数の提示対象画像に対して共通の監視ポイントを提示する処理を概念的に例示する図である。図６において、提示部２０６０は、１番目から n 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを、n+1 番目から 2n 番目のそれぞれの撮像画像上に提示している。同様に、提示部２０６０は、n+1 番目から 2n 番目の撮像画像を用いて生成された状態情報に対応する監視ポイントを 2n+1 番目から 3n 番目のそれぞれの撮像画像上に提示している。

＜監視ポイントの具体例＞
監視ポイントは、監視対象の状態に対応付けて予め定められている。以下、監視対象の状態と監視ポイントとの対応付けを表す具体例を示す。

＜＜群衆の混雑度合いを監視対象の状態とするケース＞＞
例えば、撮像画像１０に写っている場所の混雑度合いに応じて、監視すべき場所が異なる場合がある。例えば、その場所にほとんど人がいない場合は今後その場所に入ってくる人について注意をすべきであるため、その場所への出入り口（ドアや画像の端部分など）を監視すべきであると考えられる。一方、その場所が混んでいる場合、人が密集している場所や人が通る場所等を監視すべきであると考えられる。特に狭い通路がある場合、そこで群衆の流れが滞りやすいため、そのような狭い通路を監視する必要がある。そこで提示部２０６０は、撮像画像１０に写っている場所の混雑度合いに応じた監視ポイントを提示する。また、同じ混雑度であっても、段差が存在するなど、混雑して足元が見えにくくなると急激に危険性が増す場所もある。そのような場所も、監視ポイントとして提示してもよい。

図７は、混雑度合いに応じた監視ポイントの提示を例示する図である。図７（ａ）の場合、撮像画像１０に写っている場所には人が写っておらず、混雑していない。そのため、出入り口２０が監視ポイントとなっている。そこで、提示部２０６０は、出入り口２０の周囲に枠線を表示する。

一方、図７（ｂ）の場合、撮像画像１０には群衆５０が写っており、混雑している。そのため、狭い通路４０が監視ポイントとなっている。そこで、提示部２０６０は、狭い通路４０に枠線を表示する。

なお、上述した混雑度合いと監視ポイントとの対応付けはあくまで例示である。そのため、必ずしも「空いている場合の監視ポイントは出入り口」である必要はなく、また、「混んでいる場合の監視ポイントは狭い通路」である必要もない。例えば、「施設から出て行こうとしている人でフロアが混雑している場合、出入り口で人の流れが滞る可能性があるため、出入り口を監視ポイントとする」という判断もありえる。混雑度合いと監視ポイントとの具体的な対応付けは、その場所の特性やその場所を利用する人々の特性等に基づいて予め決定しておき、その決定に基づいて生成した監視ポイント情報を監視ポイント情報記憶部３０２０に記憶しておく。

なお上述の例において、状態情報が示す混雑度合いは「混んでいる」又は「混んでいない」の２通りに分かれているが、監視ポイントが示す混雑度合いは３段階以上に分かれていてもよい。この場合、監視ポイント情報記憶部３０２０は、３段階以上の混雑度合いそれぞれに応じて監視ポイントを記憶する。

また、上述の例において、状態情報が示す混雑度合いは撮像画像１０に写っている場所全体についての混雑度合いであるが、状態情報は撮像画像１０に写っている部分的な領域について混雑度合いを示してもよい。例えば、状態情報は、出入り口付近や通路付近それぞれについて混雑度合いを示す。これにより、監視ポイント情報は、「出入り口が混んでいる場合」や「通路が混んでいる場合」などのように各部分的な領域それぞれの混雑度合いに対応して監視ポイントを定めることができる。

混雑度合いは、例えば撮像画像１０に写っているオブジェクトの数に基づいて算出することができる。具体的には、撮像画像１０に写っているオブジェクトの数が所定数以上である状態を混んでいる状態とする。この所定数は、各場所で共通の値を用いてもよいし、場所ごとに異なる値を用いてもよい。なお、撮像画像１０に写っているオブジェクトの数を算出する方法は、既知であるため、詳細な説明は省略する。

＜＜群衆の移動状態を監視対象の状態とするケース＞＞
例えば撮像画像に写っている監視対象の動きによって、監視すべき場所が異なる場合がある。例えば、撮像画像に２つの群衆が写っており、それらが移動するといずれ交差する可能性がある場合、将来それらが交差すると予想される位置を監視することが好ましいと考えられる。そこで提示部２０６０は、撮像画像に写っている監視対象の動きに応じた監視ポイントを提示する。

また、群衆の流れの向きが同じで交差はしなくても、後ろの群衆が前の群衆に追いついて危険な状態が発生する場合もある。例えば間欠的に群衆が流れてくる場合、前の群衆の流れが遅く、かつ後ろの群衆の流れが速いと、いずれは後ろの群衆が前の群衆に追いつく。このようなことが繰り返されると群衆の密度が増していき、危険性が増す。そこで、このような状況において、前の群衆の後方部や後ろの群衆の前方部、又は後ろの群衆が前の群衆に追いつくことが予想される地点などを監視ポイントとして提示する。

図８は、監視対象の動きに応じた監視ポイントの提示を例示する図である。図８において、監視対象は群衆５０である。図８（ａ）の場合、群衆５０−１は右方向に移動しており、群衆５０−２は左方向に移動している。この場合、提示部２０６０は枠線３０−１を表示する。枠線３０−１は、群衆５０−１と群衆５０−２がそれぞれ進み続けた場合にそれらが交差すると予測される位置及び周辺を表す。

また、図８（ｂ）の場合、群衆５０−３、群衆５０−４及び群衆５０−５がそれぞれ移動している。そして、提示部２０６０は、群衆５０−３と群衆５０−４とが後に交差すると予測される位置及びその周辺に枠線３０−２を表示し、群衆５０−３と群衆５０−５とが後に交差すると予測される位置及びその周辺に枠線３０−３を表示している。

このように監視対象の動きを監視対象の状態とする場合、例えば監視ポイント情報は、「状態：移動中、監視ポイント：交差が予測される箇所」という情報を表す。提示部２０６０は、「交差が予測される箇所」という監視ポイントを取得した結果、群衆の交差が予測される箇所を算出し、その箇所を表示する提示を行う。

例えば図８（ｂ）の場合、状態取得部２０２０は、群衆５０−３から５それぞれについて、「移動中」という状態を取得する。そして、監視ポイント取得部２０４０は、群衆５０−３から５それぞれについて、「移動中」という状態に対応する「交差が予測される箇所」という監視ポイントを取得する。そして、提示部２０６０は、群衆５０−３から５の各組み合わせについて交差が予測される箇所を算出し、算出された各箇所に監視ポイントを提示する。

なお、交差が予測される箇所は、上述の例のように群衆５０同士が交差すると予測される箇所に限定されない。例えば、群衆５０が移動している方向に壁等の障害物がある場合、提示部２０６０は、その障害物及びその周辺に監視ポイントを提示する。

群衆５０の動きは、群衆５０が写っている複数の撮像画像１０における群衆５０の位置の変化に基づいて算出することができる。ここで、群衆５０の動きとは、群衆５０の速度や移動方向などである。なお、複数の撮像画像を用いて群衆の動きを算出する方法は既知であるため、詳細な説明は省略する。

なお、群衆５０に含まれる人の数は、一人であってもよいし複数であってもよい。

＜＜行列の整列状態を監視対象の状態とするケース＞＞
撮像画像に写っている群衆が行列を成している場合、その行列の状態によって監視すべき場所が異なると考えられる。例えば、行列の方向があるべき方向（通路やロープに沿った方向など）に延びている場合、行列は正しく整列されているため、行列の途中にはあまり危険がないといえる。このような場合、新たに人が加わる行列の末尾を監視すればよいと考えられる。そこで監視ポイント情報記憶部３０２０は、「監視対象の状態：行列が整列されている、監視ポイント：行列の末尾」という監視ポイント情報を記憶する。

一方、例えば行列があるべき方向に沿わずに蛇行している場合、行列は整列されておらず、問題が生じやすいと考えられる。例えば、行列が曲がっている各地点で問題が起こりやすいと予想される。そのため、監視ポイント情報記憶部３０２０は、「監視対象の状態：行列が整列されていない、監視ポイント：行列が曲がっている箇所及び行列の末尾」という監視ポイント情報を記憶する。

また行列が整列した状態であっても、駅のプラットフォームなどでは、行列が長くなるとその後ろが狭くなり、プラットフォームの縁を歩く人が増えたり、行列の後ろの狭い個所をすり抜けようとしたりする人が増えることにより、危険性が増す場合がある。そこで、行列が整列した状態であっても、行列の長さが長くなったり、行列の後ろの幅が狭くなったりした場合には、行列の後ろやプラットフォームの縁を監視ポイントとして提示するようにしてもよい。この場合、例えば行列の長さやプラットフォームの幅の許容値を、画像処理装置２０００の内部又は外部に予め記憶しておく。

図９は、行列の状態に応じた監視ポイントの提示を例示する図である。図９において、監視対象は行列６０である。図９（ａ）の場合、行列６０−１及び行列６０−２はそれぞれ、右方向に整列されている。そのため提示部２０６０は、行列６０−１及び行列６０−２の末尾に、枠線３０−１及び枠線３０−２をそれぞれ提示する。一方、図９（ｂ）の場合、行列６０−３は蛇行している。そのため提示部２０６０は、行列６０−３の蛇行している箇所に枠線３０−３及び枠線３０−４をそれぞれ提示し、さらに行列６０−３の末尾に枠線３０−５を提示する。

行列の状態は、撮像画像１０に写っているオブジェクトの並びを解析することで算出することができる。「行列が真っ直ぐに並んでいるか又は蛇行しているか」や「行列の方向があるべき方向であるか」を判定する方法は既知である。また、行列が蛇行している箇所を算出する方法も既知である。そのため、これら既知の方法についての詳細は省略する。

「行列のあるべき方向」は、例えばカメラ３０４０に対応付けて予め定めておく。例えばカメラ３０４０の向きが固定されており、かつ行列が並ぶ対象（売店のレジなど）の位置が固定されている場合、行列６０が真っ直ぐ並ぶ方向を「行列のあるべき方向」として予め定めておくことができる。

また例えば、「行列のあるべき方向」は、撮像画像１０を用いて算出されてもよい。具体的には、行列６０が真っ直ぐに並んでいる場合、その行列６０の方向を算出し、その方向を「行列のあるべき方向」とする。また、行列６０が途中で曲がっている場合、例えば撮像画像１０からロープなどのガイドラインを抽出し、そのガイドラインに沿う方向を「行列のあるべき方向」とする。

＜＜複数のカメラを利用した監視ポイントの特定＞＞
画像処理装置２０００は、異なるカメラ３０４０によって撮像された複数の撮像画像から得られる情報を用いてもよい。図１０は、２つの異なるカメラ３０４０によって撮像された２つの撮像画像１０を示す図である。撮像画像１０−１と撮像画像１０−２は隣接する場所を撮像した画像であり、撮像画像１０−１の下端と撮像画像１０−２の上端がつながっている。

撮像画像１０−１には群衆５０−１が写っており、撮像画像１０−２には群衆５０−２が写っている。ここで、撮像画像１０−１を単体で見ると、群衆５０−１の移動先には特に障害物等はないため、群衆５０−１が移動する先で監視しなければいけない箇所は無いように見える。これは、撮像画像１０−２を単体で見た場合についても同様である。撮像画像１０−２に写っている群衆５０−２の移動先には、特に障害物等が写っていない。

しかし、撮像画像１０−１と撮像画像１０−２を合わせて見ると、群衆５０−１と群衆５０−２はいずれ交差すると予測できる。このように画像処理装置２０００は、複数の撮像画像を合わせて見ないと判別できない監視ポイントについても提示を行う。例えば、以下のように動作する。

まず状態取得部２０２０は、複数のカメラ３０４０に写っている各監視対象の状態を取得する。図１０の場合、状態取得部２０２０は、撮像画像１０−１に写っている群衆５０−１の状態と、撮像画像１０−２に写っている群衆５０−２の状態の双方を取得する。そして、監視ポイント取得部２０４０は、群衆５０−１と群衆５０−２の状態が移動中であるため、それぞれに対応する監視ポイントとして「交差が予測される箇所」を取得する。そして、提示部２０６０は、群衆５０−１と群衆５０−２の移動方向、及び撮像画像１０−１と撮像画像１０−２それぞれに写っている場所の位置関係から、群衆５０−１と群衆５０−２とがいずれ交差すると予測される箇所を算出する。そして提示部２０６０は、算出した箇所に枠線３０等を提示する。図１０では、撮像画像１０−１に枠線３０−１を提示し、撮像画像１０−２に枠線３０−２を提示している。

なお、カメラ３０４０の数が多い場合、移動している監視対象同士の組み合わせ全てについて交差を予測する処理を行うと、計算量が多くなって処理に要する時間が長くなってしまう可能性がある。そこで提示部２０６０は、近くに位置する監視対象同士についてのみ交差を予測する処理を行ってもよい。例えば提示部２０６０は、近接するカメラ３０４０によって撮像された撮像画像に写っている監視対象同士のみについて交差を予測する。この場合、状態取得部２０２０が取得する状態情報は、監視対象を撮像したカメラ３０４０のＩＤを示す。そして、提示部２０６０は、各カメラ３０４０の位置関係を示す情報を用いて、近接するカメラのＩＤとその位置関係を求め、交差を予測する。なお、各カメラ３０４０の位置関係を示す情報は、画像処理装置２０００の内部に記憶されていてもよいし、外部に記憶されていてもよい。

＜状態情報の生成方法の詳細＞
上述の通り、監視対象の状態は様々である。そのため、状態情報を生成するためには、監視対象の状態がどの状態に当てはまるかを判別する必要がある。そのために、例えば各状態について、１つ又は複数の撮像画像から得られる監視対象の特徴量（群衆密度や流れ、及びその分布など）を入力とし、その状態に当てはまるか否かを判定するモデルを予め生成しておく。このモデルは、例えば「監視対象の特徴量、監視対象の状態」の組み合わせから成る訓練データを用いて事前に機械学習させることにより生成する。そして、ある状態について生成したモデルに対して撮像画像から得られた群衆の特徴量を入力することで、その撮像画像に写っている監視対象がその状態に当てはまるか否かを判別する。

例えば混雑状態のモデルに対して監視対象の特徴量を入力すると、「混雑している」又は「混雑していない」という出力が得られる。また例えば、行列状態のモデルに対して監視対象の特徴量を入力すると、「行列を成していない」、「整列された行列を成している」、又は「整列されていない行列を成している」という出力が得られる。

なお上記のモデルは、「状態に当てはまる尤度」を算出するように構成されていてもよい。例えば行列状態のモデルに対して監視対象の特徴量を入力すると、「行列を成していない」、「整列された行列を成している」、及び「整列されていない行列を成している」というそれぞれの状態についての尤度が得られる。この場合、ある監視対象の状態情報は、その監視対象の特徴量をモデルに入力して得られた尤度に基づいて生成される。具体的には、ある監視対象についての状態情報は、その監視対象の特徴量をモデルに入力して得られた各尤度に対応する状態のうち、最も高い尤度に対応する状態を示す。

また、状態情報に尤度を含めるようにしてもよい。この場合、提示部２０６０は、状態情報に示されている尤度を考慮して監視ポイントを提示してもよい。例えば提示部２０６０は、尤度が所定値以上である状態情報に対応する監視ポイントのみを提示対象画像上に提示する。

なお、撮像画像に写っている群衆が複数の状態に当てはまることもある。例えば整列した行列を成している監視対象が移動している場合、監視対象の状態は、「整列された行列を成している」及び「移動中」の双方に当てはまる。この場合、当てはまる全ての状態それぞれについて状態情報が生成されてもよいし、一部の状態についてのみ状態情報が生成されてもよい。一部の状態についてのみ状態情報を生成する場合、例えば上述の尤度を利用する。具体的には、１）各状態を尤度の降順に並べた場合における上位ｎ個の状態についてのみ状態情報を生成する、又は２）尤度が所定値以上の状態についてのみ状態情報を生成するといった方法がある。

［実施形態２］
図１１は、実施形態２に係る画像処理装置２０００をその使用環境と共に示すブロック図である。図１１において、矢印は情報の流れを表している。さらに図１１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態２の画像処理装置２０００は、被監視位置を取得する被監視位置取得部２０８０を有する。被監視位置は、撮像画像が表示される表示画面を見ている監視員によって監視されている位置である。ここで、被監視位置を算出する処理は、画像処理装置２０００の内部で行われてもよいし、画像処理装置２０００の外部で行われてもよい。

提示部２０６０は、監視ポイント取得部２０４０が取得した監視ポイントのうち、表示画面上における提示位置が、被監視位置取得部２０８０が取得した被監視位置又はその周辺の位置でない監視ポイントを、優先的に提示対象画像上に提示する。

被監視位置は様々な方法で特定される。以下、被監視位置を表す方法を例示する。

＜監視員の視線方向に基づいて特定する方法＞
例えば被監視位置は、監視員の視線方向や顔の向き（以下、顔方向）に基づいて特定される。この場合、被監視位置は、監視員の視線方向又は顔方向と表示画面３０６０との交点及びその周辺となる。ここで、「その周辺」は、交点を中心とする所定形状の領域や所定半径の円形領域などである。また、カメラ３０４０を予め所定の部分領域に分割しておき、監視員の視線方向等と交わる部分領域を被監視位置としてもよい。なお、上記の所定形状や所定半径を示す情報は、画像処理装置２０００の内部又は外部の記憶装置に予め記憶しておく。

ここで、例えば監視員がある位置をごく短い時間だけ監視した場合、その位置は十分に監視されているとは言えない場合がある。そこで例えば、所定時間以上続けて監視された位置や所定頻度より高い頻度で監視された位置のみを被監視位置とするようにしてもよい。これら所定時間や所定頻度を示す情報は、画像処理装置２０００の内部又は外部の記憶装置に予め記憶しておく。

例えば被監視位置取得部２０８０が取得する情報は、監視員の視線方向や顔方向に基づいて外部装置が算出した被監視位置を表す座標情報等である。また例えば、被監視位置取得部２０８０が取得する情報は、監視員の視線方向や顔方向を表す情報である。この場合、提示部２０６０は、被監視位置取得部２０８０が取得した情報に基づいて被監視位置を表す座標情報等を算出する。

監視員の視線方向や顔方向は、例えば「監視員の位置、水平方向の角度、垂直方向の角度」の組み合わせで表される。ここで、水平方向の角度や垂直方向の角度の基準（０度とする方向）は任意である。また、監視員の位置の基準（原点とする位置）は任意である。

例えば監視員の視線方向や顔方向は、監視員の顔や目をカメラ等で撮像し、撮像された画像を解析することで算出される。監視員の顔や目を撮像するカメラは、例えば表示画面３０６０の付近に設置される。監視員の顔や目を撮像して視線方向や顔方向を検出する技術は既知の技術であるため、詳細な説明は省略する。なお、監視員の視線方向や顔方向を検出する処理部（以下、視線方向検出部）は、画像処理装置２０００の内部に設けられてもよいし、外部に設けられてもよい。

図１２は、監視員の視線方向に基づいて提示する監視ポイントを決定する様子を概念的に示す図である。撮像画像１０は、カメラ３０４０によって撮像された後、提示部２０６０によって枠線３０が提示された撮像画像である。図１２において、撮像画像１０は表示画面３０６０に表示されており、監視員によって監視されている。ここで、図１２の撮像画像１０は、図９（ａ）の撮像画像１０−１と同様の状況を表している。具体的には、撮像画像１０に２つの行列６０−１及び行列６０−２が表示されている。

図１２において、監視ポイント取得部２０４０は、図９（ａ）の場合と同様に、各行列６０について「末尾」を監視ポイントとして取得する。ここで、監視員の視線方向７０は、行列６０−１の末尾に向いている。つまり、行列６０−１の末尾は上述の被監視位置となっている。そこで提示部２０６０は、被監視位置又はその周辺に含まれていない行列６０−２の末尾に枠線３０を提示する。

なお図１２において、提示部２０６０は、被監視位置又はその周辺に含まれる監視ポイントの提示を行っていないが、被監視位置又はその周辺に含まれる監視ポイントについての提示を行ってもよい。この場合、例えば提示部２０６０は、被監視位置又はその周辺に含まれない監視ポイントを、被監視位置又はその周辺に含まれる監視ポイントよりも強調して表示する。ここで、監視ポイントを強調して表示する方法は様々である。例えば監視ポイントの周囲に枠線を提示する場合、枠線の太さを太くすることで表示が強調される。また、監視ポイントの色を変更することで監視ポイントを提示する場合、より目立つ色を用いることで表示が強調される。また、監視ポイントの枠線や領域を点滅させることによって強調してもよい。この際、重要な監視ポイントほど早く点滅させることで、表示が強調される。

＜監視員が指す方向に基づいて特定する方法＞
被監視位置は、監視員の視線方向や顔方向に基づいて被監視位置を特定する方法と同様の方法で、監視員の手や指が指す方向によって特定されてもよい。

＜監視員が触れた位置に基づいて特定する方法＞
さらに、監視員が触れた表示画面３０６０上の位置又はその周辺を被監視位置としてもよい。監視員が触れた表示画面３０６０上の位置は、例えば表示画面３０６０として監視員が触れた位置を検出できる画面（タッチパネル等）を利用することで特定できる。また監視員が触れた表示画面３０６０上の位置は、カメラ等で表示画面３０６０に対する監視員の動きを監視することによっても特定できる。なお、監視員が所定時間以上続けて触れた位置や所定頻度より高い頻度で触れた位置のみを被監視位置とするようにしてもよい。

＜処理の流れ＞
図１３は、実施形態２の画像処理装置２０００が実行する処理の流れを例示するフローチャートである。なお、図１３のステップＳ１０２及びＳ１０４はそれぞれ、図２のステップＳ１０２及びＳ１０４と同様の処理である。そのため、これらの処理についての説明は省略する。

ステップＳ２０２において、被監視位置取得部２０８０は被監視位置を取得する。ステップＳ２０４において、提示部２０６０は、監視ポイント取得部２０４０が取得した監視ポイントのうち、表示画面上における提示位置が、被監視位置取得部２０８０が取得した被監視位置又はその周辺の位置でない監視ポイントを表す表示を、提示対象画像上に提示する。

＜作用・効果＞
本実施形態によれば、監視ポイントのうち、監視員が監視している位置（被監視位置）又はその周辺に含まれない監視ポイントが、表示画面３０６０上に表示されるようになる。これにより、監視員が監視していない監視ポイントに枠線等を提示することで監視漏れを防ぎつつ、既に監視員が監視している監視ポイントには枠線等を表示しないことで監視箇所の視認性が低下することを防ぐことができる。

［実施形態３］
実施形態３に係る画像処理装置２０００は、実施形態１又は２に係る画像処理装置２０００と同様の構成を有し、下記で説明する点を除き、実施形態１又は２に係る画像処理装置２０００と同様の機能を有する。

実施形態３において、監視ポイントは、監視対象の状態及び別の要素（以下、第２要素）と対応付けられている。監視ポイント取得部２０４０は、監視対象の状態及び第２要素を取得し、それらに対応する監視ポイントを取得する。以下、上記第２要素の具体例を示す。

＜スケジュール情報＞
例えば第２要素は、日付、曜日、又は時間などを表すスケジュール情報である。例えば昼間は安全であるが夜は危険な箇所、平日は安全であるが週末や祝日は危険な箇所などのように、監視すべきか否かがその時々に応じて異なる箇所がある。

そこで監視ポイント情報記憶部３０２０は、監視ポイントを、監視対象の状態及びスケジュール情報と対応付けて記憶する。そして、監視ポイント取得部２０４０は、監視対象の状態に加えてスケジュール情報を取得し、それらの組み合わせに対応する監視ポイントを取得する。これにより、その時点に応じた適切な監視ポイントを取得することができる。

＜天候情報＞
例えば第２要素は、天候（天気、気温、湿度、又は風速など）を表す天候情報である。例えば、晴天時には安全な箇所でも、水たまりができやすいため雨天時には注意が必要である場合などがある。

そこで監視ポイント情報記憶部３０２０は、監視対象の状態及び天候情報と対応付けて、監視ポイントを記憶する。そして、監視ポイント取得部２０４０は監視対象の状態に加えて天候情報を取得し、これら２つの組み合わせに対応する監視ポイントを取得する。これにより、監視する際の天候に応じた適切な監視ポイントを取得することができる。なお、取得する天候情報は、その時の実際の天候を示す情報であってもよいし、天気予報等が示す天候の予測情報であってもよい。

＜イベント情報＞
また例えば第２要素は、監視場所又はその周辺等で行われるイベントに関する情報（以下、イベント情報）である。試合が行われるスタジアム等、何らかのイベントが行われる場所を監視する場合、イベントの状態や結果に応じて監視すべき場所が変動しうる。例えば試合が行われるスタジアムの場合、試合に負けたチームの応援席やその応援席から出口に向かう通路等には、苛立っているサポーターなどが多く存在する可能性が高く、監視の必要が高い。

そこで監視ポイント情報記憶部３０２０は、監視対象の状態及びイベント情報に対応付けて、監視ポイントを記憶する。そして、監視ポイント取得部２０４０は、監視対象の状態に加えて監視する際のイベント情報（どちらのチームが勝ったかなど）を取得し、これら２つの組み合わせに対応する監視ポイントを取得する。これにより、監視する際のイベントの状況に応じた適切な監視ポイントを取得することができる。なお、取得するイベント情報は、その時の実際のイベントの状況を示す情報であってもよいし、予想されるイベントの状況であってもよい。「予想されるイベントの状況」とは、例えばイベントが試合であり、監視している時点が試合終盤の場合に、その時の試合状況に基づいて予想される試合結果などである。

＜処理の流れ＞
図１４は、実施形態３の画像処理装置２０００が実行する処理の流れを例示するフローチャートである。なお、図１４のステップＳ１０２及びＳ１０６はそれぞれ、図２のステップＳ１０２及びＳ１０６と同様の処理である。そのため、これらの処理についての説明は省略する。

ステップＳ３０２において、監視ポイント取得部２０４０は、第２要素を取得する。ステップＳ３０４において、監視ポイント取得部２０４０は、監視対象の状態及び第２要素に対応する監視ポイントを取得する。

＜作用・効果＞
本実施形態によれば、監視対象の状態に加え、さらに天候情報等の第２要素を考慮して、監視ポイントが取得される。こうすることで、監視対象の状態のみに基づいて監視ポイントを取得する場合と比較し、よりその時の状況に適した監視ポイントを表す表示を提示できるようになる。結果、監視員は監視している時の状況に応じてより適した監視を行うことができるようになる。

［実施形態４］
図１５は、実施形態４に係る画像処理装置２０００を示すブロック図である。図１５において、矢印は情報の流れを表している。さらに、図１５において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態４の画像処理装置２０００は、実施形態１で説明した状態取得部２０２０、及び実施形態２で説明した被監視位置取得部２０８０を有する。さらに実施形態４の画像処理装置２０００は、監視ポイント情報生成部２１００を有する。監視ポイント情報生成部２１００は、被監視位置取得部２０８０によって取得された被監視位置を監視ポイントとし、状態取得部２０２０によって取得された監視対象の状態と上記監視ポイントとを対応付けて監視ポイント情報を生成する。監視ポイント情報生成部２１００によって生成された監視ポイント情報は監視ポイント情報記憶部３０２０に記憶される。

例えば、監視対象の状態を示す情報（状態情報）が「行列が整列されている」という状態を示しており、監視員が行列の末尾を監視していたとする。この場合、監視ポイント情報生成部２１００は、「行列が整列されている」という状態に「末尾」という監視ポイントを対応づけて監視ポイント情報を生成する。

＜状態情報と被監視位置との対応付け＞
例えば監視ポイント情報生成部２１００は、状態情報と被監視位置とを、取得した順に対応付けていく。具体的には、監視ポイント情報生成部２１００は、n 番目に取得した状態情報と n 番目に取得した被監視位置とを対応付けて監視ポイント情報を生成する。この方法は、例えば状態情報及び被監視位置をリアルタイムで順次取得する場合に利用される。

また例えば、監視ポイント情報生成部２１００は、生成時点が近い状態情報と被監視位置とを対応付けてもよい。この場合、状態取得部２０２０は、状態情報を生成時点と対応付けて取得する。同様に、被監視位置取得部２０８０は、被監視位置を生成時点と対応付けて取得する。なお、「生成時点が近い」とは、例えば生成時点の差が所定時間以内であることを意味する。この方法は、例えば複数の状態情報及び被監視位置を一旦記憶装置等に記憶し、バッチ処理で監視ポイント情報を生成する場合に利用される。ただしこの方法は、状態情報及び被監視位置をリアルタイムで順次取得する場合に利用されてもよい。

＜複数の監視員による監視結果の利用＞
監視ポイント情報生成部２１００は、複数の監視員による監視行動に基づいて監視ポイント情報を生成してもよい。この場合、監視ポイント情報生成部２１００は、監視ポイント情報生成部２１００は、監視ポイントの重要度を決定し、重要度が高い監視ポイントについてのみ監視ポイント情報を生成してもよい。具体的にはまず、監視ポイント情報生成部２１００は、「状態取得部２０２０が取得した監視対象の状態、被監視位置取得部２０８０によって取得された被監視位置、監視を行った監視員のＩＤ」とを対応付けて、監視ポイント情報の候補（以下、候補情報）を生成する。そして、監視ポイント情報生成部２１００は、ある「監視対象の状態、被監視位置」の組み合わせを共通して示す候補情報の数が所定数以上である場合に、その組み合わせを監視ポイント情報とする。この場合、候補情報の数、つまりはある被監視位置を監視した監視員の数が、その被監視位置に対応する監視ポイントの重要度となる。

上述の方法において、監視員のＩＤに対応付けて重み付けをしてもよい。具体的には、監視ポイント情報生成部２１００は、「監視対象の状態、被監視位置」の組み合わせが共通している候補情報について、各候補情報に対応する監視員の重みを加算する。そして、加算値が所定値以上である場合に、この「監視対象の状態、被監視位置」の組み合わせを監視ポイント情報とする。監視員のＩＤに対応する重みは、例えば監視員のスキルの高さに応じて予め決定される。この場合、ある被監視位置について算出した上記加算値が、その被監視位置に対応する監視ポイントの重要度となる。

＜処理の流れ＞
図１６は、実施形態４の画像処理装置２０００が実行する処理の流れを例示するフローチャートである。ステップＳ４０２において、状態取得部２０２０は、撮像画像に写っている監視対象の状態を取得する。ステップＳ４０４において、被監視位置取得部２０８０は被監視位置を取得する。ステップＳ４０６において、監視ポイント情報生成部２１００は、被監視位置取得部２０８０によって取得された被監視位置と、状態取得部２０２０によって取得された監視対象の状態とを対応付けて監視ポイント情報を生成する

＜作用・効果＞
本実施形態によれば、撮像画像における監視対象の状態と、その撮像画像を監視している監視員によって監視されている位置とに基づいて、監視ポイント情報が生成される。つまり、監視員による監視行動が画像処理装置２０００によって学習され、その学習結果として監視ポイント情報が生成されるようになる。こうすることで、監視ポイント情報を手動で作成する手間が軽減される。

例えば本実施形態の画像処理装置２０００の運用方法として、スキルの高い監視員の監視行動を学習させて監視ポイント情報を生成させるという運用方法が考えられる。そして、このように生成された監視ポイント情報を、実施形態１から３の画像処理装置２０００に利用させる。こうすることで、「スキルの高い監視員は監視対象がどのような状態の時にどの箇所を監視しているのか」という情報を各監視員で共有することができるようになる。よって、監視員のスキルにばらつきがある場合であっても、効率的で漏れの無い監視を行えるようになる。また、新人の監視員の教育に必要な教育コストを削減することにもなる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、
監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けて記憶する監視ポイント情報記憶手段から、前記状態取得手段が取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得手段と、
前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得手段によって取得された監視ポイントを提示する提示手段と、
を有する画像処理装置。
２． 前記撮像画像が表示される表示画面を見ている監視員によって監視されている位置である被監視位置を取得する被監視位置取得手段を有し、
前記提示手段は、前記監視ポイント取得手段が取得した監視ポイントのうち、前記表示画面上における提示位置が、前記被監視位置取得手段が取得した被監視位置又はその周辺の位置でない監視ポイントを、優先的に前記第１撮像画像上に提示する１．に記載の画像処理装置。
３． 前記被監視位置取得手段は、前記監視員の視線方向に対応する前記表示画面上の位置、前記監視員の指又は手が指す方向に対応する前記表示画面上の位置、及び前記監視員が触れた前記表示画面上の位置の内のいずれか一つ以上を前記被監視位置とする２．に記載の画像処理装置。
４． 前記状態取得手段は、監視対象の状態として、群衆の混雑度合いを取得する１．乃至３．いずれか一つに記載の画像処理装置。
５． 前記状態取得手段は、監視対象の状態として、群衆の移動状態を取得する１．乃至４．いずれか一つに記載の画像処理装置。
６． 前記状態取得手段は、監視対象の状態として行列の整列状態を取得する１．乃至５．いずれか一つに記載の画像処理装置。
７． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、スケジュール情報とさらに対応付けて記憶しており、
前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点に対応するスケジュール情報とに対応する前記監視ポイントを取得する１．乃至６．いずれか一つに記載の画像処理装置。
８． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、天候情報とさらに対応付けて記憶しており、
前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点の天候を表す天候情報とに対応する前記監視ポイントを取得する１．乃至７．いずれか一つに記載の画像処理装置。
９． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、前記カメラが設置されている場所で行われるイベントの状態とさらに対応付けて記憶しており、
前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点における前記イベントの状態とに対応する前記監視ポイントを取得する１．乃至８．いずれか一つに記載の画像処理装置。
１０． カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、
前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得手段と、
前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成する監視ポイント情報生成手段と、
を有する画像処理装置。
１１． 前記被監視位置取得手段は、複数の監視員について被監視位置を取得し、
前記監視ポイント情報生成手段は、ある被監視位置を監視した監視員の数に応じてその被監視位置に対応する監視ポイントの重要度を決定する１０．に記載の画像処理装置。
１２． ある監視員について取得した前記被監視位置は、その監視員のスキルの高さに応じて重み付けされており、
前記監視ポイント情報生成手段は、前記被監視位置の重み付き和に基づいて、その被監視位置に対応する監視ポイントの重要度を決定する１０．に記載の画像処理装置。
１３． １．乃至９．いずれか一つに記載のカメラ、監視ポイント情報記憶手段、及び画像処理装置を有する監視システム。
１４． １０．乃至１２．に記載のカメラ及び画像処理装置を有する監視システム。
１５． コンピュータによって実行される画像処理方法であって、
カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、
監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けて記憶する監視ポイント情報記憶手段から、前記状態取得ステップが取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得ステップと、
前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得ステップによって取得された監視ポイントを提示する提示ステップと、
を有する画像処理方法。
１６． 前記撮像画像が表示される表示画面を見ている監視員によって監視されている位置である被監視位置を取得する被監視位置取得ステップを有し、
前記提示ステップは、前記監視ポイント取得ステップで取得した監視ポイントのうち、前記表示画面上における提示位置が、前記被監視位置取得ステップで取得した被監視位置又はその周辺の位置でない監視ポイントを、優先的に前記第１撮像画像上に提示する１５．に記載の画像処理方法。
１７． 前記被監視位置取得ステップは、前記監視員の視線方向に対応する前記表示画面上の位置、前記監視員の指又は手が指す方向に対応する前記表示画面上の位置、及び前記監視員が触れた前記表示画面上の位置の内のいずれか一つ以上を前記被監視位置とする１６．に記載の画像処理方法。
１８． 前記状態取得ステップは、監視対象の状態として、群衆の混雑度合いを取得する１５．乃至１７．いずれか一つに記載の画像処理方法。
１９． 前記状態取得ステップは、監視対象の状態として、群衆の移動状態を取得する１５．乃至１８．いずれか一つに記載の画像処理方法。
２０． 前記状態取得ステップは、監視対象の状態として行列の整列状態を取得する１５．乃至１９．いずれか一つに記載の画像処理方法。
２１． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、スケジュール情報とさらに対応付けて記憶しており、
前記監視ポイント取得ステップは、前記状態取得ステップで取得した監視対象の状態と前記撮像画像が撮像された時点に対応するスケジュール情報とに対応する前記監視ポイントを取得する１５．乃至２０．いずれか一つに記載の画像処理方法。
２２． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、天候情報とさらに対応付けて記憶しており、
前記監視ポイント取得ステップは、前記状態取得ステップで取得した監視対象の状態と前記撮像画像が撮像された時点の天候を表す天候情報とに対応する前記監視ポイントを取得する１５．乃至２１．いずれか一つに記載の画像処理方法。
２３． 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、前記カメラが設置されている場所で行われるイベントの状態とさらに対応付けて記憶しており、
前記監視ポイント取得ステップは、前記状態取得ステップで取得した監視対象の状態と前記撮像画像が撮像された時点における前記イベントの状態とに対応する前記監視ポイントを取得する１５．乃至２２．いずれか一つに記載の画像処理方法。
２４． コンピュータによって実行される画像処理方法であって、
カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、
前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得ステップと、
前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成する監視ポイント情報生成ステップと、
を有する画像処理方法。
２５． 前記被監視位置取得ステップは、複数の監視員について被監視位置を取得し、
前記監視ポイント情報生成ステップは、ある被監視位置を監視した監視員の数に応じてその被監視位置に対応する監視ポイントの重要度を決定する２４．に記載の画像処理方法。
２６． ある監視員について取得した前記被監視位置は、その監視員のスキルの高さに応じて重み付けされており、
前記監視ポイント情報生成ステップは、前記被監視位置の重み付き和に基づいて、その被監視位置に対応する監視ポイントの重要度を決定する２５．に記載の画像処理方法。
２７． コンピュータを、１．乃至１２．いずれか一つに記載の画像処理装置として動作させるプログラム。

この出願は、２０１４年７月２５日に出願された日本出願特願２０１４−１５２３３６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明が提供する画像処理装置は、カメラによって撮像された撮像画像に写っている群衆の度合いを取得する状態取得手段と、前記群衆の混雑度合いと、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報から、前記状態取得手段が取得した前記群衆の混雑度合いに対応する前記監視ポイントを取得する監視ポイント取得手段と、前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得手段によって取得された監視ポイントを提示する提示手段と、を有する。

本発明が提供する画像処理方法は、コンピュータによって実行される。当該画像処理方法は、カメラによって撮像された撮像画像に写っている群衆の混雑度合いを取得する状態取得ステップと、前記群衆の混雑度合いと、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報から、前記状態取得ステップが取得した前記群衆の混雑度合いに対応する前記監視ポイントを取得する監視ポイント取得ステップと、前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得ステップによって取得された監視ポイントを提示する提示ステップと、を有する。

本発明が提供するプログラムは、本発明が提供する画像処理方法をコンピュータに実行させる。

Claims (17)

1. カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、
   監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報を記憶する監視ポイント情報記憶手段から、前記状態取得手段が取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得手段と、
   前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得手段によって取得された監視ポイントを提示する提示手段と、
   を有し、
   前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけており、
   前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している、画像処理装置。
2. 前記撮像画像が表示される表示画面を見ている監視員によって監視されている位置である被監視位置を取得する被監視位置取得手段を有し、
   前記提示手段は、前記監視ポイント取得手段が取得した監視ポイントのうち、前記表示画面上における提示位置が、前記被監視位置取得手段が取得した被監視位置又はその周辺の位置でない監視ポイントを、優先的に前記第１撮像画像上に提示する請求項１に記載の画像処理装置。
3. 前記被監視位置取得手段は、前記監視員の視線方向に対応する前記表示画面上の位置、前記監視員の指又は手が指す方向に対応する前記表示画面上の位置、及び前記監視員が触れた前記表示画面上の位置の内のいずれか一つ以上を前記被監視位置とする請求項２に記載の画像処理装置。
4. 前記状態取得手段は、監視対象の状態として、群衆の混雑度合いを取得する請求項１乃至３いずれか一項に記載の画像処理装置。
5. 前記状態取得手段は、監視対象の状態として、群衆の移動状態を取得する請求項１乃至４いずれか一項に記載の画像処理装置。
6. 前記状態取得手段は、監視対象の状態として行列の整列度合いを取得する請求項１乃至５いずれか一項に記載の画像処理装置。
7. 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、スケジュール情報とさらに対応付けて記憶しており、
   前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点に対応するスケジュール情報とに対応する前記監視ポイントを取得する請求項１乃至６いずれか一項に記載の画像処理装置。
8. 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、天候情報とさらに対応付けて記憶しており、
   前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点の天候を表す天候情報とに対応する前記監視ポイントを取得する請求項１乃至７いずれか一項に記載の画像処理装置。
9. 前記監視ポイント情報記憶手段は、前記監視対象の状態及び前記監視ポイントを、前記カメラが設置されている場所で行われるイベントの状態とさらに対応付けて記憶しており、
   前記監視ポイント取得手段は、前記状態取得手段が取得した監視対象の状態と前記撮像画像が撮像された時点における前記イベントの状態とに対応する前記監視ポイントを取得する請求項１乃至８いずれか一項に記載の画像処理装置。
10. カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得手段と、
    前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得手段と、
    前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成して、前記生成した監視ポイント情報を監視ポイント情報記憶手段に格納する監視ポイント情報生成手段と、
    を有し、
    前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけており、
    前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している、画像処理装置。
11. 前記被監視位置取得手段は、複数の監視員による被監視位置を取得し、
    前記監視ポイント情報生成手段は、ある被監視位置を監視した監視員の数に応じてその被監視位置に対応する監視ポイントの重要度を決定する
    請求項１０に記載の画像処理装置。
12. ある監視員について取得した前記被監視位置は、その監視員のスキルの高さに応じて重み付けされており、
    前記監視ポイント情報生成手段は、前記被監視位置の重み付き和に基づいて、その被監視位置に対応する監視ポイントの重要度を決定する請求項１０に記載の画像処理装置。
13. 請求項１乃至９いずれか一項に記載のカメラ、監視ポイント情報記憶手段、及び画像処理装置を有する監視システム。
14. 請求項１０乃至１２いずれか一項に記載のカメラ及び画像処理装置を有する監視システム。
15. コンピュータによって実行される画像処理方法であって、
    カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、
    監視対象の状態と、前記撮像画像の内の監視すべき位置を表す監視ポイントとを対応付けた監視ポイント情報を記憶する監視ポイント情報記憶手段から、前記状態取得ステップが取得した監視対象の状態に対応する前記監視ポイントを取得する監視ポイント取得ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記監視ポイント取得ステップによって取得された監視ポイントを提示する提示ステップと、
    を有し、
    前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけており、
    前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している、画像処理方法。
16. コンピュータによって実行される画像処理方法であって、
    カメラによって撮像された撮像画像に写っている監視対象の状態を取得する状態取得ステップと、
    前記撮像画像が表示される表示画面を見ている監視員が監視している位置である被監視位置を取得する被監視位置取得ステップと、
    前記被監視位置を前記撮像画像の内の監視すべき位置を表す監視ポイントとし、その監視ポイントと前記監視対象の状態とを対応付けて監視ポイント情報を生成して、前記生成した監視ポイント情報を監視ポイント情報記憶手段に格納する監視ポイント情報生成ステップと、
    を有し、
    前記監視ポイント情報は、監視対象がとりうる複数の状態のうちの１つと、複数の監視ポイントのうちの１つとを対応づけており、
    前記監視ポイント情報記憶手段は、互いに異なる複数の監視ポイント情報を記憶している、画像処理方法。
17. コンピュータを、請求項１乃至１２いずれか一項に記載の画像処理装置として動作させるプログラム。

Images