JP2020078058A - 画像処理装置、監視システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】監視カメラを監視する監視員が即座に監視対象の現状を把握できる技術を提供する。【解決手段】画像処理装置２０００は、指標値算出部２０２０及び提示部２０４０を有する。指標値算出部２０２０は、カメラ３０００によって撮像された複数の画像（撮像画像）を取得し、取得した撮像画像を用いて、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。提示部２０４０は、カメラ３０００によって撮像された撮像画像上に、指標値算出部２０２０が算出した指標値に基づく表示を提示する。【選択図】図１

Description

本発明は画像処理技術に関する。

施設等を監視する方法の一つとして、監視カメラで当該施設等を撮像した映像を見て監視する方法がある。そして、監視カメラによる監視を容易にするための技術が開発されている。

特許文献１は、異常行動を検知する異常行動検知装置を開示している。この装置は、混雑のレベルを複数段階に分け、その混雑のレベルに応じて正常な移動パターンを求める。そして、対象物体の移動パターンが、その時の混雑レベルに応じた正常な移動パターンとマッチするか否かを判定することで、異常行動であるか否かを判定する。

特許文献２は、モニタに表示する映像上に監視対象の状態を提示する機能を有する監視システムを開示している。具体的には、群衆の移動方向の共通度合いや群衆の移動方向を示す数値を、その群衆を撮像した映像上に提示する。

特開２０１０−０７２７８２号公報 特開２０１２−０２２３７０号公報

先行技術文献に開示されている技術では、監視対象の現状を即座に把握することが難しい場合がある。例えば監視員は、監視カメラに写っている人がその場を通り過ぎる人なのか、又はその場付近を徘徊している人なのかを把握したければ、ある程度の時間監視カメラの映像を見続ける必要がある。

本発明の目的は、以上の課題に鑑みてなされたものである。本発明の目的は、監視カメラを監視する監視員が即座に監視対象の現状を把握できる技術を提供することである。

本願発明が提供する第１から第６の画像処理装置は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、を有する。
第１の画像処理装置において、前記指標値算出手段は、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、前記提示手段は、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる。
第２の画像処理装置において、前記指標値算出手段は、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出する。前記提示手段は、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する。
第３の画像処理装置において、前記指標値算出手段は、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する。
第４の画像処理装置において、前記監視対象は人を含む。前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する。
第５の画像処理装置において、前記監視対象は人又は場所を含む。前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する。
第６の画像処理装置において、前記監視対象は人又は場所を含む。前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する。

本願発明が提供する監視システムは、カメラ、画像処理装置、及び表示画面を有する。
前記画像処理装置は、前述した本願発明が提供する画像処理装置である。また、前記表示画面は、前記提示手段によって前記指標値に基づく表示が提示された前記第１撮像画像を表示する。

本願発明が提供する第１から第６の画像処理方法は、コンピュータによって実行される。当該画像処理方法は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、を有する。
第１の画像処理方法では、前記指標値算出ステップにおいて、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、前記提示手段は、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる。
第２の画像処理方法では、前記指標値算出ステップにおいて、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出する。前記提示ステップにおいて、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する。
第３の画像処理方法では、前記指標値算出ステップにおいて、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する。
第４の画像処理方法では、前記監視対象は人を含む。前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する。
第５の画像処理方法では、前記監視対象は人又は場所を含む。前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する。
第６の画像処理方法では、前記監視対象は人又は場所を含む。前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する。

本発明が提供するプログラムは、本発明が提供する画像処理装置が有する各機能構成部の機能をコンピュータに持たせることで、このコンピュータに、本発明が提供する画像処理装置として動作する機能を持たせる。

本発明によれば、監視カメラを監視する監視員が即座に監視対象の現状を把握できる技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る画像処理装置を示すブロック図である。 提示対象画像ごとに監視対象の指標値を算出する処理を概念的に例示する図である。 複数の提示対象画像に対して共通の表示を提示する処理を概念的に例示する図である。 画像処理装置のハードウエア構成を例示するブロック図である。 実施形態１の画像処理装置が実行する処理の流れを例示するフローチャートである。 指標値に基づく表示をアニメーションの様に提示する処理を概念的に例示する図である。 人が積み残された様子を例示する図である。 実施形態２に係る画像処理装置を示すブロック図である。 指標値の大きさに基づいて黒色が濃くなるカラーマップを例示する図である。 虹色のカラーマップを例示する図である。 監視対象及びその周辺の色を、監視対象の位置の変化度合いを示す指標値に応じた色に変更する様子を概念的に例示する図である。 監視対象の周辺に枠線を提示することで強調表示を行う様子を概念的に例示する図である。 監視対象の周辺に指標値に応じた色及び太さの枠線を提示することで強調表示を行う様子を概念的に例示する図である。 実施形態４に係る画像処理装置を示すブロック図である。 基準の濃さが定められている場合における、乖離度に応じて表示色の濃さを決定する方法を概念的に例示する図である。 表示画面が複数のカメラによって撮像された撮像画像を時分割で表示する様子を概念的に例示する図である。 実施形態５の指標値算出部が指標値を算出する方法を説明するための図である。 実施形態５の画像処理装置によって実行される処理の流れを説明するためのフローチャートである。 ユーザの視線方向と部分領域との関係を例示する図である。 監視員の視線方向に対応する部分領域と、監視員の視線方向が変化した時点とを対応づける情報をテーブル形式で例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る画像処理装置２０００を示すブロック図である。図１において、矢印は情報の流れを表している。さらに、図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

画像処理装置２０００は、指標値算出部２０２０及び提示部２０４０を有する。指標値算出部２０２０は、カメラ３０００によって撮像された複数の画像（以下、撮像画像）を取得する。ここで、カメラ３０００は、例えば監視カメラなどである。また、これら複数の撮像画像は、互いに異なる時点で撮像されたものである。例えばこれら複数の撮像画像は、カメラ３０００によって撮像された動画を構成する各フレームである。

さらに、指標値算出部２０２０は、取得した撮像画像を用いて、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。

提示部２０４０は、カメラ３０００によって撮像された撮像画像上に、指標値算出部２０２０が算出した指標値に基づく表示を提示する。ここで、この撮像画像は、指標値の算出に用いられたものであってもよいし、用いられなかったものであってもよい。前者の場合、例えば提示部２０４０は、１番目から n 番目の撮像画像を用いて算出された指標値に基づく表示を、n 番目の撮像画像上に提示する。また後者の場合、例えば提示部２０４０は、１番目から n 番目の撮像画像を用いて算出された指標値に基づく表示を、n+1 番目の撮像画像上に提示する。以下、提示部２０４０が指標値に基づく表示を提示する対象の撮像画像を、提示対象画像とも表記する。

例えば提示部２０４０は、提示対象画像ごとに監視対象の指標値を算出する。図２は、提示対象画像ごとに監視対象の指標値を算出する処理を概念的に例示する図である。図２において、提示部２０４０は、１番目から n 番目の撮像画像を用いて算出された指標値に基づく表示を n+1 番目の撮像画像上に提示している。同様に、提示部２０４０は、２番目から n+1 番目の撮像画像を用いて算出された指標値に基づく表示を n+2 番目の撮像画像上に提示し、３番目から n+2 番目の撮像画像を用いて算出された指標値に基づく表示を n+3 番目の撮像画像上に提示している。

また例えば、提示部２０４０は、ある複数の撮像画像を用いて算出された指標値を、複数の提示対象画像に対して共通に利用してもよい。図３は、複数の提示対象画像に対して共通の表示を提示する処理を概念的に例示する図である。図３において、提示部２０４０は、１番目から n 番目の撮像画像を用いて算出された指標値に基づく表示を、n+1 番目から 2n 番目のそれぞれの撮像画像上に提示している。同様に、提示部２０４０は、n+1 番目から 2n 番目の撮像画像を用いて算出された指標値を用いて 2n+1 番目から 3n 番目のそれぞれの撮像画像上に提示している。

＜ハードウエア構成例＞
画像処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア構成要素（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエア構成要素とソフトウエア構成要素との組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図４は、画像処理装置２０００のハードウエア構成を例示するブロック図である。画像処理装置２０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。入出力インタフェース１１００は、画像処理装置２０００が外部の装置等との間でデータを送受信するための入出力インタフェースである。例えば画像処理装置２０００は、入出力インタフェース１１００を介して、撮像画像を取得する。また例えば、画像処理装置２０００は、入出力インタフェース１１００を介して、指標値に基づく表示を提示した撮像画像を出力する。

ストレージ１０８０は、画像処理装置２０００の機能を実現するためのプログラムとして、指標値算出モジュール１２２０及び提示モジュール１２４０を有する。プロセッサ１０４０は、これら各モジュールを実行することで、指標値算出部２０２０及び提示部２０４０の機能をそれぞれ実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

画像処理装置２０００のハードウエア構成は図４に示した構成に限定されない。例えば、各モジュールはメモリ１０６０に格納されてもよい。この場合、画像処理装置２０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図５は、実施形態１の画像処理装置２０００が実行する処理の流れを例示するフローチャートである。ステップＳ１０２において、指標値算出部２０２０は、撮像画像を取得する。ステップＳ１０４において、提示部２０４０は、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。ステップＳ１０６において、提示部２０４０は、カメラ３０００によって撮像された撮像画像（提示対象画像）上に、指標値に基づく表示を提示する。

＜作用・効果＞
監視員等は、監視カメラに写っている監視対象の状態がどの程度変化しているかを把握したい場合、監視カメラの映像をしばらく見続けなければならない。短い時間、例えば１秒程度映像を見ただけでは、その時の監視対象の状態は把握できても、監視対象の状態がどの程度変化しているかを把握することは難しい。

これに対し、本実施形態の画像処理装置２０００によれば、監視対象の状態の変化度合いを示す表示が提示対象画像上に提示される。例えば、カメラ３０００が撮像した映像が表示画面４０００上に表示されるとする。この場合、指標値に基づく表示が重畳された映像が表示画面４０００上に表示される。そのため、監視員等は、監視対象の状態がどの程度変化しているかを短い時間で容易に把握することができる。よって、監視員等は、監視対象の現状を即座にかつ容易に把握することができる。

以下、本実施形態についてさらに詳細を述べる。

＜撮像画像の取得方法＞
指標値算出部２０２０が撮像画像を取得する方法は任意である。例えば指標値算出部２０２０は、カメラ３０００から撮像画像を取得する。また、指標値算出部２０２０は、カメラ３０００の外部にある記憶装置に記憶されている撮像画像を取得してもよい。この場合、カメラ３０００は、撮像した画像をこの記憶装置に記憶するように構成されている。この記憶装置は、画像処理装置２０００の内部に設けられてもよいし、画像処理装置２０００の外部に設けられてもよい。

なお、撮像画像を取得する処理は、カメラ３０００や上記記憶装置によって出力される撮像画像を指標値算出部２０２０が受信する処理であってもよいし、指標値算出部２０２０がカメラ３０００や上記記憶装置から撮像画像を読み出す処理であってもよい。

＜監視対象の詳細＞
画像処理装置２０００が扱う監視対象は様々である。例えば画像処理装置２０００は、人や物などのオブジェクト、又はこれらオブジェクトの集合（群衆など）などを監視対象として扱う。なお、物を表すオブジェクトには、場所が含まれてもよい。つまり、画像処理装置２０００は、撮像画像に写っている場所（領域）を監視対象として扱ってもよい。

例えば指標値算出部２０２０は、撮像画像に含まれる領域を前景領域と背景領域とに分け、前景領域をオブジェクトとして扱う。ただし、画像から人や物などのオブジェクトを抽出する方法は、前述の方法に限定されない。画像から人や物などのオブジェクトを抽出する技術は既知の技術であり、指標値算出部２０２０はこれら既知の技術を利用することができる。ここで、これら既知の技術についての説明は省略する。

＜監視対象の決定方法＞
画像処理装置２０００は、撮像画像から抽出される全てのオブジェクトを監視対象としてもよいし、特定のオブジェクトのみを監視対象としてもよい。例えば画像処理装置２０００は、人又は人の集合（群衆）のみを監視対象として扱う。また、画像処理装置２０００は、特定の人や群衆のみを監視対象としてもよい。この場合、画像処理装置２０００は、監視対象を示す情報（例えばブラックリスト）を取得し、その情報に基づいて監視対象を決定する。監視対象を示す情報は、例えば監視対象とする各オブジェクトの特徴量を示す。また監視対象を示す情報は、「帽子をかぶっている」や「サングラスをかけている」など、監視対象とする人の特徴を示す情報であってもよい。ここで、画像に含まれるオブジェクトから、特定の特徴を持つオブジェクトを特定する技術は既知の技術であるため、詳細な方法については省略する。

＜提示部２０４０の詳細＞
前述したように、提示部２０４０は、カメラ３０００によって撮像された撮像画像（提示対象画像）上に、指標値に基づく表示を提示する。指標値に基づく表示を提示対象画像上に提示する処理は、例えば、監視対象について算出した指標値を、提示対象画像におけるその監視対象の周辺などに提示する処理である。「指標値に基づく表示を提示対象画像上に提示する処理」のその他の例は、後述の各実施形態等で説明する。

ここで、「提示対象画像上に表示を提示する」とは、例えば提示対象画像にその表示を埋め込む、あるいは重畳する処理である。この場合、提示部２０４０は、上記表示が埋め込まれた提示対象画像を表示画面４０００などの出力装置に出力してもよいし、画像処理装置２０００の内部又は外部に設けられた記憶装置に記憶してもよい。後者の場合、この記憶装置に記憶された提示対象画像を表示画面４０００やその他の装置が読み込んで、表示画面４０００に出力する。なお、表示画面４０００は、例えば監視員の居室等に設置されているモニタや、現場で警備を行っている警備員の携帯端末のモニタ等である。

また、提示部２０４０は、指標値に基づく表示を提示対象画像に埋め込まず、その表示を表す画像データを別途生成してもよい。この場合、当該画像データと提示対象データとを合わせて表示することで、提示対象画像上に上記表示が提示される。

また、提示部２０４０は、カメラ３０００が設置されている施設の地図データを利用して、指標値に基づく表示を地図上に提示してもよい。この地図データは、表示画面４０００や警備員の携帯端末等のモニタに表示される。地図上における監視対象の位置は、カメラ３０００の各種パラメータ（カメラ３０００の設置位置やカメラ３０００の向きなど）と、撮像画像上における監視対象の位置とに基づいて算出することができる。この場合、提示部２０４０は、カメラ３０００が設置されている施設の地図データや、カメラ３０００に関する各種パラメータを取得して利用する。なお、カメラ３０００の各種パラメータと地図上の位置との関係は、キャリブレーション等の処理を行うことにより予め定義しておく。

また提示部２０４０は、監視対象について算出した指標値に基づく表示を、アニメーション（コマ送り）の様に提示してもよい。図６は、指標値に基づく表示をアニメーションの様に提示する処理を概念的に例示する図である。図６（ａ）において、指標値算出部２０２０は、１番目から n 番目の撮像画像における監視対象の状態の変化度合いを示す指標値を算出し、その指標値に基づいて表示１を生成する。同様に、指標値算出部２０２０は、n+1 番目から 2n 番目の撮像画像を用いて表示２を生成し、2n+1 番目から 3n 番目の撮像画像を用いて表示３を生成する。

そして、図６（ｂ）において、提示部２０４０は、3n 番目の撮像画像に表示１を提示し、3n+1 番目の撮像画像に表示２を提示し、3n+2 番目の撮像画像に表示３を提示する。これにより、表示１から３がアニメーションの様に提示される。さらに提示部２０４０は、その後の撮像画像についても「表示１、表示２、表示３」という表示を繰り返してもよい。こうすることで、表示１から３で構成されるアニメーションが撮像画像上に繰り返し提示されることになる。

＜指標値の算出方法＞
前述したように、指標値算出部２０２０は、撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する。ここで、画像処理装置２０００が扱う「監視対象の状態」は様々であり、指標値の算出方法は、何を監視対象として扱うかに依存する。そこで以下、画像処理装置２０００が扱う監視対象の状態と、その監視対象の状態の変化度合いを示す指標値の算出方法とを例示する。

＜＜監視対象の位置＞＞
例えば指標値算出部２０２０は、監視対象の状態として、監視対象の位置を扱う。例えば、人が通過する通路において長時間立ち止まっている人物がいたら、その人物を注意して監視すべきであると考えられる。そこで、指標値算出部２０２０は、監視対象の位置の変化度合いを、監視対象の状態の変化度合いとして扱う。監視対象の位置の変化度合いは、監視対象の滞留度合いとも言い換えることができる。監視対象の滞留度合いに基づいて指標値を算出し、その指標値に基づく表示を提示対象撮像画像上に提示することで、監視員等は、各監視対象の滞留度合いをすぐに把握することができる。

例えば監視対象の位置の変化度合いは、ある監視対象（同一の人物や群衆など）が撮像画像に写っている時間の長さで表される。ここで、監視対象が撮像画像に写っている時間の長さは、例えば時系列で撮像される撮像画像（動画を構成する各フレーム）において、その監視対象が何枚の撮像画像に写っているかによって表すことができる。

また例えば、指標値算出部２０２０は、監視対象の位置の変化度合いを、監視対象の移動範囲の大きさで表してもよい。監視対象の移動範囲の大きさは、例えば複数の撮像画像それぞれにおける監視対象の位置を全て含む領域（円形や矩形など）の大きさで表せる。ここで、領域の大きさは、領域の面積、又は領域の辺や径の長さで表せる。

さらに、指標値算出部２０２０は、監視対象の体の一部の動きなど、空間的な動きの程度も加味して監視対象の位置の変化度合いを算出してもよい。

＜＜監視対象が撮像画像に写る頻度＞＞
また例えば、指標値算出部２０２０は、ある監視対象が撮像画像に写る頻度を、監視対象の状態として扱う。つまり、指標値算出部２０２０は、ある監視対象が撮像画像に写る頻度（撮像画像に写る時間の長さ）の変化度合いを、監視対象の状態の変化度合いとして扱う。例えばある監視対象が、最初の３０分には撮像画像で一度も検知されず、次の３０分には撮像画像で1回検知され、次の３０分には撮像画像で５回検知されているとする。この場合、その監視対象が撮像画像に写る頻度は上昇している。そのため、監視対象の状態の変化度合いは、高い度合いを示す。

例えばこのような場合、この監視対象は、その場所に出現する頻度が徐々に高まっているため、行動に不自然な点があるとも考えられる。例えば、常習的にうろついていたり、あるいは犯行前に現場の下見をしたりしている可能性も考えられる。そのため、撮像画像を見て監視を行う監視員等は、このような監視対象を注意して監視することが好ましい。そこで、画像処理装置２０００は、監視対象が撮像画像に写る頻度の変化度合いに基づいて指標値を算出し、その指標値に基づく表示を提示対象撮像画像上に提示する。これにより、提示対象画像を見た監視員等は、各監視対象が撮像画像に写る頻度の変化度合いをすぐに把握することができる。

指標値算出部２０２０は、例えば所定期間ごとに、各監視対象が撮像画像で検知された回数をカウントする。そして、所定期間ごとに算出した、監視対象の検知回数から、監視対象が撮像画像で検知される頻度の変化度合いを算出する。あるいは、検知と検知の時間間隔を求め、検知時間間隔の長さの変化の度合いを算出するようにしてもよい。

＜＜監視対象の密集度合い＞＞
例えば指標値算出部２０２０は、監視対象の密集度合いを、監視対象の状態として扱う。例えば人を監視対象として扱う場合、監視対象の密集度合いは人が密集している度合いであり、混雑度合いとも言い換えられる。例えば、狭い通路に人が過度に密集すると、群衆雪崩などが発生する危険がある。このような場合、警備員が適切な誘導を行う等の措置が必要となるため、監視カメラの映像を見る監視員はこのような状況を即座に把握できることが好ましい。画像処理装置２０００が監視対象の密集度合いの変化度合いに基づく表示を提示対象画像上に提示することで、提示対象画像を見た監視員は、時間が経ってもなかなか混雑が解消されない監視対象をすぐに見分けることができる。

監視対象の密集度合いは、例えば監視対象の大きさと、監視対象に含まれるオブジェクトの数とを用いて表すことができる。ここで、監視対象の大きさは、監視対象を表す領域の大きさで表せる。領域の大きさの表し方は前述した通りである。例えば指標値算出部２０２０は、式（１）を用いて監視対象の密集度合いを算出する。式（１）において、d は密集度合い、n は監視対象に含まれるオブジェクトの数、a は監視対象を表す領域の面積である。

ここでｎ は、オブジェクトを個別に数え上げて算出したオブジェクト数であってもよいし、複数のオブジェクトの塊をまとめて認識することで推定されたオブジェクト数であってもよい。

指標値算出部２０２０は、例えば所定期間ごとに上述の密集度合いを算出することで、密集度合いの変化度合いを算出する。

＜＜監視対象の行列の長さ又は速さ＞＞
例えば指標値算出部２０２０は、監視対象の行列の長さ又は進む速さを、監視対象の状態として扱う。例えば複数のレジがある店舗などにおいて、各レジにできる待ち行列の内、あるレジにできている待ち行列の長さだけが長時間変化しない（行列が進む速さが遅い）とする。この場合、そのレジで何かしらトラブルが起きていたりすることが考えられる。

そこで指標値算出部２０２０は、監視対象の行列の長さ又は進む速さの変化度合いに基づいて、指標値を算出する。監視対象の行列の長さは、行列を表す領域の大きさで表されてもよいし、監視対象の行列に含まれるオブジェクトの数で表されてもよい。ここで、「行列を表す領域の大きさ」をその領域の辺や径の長さで表すとする。この場合、例えば指標値算出部２０２０は、行列の長さが変化する方向や行列に含まれるオブジェクトの向きなどから行列の方向を算出し、行列を表す領域におけるその方向の辺や径の長さを用いて、「行列を表す領域の長さ」を表す。

なお、行列の方向は、カメラ３０００に対応付けて予め与えられていてもよい。例えばカメラ３０００の向きが固定されており、かつレジ等の位置も固定されている場合、行列の向きを予め定めることができる。

また、指標値算出部２０２０は、行列の長さの変化度合いから、行列の進む速さを計算する。あるいは、行列内の特定のオブジェクトを追跡することで行列の速さを計算することもできる。

＜＜積み残しの度合い＞＞
例えば指標値算出部２０２０は、駅のプラットフォームなどを撮像した撮像画像に写っている人や荷物などを監視対象とする。そして、指標値算出部２０２０は、人や荷物等の数の変化度合いや人や荷物の行列の長さの変化度合い（人や荷物が積み残された度合い）を、監視対象の状態の変化度合いとして算出する。

図７は、人が積み残された様子を例示する図である。図７（ａ）は電車のドアが開いた直後の様子を撮像した撮像画像１０−１を示しており、図７（ｂ）は電車のドアが閉まる直前の様子を撮像した撮像画像１０−２を示している。この２つを比較すると、手前側のドアの前では沢山の人が電車に乗れずに積み残されている一方で、奥のドアでは積み残されている人がいない。このように、積み残しの度合いが乗車位置によって大きく異なる場合、プラットフォームや電車内で何かしらトラブルが起こっている可能性も考えられる。提示部２０４０が積み残し度合いに基づいた表示を提示対象画像上に提示することで、提示対象画像を見る監視員は、人や荷物等の積み残し度合いをすぐに把握することができる。

＜＜監視対象の不満度＞＞
指標値算出部２０２０は、前述した監視対象の位置など、撮像画像を解析して直接求まる監視対象の状態だけでなく、その状態をモデル等に適用して得られる指標に基づいて監視対象の状態を定めてもよい。

例えば指標値算出部２０２０は、監視対象の不満度を、監視対象の状態として扱う。ここで、監視対象は群衆であるとする。指標値算出部２０２０は、群衆の混雑度と流れの情報から、群衆の不満度を算出する。例えば、混雑度が高かったり流れが遅かったりする群衆は、一般的に不満が高まる傾向にあるといえる。

そこで、群衆の不満度を、混雑度 u 及び流れの速さ v を用いて、 F(u, v) という関数を用いてモデル化する。ここで、例えば F(u, v)は、u の単調非減少関数 かつ v の単調非増加関数となる。u と v の影響が独立とみなせる場合には、f(u) をu の単調非減少関数、g(v) をv の単調非増加関数として、F(u, v) = f(u)g(v) で表すことができる。

なお、群衆の速さが遅い場合に不満度が高くなる一方で、群衆の速さが速すぎる場合にも不満度が高くなる可能性がある。群衆の流れに従うのが難しく、群衆に含まれる人々にとってストレスがたまるためである。そこで、g(v) は、ある程度 v が増えると増加するような関数でモデル化してもよい。

また、行列に並んでいる場合に、他の列は進んでいるのに自分がいる行列は進まないと、その行列に並んでいる人はより不満度が高まると考えられる。そこで、各行列の進む速さを比較し、ある行列の進む速さが他の行列の進む速さより小さい場合には、v の値で定まる不満度以上に不満度が高まるようにしてもよい。つまり、Δv を隣の列との速さの差分（隣の列の速さから自列の速さを引いた値）とすると、Δv に対して単調非減少関数である g2(v, Δv) を g(v) の代わりに用いてモデル化してもよい。ここで、Δv は、自列のほうが遅い場合が正の値になるとする。また、g2(v, 0) = g(v) を満たすとする。

この方法は、行列をなす群衆以外についても適用できる。例えば、障害物や歩行制約者がいることで、ある群衆の流れが周囲の流れより遅くなっているとする。この場合、その群衆は不満度が高まるようにモデル化してもよい。すなわち、v の勾配を∇v とすると、流れの速さの影響を g2(v, ∇v)でモデル化してもよい。また、同じ群衆に属する各人について、列の中での位置（先頭からどれだけ離れているか）や列の先頭に到達するまでの予想時間に応じて不満度を算出してもよい。これは、先頭に近いほど列に並ぶ行為の終わりに近いと考えられるため、不満を許容できる程度が上がると考えられるためである。

なお、これらの関数は、その他の外的要因によって変化するようにしてもよい。その他の外的要因としては、気温や湿度、天候、明るさなどが挙げられる。例えば、気温が適温である時と比較し、気温が高すぎる場合や低すぎる場合は不満度が高まりやすくなるといえる。そこで、気温が適温の場合は不満度が低くなり、気温が適温から外れると不満度が高くなるモデルを用いてもよい。同様に、雨の場合には、晴天の場合よりも不満度が高まりやすいと考えられる。そこで、雨天の時は晴天の時よりも不満度が高くなるモデルを用いてもよい。また、カメラ３０００を用いて監視している施設が試合を行うスタジアム等である場合、試合の勝敗なども外的要因になりうる。例えば、群衆を構成する人が試合負けている、あるいは負けたチームのサポータである場合、より高い不満度になるようにモデル化する。

＜＜監視対象の危険度＞＞
例えば指標値算出部２０２０は、監視対象について、その監視対象の周辺で何か事件が起こったとき（例えば不審物が爆発した場合や凶器を持った人物が出現した場合など）にどれだけ大きなダメージが生じ得るか、すなわちその監視対象の周辺の危険性の度合いを、その監視対象の危険度として算出する。

具体的には、人が密集しているところは、そこで事件が生じると被害者が多くなることから危険度が高い。また、人が密集していなくても、建物等の構造上の特性からそこで事件が生じたときに群衆がパニックになって避難が困難になる場所は危険度が高い。具体的には、その場所が収容できる人数に対して、出口が少なかったり、出口の間口が小さかったりする場合や、出口までに距離があったりする場合、その場所の危険度は高いといえる。

このような危険度は、建物の構造上の特徴と群衆の状態によって決まり、事前に様々な群衆状態に対して群衆の挙動のシミュレーションを行うことで、危険度を算出するモデルを生成することができる。そして、指標値算出部２０２０は、実際に撮像画像に写っているある場所における群衆の状態（密度や流れ）の特徴量を上記モデルに適用することで、その場所の危険度を算出する。なお、群衆が存在する場所は、その群衆が写っている撮像画像を撮像したカメラ３０００によって特定できる。例えばカメラ３０００の視野が固定である場合や視野が変化する範囲が狭い場合、ある撮像画像に写っている監視対象が存在する場所は、その撮像画像を撮像したカメラ３０００のＩＤ等で一意に特定できる。また、カメラ３０００が向きを変えながら広い範囲を監視する場合、ある撮像画像に写っている監視対象が存在する位置は、例えばそのカメラ３０００のＩＤ等及び撮像時のカメラ３０００の向きに基づいて特定できる。

なお、指標値算出部２０２０は、監視対象とする群衆の特性を考慮して危険度を算出してもよい。例えば指標値算出部２０２０は、移動に時間がかかる群衆（例えば年配の人が集まった群衆や歩行制約者の群衆など）に対して高い危険度を算出するモデルを用いる。さらに、指標値算出部２０２０は、天気等の外的要因を考慮して危険度を算出するモデルを用いてもよい。具体的には、指標値算出部２０２０は、天気が悪くて環境光が弱かったり、雨で床が濡れていたりする場合は危険度が上がるモデルなどを用いる。また、老人や子供、歩行制約者など、群衆の属性が別途取得可能な場合には、この属性の情報も考慮して危険度を算出してもよい。

＜＜監視されている度合い＞＞
画像処理装置２０００は、監視対象が監視されていない度合い（以下、監視手薄度）を、監視対象の状態としてもよい。ここで、カメラ３０００が設置されている施設において、現場にいる警備員が監視を行っているとする。現場にいる警備員は、一人で広範囲を担当しなければならなかったり、警備中に来場者の応対をしなければならなかったりすることがある。そのため、監視対象が警備員に監視されている度合いには、ばらつきがある。

そこで、指標値算出部２０２０は、監視対象の監視手薄度を、監視対象の状態として扱う。例えば監視手薄度は、監視対象と、その監視対象の付近にいる警備員との間の距離によって算出できる。具体的には、監視対象と警備員との間の距離が長いほど、監視手薄度が大きくなるようにする。

具体例として、監視手薄度は、警備員からの距離 d が増えると大きくなる単調非減少関数 f(d) によってモデル化できる。この際、監視手薄度は、警備員の向きも考慮してモデル化されてもよい。具体的には、監視手薄度を、上記距離 d と、警備員の向いている向きと監視対象が位置する方向とのずれの角度（警備員の位置から監視対象への方向を表すベクトルと警備員の向きを表すベクトルがなす角）の絶対値θとで定まる関数 f(d, θ) によってモデル化する。ここで、f(d,θ) は、θに対する単調非減少関数とする。距離と方向の影響を独立とみなしてモデル化する場合には、g(d) と h(θ) をそれぞれ距離 d と角度のずれの絶対値θに関する単調非減少関数とし、f(d,θ) = g(d)h(θ) のようにモデル化できる。

また、監視手薄度の算出には、警備員が警備に注力している度合い（以下、警備注力度）を利用してもよい。警備注力度は、例えば警備員の状態や姿勢などによって定まる。例えば、周囲を見回して警備すべき警備員が下や上を向いている場合、その警備員の警備注力度は低いといえる。また、警備員の姿勢が正面を向いている姿勢であったとしても、警備員が警備以外の動作をしている場合、その警備員の警備注力度は低いといえる。警備以外の動作には、例えば顧客の応対する動作、携帯電話で連絡を取る動作、又はポールを設置する動作などがある。

ここで、指標値算出部２０２０が警備員の状態や姿勢を把握する方法は様々である。例えば指標値算出部２０２０は、撮像画像に写っている警備員の状態や姿勢を解析する。また例えば、指標値算出部２０２０は、警備員が持っている携帯端末からその携帯端末の姿勢情報を取得することで、警備員の姿勢を把握してもよい。携帯端末の姿勢情報は、例えばその携帯端末が有する加速度センサによって計測された３次元方向それぞれについての加速度に関する情報である。

指標値算出部２０２０は、上述した警備員の状態などに応じて、例えば０以上１以下の値を示す警備注力度を算出する。そして指標値算出部２０２０は、前述した f(d, θ) などのモデルを用いて監視手薄度を算出し、さらにその値に警備員の警備注力度を掛け合わせることで、最終的な監視手薄度を算出する。

さらに、指標値算出部２０２０は、前述の危険度を考慮して監視手薄度を算出してもよい。具体的には、危険度が高いほど監視すべき監視対象であるといえるため、上述の方法で算出した監視手薄度が同じであったとしても、危険度が高い監視対象の方が、最終的に算出する監視手薄度が高くなるようにする。例えば指標値算出部２０２０は、ある監視対象について、前述の方法で危険度及び監視手薄度を算出し、これらを掛け合わせた値を、最終的に算出する監視手薄度とする。

なお、警備員が複数いる場合、指標値算出部２０２０は、ある監視対象に対する監視手薄度を、各警備員についてそれぞれ算出する監視手薄度を用いて算出してもよい。例えば指標値算出部２０２０は、ある監視対象に対する監視手薄度を、各警備員についてそれぞれ算出したその監視対象に対する監視手薄度の統計値（最小値、最大値、又は平均値など）として算出する。

ここで、指標値算出部２０２０は、上述の警備注力度を監視手薄度の値としてもよい。

［実施形態２］
図８は、実施形態２に係る画像処理装置２０００を示すブロック図である。図８において、矢印は情報の流れを表している。さらに、図８において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態２の画像処理装置２０００は、表示色決定部２０６０を有する。実施形態２の表示色決定部２０６０は、監視対象について、その監視対象について算出した指標値に応じた表示色を決定する。そして、提示部２０４０は、提示対象画像において、監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した表示色に変更する。

例えば表示色決定部２０６０は、監視対象の指標値の大きさに応じてその監視対象の色の濃さを変更することで、その監視対象の表示色を決定する。例えば、表示色決定部２０６０は、指標値が大きいほど監視対象の色が濃くなるようにする。逆に、表示色決定部２０６０は、指標値が小さいほど監視対象の色が濃くなるようにしてもよい。

その他にも例えば、表示色決定部２０６０は、監視対象を１種類の色で表し、指標値の大きさに基づいてその色の濃さを決定することで、その監視対象の表示色を決定する。例えば表示色決定部２０６０は、監視対象の表示色を、その監視対象の指標値に応じた濃さの黒色にする。図９は、指標値の大きさに基づいて黒色が濃くなるカラーマップを例示する図である。図９のカラーマップでは、点の大きさが大きいほど（右側に行くほど）黒色が濃くなることを表している。また、表示色決定部２０６０は、監視対象の表示色を、ＲＧＢのいずれか一種類の色を用いて表し、指標値の大きさに応じてその色の濃さを決定するようにしてもよい。例えば表示色決定部２０６０は、監視対象の表示色を赤色にし、かつその監視対象の指標値が大きいほど表示色の赤色を濃くする。

その他にも例えば、表示色決定部２０６０は、特定のカラーマップを用い、カラーマップからその監視対象の指標値に対応する色を決定し、その色をその監視対象の表示色とする。利用するカラーマップの例として、ヒートマップなどに用いられる虹色のカラーマップがある。代表的な虹色のカラーマップは、図１０に表すように、赤、橙、黄、緑、青、藍、及び紫のグラデーションで構成される。図１０では、指標値が大きい順に、赤、橙、黄、緑、青、藍、及び紫となっている。ただし、表示色決定部２０６０が利用するカラーマップは図１に示すカラーマップに限定されない。表示色決定部２０６０は、任意のカラーマップを用いることができる。なお、表示色決定部２０６０が利用するカラーマップは、画像処理装置２０００の内部又は外部に設ける記憶部に記憶しておく。

なお、提示部２０４０は、監視対象全体の色ではなく、監視対象の一部の色のみを変更してもよい。例えば提示部２０４０は、監視対象が人である場合、監視対象の顔の色のみを変更する。

＜具体例＞
図１１は、監視対象及びその周辺の色を、監視対象の位置の変化度合いを示す指標値に応じた色に変更する様子を概念的に例示する図である。図１１が示す撮像画像１０−１と１０−２は、それぞれ異なる時点で同じ通路を撮像した画像である。図１１（ａ）に示す撮像画像１０−１は、図１１（ｂ）に示す撮像画像１０−２によりも前に撮像された画像である。撮像画像１０−１と１０−２とを比較すると、人２０の位置はほぼ変化しておらず、それ以外の人の位置は大きく変化している。ここで、滞留している人は注意して監視すべき人であると考えられる。

そこで表示色決定部２０６０は、指標値が小さい監視対象（人）ほど濃い色になるように、表示色を決定する。そして、提示部２０４０は、撮像画像１０−２において、監視対象及びその周辺を、決定した表示色に変更する。その結果、人２０及びその周辺の色は濃い色となり、その他の人及びその周辺は薄い色になっている。なお、図１１では、図９の場合と同様、点の大きさが大きいほど、濃い色を表している。また、図１１（ｂ）における矢印は、人が移動していることを説明するために描画したものであり、実際の撮像画像上に矢印を描画する必要はない。

＜作用・効果＞
本実施形態の画像処理装置２０００によれば、監視対象の状態の変化度合いに基づいて撮像画像の表示色が決定され、その表示色を用いた表示が提示対象画像上に提示される。そのため本実施形態の画像処理装置２０００によれば、提示対象画像上に指標値をそのまま表示する方法と比較し、監視対象の状態の変化度合いを直感的に把握することができる。よって、提示対象画像を見る監視員等にとって、監視対象の現状がより把握しやすくなる。

［実施形態３］
実施形態３の画像処理装置２０００の構成は、実施形態１又は２の画像処理装置２０００と同様の構成を有する。

実施形態３の提示部２０４０は、監視対象の指標値に基づいて、提示対象画像上に、監視対象を強調する表示を提示する。例えば、提示部２０４０は、提示対象画像上に、指標値が大きい監視対象ほど強調する表示を提示したり、指標値が小さい監視対象ほど強調する表示を提示したりする。

＜枠線を用いた強調表示＞
例えば提示部２０４０は、監視対象の周辺に、指標値の大きさに応じた太さの枠線を表示する。この場合、例えば提示部２０４０は、以下の式（２）を用いて枠線の太さ b を算出する。b0 は太さの初期値である。I は、指標値算出部２０２０が算出した指標値である。αは比例定数である。なお、提示部２０４０が提示する枠線の形状は任意である。

指標値が大きい監視対象ほど強調して表示する場合、提示部２０４０は、監視対象の指標値が大きいほど枠線を太くする。この場合、b0 は太さの下限値であり、αは正の実数となる。一方、指標値が小さい監視対象ほど強調して表示する場合、提示部２０４０は、監視対象の指標値が小さいほど枠線を太くする。この場合、b0 は太さの上限値であり、αは負の実数となる。

なお提示部２０４０は、監視対象の周辺に枠線を表示する方法と同様の方法で、監視対象の輪郭線の太さを変更してもよい。具体的には、提示部２０４０は、強調する監視対象の輪郭線をする。

また提示部２０４０は、監視対象の指標値に応じた頻度で枠線を点滅させることで強調表示を行ってもよい。例えば提示部２０４０は、指標値が大きい監視対象ほど強調する場合、指標値が大きい監視対象について提示する枠線ほど、単位時間辺りの点滅回数を多く（点滅間隔を短く）する。同様に、提示部２０４０は、指標値が小さい監視対象ほど強調する場合、指標値が小さい監視対象について提示する枠線ほど、単位時間辺りの点滅回数を多く（点滅間隔を短く）する。

＜＜具体例＞＞
図１２は、監視対象の周辺に枠線を提示することで強調表示を行う様子を概念的に例示する図である。図１２が示す撮像画像１０−１と１０−２は、それぞれ異なる時点で同じ場所にある人の行列を撮像した画像である。図１１の場合と同様、撮像画像１０−１は撮像画像１０−２によりも前に撮像された画像である。撮像画像１０−１と１０−２とを比較すると、上の行列３０−１の長さは変化しておらず、下の行列３０−２の長さは大きく変化している。ここで、行列の長さは時間が経つにつれ短くなることが好ましく、長さの変化度合いが小さい行列を注視すべきであると考えられる。

そこで提示部２０４０は、指標値が小さい監視対象（人）ほど枠線の太さが太くなるように、監視対象の周囲に枠線を表示する。図１２では、行列３０−１の周りに太い枠線が表示され、行列３０−２の周りに細い枠線が表示されている。

＜色を用いた強調表示＞
また、実施形態３の画像処理装置２０００は、実施形態２で説明した表示色決定部２０６０を用い、監視対象の色又は監視対象の周辺の色をその監視対象について決定した表示色に変更することで、その監視対象を強調する表示を提示してもよい。例えば指標値算出部２０２０は、監視対象の表示色の濃さを濃くすることで、その監視対象を強調する。また、表示色決定部２０６０は、強調すべき監視対象の指標値に対応する色ほど目立つ色で構成されたカラーマップを用いて、監視対象の表示色を構成する。例えば、指標値が大きい監視対象ほど強調する場合、表示色決定部２０６０は、大きい指標値に対応する色ほど目立つ色（赤色など）であり、小さい指標値に対応する色ほど目立たない色（灰色など）であるカラーマップを用いる。

ここで、監視対象の周辺の色をある色に変更することは、監視対象の周辺にその色の枠線を提示することでも実現できる。この場合提示部２０４０は、枠線の太さを、指標値に関わらず一定にしてもよいし、指標値に応じて異ならせてもよい。指標値に応じて枠線の太さを決定する方法は、前述した通りである。

＜＜具体例＞＞
図１３は、監視対象の周辺に指標値に応じた色及び太さの枠線を提示することで強調表示を行う様子を概念的に例示する図である。図１３が示す撮像画像１０−１と１０−２は、それぞれ異なる時点で同じ場所にある群衆を撮像した画像である。図１１や図１２の場合と同様、撮像画像１０−１は撮像画像１０−２によりも前に撮像された画像である。撮像画像１０−１と１０−２とを比較すると、右上の群衆４０−１に含まれる人の数は増加し、左下の群衆４０−２に含まれる人の数は減少している。

そこで、表示色決定部２０６０は、人数の増加度合いが大きい群衆ほど濃い色になるように、表示色を決定する。また、提示部２０４０は、人数の増加度合いが大きいほど枠線の太さが太くなるように、枠線の太さを決定する。結果、提示部２０４０は、人数の増加度合いが大きい群衆４０−１の周辺に、太く濃い枠線を提示し、人数の増加度合いが少ない群衆４０−２の周辺に、細く薄い枠線を提示する。

＜作用・効果＞
本実施形態の画像処理装置２０００によれば、監視対象の指標値に基づいた程度でその監視対象を強調する表示が、提示対象画像上に提示される。そのため、提示対象画像を見る監視員等は、各監視対象の変化度合いをすぐに把握できると共に、各監視対象をどの程度注意して監視すべきかをすぐに把握することができる。

［実施形態４］
図１４は、実施形態４に係る画像処理装置２０００を示すブロック図である。図１４において、矢印は情報の流れを表している。さらに、図１４において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態４の画像処理装置２０００は、監視対象の状態の変化度合いが、基準となる変化度合いからどの程度乖離しているかに基づいて、第１画像上に表示を提示する。そのために、実施形態４の画像処理装置２０００は、乖離度算出部２０８０を有する。

乖離度算出部２０８０は、指標値算出部２０２０が算出した指標値と、基準となる変化度合いとの乖離度を算出する。そして、実施形態４の提示部２０４０は、提示対象画像において、乖離度が大きい監視対象ほど強調する表示を提示する。

ここで、乖離度算出部２０８０は、基準となる変化度合いを、画像処理装置２０００の内部又は外部の記憶部から取得する。ここで、基準となる変化度合いは、何を監視対象の状態として扱うかによって異なる場合がある。その場合、上記記憶部は、基準となる変化度合いを、扱う監視対象の状態ごとに記憶しておく。

＜乖離度の算出方法＞
乖離度算出部２０８０が乖離度を算出する方法は様々である。例えば乖離度算出部２０８０は、下記の式（３）を用いて乖離度 k を算出する。I は監視対象について算出した指標値であり、Ibase は基準となる変化度合いである。ただし、乖離度の算出方法は下記の方法に限定されない。

＜色を用いた強調表示＞
例えば実施形態４の画像処理装置２０００は、乖離度に基づいて監視対象の色を変更する。この場合、実施形態４の画像処理装置２０００は、表示色決定部２０６０を有する。

実施形態４の表示色決定部２０６０は、実施形態２で説明した表示色決定部２０６０と同様の方法で、監視対象やその周辺の色を決定する。例えば、表示色決定部２０６０は、監視対象について算出した乖離度に基づいてその監視対象の色の濃さを決定する。この場合、表示色決定部２０６０は、乖離度が０の場合は濃さを最小とし、乖離度が大きくなるほど監視対象の色を濃くする。なおこの方法を用いる場合において、指標値が負の値も取り得る場合、乖離度は、指標値と基準値との乖離の絶対値で表される。例えば、乖離度は、式（３）で算出される値の絶対値で表される。

また表示色決定部２０６０は、乖離度が０である場合における監視対象の色の濃さを基準の濃さとし、乖離度が正の方向に大きくなる（基準値より大きくなる）ほど監視対象の色を濃くし、乖離度が負の方向に大きくなる（基準値より小さくなる）ほど監視対象の色を薄くする。図１５は、基準の濃さが定められている場合における、乖離度に応じて表示色の濃さを決定する方法を概念的に例示する図である。例えば表示色決定部２０６０は、基準の変化度合いに対応する色の濃さを、監視対象の本来の色の濃さにする。つまり、乖離度が０である場合には、監視対象の色の濃さが変更されない。そして、表示色決定部２０６０は、指標値が基準の変化度合いより大きい場合（乖離度が正である場合）、監視対象の色を本来の色より濃くし、指標値が基準の変化度合いより小さい場合（乖離度が負である場合）、監視対象の色を本来の色より薄くする。

なお、実施形態２で説明したＲＧＢの内の一種類の色の濃さを用いる場合や特定のカラーマップを用いる場合に、乖離度に応じて表示色を決定する方法も、上述した乖離度に応じて監視対象の色の濃さを変更する方法と同様となる。

＜強調表示＞
提示部２０４０は、実施形態３で説明した方法と同様の方法により、監視対象について算出した乖離度の大きさに基づいて、その監視対象を強調する表示を提示してもよい。

＜＜枠線を用いた強調表示＞＞
例えば提示部２０４０は、実施形態３と同様に、枠線や色を用いて強調表示を行う。この場合、例えば提示部２０４０は、数式（４）にしたがって監視対象の枠線の太さ b' を決定する。ここで、k は前述の乖離度を表す。例えばαを正の実数とすると、乖離度が大きいほど枠線の太さが太くなる。

また実施形態３と同様に、提示部２０４０は、乖離度に応じて監視対象の輪郭線の太さを変更したり、乖離度に応じた頻度で枠線を点滅させたりすることで強調表示を行ってもよい。

＜＜色を用いた強調表示＞＞
実施形態４の表示色決定部２０６０は、実施形態３の表示色決定部２０６０と同様に、監視対象の表示色を変更することで、監視対象を強調する表示を提示してもよい。具体的には、表示色決定部２０６０は、乖離度が大きい監視対象ほど強調したい場合、乖離度が大きいほど表示色の濃さを濃くしたり、大きい乖離度に対応する色ほど目立つ色で構成されたカラーマップを用いて表示色を決定する。同様に、表示色決定部２０６０は、乖離度が小さい監視対象ほど強調したい場合、乖離度が小さいほど表示色の濃さを濃くしたり、小さい乖離度に対応する色ほど目立つ色で構成されたカラーマップを用いて表示色を決定する。

＜作用・効果＞
本実施形態によれば、監視対象の状態の変化度合いが、基準となる変化度合いからどの程度乖離しているかに基づいて、監視対象を強調する表示が提示対象画像上に提示される。基準となる変化度合いを導入することにより、監視対象を強調すべき度合いをより正確に求めることができる。よって、監視員等は、各監視対象について、注意して監視すべき度合いをより正確に把握することができる。

［実施形態５］
実施形態４の画像処理装置２０００の構成は、実施形態１と同様に図１で表される。

実施形態４の指標値算出部２０２０は、算出された監視対象の状態の変化度合いに基づいて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出する。そして、指標値算出部２０２０は、監視対象について算出した予測値を、その監視対象の指標値とする。

例えば指標値算出部２０２０は、ある時点 t から見て過去の所定期間に撮像された複数の撮像画像を用いて、時点 t の所定時間後における監視対象の状態の変化度合いの予測値を算出する。そして、時点 t に表示画面に提示される提示対象画像上に、上記予測値に基づく表示を提示する。

例えば指標値算出部２０２０は、取得した複数の撮像画像を用いて、監視対象の状態を予測するモデルを生成する。なお、サンプルした値から予測モデルを生成する方法は既知の手法であるため、詳細については省略する。そして、指標値算出部２０２０は、取得した複数の撮像画像から生成した監視対象の状態を予測するモデルを用いて、モデルの生成に用いられた撮像画像が撮像された時点以降における監視対象の状態の変化度合いの予測値を算出する。

例えば、監視対象の状態を予測するモデルが f(t) で表されるとする。t は時点を表し、f(t) は時点 t における監視対象の状態の予測値である。この場合、例えば指標値算出部２０２０は、ある時点 t1 から未来の時点 t2 までの間における監視対象の状態の変化度合いを、次の式（５）で算出する。a は監視対象の状態の変化度合いの予測値を表す。ただし、下記の式（５）はあくまで例示であり、上記予測値を算出する方法は式（５）を用いる方法に限定されない。

なお、t1 は未来のある時点であってもよいし、現時点であってもよいし、過去のある時点であってもよい。t1 が現時点あるいは過去のある時点の場合、f(t) の値を、予測モデルを用いて算出する代わりに、実測された値に基づいて計算してもよい。

また、指標値算出部２０２０は、予め用意されている予測モデルを用いて、監視対象の状態の変化度合いの予測値を算出してもよい。この場合、指標値算出部２０２０は、取得した撮像画像における各監視対象の状態を予測モデルに対する入力として用いる。この予測モデルは、指標値算出部２０２０の内部又は外部に記憶しておく。

さらに、指標値算出部２０２０は、あるカメラ３０００−１によって撮像された撮像画像上に予測値に基づく表示を提示する場合、そのカメラ３０００−１の周辺にある別のカメラ３０００によって撮像された撮像画像を利用してもよい。例えば指標値算出部２０２０は、カメラ３０００−１に隣接するカメラ３０００−２が撮像している撮像画像を解析する。その結果、例えばカメラ３０００−１の撮像範囲になっている場所へ群衆が向かっているとする。この場合、提示部２０４０は、カメラ３０００−１によって撮像された撮像画像のうち、その群衆が移動してくると予測される領域に、その群衆について算出した状態の変化度合いの予測値に基づく表示を提示する。具体的には、提示部２０４０は、カメラ３０００−１によって撮像された撮像画像のうち、群衆が流入してくると予測される領域について、その領域の色を変更したり、その領域を枠線で囲んだりする処理を行う。

＜作用・効果＞
本実施形態によれば、監視対象の状態の変化度合いの予測値に基づく表示が、提示対象画像上に提示される。そのため、監視員等は、今後の行動を注視した方がよい監視対象を即座に把握することができる。

［実施形態６］
実施形態６において、あるカメラ３０００（以下、カメラ３０００−１）によって撮像された撮像画像は、表示画面４０００によって表示される期間と表示されない期間がある。例えば１つの表示画面４０００に、複数のカメラ３０００によって撮像された撮像画像を時分割で表示させる場合などが該当する。

そこで、実施形態６の指標値算出部２０２０は、カメラ３０００−１によって撮像された撮像画像が、ある期間表示画面４０００に表示されず、その期間後に表示画面４０００に表示される場合、その期間の前後において監視対象の状態が変化した度合いに基づいて、その監視対象の指標値を算出する。

図１６は、表示画面４０００が複数のカメラ３０００によって撮像された撮像画像を時分割で表示する様子を概念的に例示する図である。図１６の場合、期間 p1 と p3 ではカメラ３０００−１によって撮像された撮像画像が表示され、期間 p2 では別のカメラ３０００−２によって撮像された撮像画像が表示される。この場合、指標値算出部２０２０は、期間 p2 の前における監視対象の状態と、期間 p2 の後における監視対象の状態との間の変化度合いに基づいて、指標値を算出する。以下、カメラ３０００−１によって撮像された撮像画像が表示画面４０００に表示されない期間（図１６における p2 など）を、非表示期間と表記する。

例えば指標値算出部２０２０は、非表示期間前に表示画面４０００に提示される所定数の撮像画像と、非表示期間後に表示画面４０００に提示される所定時間分（所定数）の撮像画像を用いて、非表示期間経過後の提示に利用する指標値を算出する。図１７は、実施形態６の指標値算出部２０２０が指標値を算出する方法を説明するための図である。期間 p1、p2、及び p3 は、図１６と同様である。指標値算出部２０２０は、p1 の期間の一部である期間 p4 において表示画面４０００に表示される撮像画像と、p3 の期間の一部である p5 において表示画面４０００に表示される撮像画像とを用いて、監視対象の指標値を算出する。そして、提示部２０４０は、時点 t に表示画面４０００に表示される提示対象画像上に、算出した指標値に基づく表示を提示する。なお、期間 p4 の長さと期間 p5 の長さは、同じでもよいし、異なってもよい。

例えば提示部２０４０は、期間 p2 の前後における監視対象の状態の変化度合いを監視員等が十分に把握できるようにするため、時点 t から所定期間（例えば１０秒間）、期間 p4 と p5 との間における監視対象の状態の変化度合いに基づく表示を、撮像画像上に提示し続ける。

図１８は、実施形態６の画像処理装置２０００によって実行される処理の流れを説明するためのフローチャートである。ステップＳ２０２において、表示画面４０００は、カメラ３０００−１によって撮像された撮像画像を表示する。ステップＳ２０４において、表示画面４０００の表示対象が、カメラ３０００−１からカメラ３０００−２に切り替えられる。ステップＳ２０６において、表示画面４０００は、カメラ３０００−２によって撮像された撮像画像を表示する。ステップＳ２０８において、表示画面４０００の表示対象が、カメラ３０００−２からカメラ３０００−１に切り替えられる。

ステップＳ２１０において、指標値算出部２０２０は、Ｓ２０２で表示されていた監視対象の状態と、これから表示する監視対象の状態との間の変化の度合いを示す指標値を算出する。ステップＳ２１２において、指標値算出部２０２０は、カメラ３０００−１によって撮像された撮像画像上に算出した指標値に基づく表示を提示する。この表示が提示された撮像画像は、表示画面４０００上に表示される。

なお、指標値算出部２０２０は、カメラ３０００−１によって撮像された撮像画像が表示画面４０００に表示されていない期間が所定時間より短い場合、「カメラ３０００−１によって撮像された撮像画像が表示画面４０００に表示され続けていた」とみなしてもよい。例えば、表示対象のカメラを１秒程度の短い時間だけ別のカメラに切り替えただけなら、監視員は同じカメラの映像を見続けていたとみなしても問題ないと考えられるためである。

＜作用・効果＞
本実施形態によれば、カメラ３０００−１によって撮像された撮像画像が、ある期間表示画面４０００に表示されず、その期間後に表示画面４０００に表示される場合、その期間の前後において監視対象の状態が変化した度合いを示す指標値が算出される。こうすることで、監視員等は、例えば表示画面４０００のチャンネルをカメラ３０００−１の映像からカメラ３０００−２の映像に切り替えてしばらく後、再度表示画面４０００のチャンネルをカメラ３０００−１の映像に切り替えた際、前回カメラ３０００−１の映像を見た時と比べて各監視対象の状態がどの程度変化したかを即座に把握することができる。よって、特定のカメラ３０００が撮像した撮像画像のみを監視し続けることが難しい場合でも、あるカメラ３０００が撮像した画像を見た時に、そのカメラ３０００に写っている監視対象の状態の変化度合いを即座に把握することができる。

［実施形態７］
実施形態７の画像処理装置２０００は、実施形態１の画像処理装置２０００と同様に、図１で表される。

例えば、表示画面４０００の大きさが大きい場合など、表示画面４０００を見る監視員等が一度に表示画面４０００の全体を注視できない場合がある。そこで実施形態７の指標値算出部２０２０は、表示画面４０００のある部分領域（以下、第１部分領域）に表示される監視対象について、第１部分領域がユーザ（監視員など）の視線方向に対応していなかった期間の前後における監視対象の状態の変化度合いを示す指標値を算出する。そして、実施形態７の提示部２０４０は、上記期間の後に表示される撮像画像のうちの第１部分領域に表示される領域上に、算出した指標値に基づく表示を提示する。

図１９は、ユーザの視線方向と部分領域との関係を例示する図である。図１９において、視線方向５０−１は部分領域６０−１に対応する視線方向であり、視線方向５０−２は部分領域６０−２に対応する視線方向である。なお、図を簡潔にするため、部分領域に対応する視線方向を１つの矢印で表しているが、実際には、部分領域に対応する視線方向はある程度の幅を持つ。例えば視線方向５０−１は、ユーザが部分領域６０−１に含まれる監視対象を注視できる程度に、部分領域６０−１がユーザの視界に入る視線の方向であればよい。

実施形態７の指標値算出部２０２０が行う処理の基本的な原理は、実施形態６の指標値算出部２０２０が行う処理の原理と同様である。具体的には、指標値算出部２０２０は、「部分領域がユーザの視線方向に対応する領域に含まれている期間」を、実施形態６における「カメラ３０００−１による撮像画像が表示画面４０００に表示されている期間」と同様に扱う。また指標値算出部２０２０は、「部分領域がユーザの視線方向に含まれていない期間」を、実施形態６における「カメラ３０００−１による撮像画像が表示画面４０００に表示されていない期間」と同様に扱う。

＜ユーザの視線方向の取得＞
指標値算出部２０２０は、ユーザの視線方向を取得する。視線方向は、例えば「水平方向の角度、垂直方向の角度」の組み合わせで表される。ここで、水平方向の角度や垂直方向の角度の基準（０度とする方向）は任意である。

例えばユーザの視線方向は、ユーザの顔や目をカメラ等で撮像し、撮像された画像を解析することで算出される。ユーザの顔や目を撮像するカメラは、例えば表示画面４０００の付近に設置する。ユーザの顔や目を撮像して視線方向を検出する技術は既知の技術であるため、詳細な説明は省略する。なお、ユーザの視線方向を検出する処理部（以下、視線方向検出部）は、画像処理装置２０００の内部に設けられてもよいし、外部に設けられてもよい。

＜具体的な方法＞
例えば、指標値算出部２０２０は、表示画面４０００を予め所定数の部分領域に分割して扱う。そして、指標値算出部２０２０は、視線方向検出部から監視員の視線方向を取得し、その視線方向がどの部分領域に対応するか割り出す。そして、割り出した部分領域が、前回割り出した部分領域と異なる場合、ユーザの視線方向に対応する部分領域が変化したことを把握する。

図２０は、監視員の視線方向に対応する部分領域と、監視員の視線方向が変化した時点とを対応づける情報をテーブル形式で例示する図である。このテーブルを、視線情報テーブル１００と表記する。視線情報テーブル１００は、時点１０２及び部分領域ＩＤ１０４という２つの列を有する。視線情報テーブル１００の各レコードは、時点１０２が示す時点からユーザの視線方向に含まれていた部分領域のＩＤを、部分領域ＩＤ１０４に示す。

図２０では、時点ｔ１とｔ４において、監視員の視線方向に対応する領域が部分領域１となっている。そこで、指標値算出部２０２０は、時点ｔ１とｔ２との間の期間（部分領域１がユーザの視線方向に対応していた期間）における監視対象の状態と、時点ｔ４以降（再度部分領域１がユーザの視線方向に対応するようになった時点以降）における監視対象の状態との間の変化度合いを示す指標値を、その監視対象の指標値として算出する。

なお、指標値算出部２０２０は、ユーザの視線方向が別の部分領域の方へ変更された期間が所定時間より短い場合、「ユーザは同じ部分領域を見続けていた」とみなしてもよい。例えば、監視員がある部分領域から１秒程度の短い時間目を離しただけなら、「監視員はその部分領域を見続けていた」とみなしても問題ないと考えられるためである。

また、指標値算出部２０２０は、ユーザの視線方向の代わりに、ユーザの顔の向きを利用してもよい。ユーザの顔の向きを取得したりユーザの顔の向きを利用する方法は、ユーザの視線方向を検出したりユーザの視線方向を利用する方法と同様である。

＜作用・効果＞
本実施形態によれば、ある領域を監視していない期間があった場合、次にその領域を見た際に、前回その領域を見た時からの各監視対象の状態の変化度合いを示す表示が、表示画面４０００上に提示される。そのため、監視員等は、表示画面４０００の全ての領域を一度に監視できない場合であっても、各領域に写っている監視対象の状態の変化度合いをすぐに把握することができる。

＜変形例７−１＞
実施形態７の画像処理装置２０００と同様の構成で、以下に示す変形例７−１の画像処理装置２０００を実現してもよい。当該変形例７−１の画像処理装置２０００において、表示画面４０００は、複数の小画面４１００を有する。そして、各小画面４１００には、それぞれ異なるカメラ３０００によって撮像された撮像画像が表示される。

変形例７−１の指標値算出部２０２０は、ある小画面４１００−１に表示されている監視対象について、その小画面４１００−１がユーザの視線方向に対応する領域に含まれていなかった期間の前後における監視対象の状態の変化度合いを示す指標値を算出する。そして、変形例７−１の提示部２０４０は、上記期間の後に小画面４１００−１に表示される撮像画像に、算出した指標値に基づく表示を提示する。

小画面４１００は、実施形態７における部分領域と同様に扱うことができる。そのため、変形例７−１の指標値算出部２０２０が行う処理の基本的な原理は、実施形態７の指標値算出部２０２０が行う処理の原理と同様である。具体的には、指標値算出部２０２０は、「小画面４１００−１がユーザの視線方向に含まれている期間」を、実施形態７における「部分領域がユーザの視線方向に含まれている期間」と同様に扱う。また指標値算出部２０２０は、「小画面４１００−１が監視員によって見られていない期間」を、実施形態７の「部分領域がユーザの視線方向に含まれていない期間」と同様に扱う。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
を有する画像処理装置。
２． 前記監視対象について、前記指標値に応じた表示色を決定する第１表示色決定手段を有し、
前記提示手段は、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した前記表示色に変更する１．に記載の画像処理装置。
３． 前記提示手段は、前記指標値が大きい監視対象ほど強調する表示を提示するか、又は前記指標値が小さい監視対象ほど強調する表示を提示する１．又は２．に記載の画像処理装置。
４． 前記指標値と基準となる変化度合いとの乖離度を算出する乖離度算出手段を有し、
前記提示手段は、前記第１撮像画像において、前記乖離度が大きい監視対象ほど強調する表示を提示するか、又は前記乖離度が小さい監視対象ほど強調する表示を提示する１．に記載の画像処理装置。
５． 前記監視対象に対し、その監視対象について算出した前記乖離度に応じた表示色を決定する第２表示色決定手段を有し、
前記提示手段は、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象に対して決定した前記表示色に変更する４．に記載の画像処理装置。
６． 前記指標値算出手段は、算出された前記監視対象の状態の変化度合いを用いて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出し、その予測値を前記指標値とする１．乃至５．いずれか一つに記載の画像処理装置。
７． 前記指標値算出手段は、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
前記提示手段は、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる１．乃至６．いずれか一つに記載の画像処理装置。
８． 前記指標値算出手段は、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
前記提示手段は、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する１．乃至７．いずれか一つに記載の画像処理装置。
９． 前記指標値算出手段は、前記監視対象の位置の変化度合いを示す指標値を算出する１．乃至８．いずれか一つに記載の画像処理装置。
１０． 前記指標値算出手段は、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する１．乃至９．いずれか一つに記載の画像処理装置。
１１． 前記指標値算出手段は、前記監視対象に含まれる複数のオブジェクトの密集度合いの変化度合いを示す指標値を算出する１．乃至１０．いずれか一つに記載の画像処理装置。
１２． 前記監視対象はオブジェクトの行列を含み、
前記指標値算出手段は、前記行列の長さ又は速さの変化度合いを示す指標値を算出する１．乃至１１．いずれか一つに記載の画像処理装置。
１３． 前記指標値算出手段は、前記監視対象に含まれるオブジェクトの数の変化度合いを示す指標値を算出する１．乃至１２．いずれか一つに記載の画像処理装置。
１４． 前記監視対象は人を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する１．乃至１３．いずれか一つに記載の画像処理装置。
１５． 前記監視対象は人又は場所を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する１．乃至１４．いずれか一つに記載の画像処理装置。
１６． 前記監視対象は人又は場所を含み、
前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する１．乃至１５．いずれか一つに記載の画像処理装置。
１７． カメラ、表示画面、及び１．乃至１６．いずれか一つに記載の画像処理装置を有する監視システムであって、
前記カメラは、それぞれ異なる時点で撮像を行うことで、複数の撮像画像を生成し、
前記表示画面は、前記提示手段によって前記指標値に基づく表示が提示された前記第１撮像画像を表示する監視システム。
１８． コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
を有する画像処理方法。
１９． 前記監視対象について、前記指標値に応じた表示色を決定する第１表示色決定ステップを有し、
前記提示ステップは、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した前記表示色に変更する１８．に記載の画像処理方法。
２０． 前記提示ステップは、前記指標値が大きい監視対象ほど強調する表示を提示するか、又は前記指標値が小さい監視対象ほど強調する表示を提示する１８．又は１９．に記載の画像処理方法。
２１． 前記指標値と基準となる変化度合いとの乖離度を算出する乖離度算出ステップを有し、
前記提示ステップは、前記第１撮像画像において、前記乖離度が大きい監視対象ほど強調する表示を提示するか、又は前記乖離度が小さい監視対象ほど強調する表示を提示する１８．に記載の画像処理方法。
２２． 前記監視対象に対し、その監視対象について算出した前記乖離度に応じた表示色を決定する第２表示色決定ステップを有し、
前記提示ステップは、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象に対して決定した前記表示色に変更する２１．に記載の画像処理方法。
２３． 前記指標値算出ステップは、算出された前記監視対象の状態の変化度合いを用いて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出し、その予測値を前記指標値とする１８．乃至２２．いずれか一つに記載の画像処理方法。
２４． 前記指標値算出ステップは、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
前記提示ステップは、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる１８．乃至２３．いずれか一つに記載の画像処理方法。
２５． 前記指標値算出ステップは、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
前記提示ステップは、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する１８．乃至２４．いずれか一つに記載の画像処理方法。
２６． 前記指標値算出ステップは、前記監視対象の位置の変化度合いを示す指標値を算出する１８．乃至２５．いずれか一つに記載の画像処理方法。
２７． 前記指標値算出ステップは、前記監視対象が前記画像に写っている頻度の変化度合いを示す指標値を算出する１８．乃至２６．いずれか一つに記載の画像処理方法。
２８． 前記指標値算出ステップは、前記監視対象に含まれる複数のオブジェクトの密集度合いの変化度合いを示す指標値を算出する１８．乃至２７．いずれか一つに記載の画像処理方法。
２９． 前記監視対象はオブジェクトの行列を含み、
前記指標値算出ステップは、前記行列の長さ又は速さの変化度合いを示す指標値を算出する１８．乃至２８．いずれか一つに記載の画像処理方法。
３０． 前記指標値算出ステップは、前記監視対象に含まれるオブジェクトの数の変化度合いを示す指標値を算出する１８．乃至２９．いずれか一つに記載の画像処理方法。
３１． 前記監視対象は人を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する１８．乃至３０．いずれか一つに記載の画像処理方法。
３２． 前記監視対象は人又は場所を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する１８．乃至３１．いずれか一つに記載の画像処理方法。
３３． 前記監視対象は人又は場所を含み、
前記指標値算出ステップは、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する１８．乃至３２．いずれか一つに記載の画像処理方法。
３４． コンピュータを、１．乃至１６．いずれか一つに記載の画像処理装置として動作させるプログラム。
３５． カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出手段と、
前記カメラによって撮像された撮像画像上において、前記監視対象を表す領域の色を、前記変化度合いに基づく色に変更する提示手段と、
を有する画像処理装置。
３６． コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出ステップと、
前記カメラによって撮像された撮像画像上において、前記監視対象を表す領域の色を、前記変化度合いに基づく色に変更する提示ステップと、
を有する画像処理方法。
３７． コンピュータを３５．に記載の画像処理装置として動作させるプログラム。
３８． カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出手段と、
前記カメラによって撮像された撮像画像上において、前記変化度合いに基づいて前記監視対象を強調する提示手段と、
を有する画像処理装置。
３９． コンピュータによって実行される画像処理方法であって、
カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを算出する算出ステップと、
前記カメラによって撮像された撮像画像上において、前記変化度合いに基づいて前記監視対象を強調する提示ステップと、
を有する画像処理方法。
４０． コンピュータを３９．に記載の画像処理装置として動作させるプログラム。

この出願は、２０１４年６月３０日に出願された日本出願特願２０１４−１３４７８６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本願発明が提供する第１の画像処理装置は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、を有する。前記提示手段は、前記変化度合いを、列車の扉が開くときと閉じるときの値に基づいて算出する。
本願発明が提供する第２の画像処理装置は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を連続的に表示する表示画面において、ある期間撮像画像が表示されない場合、当該期間の前に表示される前記撮像画像に映る監視対象の状態と、当該期間の後に表示される当該監視対象の状態との間の変化に応じて、当該期間の後に表示される当該監視対象を強調する表示を変化させて提示する提示手段を有する。
本願発明が提供する第３の画像処理装置は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を連続的に表示する表示画面において、前記表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、当該期間の前に前記第１部分領域に表示される監視対象の状態と、当該期間の後に当該監視対象の状態との間の変化度合いに応じて、当該期間の後に表示される前記第１部分領域に映っている当該監視対象を強調する表示を変化させて提示する提示手段を有する。

本願発明が提供する第１から第３の画像処理方法は、コンピュータによって実行される。
第１の画像処理方法は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、を有する。前記提示ステップにおいて、前記変化度合いを、列車の扉が開くときと閉じるときの値に基づいて算出する。
第２の画像処理方法は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を連続的に表示する表示画面において、ある期間撮像画像が表示されない場合、当該期間の前に表示される前記撮像画像に映る監視対象の状態と、当該期間の後に表示される当該監視対象の状態との間の変化に応じて、当該期間の後に表示される当該監視対象を強調する表示を変化させて提示する提示ステップを有する。
第３の画像処理方法は、カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を連続的に表示する表示画面において、前記表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、当該期間の前に前記第１部分領域に表示される監視対象の状態と、当該期間の後に当該監視対象の状態との間の変化度合いに応じて、当該期間の後に表示される前記第１部分領域に映っている当該監視対象を強調する表示を変化させて提示する提示ステップを有する。

Claims (23)

1. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   を有し、
   前記指標値算出手段は、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
   前記提示手段は、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる、画像処理装置。
2. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   を有し、
   前記指標値算出手段は、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
   前記提示手段は、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する、画像処理装置。
3. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   を有し、
   前記指標値算出手段は、前記監視対象が前記撮像画像に写っている頻度の変化度合いを示す指標値を算出する、画像処理装置。
4. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   を有し、
   前記監視対象は人を含み、
   前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する、画像処理装置。
5. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   を有し、
   前記監視対象は人又は場所を含み、
   前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する、画像処理装置。
6. カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出手段と、
   前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示手段と、
   前記監視対象は人又は場所を含み、
   前記指標値算出手段は、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する、画像処理装置。
7. 前記監視対象について、前記指標値に応じた表示色を決定する第１表示色決定手段を有し、
   前記提示手段は、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象について決定した前記表示色に変更する請求項１乃至６いずれか一項に記載の画像処理装置。
8. 前記提示手段は、前記指標値が大きい監視対象ほど強調する表示を提示するか、又は前記指標値が小さい監視対象ほど強調する表示を提示する請求項１乃至７いずれか一項に記載の画像処理装置。
9. 前記指標値と基準となる変化度合いとの乖離度を算出する乖離度算出手段を有し、
   前記提示手段は、前記第１撮像画像において、前記乖離度が大きい監視対象ほど強調する表示を提示するか、又は前記乖離度が小さい監視対象ほど強調する表示を提示する請求項１乃至６いずれか一項に記載の画像処理装置。
10. 前記監視対象に対し、その監視対象について算出した前記乖離度に応じた表示色を決定する第２表示色決定手段を有し、
    前記提示手段は、前記第１撮像画像において、前記監視対象の色又はその監視対象の周辺の色を、その監視対象に対して決定した前記表示色に変更する請求項９に記載の画像処理装置。
11. 前記指標値算出手段は、算出された前記監視対象の状態の変化度合いを用いて、その算出に用いられた各撮像画像が撮像された時点以降における、その監視対象の状態の変化度合いの予測値を算出し、その予測値を前記指標値とする請求項１乃至１０いずれか一項に記載の画像処理装置。
12. 前記指標値算出手段は、前記監視対象の位置の変化度合いを示す指標値を算出する請求項１乃至１１いずれか一項に記載の画像処理装置。
13. 前記指標値算出手段は、前記監視対象に含まれる複数のオブジェクトの密集度合いの変化度合いを示す指標値を算出する請求項１乃至１２いずれか一項に記載の画像処理装置。
14. 前記監視対象はオブジェクトの行列を含み、
    前記指標値算出手段は、前記行列の長さ又は速さの変化度合いを示す指標値を算出する請求項１乃至１３いずれか一項に記載の画像処理装置。
15. 前記指標値算出手段は、前記監視対象に含まれるオブジェクトの数の変化度合いを示す指標値を算出する請求項１乃至１４いずれか一項に記載の画像処理装置。
16. カメラ、表示画面、及び請求項１乃至１５いずれか一項に記載の画像処理装置を有する監視システムであって、
    前記カメラは、それぞれ異なる時点で撮像を行うことで、複数の撮像画像を生成し、
    前記表示画面は、前記提示手段によって前記指標値に基づく表示が提示された前記第１撮像画像を表示する監視システム。
17. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記指標値算出ステップにおいて、前記カメラによって撮像された撮像画像を表示する表示画面において、ある期間撮像画像が表示されない場合、その期間の前に表示される監視対象の状態と、その期間の後に表示される監視対象の状態との間の変化度合いを示す前記指標値を算出し、
    前記提示ステップにおいて、前記期間の後に表示される撮像画像を前記第１撮像画像として用いる、画像処理方法。
18. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記指標値算出ステップにおいて、前記撮像画像を表示する表示画面の第１部分領域が、ある期間その表示画面を見るユーザの視線方向又は顔方向に対応する画面領域に含まれていない場合、その期間の前に前記第１部分領域に表示される前記監視対象の状態と、その期間の後に前記第１部分領域に表示される前記監視対象の状態との間の変化度合いを示す指標値を算出し、
    前記提示ステップにおいて、前記期間の後に表示される前記撮像画像を前記第１撮像画像として用い、その第１撮像画像のうちの前記第１部分領域に表示される領域上に、前記第１部分領域について算出した前記指標値に基づく表示を提示する、画像処理方法。
19. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記指標値算出ステップにおいて、前記監視対象が前記撮像画像に写っている頻度の変化度合いを示す指標値を算出する、画像処理方法。
20. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記監視対象は人を含み、
    前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象が持つ不満度の変化度合いを示す指標値を算出する、画像処理方法。
21. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記監視対象は人又は場所を含み、
    前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象の危険度の変化度合いを示す指標値を算出する、画像処理方法。
22. コンピュータによって実行される画像処理方法であって、
    カメラによってそれぞれ異なる時点で撮像された複数の撮像画像を用いて、前記撮像画像に写っている監視対象の状態の変化度合いを示す指標値を算出する指標値算出ステップと、
    前記カメラによって撮像された第１撮像画像上に、前記指標値に基づく表示を提示する提示ステップと、
    を有し、
    前記監視対象は人又は場所を含み、
    前記指標値算出ステップにおいて、前記監視対象の前記指標値として、その監視対象が監視されている度合いの変化度合いを示す指標値を算出する、画像処理方法。
23. コンピュータを、請求項１乃至１５いずれか一項に記載の画像処理装置として動作させるプログラム。

Images