JP2015159520A - 画像検出表示システム及び画像検出表示方法 - Google Patents

Abstract

【課題】映像データから検出対象の画像を効率よく検出して表示する。
【解決手段】映像データから検出対象を含む映像データを検出して前記検出対象の画像を表示する画像検出表示システムを、検出対象を含む映像データのフレームデータ上で付帯情報抽出領域の指定を受け付けると共に、検出対象を含む映像データから付帯情報抽出領域に抽出対象を含む映像データのみを抽出するための抽出条件の設定を受け付ける抽出条件設定部と、検出対象を含む映像データから抽出条件を満たす映像データのみを抽出して、抽出した映像データを検出対象別及び／又は抽出対象別にグループ化する映像データ検出部とによって構成する。
【選択図】 図２

Description

この発明は、監視カメラで撮像された監視映像等の映像データから車両や人等の特定の検出対象の画像を検出して表示する画像検出表示システム及び画像検出表示方法に関する。

従来、ＴＶ番組や監視映像等の映像データから、検出対象として設定された特定の車両や人物等の画像を検出する技術が知られている。例えば、特許文献１には、複数台の監視カメラで撮像した各映像データから動体を検出するための方法が開示されている。この検出方法では、複数の監視映像データを一画面に表示した状態で、各映像データ上にスリットを設定して、このスリットに接触したり通過したりする物体を検出することにより動体を特定する。これにより、例えば、４台の監視カメラで撮像した映像データを一画面に表示しながら、それぞれの映像データ上で動体を検出することができる。また、スリットの通過の様子から動体の移動方向や移動速度を特定することができる。こうして、複数の映像データを対象に検出処理を行って大量の動体が検出されると、動体の画像を含む検出結果を確認する作業が行われる。

検出結果を効率よく確認できるように、例えば特許文献２及び３には、映像データから検出された検出対象をアイコンやサムネイル画像で表示する方法が開示されている。例えば、多数の人が行き来する市街地の監視映像から特定の人物を検出する際に、動体として検出された人物をアイコンやサムネイル画像で表示すれば、検出された人物が検出対象として設定された特定の人物であるか否かを容易に確認することができる。

特許第３５６７０６６号公報 特許第４５５９９６４号公報 特開２０１０−２５７４５０号公報

しかしながら、上記従来技術を利用しても、多数の映像データの中から特定の検出対象を検出するには多大な手間と時間を要するという問題があった。上記従来技術を利用すれば、映像データに含まれる動体を検出対象として、検出した動体のサムネイル画像を確認することができるが、例えば、検出した動体が含まれる映像データの中から、さらに、所定条件を満たす検出対象を含む映像データのみを確認したい場合には、検出した動体の映像データを再生して所定条件を満たす検出対象を探す作業が必要となる。映像データ上に検出対象が現れる位置が不明である場合には、映像データを再生しながら映像データ全体を確認する必要があるため手間と時間を要する作業となる。

本発明は、上記従来技術の課題を解消するためになされたものであって、元映像データから検出対象の画像を効率よく検出して表示することができる画像検出表示システム及び画像検出表示方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、映像データから検出対象を含む映像データを検出して前記検出対象の画像を表示する画像検出表示システムであって、前記検出対象を含む映像データのフレームデータ上で付帯情報抽出領域の指定を受け付けると共に、前記検出対象を含む映像データから前記付帯情報抽出領域に抽出対象を含む映像データのみを抽出するための抽出条件の設定を受け付ける抽出条件設定部と、前記検出対象を含む映像データから前記抽出条件を満たす映像データのみを抽出して、抽出した映像データを前記検出対象別及び／又は前記抽出対象別にグループ化する映像データ検出部とを備えたことを特徴とする。

また、本発明は、上記発明において、前記検出対象は移動体であり、前記画像検出表示システムの画面上には、各グループの映像データに含まれる前記移動体のサムネイル画像が表示されることを特徴とする。

また、本発明は、上記発明において、前記画像検出表示システムの画面上に、前記抽出対象を含む映像データの前記付帯情報抽出領域に含まれる前記抽出対象の画像がグループ別に表示されることを特徴とする。

また、本発明は、上記発明において、映像データを保存する記憶部をさらに備え、前記映像データ検出部は、前記抽出対象を含む映像データに、該映像データの直前及び／又は直後の映像データを付加した映像データを前記記憶部に保存することを特徴とする。

また、本発明は、上記発明において、前記抽出条件として、前記抽出対象の特徴情報を、付帯情報抽出領域毎に設定可能であることを特徴とする。

また、本発明は、上記発明において、前記抽出対象の特徴情報として、前記抽出対象の形状、大きさ、色及び輝度の少なくともいずれか１つを、画素数単位で設定可能であることを特徴とする。

また、本発明は、上記発明において、前記抽出条件設定部は、前記フレームデータ上で前記映像データに関する情報が表示される部分領域の指定を受け付けて、該部分領域を情報抽出用の付帯情報抽出領域として前記抽出条件にて設定して、前記映像データ検出部は、前記情報抽出用の付帯情報抽出領域から、前記抽出対象を含む映像データに関する情報を取得することを特徴とする。

また、本発明は、上記発明において、前記画像検出表示システムの画面上に、前記抽出対象を含む映像データに関する情報をグループ別に表示した一覧表と、前記一覧表に含まれるグループの映像データを再生する再生画面と、前記再生画面で再生中の映像データに含まれる抽出対象を拡大して再生する拡大再生画面とが表示されることを特徴とする。

また、本発明は、映像データから検出対象を含む映像データを検出して前記検出対象の画像を表示する画像検出表示システムによって実行する画像検出表示方法であって、前記検出対象を含む映像データのフレームデータ上で付帯情報抽出領域の指定を受け付けると共に、前記検出対象を含む映像データから前記付帯情報抽出領域に抽出対象を含む映像データのみを抽出するための抽出条件の設定を受け付ける抽出条件設定工程と、前記検出対象を含む映像データの解析を行って前記抽出条件を満たす映像データのみを抽出する映像データ抽出工程と、前記映像データ抽出工程で抽出された映像データを前記検出対象別及び／又は前記抽出対象別にグループ化するグループ化工程とを含んだことを特徴とする。

本発明によれば、監視映像等の映像データを形成するフレームデータ上で、複数の異なる部分領域を指定して、抽出条件を満たす映像データに絞り込むための処理対象とする付帯情報抽出領域として設定することができるので、画像解析を行う領域を絞り込んで効率よく処理を行うことができる。

また、本発明によれば、例えば、動体検出をした後に、動体の大きさや色等の抽出条件を追加したり、別の領域の動体や変化を抽出するように付帯情報抽出領域や抽出条件を追加したりしながら、抽出条件を満たす映像データを抽出する処理を効率よく行うことができる。

また、本発明によれば、例えば、監視映像を取得した日時情報、監視映像を撮像した監視カメラの情報等が表示される領域を、情報抽出用の付帯情報抽出領域として設定することにより、付帯情報抽出領域の画像を切り出して、映像データに関する情報として利用することができる。

また、本発明によれば、検出対象の画像、抽出対象の画像、抽出条件を満たす映像データを再生する映像、再生中の映像データに含まれる検出対象や抽出対象を拡大して再生する映像等が一画面に表示されるので、映像データに関する情報を効率よく確認することができる。

図１は、本実施形態に係る画像検出表示システムによる処理の概要を示す図である。 図２は、画像検出表示システムの構成概略を示すブロック図である。 図３は、画像検出表示システムによる処理の処理手順を示すフローチャートである。 図４は、検出条件を設定する際に表示される情報の例を示す図である。 図５は、検出結果に含まれる情報の例を示す図である。 図６は、検出結果を表示する画面の例を示す図である。 図７は、映像データの関係を説明する図である。

以下に、添付図面を参照して、本発明に係る画像検出表示システム及び画像検出表示方法の好適な実施形態を詳細に説明する。本実施形態に係る画像検出表示システム及び画像検出表示方法では、監視カメラや防犯カメラの他、一般家庭で利用されるビデオカメラやデジタルカメラ等、撮像装置の種類によらず、撮像された様々な映像データから、予め設定された検出対象の画像を検出して表示することができるが、以下では、監視カメラによって撮像された監視映像を例に説明を行う。

図１は、本実施形態に係る画像検出表示システムによる処理の概要を示す図である。画像検出表示システムでは、様々な監視カメラで撮像された、解像度、フレームレート、圧縮形式等のデータフォーマットが異なる監視映像を処理することができる。例えば、監視カメラから直接入力される映像データ、記憶装置に記憶された映像を再生して入力される映像データを処理することができる。また、画像検出表示システムに直接入力できない独自形式で記録された映像についても、この映像に対応したビデオモニター等の機器で映像を再生して、再生中の画面をキャプチャした静止画像から映像データを生成して処理対象とすることもできる。

画像検出表示システムでは、まず、図１（ａ）に示すように、監視カメラで撮像された元映像データをシステム内に取り込んで取込映像データとする。そして、取込映像データを対象として、所定条件を満たす動体が含まれる映像データＡ１、Ｂ１及びＣ１を検出する。検出した映像データは、これらを結合した動体検出映像データとして保存することができる。保存した動体検出映像データを再生して表示することにより、動体の含まれる映像データのみを短時間で容易に確認することができる。

具体的には、予め、画像検出表示システムに入力された検出対象の特徴情報に基づいて取込映像データを形成する各フレームデータを解析する。例えば、動体として検出する物体のサイズや移動速度等を検出条件として設定する他、人物であれば髪形、髪の色、体型、衣服の色や形等の特徴情報を、車両であれば車体やホイールの形状、大きさ、色等の特徴情報を、検出条件として設定することができる。画像検出表示システムでは、取込映像データを形成する各フレームデータ上で検出条件を満たす画像を検出する解析処理が行われ、検出条件を満たす画像を含むフレームデータが得られると、検出結果として、このフレームデータで形成される映像データＡ１、Ｂ１及びＣ１に関連する情報が表示される。なお、取込映像データの解析処理を行って動体が検出されたフレームデータをグループ化する処理の詳細については、特許第５３４９６３２号公報に開示した技術等の従来技術を利用することができるので詳細な説明は省略する。

例えば、エレベータ内部を撮像した監視映像を元映像データとして、この元映像データを取り込んだ取込映像データを対象としてエレベータを利用する人物を検出する解析処理を行って、映像データＡ１、Ｂ１及びＣ１が得られた場合に、画像検出表示システムを構成する表示部上には、図１（ａ）に示す動体検出映像データ確認画面が表示される。動体の検出結果を示すこの画面上には、検出した人物毎にグループ化された映像データが一覧表示される。

画面上には、Ｎｏ．と、フレーム番号と、検出サムネイルと、経過時間と、統合フレーム数とが表示される。Ｎｏ．は、映像データのグループ番号を示す情報で、例えば、映像データＡ１、Ｂ１及びＣ１に、それぞれＮｏ．１、２及び３の番号が割り当てられる。フレーム番号は、取込映像データの最初のフレームデータのフレーム番号を１として、各グループの最初のフレームデータが何番目のフレームデータであるかを示す。検出サムネイルは、各グループの映像データの最初のフレームデータから、検出した人物を含む部分画像を切り出したサムネイル画像である。経過時間は、取込映像データを最初から再生した場合に、各グループの映像データの最初のフレームデータが再生されるまでの経過時間を示す。統合フレーム数は、同じ動体のフレームデータのうち、変化のないフレームデータを統合したフレーム数を示す。

例えば、図１（ａ）の例では、Ｎｏ．１の映像データＡ１は、取込映像データの再生を開始してから５３秒後の５３番目のフレームデータを最初のフレームデータとする映像データで、統合フレーム数が２８枚であることを示している。

こうして、取込映像データの解析処理を行った結果をグループ別に表示すると共に、各グループの映像データに関する情報と、各グループで検出された検出対象のサムネイル画像とを表示することにより、検出結果を容易に確認することができる。また、画像検出表示システムでは、この画面上で、選択したグループの映像データを再生できるようになっている。映像データの再生画面を含む画面構成の詳細は後述する。

画像検出表示システムでは、取込映像データを解析して得られた映像データを利用して、図１（ｂ）に示すように抽出条件をさらに追加して、同図（ｃ）に示すように、追加した抽出条件を満たす映像データ及び関連情報のみを抽出して表示することができる。なお、本実施形態では、動体を検出するために最初に行う検出処理を「検出」との文言で示すのに対して、最初の処理で動体が検出された映像データからさらに追加又は変更された条件を満たす画像を検出する検出処理については「抽出」との文言を用いる。ただし、いずれも映像データから所定条件を満たす画像を検出するものであるため、検出及び抽出の両方を含む内容については「検出」との文言を用いることとする。

例えば、図１（ａ）に示すグループＮｏ．３の映像データの解析を進める場合には、同図（ｂ）に示すように、グループＮｏ．３の映像データを形成するフレームデータの画像１００が、抽出条件設定画面に表示される。画面上では、動体検出映像データ上で動体として既に検出されている対象の画像が枠１０１で囲んで表示される。この抽出条件設定画面で、画像１００を確認しながら抽出条件を追加する。

例えば、この画面上で、抽出条件に基づく映像データ解析の処理対象とする領域を設定する。領域設定は、図１（ｂ）に示すように、画面上で、処理対象とする解析対象領域を付帯情報抽出領域１０３として指定して行うこともできるし、処理対象から除外する解析対象外領域１０２を指定して行うこともできる。

また、抽出対象とする日時の範囲を抽出日時として設定したり、抽出される映像データのフレーム数を設定したりすることもできる。例えば、統合フレーム数の最小フレーム数を指定して、これを下回る対象を抽出結果としないように設定する。また、抽出対象の色情報やサイズ情報を設定することもできる。例えば、抽出対象とする人物の衣服の色が分かっている場合に、この色を指定すると共に、同色の鞄や傘等の他の物体が抽出されないように抽出対象のサイズを画素数で指定することができる。

また、抽出対象の種別を設定することもできる。ここで、種別とは、抽出対象の種類を示すもので、例えば、市街地を撮像した監視映像では、人、二輪車、自動車等の種類が予め種別として設定可能となっている。種別を設定することにより、例えば、人の映像データのみに絞り込んだり、自動車の映像データのみに絞り込んだりすることができる。

また、抽出対象の見本画像を設定することもできる。例えば、抽出対象として設定したい人物の画像がある場合に、この画像を見本画像として入力することにより、見本画像と一致する画像が含まれる映像データのみに絞り込むことができる。

エレベータ内部を撮像した監視映像で動体検出処理を行って、図１（ａ）に示すように人物を含む動体検出映像データを検出した後、さらにエレベータで上の階へ向かう人物のみを確認したい場合に、同図（ｂ）に示すように、抽出条件設定画面上で、エレベータの移動方向表示を含む部分領域を付帯情報抽出領域１０３として設定する。そして、この付帯情報抽出領域１０３で、エレベータの移動方向表示が点灯している映像データのみを抽出するように抽出条件を設定する。具体的には、移動方向表示が点灯した際の色や輝度の変化が検出されるように、抽出条件を設定する。

こうして、付帯情報抽出領域１０３及び抽出条件を設定すると、動体検出映像データを対象として付帯情報抽出領域１０３内の映像が解析されて、抽出条件を満たす映像データのみが抽出される。具体的には、図１（ｃ）に示すように、人物が検出された同図（ａ）の動体検出映像データを対象として、Ｎｏ．１の映像データＡ１の中から、さらに、エレベータの移動方向表示が点灯した映像データＡ１１が抽出される。同様に、Ｎｏ．２の映像データＢ１からＢ１１が、映像データＣ１からＣ１１がそれぞれ抽出される。

抽出条件を満たす映像データが抽出されると、画像検出表示システムを構成する表示部上には、図１（ｃ）に示す動体抽出映像データ確認画面が表示される。この画面上では「抽出エリア」として、抽出条件に追加した付帯情報抽出領域１０３の抽出エリア画像がサムネイル画像で表示される。このサムネイル画像からエレベータの移動方向を確認して、上の階への移動を示すグループを選択して映像データを再生すれば、上の階へ向かったエレベータ内の人物の画像を確認することができる。

図１（ｃ）に示す画面上では、グループ化された各映像を、所定のキーを基準に並べ替えられるようになっている。例えば、画面上で抽出エリアの項目を選択すると、各グループで得られた抽出エリアの画像の相関性に基づいて各グループの表示順が変更される。これにより、例えば、上の階へ移動する移動方向表示の画像が得られたグループを確認画面上部にまとめて表示させて、これらのグループの映像データをまとめて確認することができる。

このように、画像検出表示システムでは、監視映像を取り込んだ取込映像データから、動体検出用の第１検出条件に基づいて動体の映像データを検出した後、検出した映像データを元に、第１抽出条件を設定して、この抽出条件を満たす映像データを抽出することができる。抽出条件の設定は、動体が検出された映像データのフレームデータ画像を表示した画面上で、付帯情報抽出領域を指定するなどして容易に行うことができる。また、抽出処理後に抽出結果を表示した画面には、付帯情報抽出領域で抽出条件を満たす対象のサムネイル画像が表示されるので、所望のサムネイル画像が表示された映像データを再生して、抽出対象の画像を確認することができる。また、抽出した映像データは、付帯情報抽出領域で得られた画像の相関性に基づいて並べ替えることができるので、所望のサムネイル画像と相関性が高いサムネイル画像が得られた映像データをまとめて表示させて、サムネイル画像を比較したり映像データを再生して確認したりすることができる。

次に、画像検出表示システムの構成について説明する。図２は、画像検出表示システムの構成概略を示すブロック図である。画像検出表示システムは、Ｉ／Ｆ部１０、記憶部２０、制御部３０、表示部４０及び入力部５０から構成される。

Ｉ／Ｆ部１０は、レコーダ、監視カメラ、コンピュータ装置等から出力される映像信号の取り込み、ビデオモニター等の機器で再生中の再生画像をキャプチャして行う映像データの取り込み、映像データのファイル受信等を行うためのインターフェイスである。例えば、所定規格の端子を経由した映像信号やキャプチャ画像の取り込み、ＬＡＮやＵＳＢ等を経由したデータファイルの受信を行う。また、Ｉ／Ｆ部１０は、画像検出表示システムの動作に必要な検出条件等のデータの送受信を行うために利用される。さらに、Ｉ／Ｆ部１０は、外部装置に向けた映像信号の出力や映像データのファイル送信にも利用される。

表示部４０は、検出条件の設定や検出結果の確認等を行う際に、各種情報を出力表示するための液晶ディスプレイ等の表示装置である。入力部５０は、検出条件を設定するための操作や、検出結果として表示された映像データを再生する操作等、各種情報の入力操作を行うためのキーボードやマウス等の入力装置である。

記憶部２０は、フラッシュメモリやハードディスク等の不揮発性の記憶装置である。記憶部２０には、Ｉ／Ｆ部１０を介して監視映像等の元映像データを取り込んだ取込映像データ２１と、取込映像データ２１から動体を検出するための検出条件である検出条件データ２２と、取込映像データ２１から検出条件を満たす動体を検出した動体検出映像データ２３とが保存される。また、記憶部２０には、動体検出映像データ２３に基づいてさらに所定条件を満たす対象を抽出するために設定された抽出条件である抽出条件データ２４と、動体検出映像データ２３から抽出条件を満たすとして抽出された動体抽出映像データ２５とが保存される。また、記憶部２０には、動体抽出映像データ２５の中から、処理終了後も記憶部２０に維持するよう指定された映像データのみを統合した条件一致映像データ２６が保存される。なお、動体抽出映像データ２５には、検出条件データ２２として保存された検出条件を満たす動体の画像である検出サムネイル画像と、抽出条件を満たす付帯情報抽出領域の画像である抽出エリア画像と、抽出条件を満たす画像が得られたフレームデータと、このフレームデータ上で抽出条件を満たす画像が得られた付帯情報抽出領域に関する情報と、抽出結果に関するその他の関連情報とが保存される。また、条件一致映像データ２６にも、同様のデータが保存される。

制御部３０は、検出条件設定部３１、移動体検出部３２、抽出条件設定部３３、画像抽出部３４（映像データ検出部）、データ再生処理部３５を有し、画像検出表示システムの全体を制御する機能を有する。制御部３０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵと、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部３０の動作に必要なソフトウェアプログラムやデータは記憶部２０に保存されるが、保存先は特に限定されず、別途専用に設けられたＲＡＭやＲＯＭ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。

検出条件設定部３１は、入力部５０を操作して入力された情報に基づいて、検出条件を設定する機能を有する。入力部５０を操作して、動体検出時に解析対象とする領域又は解析対象外とする領域、検出日時、検出フレーム数、検出対象の色やサイズ、検出対象種別、検出対象の見本画像等の検出条件が入力されると、検出条件設定部３１は、入力された検出条件を、検出条件データ２２として記憶部２０に保存する。

移動体検出部３２は、検出条件データ２２として保存された検出条件に基づいて、取込映像データ２１を対象とする解析処理を行って、検出条件を満たす動体（移動体）の画像が含まれるフレームデータを検出してグループ化する機能を有する。移動体検出部３２は、検出した映像データを、動体検出映像データ２３として記憶部２０に保存する。なお、図２では省略しているが、移動体検出部３２は、検出条件を満たす移動体を検出したフレームデータに関する情報、検出した移動体に関する情報、検出条件を満たす移動体を検出したフレームデータから形成される映像データ、映像データに関する情報等を、動体検出映像データ２３として記憶部２０に保存する。

抽出条件設定部３３は、検出条件設定部３１によって設定された検出条件に基づいて、移動体検出部３２によって移動体が検出された動体検出映像データ２３を元に、さらに、所定条件を満たす画像を抽出するための抽出条件を設定する機能を有する。検出条件と同様に、抽出処理時に解析対象とする領域又は解析対象外とする領域、抽出日時、抽出フレーム数、抽出対象の色やサイズ、抽出対象種別、抽出対象の見本画像等の条件を設定することができる。抽出条件設定部３３は、入力部５０を操作して入力された抽出条件を、抽出条件データ２４として記憶部２０に保存する。

画像抽出部３４は、抽出条件データ２４として保存された抽出条件に基づいて、移動体検出部３２によって移動体が検出された動体検出映像データ２３を対象とする解析処理を行って、抽出条件を満たす画像が含まれるフレームデータを抽出してグループ化する機能を有する。画像抽出部３４は、抽出対象を検出したフレームデータに関する情報、抽出対象に関する情報、抽出対象を検出したフレームデータから形成される映像データ、映像データに関する情報等を、動体抽出映像データ２５として記憶部２０に保存する。なお、画像抽出部３４は、映像データ上で抽出条件を満たす対象や事象の変化を検出する映像データ検出部として機能する。

データ再生処理部３５は、移動体検出部３２によって得られた検出結果に関する情報及び画像抽出部３４によって得られた抽出結果に関する情報を表示部４０に表示して、入力部５０を操作して行われる操作に基づいて、選択された映像データの再生処理等を行う機能を有する。データ再生処理部３５は、例えば、図１（ａ）の動体検出映像データ確認画面、同図（ｃ）の動体抽出映像データ確認画面を表示部４０に表示すると共に、入力部５０を操作して行われる操作に基づいて、画面上で選択されたグループの映像データを表示部４０上で再生表示する。映像データの再生画面を含む画面構成の詳細は後述する。

次に、画像検出表示システムによる処理について説明する。以下では、オフィスビルの駐車場で発生した放火を原因とする車両火災について、駐車場を含むエリアを撮像した監視カメラの監視映像を解析する場合を例に具体的な処理の流れを説明する。

図３は、画像検出表示システムによる処理手順を示すフローチャートである。まず、監視カメラによる監視映像が記憶部２０に取込映像データ２１として保存されると、この取込映像データ２１から動体を検出するための検出条件が設定される（ステップＳ１１）。検出条件は、入力部５０を操作して新たに設定することもできるし、記憶部２０に検出条件データ２２として保存済みの検出条件を利用することもできる。

図４は、表示部４０及び入力部５０により検出条件を設定する際に表示部４０に表示される画面の一部を示す図である。このように、取込映像データ２１を形成するフレームデータの画像１０４が表示部４０に表示される。この状態で、入力部５０を操作して画像１０４上で検出条件を設定することができる。

画像１０４には、左下を斜め方向に走る道路と、この道路から駐車場への出入口が設けられた塀と、車が停車された駐車場と、オフィスビル群と、画像１０４の略中央部でオフィスビル群の間を略左右方向に走る歩道のある道路とが写り込んでいる。画像検出表示システムでは、上述したように、特許第５３４９６３２号公報に開示した技術を利用して、この画像１０４で示す領域全体を対象として、動体を検出することができる。また、動体検出を行う一又は複数の部分領域を、画像１０４上で指定することもできる。

例えば、入力部５０を操作して、図４に示すように、画像１０４上で、動体の検出処理を行う部分領域を検出対象領域２００として指定して、さらに、この検出対象領域２００で動体を検出するための特徴情報を、検出条件として設定する。例えば、駐車場への出入口を出入りする動体の中に車両火災の放火犯が含まれると想定して検出条件を設定する。
検出条件として、例えば、検出する移動物体のサイズの範囲を画素数で設定したり、色や輝度の変化を検出する画素数の範囲を設定したり、検出する色や輝度の範囲を設定したりすることができる。検出対象領域２００に関する情報、動体を検出するための特徴情報等は、検出条件設定部３１によって検出条件として管理され、検出条件データ２２として記憶部２０に保存される。

動体の検出条件の設定が完了すると、この検出条件に基づいて、移動体検出部３２が、取込映像データ２１を解析して、検出対象を検出する処理を実行する（図３ステップＳ１２）。すなわち、取込映像データ２１を形成する各フレームデータ上で、記憶部２０の検出条件データ２２に保存された検出条件を満たす動体を検出する検出処理が実行される。検出処理により検出条件を満たす動体が検出されたフレームデータ等、検出結果に関する情報は、移動体検出部３２によって管理され、記憶部２０に保存される。動体が検出されたフレームデータをグループ化した映像データは、動体検出映像データ２３として、記憶部２０に保存される。

また、検出処理の結果は、表示部４０に表示される（ステップＳ１３）。図５は、検出結果に含まれる情報の例を示す図である。図５（ａ）は、移動体の検出結果に関する情報の例を示している。また、図５（ｂ）は、同図（ａ）の検出結果が得られた映像データからさらに抽出条件を満たす映像データに絞り込むための抽出処理を行って得られた情報の例を示している。また、図５（ｃ）は、同図（ｂ）のグループを選択した際に表示される情報の例を示している。

図５（ａ）に示すように、検出結果では、同一の動体が検出されたフレームデータをグループ化した結果が表示される。また、検出結果では、各グループで検出された動体の画像である検出サムネイルと、各グループの映像データに関する情報とが表示される。

検出結果を確認して十分な結果が得られたと判断して、所定の抽出条件を満たす映像データに絞り込むための抽出処理を実行しない場合は（図３ステップＳ１４；Ｎｏ）、移動体検出部３２が、移動体が検出された動体検出映像データ２３を統合して、条件一致映像データ２６として記憶部２０に保存して（ステップＳ１９）、処理を終了する。

一方、検出結果を確認して、さらに抽出処理を行う場合には（ステップＳ１４；Ｙｅｓ）、抽出条件を設定する処理が行われる（ステップＳ１５）。具体的には、例えば、図５（ａ）に示す動体の検出結果から、さらに車両火災に関連する動体の映像データに絞り込むために、抽出条件を設定する。

抽出条件の設定は、検出条件を設定する場合と同様に、表示部４０に、動体検出映像データ２３を形成するフレームデータの画像１０４を表示した状態で、入力部５０を操作して行う。例えば、図５（ａ）に表示された検出結果に含まれる映像データの１つを選択すると、この映像データを形成するフレームデータの画像１０４が表示部４０に表示される。

この画像１０４が表示された画面上で、さらに検出結果を絞り込むための付帯情報抽出領域の設定及び抽出条件の設定を行う。例えば、図４に示すように、画面上に画像１０４が表示された状態で、車両火災が発生した日時の前後の時間帯に絞り込むことを目的として、この車両を含む部分領域を付帯情報抽出領域２０３として設定する。

また、抽出処理後に、抽出された映像データの日時等を特定できるように、日時情報を含む画像１０４の左上の部分領域を、付帯情報抽出領域２０１として設定する。同様に、例えば複数の監視カメラで撮像された監視映像がある場合に、抽出処理後に、抽出された映像データが、どの監視カメラで撮像されたものであるかを特定できるように、カメラ情報を含む画像１０４の右上の部分領域を、付帯情報抽出領域２０２として設定する。

また、放火犯や目撃者に関する情報を取得することを目的として、画像１０４上で、付帯情報抽出領域を追加することもできる。例えば、車両を目視可能な位置にある建物の窓を付帯情報抽出領域２０４として設定する。また、例えば、車両を目視可能な位置にある歩道のある道路を付帯情報抽出領域２０５として設定する。

複数の付帯情報抽出領域２０１〜２０５を設定した場合には、抽出条件を各領域で個別に設定することができる。例えば、付帯情報抽出領域２０１、２０２は、映像データに関する情報を取得するための領域であるため、これらの領域では、抽出条件に基づく抽出処理を行わないように設定する。また、例えば、付帯情報抽出領域２０３では車両火災を抽出できるように抽出条件を設定し、付帯情報抽出領域２０４では照明の変化や人影を抽出できるように抽出条件を設定し、付帯情報抽出領域２０５では移動物体を抽出できるように抽出条件を設定する。

具体的には、車両火災の煙や炎、照明の変化や人影等を抽出できるように色、輝度、画素数等の条件を設定する。また、抽出したい人物の衣服の色や車両の色が分かっている場合には抽出対象の色を限定する設定を行ったり、抽出したい人物や車両の画像がある場合にはこの画像を見本画像として設定したりすることもできる。この他、例えば、歩行者や自転車のみを抽出したい場合には、移動物体として抽出する画素数、移動方向、移動速度等を設定したり移動物体の種別を指定したりすることもできる。

こうして設定された付帯情報抽出領域２０１〜２０５及び抽出条件に係る設定は、抽出条件設定部３３によって管理され、抽出条件として、記憶部２０の抽出条件データ２４に保存される。

抽出条件の設定が完了すると、画像抽出部３４が、先に動体が検出された動体検出映像データ２３を形成する各フレームデータを解析して、抽出条件データ２４に基づいて、抽出条件と合致する対象を検出する処理を実行する（図３ステップＳ１６）。すなわち、動体が検出された動体検出映像データ２３を形成する各フレームデータ上で、抽出条件を満たす対象を検出するよう設定された付帯情報抽出領域２０３〜２０５を対象として、各領域毎に、抽出条件を満たす対象を検出する処理が実行される。抽出対象が検出されたフレームデータ等、抽出結果に関する情報は、画像抽出部３４によって管理され、動体抽出映像データ２５として記憶部２０に保存される。

抽出結果は、データ再生処理部３５によって、表示部４０に表示される（ステップＳ１７）。図５（ｂ）は、抽出結果に含まれる情報の例を示す図である。このように、抽出結果には、図４に示す付帯情報抽出領域２０３〜２０５で抽出条件を満たす対象が検出された映像データが、付帯情報抽出領域別かつ対象別に、グループ化して表示される。各グループの情報には、図１に示したＮｏ．、フレーム番号、検出サムネイル、経過時間、統合フレーム数の他、付帯情報抽出領域２０１〜２０５の抽出エリア画像であるサムネイル画像が表示される。具体的には、第１抽出エリアとして、図４に示した付帯情報抽出領域２０１から切り出された日時情報を含む部分画像が表示される。同様に、第２抽出エリアとして、付帯情報抽出領域２０３から切り出された車両を含む部分画像が表示される。なお、抽出結果の各抽出エリアに表示するサムネイル画像、すなわち付帯情報抽出領域２０１〜２０５の画像として、各グループの映像データの最初のフレームデータから切り出した部分画像を利用するが、各グループの映像データのうちどのフレームデータから切り出した部分画像を利用するかについては、設定により変更できるようになっている。

図５（ｂ）に示す抽出結果の表示例では、深夜１：０３頃には車両から煙が上がり、１：０８頃には車両から炎が上がったことを確認することができる。また、先の動体検出処理（図３ステップＳ１２）で得られたＮｏ．１７の映像データが、車両から煙が上がった際の映像データであり、検出サムネイルから、この時間に、図４に示す検出対象領域２００で人が検出されていることを確認することができる。

検出結果で、例えばＮｏ．１７を選択すると、図５（ｃ）に示すように、Ｎｏ．１７の映像データを形成する各フレームデータに関する情報が表示部４０に表示される。この表示にも、各フレームデータの付帯情報抽出領域２０１〜２０５から切り出した部分画像が表示されるので、映像データの詳細を確認することができる。

深夜の車両火災では、火災の通報を受けた時刻は正確に特定できるものの、火災が発生した時刻を特定できない場合がある。このような場合に、画像検出表示システムを利用して、車両が写り込んだ部分領域を付帯情報抽出領域２０３として指定すると共に火災の発生を検出するための抽出条件とを設定すれば、自動的に、抽出条件を満たす画像を検出するための映像解析処理が行われて、表示部４０に抽出結果が表示される。抽出結果では、グループ化された動体抽出映像データ２５に関する情報が、動体検出により検出された動体の画像や抽出条件を満たす画像と共に表示されるので、これらの画像から各グループの映像データの内容を確認することができる。また、日時情報やカメラ情報を含む部分領域を付帯情報抽出領域２０１、２０２として設定しておくことにより、これらの領域から切り出された部分画像が表示されるので、各グループに関する情報を確認することができる。

抽出結果を確認して、処理を終了する場合は（図３ステップＳ１８；Ｙｅｓ）、画像抽出部３４が、抽出条件を満たす画像が検出された動体抽出映像データ２５を統合して、条件一致映像データ２６として記憶部２０に保存して（ステップＳ１９）、処理を終了する。映像データを統合する処理については後述する。

一方、さらに映像解析の処理を続けたい場合には（ステップＳ１８；Ｎｏ）、抽出条件の追加や変更を行って該抽出条件を満たす対象を検出するための処理を行い、結果を確認する処理（ステップＳ１５〜Ｓ１７）を繰り返し行うことができる。

このように、画像検出表示システムでは、検出条件に基づいて実行された動体検出の処理結果を確認してさらに抽出条件を設定し、この抽出条件を満たす対象を検出する処理を実行することができる。また、抽出条件を追加したり変更したりしながら抽出条件を満たす対象の映像データに絞り込む処理を繰り返すことができる。このとき、先の処理で得られた結果を画面上で確認しながら、条件を変更したり追加したりすることができるので、効率よく処理を進めることができる。

次に、検出結果を確認する際の画面表示及び操作について説明する。図６は、表示部４０に表示される結果表示の画面例を示す図である。この画面１０５は、図５（ｂ）に示す抽出結果を含む画面例を示している。画面１０５上の一覧表３０１には、図４に示す検出対象領域２００で移動体が検出されかつ付帯情報抽出領域２０３〜２０５で抽出条件を満たす画像が検出された映像データが、グループ別に一覧表３０１に表示されている。

具体的には、監視カメラによる監視映像を取り込んだ取込映像データ２１から移動体を検出した動体検出映像データ２３から、さらに、各付帯情報抽出領域２０３〜２０５で、各領域で設定された抽出条件に合致する画像を検出する処理が行われる。そして、抽出条件を満たす画像が含まれるフレームデータが得られると、このフレームデータによって形成される映像データが、付帯情報抽出領域別かつ抽出対象別に、一覧表３０１に一覧表示される。

一覧表３０１では、例えば、図４に示す付帯情報抽出領域２０１を第１抽出エリアとして、この第１抽出エリアから切り出された日時情報を含む抽出エリア画像が表示される。また、駐車場の車両を含む付帯情報抽出領域２０３を第２抽出エリアとして、この第２抽出エリアで煙が抽出された抽出エリア画像、炎が抽出された抽出エリア画像等が、抽出された動体毎にグループされて表示される。なお、図５及び図６では省略しているが、一覧表３０１には、図４に示す付帯情報抽出領域２０１を第３抽出エリアとして、この第３抽出エリアから切り出されたカメラ情報を含む抽出エリア画像が表示される。同様に、一覧表３０１には、窓を含む付帯情報抽出領域２０４を第４抽出エリアとして、深夜の窓に照明が点灯したことが抽出された抽出エリア画像、照明が点灯した窓に人影が見えたことが抽出された抽出エリア画像等が、抽出された事象毎にグループ化されて表示される。また、一覧表３０１には、道路を含む付帯情報抽出領域２０５を第５抽出エリアとして、人を抽出した抽出エリア画像、二輪車を抽出した抽出エリア画像、自動車を抽出した抽出エリア画像等が、抽出された動体毎にグループされて表示される。

このように、複数の付帯情報抽出領域２０３〜２０５を対象として多数のグループが検出されると、画面１０５上の一覧表３０１で項目を選択して、グループの並び順を変更できる。例えば、一覧表３０１で第２抽出エリアを選択すると、第２抽出エリアでの抽出結果に基づいて、一覧表３０１のグループが並べ替えられる。図６の例では、第２抽出エリアの画像をキーとした並べ替えによって、第２抽出エリアの車両から煙が上がったことによる変化が抽出されたＮｏ．１７のグループと、車両から炎が上がったことによる変化が抽出されたＮｏ．１８のグループとが、動体検出処理によって動体が検出されたＮｏ．１〜１６のグループよりも上にくるように一覧表３０１のグループが並べ替えられたことを示している。同様に、一覧表３０１で、道路を含む付帯情報抽出領域２０５に対応する第５抽出エリアを選択すると、例えば、人が検出されたグループが人物別に並んで表示され、その下側に、二輪車が検出されたグループが二輪車別に並んで表示され、その下側に、自動車が検出されたグループが自動車別に並んで表示される。

抽出結果を示す図６の画面１０５上には、一覧表３０１の他に、一覧表３０１で選択したグループの映像データを再生する再生画面３０２と、再生画面３０２での映像データの再生を制御するための操作画面３０３と、再生画面３０２で再生中のフレームデータの部分領域（付帯情報抽出領域）を拡大して再生する拡大再生画面３０４と、再生画面３０２及び拡大再生画面３０４で再生中のフレームデータがグループの映像データの時間軸上でどの位置にあるかを示すタイムバー３０５と、拡大再生画面３０４に表示されるフレームデータを時間順に並べて表示したタイムライン３０６とが表示される。画面１０５上での映像データの再生処理は、制御部３０のデータ再生処理部３５によって行われる。

具体的には、入力部５０を操作して、一覧表３０１が表示された画面１０５上で第２抽出エリアを基準にグループを並べ替えた後、Ｎｏ．１７のグループが選択されると、データ再生処理部３５は、選択されたＮｏ．１７の映像データの最初のフレームデータを再生画面３０２に表示する。また、データ再生処理部３５は、この再生画面３０２で、Ｎｏ．１７のグループが抽出される理由となった第２抽出エリア（図４の付帯情報抽出領域２０３）を、枠３０７で囲んで表示する。この枠３０７内の画像が、拡大再生画面３０４に拡大して表示される。そして、タイムバー３０５は、グループの最初のフレームデータを再生していることを示す表示となる。また、タイムライン３０６には、グループの映像を再生した際に、再生画面３０２の枠３０７内で再生される画像、すなわち拡大再生画面３０４で再生される画像が、最初のフレームデータから時間順に表示される。

入力部５０により操作画面３０３が操作されると、データ再生処理部３５は、操作内容に応じて、再生画面３０２及び拡大再生画面３０４の映像データの再生、逆再生、コマ送り、逆コマ送りを実行する。このとき、拡大再生画面３０４の再生映像と再生画面３０２の再生映像とは同期して表示されるようになっている。また、データ再生処理部３５は、操作画面３０３の上部に、再生中のフレームデータに関する情報を表示する。表示する情報は、取込映像データ上でのフレームデータの位置を示す情報、各グループの映像データ上でのフレームデータの位置を示す情報等から選択できるようになっている。

また、入力部５０によりタイムバー３０５が操作されると、データ再生処理部３５は、操作内容に応じて、再生画面３０２及び拡大再生画面３０４に表示されるフレームデータを変更する。また、入力部５０によりタイムライン３０６に表示されている画像が選択されると、データ再生処理部３５は、対応するフレームデータを再生画面３０２に表示すると共に、選択された画像、すなわち枠３０７内の画像を拡大再生画面３０４に拡大表示する。

一覧表３０１には、表の右端に、各グループの映像データを選択するためのチェックボックスを含む抽出欄が設けられている。操作画面３０３、タイムバー３０５、タイムライン３０６を操作して、グループの映像データを再生確認した際に、重要と判断したグループのチェックボックスをチェックしておくことにより、後に、チェックボックスのチェック結果に基づいてグループの並べ替えを行ったりチェックボックスをチェックしたグループの映像データのみを条件一致映像データ２６として記憶部２０に保存したりすることができる。

次に、映像データを統合して記憶部２０に保存する処理について説明する。図７は映像データの関係を説明する図である。図７（ａ）は検出処理時の映像データの関係を示し、同図（ｂ）は抽出処理時の映像データの関係を示し、同図（ｃ）は記憶部２０に保存される条件一致映像データを示す図である。また、図７（ｄ）は、画像検索表示システムが、映像データに、その前後の映像データを付加したものを取扱可能であることを説明する図である。

画像検出表示システムでは、例えば、検出処理で、図７（ａ）に示すように、取込映像データ２１から検出条件に合致する映像データＸ１、Ｘ２及びＸ３が検出された場合に、これらの映像データＸ１、Ｘ２及びＸ３を動体検出映像データ２３とする。そして、図７（ｂ）に示すように、抽出処理では、検出処理の結果得られた動体検出映像データ２３から抽出条件に合致する映像データＸ１１、Ｘ１２及びＸ３１が検出されると、これらの映像データを動体抽出映像データ２５とする。

動体抽出映像データ２５を確認する作業が行われて、映像データＸ１１及びＸ３１を記憶部２０に保存するように、一覧表３０１の抽出欄にあるチェックボックスがチェックされると、図７（ｃ）に示すように、映像データＸ１１及びＸ３１を統合した条件一致映像データ２６が記憶部２０に保存される。

画像検出表示システムでは、図７（ｃ）に示すように、検出条件又は抽出条件に合致する映像データＸ１、Ｘ２及びＸ３が得られた場合に、利用する映像データを、条件に合致する映像データに、この映像データの直前の映像データ及び直後の映像データを付加したものとすることができる。

例えば、抽出条件に合致した映像データＸ１に、所定時間分の直前の映像データＸ１ｆと、所定時間分の直後の映像データＸ１ｒとを付加したものを１つの映像データとして利用することができる。また、抽出条件に合致した映像データＸ２に、直前の映像データＸ２ｆと、映像データＸ２ｆとは異なる時間長さの直後の映像データＸ２ｒとを付加したものを１つの映像データとすることもできる。また、抽出条件に合致した映像データＸ３に、直前の映像データは付加せずに、所定時間分の直後の映像データＸ３ｒのみを付加したものを１つの映像として利用することもできる。直前及び直後のいずれか一方のみを付加するか、両方を付加するかについては、設定により変更可能となっている。また、付加する映像データは、時間長さ又はフレームデータ数で指定可能となっている。また、これらの設定は、映像データの全てについて共通する設定とすることもできるし、映像データ毎に個別に指定することもできる。

これにより、例えば、映像データを確認する際に、その直前や直後の映像データを含めて確認することができる。また、映像データを統合して条件一致映像データ２６を生成する際に、映像データの直前の映像データや直後の映像データを付加することができる。

上述してきたように、本実施形態に係る画像検出表示システムでは、監視カメラによって撮像された監視映像を取込映像データとして、動体検出等、第１検出条件に合致する映像データを検出した後、さらに、第１検出条件に付加された第１抽出条件による抽出処理を行うことにより検出結果を絞り込むことができるので、検出対象の画像が含まれる映像データを効率よく抽出することができる。

また、第１抽出条件の設定は、第１検出条件に合致した映像データを形成するフレームデータの画像を表示部４０に表示して、この画像を確認しながら入力部５０を操作して行うことができるので、条件の変更や追加を容易に行うことができる。

また、結果確認時の画面上には、検出された映像データのグループが一覧表示され、各グループの情報として、付帯情報抽出領域の画像やフレーム番号等の関連情報が表示される。また、映像データの再生時には、各グループの映像データを再生した画面と、この映像データに含まれる付帯情報抽出領域を拡大して再生した画面とが表示される。これにより、検出結果として得られた映像データや検出された抽出対象の画像を容易に確認することができる。

また、検出条件を満たす映像データをグループ化する際には、検出した映像データのみをグループとする態様の他、検出した映像データの直前や直後の映像データを付加したものをグループとすることもできる。また、検出結果として得られた複数グループの映像データの中から選択したグループのみを統合した映像データを生成して保存することができるので、重要な部分のみをまとめた映像データを保存しておくことができる。

以上のように、本発明に係る画像検出表示システム及び画像検出表示方法は、市街地や構造物に設置された監視カメラで撮像された複数の映像データに含まれる検出対象の映像データを効率よく確認する場合に有用である。

１０ Ｉ／Ｆ部
２０ 記憶部
３０ 制御部
３１ 検出条件設定部
３２ 移動体検出部
３３ 抽出条件設定部
３４ 画像抽出部
３５ データ再生処理部
４０ 表示部
５０ 入力部

Claims (9)

1. 映像データから検出対象を含む映像データを検出して前記検出対象の画像を表示する画像検出表示システムであって、
   前記検出対象を含む映像データのフレームデータ上で付帯情報抽出領域の指定を受け付けると共に、前記検出対象を含む映像データから前記付帯情報抽出領域に抽出対象を含む映像データのみを抽出するための抽出条件の設定を受け付ける抽出条件設定部と、
   前記検出対象を含む映像データから前記抽出条件を満たす映像データのみを抽出して、抽出した映像データを前記検出対象別及び／又は前記抽出対象別にグループ化する映像データ検出部と
   を備えたことを特徴とする画像検出表示システム。
2. 前記検出対象は移動体であり、
   前記画像検出表示システムの画面上には、各グループの映像データに含まれる前記移動体のサムネイル画像が表示されることを特徴とする請求項１に記載の画像検出表示システム。
3. 前記画像検出表示システムの画面上に、前記抽出対象を含む映像データの前記付帯情報抽出領域に含まれる前記抽出対象の画像がグループ別に表示されることを特徴とする請求項１又は２に記載の画像検出表示システム。
4. 映像データを保存する記憶部
   をさらに備え、
   前記映像データ検出部は、前記抽出対象を含む映像データに、該映像データの直前及び／又は直後の映像データを付加した映像データを前記記憶部に保存することを特徴とする請求項１、２又は３に記載の画像検出表示システム。
5. 前記抽出条件として、前記抽出対象の特徴情報を、付帯情報抽出領域毎に設定可能であることを特徴とする請求項１〜４のいずれか１項に記載の画像検出表示システム。
6. 前記抽出対象の特徴情報として、前記抽出対象の形状、大きさ、色及び輝度の少なくともいずれか１つを、画素数単位で設定可能であることを特徴とする請求項５に記載の画像検出表示システム。
7. 前記抽出条件設定部は、前記フレームデータ上で前記映像データに関する情報が表示される部分領域の指定を受け付けて、該部分領域を情報抽出用の付帯情報抽出領域として前記抽出条件にて設定して、
   前記映像データ検出部は、前記情報抽出用の付帯情報抽出領域から、前記抽出対象を含む映像データに関する情報を取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像検出表示システム。
8. 前記画像検出表示システムの画面上に、
   前記抽出対象を含む映像データに関する情報をグループ別に表示した一覧表と、
   前記一覧表に含まれるグループの映像データを再生する再生画面と、
   前記再生画面で再生中の映像データに含まれる抽出対象を拡大して再生する拡大再生画面と
   が表示されることを特徴とする請求項１〜７のいずれか１項に記載の画像検出表示システム。
9. 映像データから検出対象を含む映像データを検出して前記検出対象の画像を表示する画像検出表示システムによって実行する画像検出表示方法であって、
   前記検出対象を含む映像データのフレームデータ上で付帯情報抽出領域の指定を受け付けると共に、前記検出対象を含む映像データから前記付帯情報抽出領域に抽出対象を含む映像データのみを抽出するための抽出条件の設定を受け付ける抽出条件設定工程と、
   前記検出対象を含む映像データの解析を行って前記抽出条件を満たす映像データのみを抽出する映像データ抽出工程と、
   前記映像データ抽出工程で抽出された映像データを前記検出対象別及び／又は前記抽出対象別にグループ化するグループ化工程と
   を含んだことを特徴とする画像検出表示方法。

Images