JP2006148208A - 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置 - Google Patents

Abstract

【課題】動画のように刻々とオブジェクトの状態が変化するものにおいて、サムネイルを利用することで操作を容易にし、重要なオブジェクトのとり逃しを防止する。
【解決手段】センサーカメラ１０から送られてくる動画情報から動体検知モジュールによりオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、上記動体検知モジュールにより検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトをサムネイル表示部により代表フレームで抽出したサムネイルで表示する。また、上記動体検知モジュールによりオブジェクトとして検出された監視対象をズームカメラ２０により追跡して拡大撮像して得られる監視対象の動画を上記動画表示部により表示する。
【選択図】図１

Description

本発明は、動画情報からオブジェクトを検出する画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置に関し、例えば、２台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する監視システムなどに適用される。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。

近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照）。

特開平１０−１０８１６３号公報 特開２０００−２４３０６２号公報

ところで、特定の業務領域では画面の中から注目するオブジェクトを抽出し、そのオブジェクトに対してより高度なオペレーションを行う必要がある。上述の如き集中監視記録システムにおいて、画面上にオブジェクトを検出した場合に画面全体を抽出するのでは、何かしらのオブジェクトが検出されたフレームということで検索することはできても、自分が注目するオブジェクトに関連付けて操作することはできなかった。また、フレームをまたぐオブジェクトの同一性が判断できないので、刻々と状態が変化するオブジェクトに対してオペレーションを施すには、動画再生を一時停止するといった必要性があった。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、動画のように刻々とオブジェクトの状態が変化するものにおいて、サムネイルを利用することで操作を容易にし、重要なオブジェクトのとり逃しを防止することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明に係る画像処理装置は、入力された動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定する動体検出手段と、上記動体検出手段により検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するサムネイル表示手段と、上記サムネイル表示手段により表示されたサムネイルの選択による操作入力を受け付ける操作入力手段と、上記操作入力手段により受け付けた操作入力により選択されたサムネイルで示されるオブジェクトを含む動画を表示する動画表示手段とを備えることを特徴とする。

本発明に係る画像処理装置は、例えば、上記入力された動画情報とともに上記動体検出手段により検出されたオブジェクト情報を記録媒体に記録する記録手段をさらに備える。

また、本発明に係る画像処理装置は、例えば、監視領域全体を撮像する広域撮像手段と監視領域の監視対象を追跡して拡大撮像する追跡撮像手段とをさらに備え、上記広域撮像手段により得られる監視領域全体を撮像した動画情報から動きを伴う監視対象を上記動体検出手段によりオブジェクトとして検出し、上記動体検出手段によりオブジェクトとして検出された監視対象を上記追跡撮像手段により追跡して拡大撮像して得られる監視対象の動画を上記動画表示手段により表示する。

本発明に係る再生画像処理装置は、動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するオブジェクト情報とともに上記動画情報が記録された記録媒体から、上記オブジェクト情報とともに動画情報を再生する再生手段と、上記記録媒体から再生されたオブジェクト情報に基づいて、指定した期間内に存在するオブジェクトをサムネイルで一覧表示してオブジェクト検索を行う検索手段とを備えることを特徴とする。

本発明に係る画像処理方法は、入力された動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、上記検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示し、上記表示されたサムネイルの選択による操作入力を受け付け、上記受け付けた操作入力により選択されたサムネイルで示されるオブジェクトを含む動画を表示することを特徴とする。

本発明に係る画像処理方法では、さらに、上記入力された動画情報とともに上記検出されたオブジェクト情報を記録媒体に記録する。

本発明に係る再生画像処理方法は、動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するオブジェクト情報とともに上記動画情報が記録された記録媒体から、上記オブジェクト情報とともに動画情報を再生し、上記記録媒体から再生されたオブジェクト情報に基づいて、指定した期間内に存在するオブジェクトをサムネイルで一覧表示してオブジェクト検索を行うことを特徴とする。

本発明では、動画で検出されたオブジェクトをサムネイル表示する際に、各フレームのオブジェクトの同一性を検査し、代表フレームのサムネイルを利用することで、刻々と変化するオブジェクトの操作性を向上させることができる。

各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定が可能なシステムにおいて、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示し、そのサムネイルを利用してオブジェクトを特定してオペレーションを施すことで操作性が向上する。例えば、画面上を高速で移動する車を特定してパンチルトカメラで追尾させた場合、画面上の車をマウス等で指定するのは困難であるが、別途表示されたサムネイル画面で車を特定し、メニューで追尾コマンドを発行するのは比較的容易である。

録画された動画において、指定した期間内に存在するオブジェクトをサムネイルで一覧表示し、そのサムネイルを指定して再生を行うことで注目するオブジェクトが登場する場面を容易に検索できる。オブジェクトの同一性が特定できているため、一度消えたオブジェクトが再登場する場面まで動画をスキップするといった操作も容易に可能である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の集中監視記録システム１００に適用される。

この集中監視記録システム１００は、監視領域全体を撮像する広範囲を撮影可能なセンサーカメラ１０並びに監視領域内の監視領域の監視対象を追跡して拡大撮像するズームカメラ２０と、これらの各カメラ１０，２０をリモートでコントロールするクライアント３０と、それらを結ぶネットワーク４０で構成され、クライアント３０にはカメラの向き（パン／チルト）とズーム倍率と撮影を遠隔地からネットワーク４０を介して制御する機能が搭載されている。

上記クライアント３０は、その機能構成を図２に示すように、広範囲な撮影を行い、監視領域内の動体のセンサーとして上記センサーカメラ１０を利用するセンサー画像取得モジュール３１と、そのセンサー画像から動体の位置と大きさを抽出する動体検知モジュール３２と、上記動体検知モジュール３２により検出された動体をオブジェクトすなわち監視対象として、画角の位置、移動速度、大きさ等からパン／チルト／ズームなどの各種制御パラメータを決定して、その場所をズームカメラ２０に撮影させる撮影命令を出す追跡対象画像取得モジュール３４と、上記センサーカメラ１０及びズームカメラ２０による撮影結果を保存する画像データベース部３５と、上記センサーカメラ１０やズームカメラ２０による撮影結果及び上記画像データベース部３５から読み出される画像をクライアント３０で結果を表示する結果表示モジュール３８等が搭載されている。

上記結果表示モジュール３８は、その要部構成を図３に示すように、パノラマ画像表示部８１、動画表示部８２、サムネイル表示部８３及び検索部８４からなり、図４に示すように、センサーカメラ１０により撮像した監視領域全体を示すパノラマ画像をパノラマ画像表示部８１によりクライアント３０の表示画面５０のパノラマ表示領域５１に表示するとともに、ズームカメラ２０により撮像した監視領域内の監視対象を含む動画を動画表示部８２によりクライアント３０の表示画面５０の動画表示領域５２に表示し、上記動体検知モジュール３２により検出された監視対象すなわちオブジェクトをサムネイル表示部８３により一定の更新時間毎に更新しながらクライアント３０の表示画面５０のサムネイル表示領域５３に表示し、さらに、検索部８４によりクライアント３０の表示画面５０の検索表示領域５４に検索条件や検索ボタンを表示する。

ここで、サムネイル表示部８３は、サムネイル表示領域５３に表示した任意のサムネイル５３Ａ，５３Ｂ・・・上にマウスを置くと対応するオブジェクトが動画表示部８２で表示している動画表示領域５２中に存在すればそれをハイライト表示させる。サムネイル表示部８３によりサムネイル表示領域５３に表示されているオブジェクトは１つ手前の更新期間内の検出情報であるため、現在の動画表示領域５２には存在しない可能性もある。この場合は特にアクションを行わない。

また、検索部８４は検索表示領域５４で検索期間を指定して検索ボタンがクリックされると検索を実行し、この期間に検出されたオブジェクトのサムネイル一覧がサムネイル表示部８３によりサムネイル表示領域５３に表示される。このサムネイル表示領域５３に表示した任意のサムネイル５３Ａ，５３Ｂ・・・にマウスにより選択すると、そのオブジェクトが出現した時点から上記オブジェクトを含む動画が画像データベース部３５から再生されて動画表示部８２により動画表示領域５２に表示される。

この集中監視記録システム１００において、動体検知モジュール３２は、センサーカメラ１０のライブ撮影や動画ファイル再生から発生した動画ストリームのフレーム毎にオブジェクト検出を行い、オブジェクトの同一性を検査することによりフレームをまたぐオブジェクトを同定する。この動体検知モジュール３２によって検出されたオブジェクト情報は、動画表示部８２とサムネイル表示部８３に供給される。また、動体検知モジュール３２に供給された動画ストリームは、パノラマ画像表示部８１及び動画表示部８２に供給される。

サムネイル表示部８３は、上記動体検知モジュール３２によって検出したオブジェクトを一定の更新時間毎に更新しながらクライアント３０の表示画面５０のサムネイル表示領域５３に表示する。また、サムネイル表示部８３は、サムネイル表示領域５３上でオブジェクトを選択したときにハイライト表示するオブジェクトを指定するメッセージを動画表示部８２に供給する。

ここで、サムネイル表示部８３は、動体検知モジュール３２からフレームごとに送信されるオブジェクト情報の中から各オブジェクトごとの適切なオブジェクト情報を取捨選択する。この取捨選択作業はあらかじめ決められた更新期間内で行われその期間が終了しだい選択されたオブジェクト情報に含まれるサムネイルが表示される。マウス等でサムネイルが選択された時にそのサムネイルのオブジェクト情報が動画表示部８２にメッセージ送信される。

そして、動画表示部８２は、動画ストリームをリアルタイムに表示し、サムネイル表示部８３からメッセージを受信した場合に指定されたオブジェクトをハイライト表示する。なお、メッセージで受信したオブジェクトの位置や大きさ等の情報が現在表示中のフレームの実際のオブジェクトと一致していなくても最新のオブジェクト情報から対応する情報を取得して適切にハイライト表示することができる。

この集中監視記録システム１００では、センサーカメラ１０から送られてくる動画情報から動体検知モジュール３２によりオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、上記動体検知モジュール３２により検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトをサムネイル表示部８３により代表フレームで抽出したサムネイルで表示する。また、上記動体検知モジュール３２によりオブジェクトとして検出された監視対象をズームカメラ２０により追跡して拡大撮像して得られる監視対象の動画を上記動画表示部８２により表示する。そして、上記サムネイル表示部８３は、表示されたサムネイルの選択による操作入力を受け付け、操作入力により選択されたサムネイルで示されるオブジェクトを含む動画を動画表示部８２により表示する。

このように、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定が可能なシステムにおいて、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示し、そのサムネイルを利用してオブジェクトを特定してオペレーションを施すことで操作性が向上する。例えば、画面上を高速で移動する車を特定してパンチルトカメラで追尾させた場合、画面上の車をマウス等で指定するのは困難であるが、別途表示されたサムネイル画面で車を特定し、メニューで追尾コマンドを発行するのは比較的容易である。

さらに、この集中監視記録システム１００では、センサーカメラ１０やズームカメラ２０により得られた動画情報とともに上記動体検知モジュール３２により検出されたオブジェクト情報を画像データベース部３５に蓄積する。

そして、この集中監視記録システム１００では、上記画像データベース部３５に蓄積されたオブジェクト情報とともに動画情報を再生し、再生されたオブジェクト情報に基づいて、指定した期間内に存在するオブジェクトをサムネイルで一覧表示してオブジェクト検索を行う。

すなわち、検索部８４で検索期間を指定し検索要求を画像データベース部３５に対して行うと、検索結果のオブジェクト情報はサムネイル表示部８３によりサムネイル表示領域５３に一覧表示される。そして、サムネイル表示部８３は、サムネイル表示領域５３上でサムネイルが指定されると、そのオブジェクトの再生要求を画像データベース部３５におくる。画像データベース部３５はそのオブジェクトが出現した点から再生を開始し、動画表示部８２に送信して再生を開始する。

なお、サムネイル表示部８３については一定期間ごとに更新されるタイプではなく、過去に出現したオブジェクトを蓄積表示するものであっても良い。この場合、サムネイル表示部８３でオブジェクトを指定した場合、それが過去の情報であるほど動画表示部８２に表示されている可能性は低くなるが各ブロック間の動作は上述の場合と全く同一である。

このように録画された動画を再生する場合に、指定した期間内に存在するオブジェクトをサムネイルで一覧表示し、そのサムネイルを指定して再生を行うことで注目するオブジェクトが登場する場面を容易に検索できる。オブジェクトの同一性が特定できているため、一度消えたオブジェクトが再登場する場面まで動画をスキップするといった操作も容易に可能である。

本発明を適用した集中監視記録システムの構成を示すブロック図である。 上記集中監視記録システムにおけるクライアントの機能構成を示すブロック図である。 上記クライアントにおける結果表示モジュールの要部構成を示すブロック図である。 上記クライアントの表示画面に表示される表示内容を模式的に示す図である。

符号の説明

１０ センサーカメラ、２０ ズームカメラ、３０ クライアント、３１ センサー画像取得モジュール、３２ 動体検知モジュール、３４ 追跡対象画像取得モジュール、３５ 画像データベース部、３８ 結果表示モジュール、４０ ネットワーク、５０ 表示画面、５１ パノラマ表示領域、５２ 動画表示領域、５３ サムネイル表示領域、５３Ａ，５３Ｂ・・・ サムネイル、５４ 検索表示領域、８１ パノラマ画像表示部、８２ 動画表示部、８３ サムネイル表示部、８４ 検索部、１００ 集中監視記録システム

Claims (7)

1. 入力された動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定する動体検出手段と、
   上記動体検出手段により検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するサムネイル表示手段と、
   上記サムネイル表示手段により表示されたサムネイルの選択による操作入力を受け付ける操作入力手段と、
   上記操作入力手段により受け付けた操作入力により選択されたサムネイルで示されるオブジェクトを含む動画を表示する動画表示手段と
   を備えることを特徴とする画像処理装置。
2. さらに、上記入力された動画情報とともに上記動体検出手段により検出されたオブジェクト情報を記録媒体に記録する記録手段を備えることを特徴とする請求項１記載の画像処理装置。
3. さらに、監視領域全体を撮像する広域撮像手段と監視領域の監視対象を追跡して拡大撮像する追跡撮像手段とを備え、
   上記広域撮像手段により得られる監視領域全体を撮像した動画情報から動きを伴う監視対象を上記動体検出手段によりオブジェクトとして検出し、
   上記動体検出手段によりオブジェクトとして検出された監視対象を上記追跡撮像手段により追跡して拡大撮像して得られる監視対象の動画を上記動画表示手段により表示する請求項１記載の画像処理装置。
4. 動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するオブジェクト情報とともに上記動画情報が記録された記録媒体から、上記オブジェクト情報とともに動画情報を再生する再生手段と、
   上記記録媒体から再生されたオブジェクト情報に基づいて、指定した期間内に存在するオブジェクトをサムネイルで一覧表示してオブジェクト検索を行う検索手段と
   を備えることを特徴とする再生画像処理装置。
5. 入力された動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、
   上記検出されたオブジェクト情報に基づいて一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示し、
   上記表示されたサムネイルの選択による操作入力を受け付け、
   上記受け付けた操作入力により選択されたサムネイルで示されるオブジェクトを含む動画を表示することを特徴とする画像処理方法。
6. さらに、上記入力された動画情報とともに上記検出されたオブジェクト情報を記録媒体に記録することを特徴とする請求項５記載の画像処理方法。
7. 動画情報からオブジェクトを検出し、各フレームで検出したオブジェクトの同一性を検査することによりフレームをまたぐオブジェクトの同定し、一定期間内に出現した各オブジェクトを代表フレームで抽出したサムネイルで表示するオブジェクト情報とともに上記動画情報が記録された記録媒体から、上記オブジェクト情報とともに動画情報を再生し、
   上記記録媒体から再生されたオブジェクト情報に基づいて、指定した期間内に存在するオブジェクトをサムネイルで一覧表示してオブジェクト検索を行う
   ことを特徴とする再生画像処理方法。
   

Images