JP2009246836A - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像における特徴的な領域を速やかに特定することができる画像処理システムを提供すること。
【解決手段】画像処理システムは、異なるタイミングで撮像された複数の撮像画像を取得する画像取得部と、複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部と、複数の撮像画像の中から、一部の撮像画像を選択する画像選択部と、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけて出力する出力部とを備える。
【選択図】図２

Description

本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。

顔画像を取得する顔画像抽出装置において、入力映像を時間方向に間引いてフレームレートを変換して、フレームレートが変換された入力画像から人物の顔を抽出する顔画像抽出装置が知られている（例えば、特許文献１参照。）。この装置では、最も高い顔画像の評価値が得られると考えられる範囲の再生を指示する。また、ＲＯＩ領域を特定するための情報を符号化して、符号化した画像と、符号化した上記情報を明示的に含めて、符号化ストリームを生成する画像符号化装置が知られている（例えば、特許文献２参照。）。
特開２００６−３０３８９７号公報 特開２００６−１２９２４９号公報

上記特許文献に記載されたように、フレームを間引いて顔領域などのＲＯＩ領域を特定すると、間引かれて失われたフレームのＲＯＩ領域に関する情報を残すことができない。このため、ＲＯＩ領域を検出し損ねた場合には、正確なＲＯＩ領域を後で特定することできなくなる場合がある。

上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、異なるタイミングで撮像された複数の撮像画像を取得する画像取得部と、複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部と、複数の撮像画像の中から、一部の撮像画像を選択する画像選択部と、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけて出力する出力部とを備える。

本発明の第２の形態によると、画像処理方法であって、異なるタイミングで撮像された複数の撮像画像を取得する画像取得部と、複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部と、複数の撮像画像の中から、一部の撮像画像を選択する画像選択部と、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけて出力する出力段階とを備える。

本発明の第３の形態によると、画像処理システム用のプログラムであって、コンピュータを、異なるタイミングで撮像された複数の撮像画像を取得する画像取得部、複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部、複数の撮像画像の中から、一部の撮像画像を選択する画像選択部、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけて出力する出力部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、画像における特徴的な領域の画質を維持しながら画像の符号量を削減することを目的とする。なお、画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。

画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する複数の画像処理装置１２０ａおよび画像処理装置１２０ｂ（以下、画像処理装置１２０と総称する。）、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。

なお、画像処理装置１２０ａは、撮像装置１００ａおよび撮像装置１００ｂに接続されており、画像処理装置１２０ｂは、撮像装置１００ｃおよび撮像装置１００ｄに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。

撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有している。撮像部１０２ａは、異なるタイミングで連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。撮像部１０２ａは、複数の撮像画像を含む撮像動画を生成する。撮像動画圧縮部１０４ａは、撮像部１０２ａにより撮像された撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。

なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。なお、撮像装置１００ｂは、生成した撮像動画データを撮像装置１００ｂが接続されている画像処理装置１２０ａに出力する。また、撮像装置１００ｃおよび撮像装置１００ｄは、生成した撮像動画データを、画像処理装置１２０ｂに出力する。このようにして、画像処理装置１２０は、撮像装置１００により生成された撮像動画データを、それぞれが接続された撮像装置１００から取得する。

そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、画像処理装置１７０に送信すべき撮像画像を選択して、選択した撮像画像を圧縮した圧縮動画データを生成する。

また、画像処理装置１２０は、送信すべき撮像画像として選択された撮像画像から検出された特徴領域を特定する情報と、当該送信すべき撮像画像として選択されていない撮像画像から検出された特徴領域を特定する情報とを含む特徴領域情報を生成する。そして、画像処理装置１２０は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。

また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。

なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。

このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

また、画像処理システム１０によると、撮像画像を間引いて圧縮動画データを生成するので、通信ネットワーク１１０に送出する圧縮動画データのデータ量を低減することができる。一方で、画像処理システム１０によると、間引かれた撮像画像から検出された特徴領域の情報も圧縮動画データに付帯して画像処理装置１７０に送信するので、画像処理装置１７０において特徴領域の位置をより精密に検出し直したり、特徴領域の画像をより詳細に解析したりすることが容易になる。

図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０および画像処理部２００を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。

圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。このように、画像取得部２５０は、異なるタイミングで撮像された複数の撮像画像を取得する。

画像処理部２００は、圧縮動画伸張部２０２により生成された複数の撮像画像を含む撮像動画から特徴領域を検出して、検出した特徴領域の特徴に応じて当該撮像動画に圧縮処理を施して、画像処理装置１７０に出力する。以下に、画像処理部２００の動作の一例を説明する。

画像処理部２００は、特徴領域検出部２０３、圧縮制御部２１０、画像選択部２２０、重要度算出部２４０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を有する。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。

例えば、特徴領域検出部２０３は、動く物体を示すオブジェクトを含む領域を特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。

例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。

特徴領域検出部２０３は、検出した特徴領域を示す情報を、画像選択部２２０、圧縮制御部２１０、および重要度算出部２４０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、特徴領域が検出された撮像動画を識別する情報、および特徴領域の検出信頼度を含む。

画像選択部２２０は、複数の撮像画像の中から、一部の撮像画像を選択する。具体的には、画像選択部２２０は、画像処理装置１７０に送信すべき一部の撮像画像を選択する。例えば、画像選択部２２０は、複数の撮像画像の中から、撮像画像の撮像時刻に応じて一部の撮像画像を選択してよい。例えば、画像選択部２２０は、予め定められた時間間隔で撮像された一部の撮像画像を選択してよい。

他にも、画像選択部２２０は、複数の撮像画像の中から、予め定められた条件に適合する一部の撮像画像を選択してよい。また、画像選択部２２０は、特徴領域検出部２０３が検出した特徴領域の画像内容が予め定められた条件に適合する一部の撮像画像を選択してよい。また、画像選択部２２０は、特徴領域検出部２０３が検出した特徴領域の数が予め定められた値より多い一部の撮像画像を選択してよい。

重要度算出部２４０は、特徴領域検出部２０３が検出した複数の特徴領域のそれぞれの検出信頼度に基づいて、一部の撮像画像における複数の画像領域毎に、重要度を算出する。なお、重要度算出部２４０による重要度の算出方法については後に説明する。重要度算出部２４０は、算出した各画像領域の重要度を示す情報を圧縮制御部２１０に供給する。

圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報および重要度算出部２４０から取得した重要度を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。圧縮部２３０は、特徴領域検出部２０３により検出された特徴領域以外の領域、または重要度が予め定められた値より大きい領域以外の領域の画質を低減することによって、画像選択部２２０によって選択された一部の撮像画像を圧縮する。なお、圧縮部２３０は、圧縮された複数の撮像画像を複数含む圧縮動画を生成する。なお、圧縮部２３０のより具体的な圧縮動作については、後に説明する。

対応付け処理部２０６は、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づける。具体的には、対応付け処理部２０６は、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像を動画構成画像として含む圧縮動画に対応づける。なお、対応付け処理部２０６は、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報および一部の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけてよい。

なお、特徴領域を特定する情報は、一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報を含んでよい。また、特徴領域を特定する情報は、一部の撮像画像以外の撮像画像が撮像されたタイミングを示す情報を含んでよい。また、特徴領域を特定する情報は、一部の撮像画像以外の撮像画像から検出された特徴領域の大きさ（例えば、面積）を示す情報を含んでよい。

出力部２０７は、対応付け処理部２０６によって対応付けされた一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報を、画像処理装置１７０に出力する。このように、出力部２０７は、一部の撮像画像以外の撮像画像から検出された特徴領域を特定する情報および一部の撮像画像から検出された特徴領域を特定する情報を、一部の撮像画像に対応づけて出力する。例えば、出力部２０７は、一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報、一部の撮像画像以外の撮像画像が撮像されたタイミングを示す情報、あるいは一部の撮像画像以外の撮像画像から検出された特徴領域の大きさを示す情報を、一部の撮像画像に対応づけて出力することができる。

なお、対応付け処理部２０６による対応付け動作の他の例を以下に説明する。対応付け処理部２０６は、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報を、一部の撮像画像に対応づける。具体的には、対応付け処理部２０６は、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報を、一部の撮像画像を動画構成画像として含む圧縮動画に対応づける。なお、対応付け処理部２０６は、複数の撮像画像から検出された複数の特徴領域の少なくとも一部を含む領域を示す情報を、一部の撮像画像に対応づけてよい。

なお、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報は、複数の撮像画像から検出された複数の特徴領域を包含する領域を示す情報を含んでよい。また、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報は、複数の撮像画像から検出された複数の特徴領域の集合領域を示す情報を含んでよい。また、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報は、重要度算出部２４０が算出した重要度が予め定められた値より大きい画像領域を示す情報を含んでよい。

なお、重要度算出部２４０は、特徴領域検出部２０３が検出した複数の特徴領域のそれぞれ検出信頼度に基づいて、複数の撮像画像から検出された複数の特徴領域の集合領域における複数の画像領域毎に、重要度を算出する。例えば、重要度算出部２４０は、集合領域における複数の画像領域毎に当該画像領域を含む特徴領域の検出信頼度を加算した加算値を算出して、当該加算値に基づいて集合領域における複数の画像領域毎に重要度を算出する。例えば、重要度算出部２４０は、加算値が大きいほどより大きい重要度を算出してよい。また、重要度算出部２４０は、加算値に応じて予め定められた重要度を、複数の画像領域毎に算出してよい。

このようにして、出力部２０７は、複数の撮像画像から検出された複数の特徴領域を含む領域を示す情報を、一部の撮像画像に対応づけて出力する。より具体的には、出力部２０７は、複数の撮像画像から検出された複数の特徴領域を包含する領域を示す情報、複数の撮像画像から検出された複数の特徴領域の集合領域を示す情報、あるいは集合領域を示す情報および重要度算出部２４０が算出した重要度を、一部の撮像画像に対応づけて出力することができる。

なお、対応付け処理部２０６は、一部の撮像画像以外の撮像画像から検出された特徴領域の特徴の種類を示す情報を、一部の撮像画像に対応づけてもよい。また、対応付け処理部２０６は、一部の撮像画像以外の撮像画像から検出された特徴領域に含まれるオブジェクトの種類を示す情報を、一部の撮像画像に対応づけてもよい。このようにして、出力部２０７は、一部の撮像画像以外の撮像画像から検出された特徴領域の特徴の種類を示す情報、または一部の撮像画像以外の撮像画像から検出された特徴領域に含まれるオブジェクトの種類を示す情報を、一部の撮像画像に対応づけて出力することができる。

図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。圧縮部２３０は、以下に説明するように、特徴領域と特徴領域以外の領域とを異なる画質で圧縮する。

なお、図３、図４、および図６の説明における"複数の撮像画像"は、圧縮部２３０による圧縮対象の撮像動画として、画像選択部２２０から圧縮部２３０に供給された撮像画像であってよい。つまり、本図の以下の説明における"複数の撮像画像"は、画像選択部２２０によって選択された一部の撮像画像であってよい。また、以下の説明における"特徴領域"は、画像選択部２２０によって選択された一部の撮像画像から検出された特徴領域と、当該一部の撮像画像以外の撮像画像から検出された特徴領域とを含む領域であってよい。例えば、以下の説明における"特徴領域"は、上述した包含領域または集合領域であってよい。

画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。より具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。

具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。

固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。

なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。

なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。

なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。

図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、合成部３３０、特徴領域処理部３５０、および出力部３４０を備える。圧縮画像取得部３０１は、圧縮部２３０により圧縮された撮像画像を含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。

そして、対応付け解析部３０２は、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域処理部３５０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。

以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）、合成部３３０、および出力部３４０を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。

合成部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、１つの表示動画を生成する。具体的には、合成部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、１つの表示動画を生成する。合成部３３０によって生成された表示動画は、特徴領域処理部３５０に供給される。

特徴領域処理部３５０は、表示動画において、特徴領域に関連する画像処理または特徴領域の画像を解析する。特徴領域処理部３５０により処理された表示動画は、出力部３４０に供給される。出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。

図５は、特徴領域処理部３５０のブロック構成の一例を示す。特徴領域処理部３５０は、特徴領域画像選択部３５２、特徴領域特定部３５４、信頼度算出部３５６、関連性算出部３５８、および画像処理部３６０を有する。

特徴領域画像選択部３５２は、合成部３３０から供給された表示動画に含まれる複数の撮像画像を取得する。このように、特徴領域画像選択部３５２は、一部の撮像画像以外の撮像画像から検出された特徴領域を示す情報が対応づけて出力された一部の撮像画像を、特徴領域を有する撮像画像として選択する。このように、特徴領域画像選択部３５２により一部の撮像画像以外の撮像画像から特徴領域が検出されている撮像画像を選択される。以後の処理においては、それらの特徴領域の情報を用いて、表示動画に対して処理が施される。

特徴領域特定部３５４、信頼度算出部３５６、および関連性算出部３５８は、特徴領域画像選択部３５２によって選択された撮像画像および対応付け解析部３０２から供給される特徴領域の情報を取得する。特徴領域特定部３５４は、特徴領域画像選択部３５２によって選択された撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、当該一部の撮像画像から特徴領域を特定する。例えば、特徴領域特定部３５４は、一部の撮像画像以外の撮像画像から検出された特徴領域の位置の近傍の領域から、当該一部の撮像画像における特徴領域を特定してよい。

このように、特徴領域特定部３５４は、出力部２０７から一部の撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、当該一部の撮像画像から特徴領域を特定することができる。これにより、画像処理装置１７０は、より高い精度で特徴領域を検出し直すことができる。

なお、特徴領域特定部３５４は、対応付け解析部３０２から集合領域を示す情報を取得して、一部の撮像画像における当該集合領域内から特徴領域を検出し直してもよい。このように、特徴領域特定部３５４は、一部の撮像画像に対応づけて出力された集合領域を示す情報に基づいて、当該一部の撮像画像から特徴領域を特定することができる。このように、画像処理装置１７０は、一部の撮像画像以外の領域から検出された特徴領域が示す画像領域からも、特徴領域を特定することができる。このため、画像処理システム１０によると、一部の撮像画像から特徴領域を検出し損ねる確率を低減しつつ、画像処理装置１７０における特徴領域を特定する特定対象領域を狭めることができる。このため、画像処理装置１７０は、高速かつ高精度で特徴領域を特定することができる。

信頼度算出部３５６は、特徴領域画像選択部３５２によって選択された撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、一部の撮像画像における特徴領域の検出信頼度を算出する。例えば、信頼度算出部３５６は、一部の撮像画像以外の撮像画像から検出された特徴領域の位置との間の位置の差が予め定められた値より小さい一部の撮像画像における特徴領域の検出信頼度を、より高く算出してよい。

例えば、信頼度算出部３５６は、一部の撮像画像以外の撮像画像から検出された特徴領域との間で、予め定められた値より高い位置の相関性を有する位置に検出されている一部の撮像画像における特徴領域の検出信頼度を、より高く算出してよい。このように、信頼度算出部３５６は、出力部２０７から一部の撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、一部の撮像画像における特徴領域の検出信頼度を算出することができる。これにより、画像処理装置１７０は、一部の撮像画像において検出された特徴領域の確からしさを再確認することができる。

関連性算出部３５８は、特徴領域画像選択部３５２によって選択された撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、異なる一部の撮像画像から検出された特徴領域の関連性を算出する。例えば、関連性算出部３５８は、異なる一部の撮像画像に対応づけて出力された特徴領域の位置の連続性がより高い場合に、より高い特徴領域の関連性を算出する。また、関連性算出部３５８は、異なる一部の撮像画像の間において、当該異なる一部の撮像画像に対応づけて出力された特徴領域の位置が示す特徴領域の移動方向の一致度が予め定められた値より大きい場合に、より高い特徴領域の関連性を算出してよい。

このように、関連性算出部３５８は、出力部２０７から一部の撮像画像に対応づけて出力された一部の撮像画像以外の撮像画像から検出された特徴領域の位置を示す情報に基づいて、異なる一部の撮像画像から検出された特徴領域の関連性を算出する。このため、画像処理装置１７０は、表示動画に含まれる異なる撮像画像において同じ移動体が検出されている特徴領域を、より高い精度で特定することができる。

画像処理部３６０は、特徴領域特定部３５４が特定した特徴領域の情報、信頼度算出部３５６が算出した検出信頼度、および関連性算出部３５８が算出した関連性を取得する。画像処理部３６０は、特徴領域特定部３５４が特定した特徴領域を強調する画像処理を表示動画に施してよい。例えば、画像処理部３６０は、特徴領域特定部３５４が特定した特徴領域を示す枠などのマーカを、表示動画に重畳してよい。なお、画像処理部３６０は、特徴領域特定部３５４が特定した特徴領域を、信頼度算出部３５６が算出した検出信頼度がより高いほどより強調する画像処理を、表示動画に施してよい。

また、画像処理部３６０は、関連性算出部３５８が算出した関連性が予め定められた値より高い特徴領域の組と、他の特徴領域の組とを視覚的に区別することができる上記マーカを、表示動画に重畳してよい。例えば、画像処理部３６０は、関連性が予め定められた値より高い特徴領域の組を示すマーカとしての同色のマーカを、表示動画に重畳させてよい。また、画像処理部３６０は、異なる特徴領域の組を示すマーカとしての異なる色のマーカを、表示動画に重畳してよい。画像処理部３６０は、画像処理を施した表示動画を出力部３４０に供給する。

図６は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。

本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。

画質変換部５１０は、画像選択部２２０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。

例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。

そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。

なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。

階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。

また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。

階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。

なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。

なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。

なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。

以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。

また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。

以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。

図７は、撮像装置１００によって撮像された撮像画像７００の一例を示す。複数の撮像画像７００−１〜２０（以後、撮像画像７００と総称する。）は、撮像装置１００によって撮像された撮像画像を示す。撮像装置１００は、予め定められた基準撮像レートより高い撮像レートで被写体を連続的に撮像してよい。例えば、撮像部１０２は、表示装置１８０が表示することができる表示レートより高いレートの撮像レートで被写体を撮影してよい。他にも、撮像部１０２は、監視対象である監視対象物の動き速度に応じて予め定められた基準撮像レートより高い撮像レートで被写体を連続的に撮像してよい。

なお、特徴領域検出部２０３は、撮像画像７００のそれぞれから、特徴領域７１０−１〜２０（以後、特徴領域７１０と総称する。）および特徴領域７２０−１〜２０（以後、特徴領域７２０と総称する。）を検出している。そして、画像選択部２２０は、撮像画像７００のうち、連続して撮像された予め定められた数の撮像画像７００の中から１つずつ、画像処理装置１７０に出力すべき撮像画像７００を選択する。

本図では、画像選択部２２０は、一例として連続する十個の撮像画像７００を含む組のそれぞれから、出力すべき撮像画像７００を１つずつ選択している。具体的には、画像選択部２２０は、撮像画像７００−１〜１０の中から、撮像画像７００−５を選択しており、撮像画像７００−１１〜２０の中から、撮像画像７００−１５を選択している。

対応付け処理部２０６は、特徴領域７１０−１〜１０の位置および特徴領域の種類を示す情報、特徴領域７２０−１〜１０の位置および特徴領域の種類を示す情報、およびそれらの特徴領域７１０−１〜１０および特徴領域７２０−１〜１０が検出された撮像画像７００−１〜１０が撮像された撮像タイミングを示す情報を、撮像画像７００−５を識別する情報に付帯する。なお、撮像画像７００−５を識別する情報は、撮像画像７００を含む撮像動画において撮像画像７００−５を識別するフレームＩＤであってよく、画像処理装置１７０に出力される撮像画像７００の中で撮像画像７００−５を識別するフレームＩＤであってもよい。同様に、対応付け処理部２０６は、特徴領域７１０−１１〜２０の位置および特徴領域の種類を示す情報、特徴領域７２０−１１〜２０の位置および特徴領域の種類を示す情報、およびそれらの特徴領域７１０−１１〜２０および特徴領域７２０−１１〜２０が検出された撮像画像７００−１１〜２０が撮像された撮像タイミングを示す情報を、撮像画像７００−１５を識別する情報に付帯する。

図８は、撮像画像７００−５に付帯された情報の一例を示す。対応付け処理部２０６は、特徴領域７１０−５および特徴領域７２０−５の位置を示す情報の一例として、特徴領域７１０−５および特徴領域７２０−５の位置を示す座標を付帯する。具体的には、対応付け処理部２０６は、特徴領域７１０−５および特徴領域７２０−５が矩形である場合、当該矩形の対角の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を付帯する。なお、これらの矩形の対角を示す情報により、矩形の特徴領域の形および大きさも同時に規定される。

また、対応付け処理部２０６は、特徴の種別を識別する識別番号を付帯してよい。例えば、対応付け処理部２０６は、特徴領域７１０−５の識別番号としてｔｙｐｅ＝２を示す情報を、特徴領域７２０−５の識別番号としてｔｙｐｅ＝１を示す情報を付帯する。また、対応付け処理部２０６は、撮像画像７００−５が撮像された時刻ｔ＝ｘｘｘを付帯する。なお、上記の説明では、対応付け処理部２０６が撮像画像７００−５から検出された特徴領域の情報を付帯する場合を例に挙げて、対応付け処理部２０６の動作を説明したが、対応付け処理部２０６は、撮像画像７００−５に対応づけられる他の撮像画像７００から検出された特徴領域の情報についても、同様の情報を付帯する。

図９は、特徴領域特定部３５４が特徴領域を特定する画像領域を示す。特徴領域特定部３５４は、画像選択部２２０により選択された撮像画像９００に付帯された特徴領域の位置情報を対応付け解析部３０２から取得する。なお、以後の説明では、撮像画像９００に付帯された特徴領域の矩形の対角の頂点の座標から算出された特徴領域の重心位置９０１、重心位置９０２、重心位置９０４、および重心位置９０５を用いて、特徴領域特定部３５４の動作を説明する。

なお、本図の例では、特徴領域検出部２０３は撮像画像９００から特徴領域を検出できなかったとする。つまり、重心位置９０１、重心位置９０２、重心位置９０４、および重心位置９０５は、画像選択部２２０により選択されなかった撮像画像から検出された特徴領域の重心位置を示す。特徴領域特定部３５４は、上記の撮像タイミングを示す情報から、特徴領域の重心が重心位置９０１、重心位置９０２、重心位置９０４、および重心位置９０５の順で時間的に移動していることを検出する。したがって、特徴領域特定部３５４は、重心位置９０２および重心位置９０４の間に存在する点を含む画像領域９１０から、特徴領域を特定する。

なお、特徴領域特定部３５４は、重心位置９０１、重心位置９０２、重心位置９０４、および重心位置９０５の座標から、撮像画像９００が撮像されたタイミングにおける特徴領域の重心位置の座標を特定してよい。そして、特徴領域特定部３５４は、当該特定した座標が示す点を含む画像領域９１０から、特徴領域を特定してもよい。

なお、特徴領域特定部３５４は、撮像画像９００に付帯された特徴領域の矩形の対角の頂点の座標から、特徴領域の大きさおよび形を推定することができる。そして、特徴領域特定部３５４は、特定した特徴領域の大きさがより大きい場合に、より大きい画像領域９１０から特徴領域を特定してよい。例えば、特徴領域特定部３５４は、複数の特徴領域の大きさの最大値または平均値がより大きい場合に、より大きい画像領域９１０から特徴領域を特定してよい。また、特徴領域特定部３５４は、特定した特徴領域の形状と相似する形状の画像領域９１０から、特徴領域を特定してもよい。

以上説明したように、特徴領域特定部３５４は、特徴領域を特定する領域を限定することができる。このため、特徴領域特定部３５４は、高速に特徴領域を特定することができる。

図１０は、撮像画像１０００に付帯された特徴領域の位置から算出された重心位置の他の一例を示す。重心位置１００１、重心位置１００２、重心位置１００４、および重心位置１００５は、画像選択部２２０により選択されなかった撮像画像から検出された特徴領域の重心位置を示す。そして、重心位置１００３は、撮像画像１０００において検出された特徴領域の重心位置を示す。

この場合、信頼度算出部３５６は、撮像画像１０００に付帯された特徴領域の重心位置の差に基づいて、撮像画像１０００から検出された特徴領域の検出信頼度を算出する。信頼度算出部３５６は、重心位置１００１、重心位置１００２、重心位置１００４、および重心位置１００５から推定される特徴領域の移動方向から、撮像画像１０００から検出されるべき特徴領域の位置を推定して、推定された特徴領域の重心位置と重心位置１００３の位置の差を算出する。信頼度算出部３５６は、当該位置の差の大きさがより大きい場合に、撮像画像１０００から検出された特徴領域の検出信頼度をより高く算出する。

このようにして、信頼度算出部３５６は、検出信頼度を容易に算出することができる。このため、画像処理部３６０は、検出信頼度に応じた適切な画像処理を施すことができる。なお、特徴領域特定部３５４は、信頼度算出部３５６が検出した検出信頼度が予め定められた値より低い場合には、撮像画像１０００におけるより広い画像領域から特徴領域を特定してもよい。これにより、特徴領域特定部３５４が特徴領域を特定し損ねてしまう確率を低減することができる。

図１１は、撮像画像に付帯された複数種類の特徴領域のそれぞれの位置から算出された重心位置の一例を示す。撮像画像１１０１、撮像画像１１０２、および撮像画像１１０３は、画像選択部２２０によって選択された撮像画像であるとする。撮像画像１１０１から検出された第１種類の特徴領域の重心位置は重心位置１１１１であり、撮像画像１１０１から検出された第２種類の特徴領域の重心位置は重心位置１１２１であるとする。

また、撮像画像１１０２から検出された第１種類の特徴領域の重心位置は重心位置１１１２であり、撮像画像１１０２から検出された第２種類の特徴領域の重心位置は重心位置１１２２であるとする。また、撮像画像１１０３から検出された第１種類の特徴領域の重心位置は重心位置１１１３であり、撮像画像１１０３から検出された第２種類の特徴領域の重心位置は重心位置１１２３であるとする。

なお、関連性算出部３５８は、撮像画像１１０１、撮像画像１１０２、および撮像画像１１０３に対応づけられた、画像選択部２２０によって選択されなかった撮像画像から検出された特徴領域の位置から、それらの重心位置を算出することができる。本図においては、符号が付されていない×印によりそれらの重心位置が示されている。

関連性算出部３５８は、算出された重心位置の連続性から、これら撮像画像１１０１、撮像画像１１０２、および撮像画像１１０３から検出された特徴領域の関連性を算出する。本図の例では、重心位置１１１１、重心位置１１１２、および重心位置１１１３を結ぶ線の近傍には、より多くの重心位置が並ぶ。このような場合、関連性算出部３５８は、重心位置１１１１、重心位置１１１２、および重心位置１１１３に重心位置がある複数の特徴領域の間の関連性をより高く算出する。同様にして、関連性算出部３５８は、重心位置１１２１、重心位置１１２２、および重心位置１１２３に重心位置がある複数の特徴領域の間の関連性をより高く算出する。

このように、関連性算出部３５８により、複数の撮像画像における特徴領域の関連性を適切に算出することができる。このため、画像処理部３６０は、例えば人物と車両が交錯するような動画が送られてきた場合であっても、両者を速やかに区別することができる。場合によっては、画像処理部３６０は、画像認識をすることなく、両者を区別することができる。また、画像処理部３６０は、関連性が低い特徴領域を一目で区別することができるようなマーキング処理を撮像画像に施したりすることができる。

図１２は、撮像画像１２００における集合領域の一例を示す。本図において、特徴領域１２１０、特徴領域１２２０、および特徴領域１２３０は、画像選択部２２０により選択されなかった撮像画像および画像選択部２２０により選択された撮像画像のいずれかから、特徴領域検出部２０３によって検出された特徴領域を示す。なお、特徴領域１２１０の検出信頼度はｐ１であり、特徴領域１２２０の検出信頼度はｐ２であり、特徴領域１２３０の検出信頼度はｐ３であるとする。なお、検出信頼度は、その大きさが大きいほど信頼度が高いとする。

重要度算出部２４０は、特徴領域１２１０、特徴領域１２２０、および特徴領域１２３０に異なる含まれ方で含まれる領域毎に、重要度を算出する。例えば、重要度算出部２４０は、特徴領域１２１０、特徴領域１２２０、および特徴領域１２３０の集合領域を、他の特徴領域に含まれない特徴領域１２１０内の第１領域と、他の特徴領域に含まれない特徴領域１２２０内の第２領域と、他の特徴領域に含まれない特徴領域１２３０内の第３領域と、特徴領域１２１０および特徴領域１２２０にだけ含まれる第４領域と、特徴領域１２１０および特徴領域１２３０にだけ含まれる第５領域と、特徴領域１２２０および特徴領域１２３０にだけ含まれる第６領域と、特徴領域１２１０、特徴領域１２２０、および特徴領域１２３０に含まれる第７領域に分ける。

そして、重要度算出部２４０は、上記７個の領域のそれぞれについて、重要度を算出する。具体的には、重要度算出部２４０は、上記７個の領域のそれぞれについて、それぞれの領域が含まれる特徴領域の検出信頼度を合計した合計値を算出する。重要度算出部２４０は、当該合計値が大きいほど、より大きい重要度を算出する。

そして、対応付け処理部２０６は、予め定められた値より大きい重要度が算出された領域を示す情報を、画像選択部２２０によって選択された撮像画像１２００に対応づけてよい。例えば、対応付け処理部２０６は、集合領域のうち、本図において斜線で示した第４領域、第６領域、および第７領域を示す情報を、当該選択された撮像画像１２００に対応づけてよい。また、圧縮部２３０は、予め定められた値より大きい重要度が算出された領域を、図３または図６で説明した特徴領域として扱うことによって、当該領域の画質が他の領域より高い圧縮動画を生成してよい。

このように、重要度算出部２４０が算出した重要度が予め定められた値より大きい領域を撮像画像に対応づけて出力するので、画像処理装置１７０において特徴領域を特定すべく画像認識をする対象領域をより狭めることができる。このため、画像処理装置１７０においてより高速に特徴領域を特定することができる。

図１３は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。

画像処理部８０４は、それぞれ画像処理部２００と同一の構成を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理部２００に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理部２００に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１３にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。

図１４は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１３に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図１４に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる画像処理システム１０の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 圧縮部２３０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 特徴領域処理部３５０のブロック構成の一例を示す図である。 圧縮部２３０の他のブロック構成の一例を示す図である。 撮像装置１００によって撮像された撮像画像７００の一例を示す図である。 撮像画像７００−５に付帯される情報の一例を示す図である。 特徴領域特定部３５４が特徴領域を特定する画像領域を示す図である。 特徴領域の位置から算出された重心位置の他の一例を示す図である。 複数種類の特徴領域のそれぞれの位置から算出された重心位置の一例を示す図である。 撮像画像における集合領域の一例を示す図である。 他の実施形態に係る画像処理システム２０の一例を示す図である。 画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。

符号の説明

１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像動画圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２００ 画像処理部
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 圧縮制御部
２２０ 画像選択部
２３０ 圧縮部
２３２ 画像分割部
２３４ 固定値化部
２３６ 圧縮処理部
２４０ 重要度算出部
２５０ 画像取得部
３０１ 圧縮画像取得部
３０２ 対応付け解析部
３１０ 伸張制御部
３２０ 伸張部
３２２ 復号器
３３０ 合成部
３４０ 出力部
３５０ 特徴領域処理部
３５２ 特徴領域画像選択部
３５４ 特徴領域特定部
３５６ 信頼度算出部
３５８ 関連性算出部
３６０ 画像処理部
５１０ 画質変換部
５２０ 差分処理部
５２２ 階層間差分処理部
５３０ 符号化部
５３２ 符号器
７００ 撮像画像
７１０ 特徴領域
７２０ 特徴領域
８０４ 画像処理部
９００ 撮像画像
９０１ 重心位置
９０２ 重心位置
９０４ 重心位置
９０５ 重心位置
１０００ 撮像画像
１０００ 撮像画像
１００１ 重心位置
１００２ 重心位置
１００３ 重心位置
１００４ 重心位置
１００５ 重心位置
１１０１ 撮像画像
１１０２ 撮像画像
１１０３ 撮像画像
１１１１ 重心位置
１１１２ 重心位置
１１２１ 重心位置
１１２２ 重心位置
１１１３ 重心位置
１１２３ 重心位置
１２００ 撮像画像
１２１０ 特徴領域
１２２０ 特徴領域
１２３０ 特徴領域
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (20)

1. 異なるタイミングで撮像された複数の撮像画像を取得する画像取得部と、
   前記複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部と、
   前記複数の撮像画像の中から、一部の撮像画像を選択する画像選択部と、
   前記一部の撮像画像以外の撮像画像から検出された前記特徴領域を特定する情報を、前記一部の撮像画像に対応づけて出力する出力部と
   を備える画像処理システム。
2. 前記出力部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置を示す情報を、前記一部の撮像画像に対応づけて出力する
   請求項１に記載の画像処理システム。
3. 前記出力部は、前記一部の撮像画像以外の撮像画像が撮像されたタイミングを示す情報を、前記一部の撮像画像に対応づけて出力する
   請求項２に記載の画像処理システム。
4. 前記出力部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の大きさを示す情報を、前記一部の撮像画像に対応づけて出力する
   請求項３に記載の画像処理システム。
5. 前記特徴領域検出部は、前記複数の撮像画像から、特徴の種類が異なる複数の特徴領域を検出し、
   前記出力部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の特徴の種類を示す情報を、前記一部の撮像画像に対応づけて出力する
   請求項４に記載の画像処理システム。
6. 前記特徴領域検出部は、前記複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出し、
   前記出力部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域に含まれるオブジェクトの種類を示す情報を、前記一部の撮像画像に対応づけて出力する
   請求項５に記載の画像処理システム。
7. 前記特徴領域検出部は、動く物体を示すオブジェクトを含む領域を、前記特徴領域として検出する
   請求項６に記載の画像処理システム。
8. 前記画像選択部は、前記複数の撮像画像の中から、予め定められた条件に適合する前記一部の撮像画像を選択する
   請求項７に記載の画像処理システム。
9. 前記画像選択部は、前記特徴領域検出部が検出した特徴領域の画像内容が予め定められた条件に適合する前記一部の撮像画像を選択する
   請求項８に記載の画像処理システム。
10. 前記画像選択部は、前記特徴領域検出部が検出した特徴領域の数が予め定められた値より多い前記一部の撮像画像を選択する
    請求項８に記載の画像処理システム。
11. 前記一部の撮像画像以外の撮像画像から検出された前記特徴領域を示す情報が対応づけて出力された前記一部の撮像画像を、特徴領域を有する撮像画像として選択する特徴領域画像選択部
    をさらに備える請求項１に記載の画像処理システム。
12. 前記出力部から前記一部の撮像画像に対応づけて出力された前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置を示す情報に基づいて、当該一部の撮像画像から特徴領域を特定する特徴領域特定部
    をさらに備える請求項２に記載の画像処理システム。
13. 前記特徴領域特定部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置の近傍の領域から、当該一部の撮像画像における特徴領域を特定する
    請求項１２に記載の画像処理システム。
14. 前記出力部から前記一部の撮像画像に対応づけて出力された前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置を示す情報に基づいて、前記一部の撮像画像における前記特徴領域の検出信頼度を算出する信頼度算出部
    をさらに備える請求項２に記載の画像処理システム。
15. 前記信頼度算出部は、前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置との間の位置の差が予め定められた値より小さい前記一部の撮像画像における前記特徴領域の検出信頼度をより高く算出する
    請求項１４に記載の画像処理システム。
16. 前記出力部から前記一部の撮像画像に対応づけて出力された前記一部の撮像画像以外の撮像画像から検出された前記特徴領域の位置を示す情報に基づいて、異なる前記一部の撮像画像から検出された前記特徴領域の関連性を算出する関連性算出部
    をさらに備える請求項２に記載の画像処理システム。
17. 前記関連性算出部は、異なる前記一部の撮像画像に対応づけて出力された前記特徴領域の位置の連続性がより高い場合に、より高い前記特徴領域の関連性を算出する
    備える請求項１６に記載の画像処理システム。
18. 前記関連性算出部は、異なる前記一部の撮像画像の間において、当該異なる一部の撮像画像に対応づけて出力された前記特徴領域の位置が示す前記特徴領域の移動方向の一致度が予め定められた値より大きい場合に、より高い前記特徴領域の関連性を算出する
    備える請求項１７に記載の画像処理システム。
19. 異なるタイミングで撮像された複数の撮像画像を取得する画像取得部と、
    前記複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部と、
    前記複数の撮像画像の中から、一部の撮像画像を選択する画像選択部と、
    前記一部の撮像画像以外の撮像画像から検出された前記特徴領域を特定する情報を、前記一部の撮像画像に対応づけて出力する出力段階と
    を備える画像処理方法。
20. 画像処理システム用のプログラムであって、コンピュータを、
    異なるタイミングで撮像された複数の撮像画像を取得する画像取得部、
    前記複数の撮像画像のそれぞれから特徴領域を検出する特徴領域検出部、
    前記複数の撮像画像の中から、一部の撮像画像を選択する画像選択部、
    前記一部の撮像画像以外の撮像画像から検出された前記特徴領域を特定する情報を、前記一部の撮像画像に対応づけて出力する出力部
    として機能させるプログラム。

Images