JP2008048243A - 画像処理装置、画像処理方法および監視カメラ - Google Patents

Abstract

【課題】重要領域の位置、大きさが変化する場合であっても、画像データの効果的な圧縮処理を可能とする。
【解決手段】撮像信号処理部１０３で得られる画像データＶＤを、画像データ処理部１０４および画像データ圧縮部１０５に供給する。画像データ処理部１０４は、画像データＶＤを処理し、この画像データＶＤによる画像から重要領域ＤＩを検知する。例えば、動き領域、不動体領域、画像認識された人物、車等の所定領域のいずれか、またはそれらの領域の所定の組み合わせを、重要領域ＤＩとする。画像データ圧縮部１０５は、画像データＶＤに対してデータ圧縮処理を行って、監視カメラ１００の出力としての圧縮画像データＶＤＣを生成する。このデータ圧縮処理を重要領域ＤＩの情報に基づいて行い、重要領域ＤＩのデータ圧縮率は他の領域のデータ圧縮率より低く抑える。
【選択図】図１

Description

この発明は、ＩＰ(InternetProtocol)伝送を用いた監視カメラシステムに適用して好適な画像処理装置、画像処理方法および監視カメラに関する。詳しくは、この発明は、入力画像データを処理して画像の重要領域を検知し、この検知出力に基づいて重要領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑えることによって、重要領域の位置、大きさが変化する場合であっても画像データを効果的に圧縮できるようにした画像処理装置等に係るものである。

監視カメラシステムでは、従来から使われてきたアナログシステムに代わって、ＩＰ伝送を用いたシステムが新たに商品化されてきている。ＩＰ化することによって大規模なシステムが構築できるようになったが、伝送容量(帯域)の削減と記録(ストレージ)容量の削減が大きな課題となっている。

ＩＰ伝送時の圧縮方式(コーデック)は、監視カメラ以外でも一般的に用いられているＪＰＥＧ(Joint PhotographicExperts Group)方式、ＭＰＥＧ（Moving Picture Experts Group）方式が主流であって、特殊な圧縮方式は用いられない。ＪＰＥＧ方式は、監視カメラの台数が多くフレームレートが低くなってしまう場合には有効な方式であり、ＭＰＥＧ方式は画像解像度を落としてでも動画像を確認したい場合に有効な方式である。

通常のＴＶ放送の画像などとは異なり、監視カメラ画像は、異常状態を監視・モニタリングすることが目的であり、本来であれば異常な状態のみ記録できればよい。しかしながら現状の動き領域検知などの機能は完全ではないために、検知した状態の画像のみを記録する方式はあまり用いられず、結果として常時記録されることが多く、記録容量の削減には至っていない。

特許文献１には、例えばこのような常時記録において、記録容量の削減を効果的に行い得る技術が開示されている。この技術は、画像から重要領域を選択する領域選択手段を備え、重量領域を構成する画像データを低圧縮率で圧縮し、非重要領域を構成する画像データを高圧縮率で圧縮するという技術である。この場合、重量領域を構成する画像データは低圧縮率で圧縮されるので重要領域の画質をそれほど低下させずに済む。一方、非重要領域を構成する画像データは高圧縮率で圧縮されるので、伝送容量、記録容量は削減される。
特開平１０−２１０４６７号公報

特許文献１に記載される技術は、上記したように効果的に伝送容量、記録容量を削減できる。しかし、この技術では、重要領域はユーザが領域選択手段、例えばポインティングデバイスを利用して選択するものであり、この重要領域が特許文献１に記載されているように固定している場合には何ら問題はないが、重要領域の位置や大きさが変化する場合には対処できないという問題がある。

この発明の目的は、重要領域の位置、大きさが変化する場合であっても、画像データの効果的な圧縮を可能にすることにある。

この発明の概念は、
入力画像データを処理することで、該入力画像データによる画像から重要領域を検知する領域検知部と、
上記入力画像データに対してデータ圧縮処理を行って圧縮画像データを出力する画像データ圧縮部を備え、
上記画像データ圧縮部は、上記領域検知部の検知出力に基づいて、上記重要領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑える
ことを特徴とする画像処理装置にある。

この発明においては、例えば撮像部からの入力画像データが処理され、当該入力画像データによる画像から重要領域、例えば動き領域、不動体領域（物体の発生領域、物体の消失領域）、画像認識処理による所定領域等が検知される。なお、各領域が並行して検知され、最終的な重要領域が、検知された各領域のいずれかまたはそれらの領域の所定の組み合わせとされてもよい。また、重要領域の検知が、ユーザ操作部で設定された条件、例えば重要領域の色、図柄、検知の仕方等に基づいて行われるようにしてもよい。

入力画像データに対してデータ圧縮の処理が行われるが、上述した重要領域の検知出力に基づき、重要領域のデータ圧縮率は他の領域のデータ圧縮率より低く抑えられる。この場合、重要領域の位置、大きさが変化する場合であっても、当該重要領域を検知して、重要領域と非重要領域とでデータ圧縮率を変化させるものであり、画像データの効果的な圧縮が可能となる。

例えば、領域検知部は、あるフレームで重要領域を検知するとき、続く複数のフレームで重要領域を検知しない場合であっても、あるフレームで検知される重要領域の範囲と移動速度に基づいて重要領域を推定して検知出力とするようにしてもよい。この場合、例えば動き領域の検知、画像認識処理による所定領域の検知にあって検知漏れが断続的に発生した場合であっても、重要領域でデータ圧縮率が低く抑えられることが継続され、見易い安定した画像を得ることが可能となる。またこの場合、例えば不動体検知部の不動体領域（物体の発生領域、物体の消失領域）の検知にあって、検知後でも当該不動体領域が重要領域とされてデータ圧縮率が低く抑えられることが継続され、当該不動体領域を見易い画像で監視することが可能となる。

また例えば、領域検知部は、あるフレームで動き領域を検知するとき、続く複数のフレームで動き領域を検知しない場合であっても、あるフレームで検知される動き領域を重要領域とするようにしてもよい。この場合、動体が停止し当該動体領域が動き領域として検知されなくなっても、この停止した動体の領域が重要領域とされてデータ圧縮率が低く抑えられることが継続され、当該停止した動体を見易い画像で監視することが可能となる。

この発明によれば、入力画像データを処理して画像の重要領域を検知し、この検知出力に基づいて重要領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑えるものであり、重要領域の位置、大きさが変化する場合であっても画像データの効果的な圧縮処理を行うことができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての監視カメラ１００の構成を示している。この監視カメラ１００は、撮像レンズ１０１と、撮像素子１０２と、撮像信号処理部１０３と、画像データ処理部１０４と、画像データ圧縮部１０５と、出力端子１０６とを有している。

撮像レンズ１０１は、例えばマスタレンズ、焦度調整用レンズ、変倍レンズなどにより構成されている。この撮像レンズ１０１の焦度調整用レンズ、変倍レンズは、撮像信号処理部１０３からの制御信号に基づき、図示しない駆動部により駆動され、フォーカス調整、ズーム倍率調整が行われる。撮像素子１０２は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。

撮像信号処理部１０３は、撮像素子１０２から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換を行い、さらにホワイトバランス調整、ガンマ補正等を行って画像データＶＤを生成する。また、この撮像信号処理部１０３は、上述したように撮像レンズ１０１の焦度調整用レンズ、変倍レンズを駆動する駆動部に制御信号を供給する制御部も備えている。撮像レンズ１０３、撮像素子１０４および撮像信号処理部１０３は撮像部を構成している。

画像データ処理部１０４は、撮像信号処理部１０３で生成された画像データを処理して、この画像データによる画像から重要領域を検知する。ここで、画像データ処理部１０４は、動き領域を検知する動体検知部と、不動体領域（物体の発生領域、物体の消失領域）を検知する不動体検知部と、画像認識処理により所定領域、例えば人物領域、車領域等を検知する画像認識検知部を有し、最終的な重要領域を、各検知部で検知された領域のいずれかまたは各検知部で検知された領域の所定の組み合わせとする。この画像データ処理部１０４は、重要領域ＤＩを検知する領域検知部を構成している。

図２は、画像データ処理部１０４の具体的な構成を示している。この画像データ処理部１０４は、制御部１１１、ユーザ操作部１１２、入力端子１１３、動体検知部１１４、不動体検知部１１５、画像認識検知部１１６、選択組み合わせ部１１７、保持・追尾機能部１１８および出力端子１１９を有している。

制御部１１１は全体の動作を制御する。ユーザ操作部１１２は、ユーザが種々の入力を行うために操作するユーザインターフェースを構成している。このユーザ操作部１１２は、制御部１１１に接続されている。

ユーザは、このユーザ操作部１１２により、重量領域を検知するための条件を設定できる。画像データ処理部１０４は、上記したように各検知部で検知された領域のいずれかまたは各検知部で検知された領域の所定の組み合わせを最終的な重要領域とするものであり、ユーザは、このユーザ操作部１１２を操作して、重要領域を、各検知部で検知された領域のいずれにするか、あるいは各検知部で検知された領域の所定の組み合わせとするか、という検知の仕方を選択できる。また、ユーザは、このユーザ操作部１１２を操作して、各検知部で検知される領域の色、図柄などを選択できる。また、ユーザは、このユーザ操作部１１２を操作して、画像認識検知部１１６で画像認識すべき対象物、例えば人物、車などを選択できる。

動体検知部１１４は、入力端子１１３に入力される画像データＤＶを処理することで、この画像データＤＶによる画像から動き領域を検知する。不動体検知部１１５は、入力端子１１３に入力される画像データＤＶを処理することで、この画像データＤＶによる画像から不動体領域（物体の発生領域、物体の消失領域）を検知する。また、画像認識検知部１１６は、入力端子１１３に入力される画像データＤＶに基づき画像認識処理を行って所定領域を検知する。これら動体検知部１１４、不動体検知部１１５および画像認識検知部１１６の具体例については後述する。

選択組み合わせ部１１７は、検知部１１４〜１１６で検知された領域Ｄａ〜Ｄｃに基づいて最終的な重要領域ＤＩ′を出力する。この選択組み合わせ部１１７では、上述したユーザ操作部１１２からのユーザ選択により、重要領域ＤＩ′として、例えば、（１）動体検知部１１４で検知された領域Ｄａ、（２）不動体検知部１１５で検知された領域Ｄｂ、（３）画像認識検知部１１６で検知された領域Ｄｃ、（４）動体検知部１１４で検知された領域Ｄａであって、かつ画像認識検知部１１６で検知された領域Ｄｃ、などを出力する。

保持・追尾機能部１１８は、選択組み合わせ部１１７から出力される重要領域ＤＩ′を重要領域ＤＩとして出力端子１１９に出力する。また、保持・追尾機能部１１８は、選択組み合わせ部１１７からあるフレームで重要領域ＤＩ′が出力されるが、それに続く複数のフレームで重要領域ＤＩ′が出力されないとき、あるフレームで出力される重要領域ＤＩ′の範囲と移動速度（方向情報も含む）に基づいてそれに続く各フレームの重要領域を推定し、この推定された重要領域を重要領域ＤＩとして出力端子１１９に出力する。

ここで、保持・追尾機能部１１８は、あるフレームで出力される重要領域ＤＩ′の移動速度が０でないときは、その移動速度に基づき、追尾機能によって、各フレームの重要領域を順次移動していく。一方、保持・追尾機能部１１８は、あるフレームで出力される重要領域ＤＩ′の移動速度が０であるときは、保持機能によって、各フレームの重要領域をあるフレームの重要領域と同じ領域とする。

また、保持・追尾機能部１１８は、選択組み合わせ部１１７が上述した（１）動体検知部１１４で検知された領域Ｄａを選択する状態にあり、あるフレームで重要領域ＤＩ′が出力されるが、それに続く複数のフレームで重要領域ＤＩ′が出力されないとき、あるフレームで出力される重要領域ＤＩ′をそのまま重要領域ＤＩとして出力端子１１９に出力する。

ここで、動体検知部１１４の具体例（特願２００４−２６６０１２号参照）を説明する。図３は、動体検知部１１４の具体例を示している。この動体検知部１１４は、入力端子１２１、過去画像保持部１２２、フレーム間差分処理部１２３、背景画像保持部１２４、フレーム間差分処理部１２５、変化連続性検出部１２６および出力端子１２７を有している。

入力端子１２１は、画像データＶＤを入力するための端子である。過去画像保持部１２２は、過去数フレームの画像データを過去画像データ群として保持する。フレーム間差分処理部１２３は、過去画像保持部１２２に保持されている過去数フレームの画像データと、入力端子１２１に入力される現フレームの画像データとの差分値を求める。

背景画像保持部１２４は、背景画像の画像データを保持する。フレーム間差分処理部１２５は、背景画像保持部１２４に保持されている背景画像の画像データと、入力端子１２１に入力される現フレームの画像データとの差分を検出し、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域を検出する。

上述したフレーム間差分処理部１２３は、このフレーム間差分処理部１２５で検出された領域に基づき、差分値を求める処理を、当該検出領域のみで行い、高速な処理を実現すると共に、動き領域として過去に動体が存在していた領域（残像領域）が検出されることを防止する。

変化連続性検出部１２６は、フレーム間差分処理部で求められた数フレーム分の差分値に基づいて、画素毎に、変化連続性を検出して、動き領域か否かを検出する。この場合、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理を行い、閾値を越えた状態が一定時間以上継続した場合には、動き領域を構成する画素であるとする。

この変化連続性検出部１２６における検出処理について、図４（Ａ）〜（Ｃ）を参照して、さらに説明する。この図４（Ａ）〜（Ｃ）は、ある画素における数フレーム分の差分値を、横軸に過去フレームの時間、縦軸にそれぞれの過去フレームでの差分値を示している。

ある画素に物体（動体）が無い場合、図４（Ａ）に示すように、数フレーム分の差分値は小さい状態が継続したものとなる。次に、ある画素に時刻ｔ１のフレームで物体が進入してきて、現フレームでも当該物体が存在する場合、図４（Ｂ）に示すように、時刻ｔ１以前のフレームの差分値は大きく、それ以後のフレームの差分値は小さくなる。次に、ある画素に木の葉や波等の揺らぎ（周期的な動き）がある場合、図４（Ｃ）に示ように、差分値はランダムに変動する。

このように、ある画素に物体が進入してきた場合には、図４（Ｂ）に示すように、一定時間の間、差分値が大きい状態におかれる。そのため、変化連続性検出部１２６は、差分値が大きなフレームの連続数がカウントされ、その値が所定数を越えるとき、動き領域を構成する画素であるとする。

なお、ある画素に木の葉や波等の揺らぎがある場合には、図４（Ｃ）に示ように、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。また、差分値の図示は省略するが、ある画素に物体の進入によらない輝度変化（単発的な動き）がある場合も、上述した木の葉や波等の揺らぎ（周期的な動き）がある場合と同様に、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。これにより、動き領域として、突発的あるいは周期的な動き領域が除かれ、画像内に進入してきた物体の領域のみ検出可能となる。

変化連続性検出部１２６は、上述したように動き領域を構成する画素とした各画素に対して隣接画素との結合処理等によるラベリングを行って動き領域Ｄａを検知し、その情報を出力端子１２７に出力する。

図３に示す動体検知部１１４の動作を説明する。入力端子１２１には画像データＶＤが入力される。この画像データＶＤは背景画像保持部１２４に供給され、物体が存在していない状態における画像データＶＤが背景画像の画像データとして保持される。

入力端子１２１に入力される画像データＶＤはフレーム間差分処理部１２５に供給される。そして、フレーム間差分処理部１２５では、背景画像保持部１２４に保持されている背景画像の画像データと、入力端子１２１に入力される現フレームの画像データとの差分値が検出され、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域が検出される。

入力端子１２１に入力される画像データＶＤが過去画像保持部１２２に供給され、この過去画像保持部１２２には過去数フレーム分の画像データが過去画像データ群として保持される。

入力端子１２１に入力される画像データＶＤがフレーム間差分処理部１２３に供給される。そして、このフレーム間差分処理部１２３では、過去画像保持部１２２に保持されている過去数フレームの画像データと、入力端子１２１に入力される現フレームの画像データとの差分値が求められる。この場合、上述のフレーム間差分処理部１２５で検出された領域に基づき、差分値を求める処理は、当該検出領域のみで行われ、処理の高速化が図られ、また残像領域の検出が防止される。

このようにフレーム間差分処理部１２３で求められた数フレーム分の差分値は変化連続性検出部１２６に供給される。この変化連続性検出部１２６では、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理が行われ、閾値を越えた状態が一定時間以上継続した場合には、動き領域を構成する画素であるとする決定が行われる。

そして、この変化連続性検出部１２６では、上述したように動き領域を構成する画素とした各画素に基づいて隣接画素との結合処理などのラベリングが行われて動き領域Ｄａが検知される。この動き領域Ｄａの情報は出力端子１２７に出力される。

次に、不動体検知部１１５の具体例（特願２００５−１５７５８８号参照）を説明する。この例は、基準背景画像の更新方法として、重み付き混合正規分布を用いるものである。

図５は、不動体検知部１１５の具体例を示している。この不動体検知部１１５は、入力端子１３１、重み付き混合正規分布算出部１３２、上位重み抽出部１３３、クラス分類部１３４、基準輝度値更新部１３５、変化後輝度値検出部１３６、クラス遷移判別部１３７、比較部１３８、不動体検知判定部１３９および出力端子１４０を有している。

入力端子１３１は、画像データＶＤを入力するための端子である。重み付き混合正規分布算出部１３２は、画素毎に、輝度値が複数個の輝度正規分布のいずれに属するかを判定し、複数個の輝度正規分布のそれぞれについての重みを更新すると共に、平均値を更新する。そして、この重み付き混合正規分布算出部１３２は、その算出結果（少なくとも各分布の重みおよび平均値（平均輝度値））を上位重み抽出部１３３に供給する。

ここで、輝度正規分布の平均値および重みの更新についてさらに説明する。

現在（時点ｔ）の画素の輝度Ｘｔの確率Ｐ（Ｘｔ）は、一般に、（１）式のように表すことができる。

この（１）式における確率密度関数ηは、（２）式のように表すことができる。

各画素の輝度は、ｋ個（ｋは正の整数）の正規分布のいずれに属するかを探す。例えば、１画素の輝度データが８ビットで表される画像データの場合、図６（Ａ）に示すような４個の輝度正規分布を用意し、各画素の輝度が、当該４個の輝度正規分布のどれに属するかを探す。

ある画素の輝度Ｘｔが、例えば、その輝度正規分布の平均値μk±２σk以内の値であるか否か判定し、以内であれば当該輝度正規分布に属していると判定し、以外であれば当該輝度正規分布に属していないと判定する。もしも、いずれの輝度正規分布にも属さないときには、ｋ個の輝度正規分布のうち後述する重みが最も小さい輝度正規分布の平均値μを、そのときの画素の輝度Ｘｔに置き換える。

そして、画素毎に、当該画素の輝度Ｘｔが属した輝度正規分布の重みを大きく、属さなかった輝度正規分布の重みを小さくするように、各輝度正規分布の重みωk,tを更新する。すなわち、例えば、画素の輝度Ｘｔが属した輝度正規分布の重みωk,tは、以下の（３）式にしたがって更新し、また、属さなかった輝度正規分布の重みωk,tは、以下の（４）式にしたがって更新する。なお、（３）式および（４）式において、αは重みの更新速度であり、０≦α≦１である。

そして、各輝度正規分布の平均値μtと分散σは、以下の（５）式、（６）式、（７）式に基づいて、更新される。

以上により、各画素について、複数個の輝度正規分布のそれぞれの重みωk,tの情報が、図６（Ｂ）に示すように更新されてゆく。

上位重み抽出部１３３は、複数個の輝度正規分布のうち、重みの大きさが上位２個の分布の重みをクラス分類部１３４に供給すると共に、重みが最大である分布の平均輝度値を基準輝度値更新部１３５および変化後輝度値検出部１３６に供給する。

クラス分類部１３４は、重みの大きさが上位２個の分布の重みを用い、以下の（８）式および（９）式に基づいて、現時点における画素の輝度の変化状態についてクラス分類し、その分類結果のクラスの情報をクラス遷移判別部１３７に供給する。

重みの大きさが上位２個の分布の重みを用いたクラス分類について説明する。この場合、重みの大きさの上位２つの輝度正規分布の重みの関係、特にこの実施の形態では、上位２つの輝度正規分布の重みの比に基づいてクラス分類をする。上位２つの輝度正規分布の重みのうち、重みの大きさが大きい方をｗｂ、小さい方をｗｓとしたときに、（８）式であらわされる比ｒの値に基づいてクラス分類する。

ｒ＝ｗｂ／ｗｓ ・・・（８）

この場合、比ｒ＝１および１近傍のときには、画素の輝度は、上位２つの輝度正規分布のどちらに属するかが不安定な状態であるので、不安定クラスとする。

そして、比ｒが所定値以上であれば、上位２つの輝度正規分布の重みに大きな違いがあり、いずれの輝度正規分布に画素の輝度が属するかは安定に判定できるので、安定クラスとする。そして、安定クラスと、不安定クラスとの中間の状態は、中間クラスとする。

比ｒの値に対する各クラス分けのための閾値は、例えば試行錯誤により決定される。この実施の形態では、例えば、（９）式で示されるものとする。

不安定クラス ； １≦ｒ＜１．１〜１．２

中間クラス ； １．１〜１．２≦ｒ＜１．５

安定クラス ； １．５≦ｒ

・・・（９）

クラス遷移判別部１３７は、クラス分類部１３４からのクラスの情報の時間的な遷移を判別する。そして、クラス遷移判別部１３７は、この実施形態では、判別したクラス遷移に基づいて、基準輝度値の更新タイミング信号Ｓstおよび輝度変化検出タイミング信号Ｓchを生成する。

図７に、上位２つの重みの比に基づいて、画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときの遷移状態を示す。この図７では、便宜上、安定クラスをＡ、中間クラスをＢ、不安定クラスをＣとし、遷移状態を表す値、遷移状態値をＳＴＡＴＥ＿Ｘとする。ここで、遷移状態値ＳＴＡＴＥ＿ＸにおけるＸは、不安定クラスＣになったときには、Ｃ（ＳＴＡＴＥ＿Ｃ）となるが、その他のときには、前のクラスの状態を考慮した値とされる。

すなわち、ＳＴＡＴＥ＿ＡおよびＳＴＡＴＥ＿Ｂは、初期状態がＡクラスおよびＢクラスの場合の遷移状態値である。初期状態がＣクラスのときにも遷移状態値は、ＳＴＡＴＥ＿Ｃとなる。ＳＴＡＴＥ＿ＢＡは、ＡクラスからＢクラスに遷移したとき、または、ＢクラスからＡクラスに遷移したときの遷移状態値である。ＳＴＡＴＥ＿ＣＢは、ＢクラスからＣクラスに遷移したとき、または、ＣクラスからＢクラスに遷移したときの遷移状態値である。さらに、ＳＴＡＴＥ＿ＣＢＡは、ＡクラスからＢクラス、さらにＣクラスに遷移したとき、または、ＣクラスからＢクラス、さらにＡクラスに遷移したときの遷移状態値である。

初期状態の遷移状態値をＳＴＡＴＥ＿Ａとし、例えば安定→中間→不安定と遷移した場合、遷移状態値はＳＴＡＴＥ＿ＡからＳＴＡＴＥ＿ＢＡ、さらにＳＴＡＴＥ＿Ｃと変化する。

また、例えば、ＳＴＡＴＥ＿Ａは、最大重みの分布が変わらず、変化がないことを示す。また、ＳＴＡＴＥ＿ＣＢＡは、重みの大きさが２番目から最大に変化した分布であることを示し、いままで、監視領域中に在った物がなくなったか、新たに静止状態のものが監視領域内に入ったことを表している。

したがって、不動体を検知するタイミング、つまり、輝度変化検出タイミングは、この実施形態では、遷移状態値がＳＴＡＴＥ＿ＣＢＡであるときとする。そして、この実施形態では、安定性を上げるため、クラス遷移判別部１３７は、遷移状態値がＳＴＡＴＥ＿ＣＢＡになったときに即座に輝度変化検出タイミングとするのではなく、ＳＴＡＴＥ＿ＣＢＡの状態がある所定時間継続したときを輝度変化検出タイミングとして、輝度変化検出タイミング信号Ｓchを生成し出力する。

例えば、この実施の形態では、輝度変化検出（不動体検出）は、画像データの毎フレームではなく、例えば４フレームごとに行なうようにしており、ＳＴＡＴＥ＿ＣＢＡの状態が、例えば３０回（４秒）続いた後を、輝度変化検出タイミングとする。

ここで、図８の例について説明する。この例は、監視領域に車が入ってきて停止した場合における上位２つの重みの推移に関連して、上述した３つのクラスを示したものである。この図８において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は、時刻ｔで、重みｗ１＿ｔと輝度（輝度正規分布の平均値）ｍ１＿ｔとを持つ背景を表し、ｆ２（ｗ２＿ｔ，ｍ２＿ｔ）は、時刻ｔで、重みｗ２＿ｔと輝度（輝度正規分布の平均値）ｍ２＿ｔとを持つ車を表している。重みも、輝度（輝度正規分布の平均値）も、上述した（５）式、（６）式、（７）式により時間ｔの経過に伴って更新される。

図８に示すように、最初は、背景の重みｗ１＿ｔが大きく、停車すると徐々に車の重みｗ２＿ｔが増し、それに伴い背景の重みｗ１＿ｔが減り、最終的には車の重みｗ２＿ｔが最大になる。したがって、重みが一番大きい輝度正規分布の平均値（輝度）の変化、すなわち、図８の場合であれば、ｍ１＿ｔとｍ２＿ｔの差を検知すれば、注目画素の部分が背景から停止している車に変化したことがわかる。

図８の例において、時点ｔ２は遷移状態値がＳＴＡＴＥ＿ＣＢＡになった時刻であり、輝度変化検出タイミングは、時点ｔ３である。また、クラス遷移判別部１３７は、基準輝度値を更新するタイミングを、上位２つの重みの関係が不安定クラスであって、かつ、前回の遷移状態値が、かつて安定したクラスに属していたことを示すＳＴＡＴＥ＿ＢＡかＳＴＡＴＥ＿ＣＢＡの場合とする。そして、クラス遷移判別部１３７は、この基準輝度値の更新タイミングの時点で、基準輝度値の更新タイミング信号Ｓstを生成する。この更新タイミングの時点は、図８の例であれば、時点ｔ１のタイミングである。

ただし、クラス遷移判別部１３７は、上述した滞在時間の短い物を不動体として検出しないようにするために、更新タイミングの時点と判定される時点であっても、前回の輝度変化検出タイミング信号Ｓchの生成時点から指定滞在時間以上経過していないときには、基準輝度値の更新タイミング信号Ｓstは生成せず、基準輝度値は更新しないようにする。

このために、この実施形態では、基準輝度値の更新を許可するかどうかを示すフラグ（以下、「更新フラグ」という）を用意する。この更新フラグは、初期状態では「ｆａｌｓｅ（＝偽）」として、更新を許可する状態とする。すなわち、更新タイミング時点において、この更新フラグを参照し、更新フラグが「ｆａｌｓｅ」の時には、更新タイミング信号Ｓstを生成して出力することを許可する。

そして、この実施形態では、基準輝度値を更新タイミングで更新したときに、つまり、更新タイミング信号Ｓstを出力したときに、更新フラグを「ｔｒｕｅ（＝真）」として、更新の禁止状態にする。クラス遷移判別部１３７は、更新フラグが「ｔｒｕｅ」の状態のときには、更新タイミング信号Ｓstを出力しない。

クラス遷移判別部１３７では、検出すべき不動体の指定滞在時間以上、更新フラグが「ｔｒｕｅ」の状態が継続したときには、「ｆａｌｓｅ」に戻して、更新タイミング信号Ｓstの出力を許可するようにする。また、クラス遷移判別部１３７は、画素の輝度変化がないと判断できるときに、更新フラグを「ｔｒｕｅ」から「ｆａｌｓｅ」の状態に戻すようにしてもよい。

以上のようにして、クラス遷移判別部１３７は、基準輝度値の更新タイミング信号Ｓstを生成し、この基準輝度値の更新タイミング信号Ｓstを基準輝度値更新部１３５に供給する。基準輝度値更新部１３５は、この基準輝度値の更新タイミング信号Ｓstにより、重みが最大である輝度正規分布の平均値を、基準輝度値として取得して更新する。

また、クラス遷移判別部１３７は、上述のようにして生成した輝度変化検出タイミング信号Ｓchを変化後輝度値検出部１３６に供給する。変化後輝度値検出部１３６は、この輝度変化検出タイミング信号Ｓchにより、重みが最大である輝度正規分布の平均値を、変化後輝度値として取得する。

そして、基準輝度値更新部１３５で更新された基準輝度値が比較部１３８に供給されると共に、変化後輝度値検出部１３６で取得された変化後輝度値が比較部１３８に供給される。さらに、クラス遷移判別１３７からの輝度変化検出タイミング信号Ｓchが、比較タイミング信号としてこの比較部１３８に供給される。比較部１３８では、変化後輝度値検出部１３６で取得された変化後輝度値と、基準輝度値更新部１３５で更新された基準輝度値とが比較されて、両者に有意差があるかどうか判定され、その比較判定結果が不動体検知判定部１３９に供給される。

不動体検知判定部１３９は、比較部１３８からの比較判定結果を受けて、当該比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示しているときに、そのときの時間、例えばフレーム番号を不動体検知時間として保存する。そして、不動体検知判定部１３９は、比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示している状態が、その後継続しているときには、予め定められた時間後、不動体を検知した状態となる。

上述した図８の例について、上述した不動体の検知処理動作をさらに説明する。図８において、初期状態ｔ＝ｔ０では更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。図８に示す時点ｔ＝ｔ１では、更新フラグは「ｆａｌｓｅ」であり、上位２つの重みの関係から、画素の輝度の状態は不安定クラスであり、かつ、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、更新タイミング信号Ｓstが発生され、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。

そして、時点ｔ＝ｔ３では、輝度変化検出タイミング信号Ｓchが発生するので、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。このとき、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３との間には、有意差があるので、そのときの時間、例えばフレーム番号が検知時間として保存される。そして、その後変化がなければ、不動体を検知した状態となる。

次に、一旦静止した物が、指定した滞在検知時間に満たずに移動した場合につき、図９の例を用いて説明する。この図９の例において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は背景についての、ｆ２（ｗ２＿ｔ,ｍ２＿ｔ）は車についての、重みの変化を示す。初期状態ｔ０では、更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。

時点ｔ１では、上位２つの重みの関係は、不安定クラスの状態で、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。そして、時点ｔ３では、基準輝度値ｍ１＿ｔ１と、変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。次の時点ｔ４では、前の輝度変化検出タイミング時点ｔ３から指定滞在時間以内にあるので、更新フラグは「ｆａｌｓｅ」に戻されることなく、「ｔｒｕｅ」のままとされる。そのため、この時点ｔ４では、基準輝度値の更新は行われない。

したがって、このときには次の輝度変化検出タイミングである時点ｔ６では、基準輝度値ｍ１＿ｔ１と、当該時点ｔ６での変化後輝度値ｍ１＿ｔ６とが比較されるので、画素の輝度値の変化はないとされる。このようにして、指定滞在時間よりも短い時間停止で移動する物の場合には、不動体を検知した状態とはならない。

不動体検知判定部１３９は、上述した不動体検知処理を画素単位で行っている。この不動体検知判定部１３９では、上述した画素単位の不動体検知処理が終了すると、画素単位で検知した検知領域をまとめるために検知フラグを基に、ブロック化処理を行う。このブロック化処理は、例えば、縦×横＝４×４画素の範囲を１つのブロックとした場合に、そのブロック中に検知画素が半分以上あれば、そのブロック内の画素の全部を不動体として検知したことにし、反対に、上述のブロック中に検知画素が半分未満ならば、そのブロック内の画素は不動体とは検知しなかったことにする。この場合、ブロック範囲の動かし方は、1画素ずつずらしていってもよいし、あるいは４画素飛ばしでもよい。

不動体検知判定部１３９では、上述したようにブロック検知領域に対して、隣接画素との結合処理などのラベリングが行われて不動体領域Ｄｂが検知される。この不動体領域Ｄｂの情報は出力端子１４０に出力される。

次に、画像認識検知部１１６の具体例を説明する。図１０は、画像認識検知部１１６の具体例の構成を示している。この例は、人の頭部を所定領域として検知するものである。

この画像認識検知部１１６は、入力端子１７１、横方向エッジ検出部１７２、縦方向エッジ検出部１７３、横方向線分検出部１７４、縦方向線分検出部１７５、エッジ密度算出部１７６、エッジ角度算出部１７７、頭頂マッチング部１７８、頭側マッチング部１７９、ヘッド中央解析部１８０、頭部輪郭マッチング部１８１、胴体縦エッジ位置検出部１８２、結果結合部１８３および出力端子１８４を有している。

入力端子１７１は、画像データＶＤを入力するための端子である。横方向エッジ検出部１７２は、画像データＶＤによる画像から横方向のエッジを検出する。縦方向エッジ検出部１７３は、画像データＶＤによる画像から縦方向のエッジを検出する。

横方向線分検出部１７４は、横方向エッジ検出部１７２のエッジ検出画像から小領域、例えば１６×１６画素を順次取り出し、横方向のエッジの長さが一定範囲にある線分を検出する。頭頂マッチング部１７８は、横方向線分検出部１７４で検出された線分が頭部の上部の水平線となりうるかどうかを判定する。この場合、人の頭頂部はそれ以外に水平方向のエッジが近傍にないことが条件となるので、単一の線分が存在するというパターンとのマッチングを取って、その一致度が高いものほど、頭頂部らしさが高いと判定する。

縦方向線分検出部１７５は、縦方向エッジ検出部１７３のエッジ検出画像から小領域、例えば１６×１６画素を順次取り出し、縦方向のエッジの長さが一定範囲にある線分を検出する。頭側マッチング部１７９は、縦方向線分検出部１７５で検出された線分が顔の左右の縦エッジとなりうるかどうかを判定する。この場合、縦方向の線分がある間隔で２つ存在するというパターンとのマッチングをとり、その一致度が高いものほど、顔の両端らしさが高いと判定する。

エッジ密度算出部１７６は、横方向エッジ検出部１７２のエッジ検出画像および縦方向エッジ検出部１７３のエッジ検出画像に基づいて、画像の上述した各小領域のエッジ密度を算出する。顔の内部は目・鼻・口など複雑な形状をしているので、エッジ密度が高くなる。ヘッド中央解析部１８０は、エッジ密度算出部１７６で算出されたエッジ密度によって、各小領域が顔の中央部である確からしさを求める。

エッジ角度算出部１７７は、横方向エッジ検出部１７２のエッジ検出画像および縦方向エッジ検出部１７３のエッジ検出画像に基づいて、各エッジの角度（向き）を算出する。頭部輪郭マッチング部１８１は、エッジ密度算出部１７６で算出された各小領域のエッジ密度とエッジ角度算出部１７７で算出された各エッジの角度（向き）に基づいて、頭部輪郭位置を推定する。

胴体縦エッジ位置検出部１８２は、縦方向エッジ検出部１７３のエッジ検出画像に基づいて、例えば縦方向のエッジがある間隔で２つ存在するというパターンとのマッチングをとることで、胴体左右両端の縦エッジ位置を検出する。

結果結合部１８３は、頭頂マッチング部１７８、頭側マッチング部１７９、ヘッド中央解析部１８０、頭部輪郭マッチング部１８１および胴体縦エッジ位置検出部１８２から出力される、画像の各小領域における頭頂部、頭部横両端、顔内部、頭部輪郭、胴体左右である確からしさの情報により、人の頭部領域を検知する。

図１０に示す画像認識検知部１１６の動作を説明する。入力端子１７１には画像データＶＤが入力される。この画像データＶＤは横方向エッジ検出部１７２および縦方向エッジ検出部１７３に供給される。横方向エッジ検出部１７２では画像データＶＤによる画像から横方向のエッジが検出され、縦方向エッジ検出部１７３では画像データＶＤによる画像から縦方向のエッジが検出される。

横方向エッジ検出部１７２のエッジ検出画像は、横方向線分検出部１７４、エッジ密度算出部１７６およびエッジ角度算出部１７７に供給される。縦方向エッジ検出部１７３のエッジ検出画像は、縦方向線分検出部１７５、エッジ密度算出部１７６、エッジ角度算出部１７７および胴体縦エッジ位置検出部１８２に供給される。

横方向線分検出部１７４では、横方向エッジ検出部１７２のエッジ検出画像から、横方向のエッジの長さが一定範囲にある線分が検出される。そして、頭頂マッチング部１７８では、このように横方向線分検出部１７４で検出された線分が頭部の上部の水平線となりうるかどうかが判定され、各小領域が頭頂部である確からしさの情報が得られる。

縦方向線分検出部１７５では、縦方向エッジ検出部１７３のエッジ検出画像から、縦方向のエッジの長さが一定範囲にある線分が検出される。そして、頭側マッチング部１７９では、このように縦方向線分検出部１７５で検出された線分が顔の左右の縦エッジとなりうるかどうかが判定され、各小領域が頭部横両端である確からしさの情報が得られる。

エッジ密度算出部１７６では、横方向エッジ検出部１７２のエッジ検出画像および縦方向エッジ検出部１７３のエッジ検出画像に基づいて、画像の各小領域のエッジ密度が算出される。そして、ヘッド中央解析部１８０では、このようにエッジ密度算出部１７６で算出されたエッジ密度によって、各小領域が顔の中央部（顔内部）である確からしさが求められ、その情報が得られる。

エッジ角度算出部１７７では、横方向エッジ検出部１７２のエッジ検出画像および縦方向エッジ検出部１７３のエッジ検出画像に基づいて、各エッジの角度（向き）が算出される。そして、頭部輪郭マッチング部１８１では、このようにエッジ密度算出部１７６で算出された各小領域のエッジ密度とエッジ角度算出部１７７で算出された各エッジの角度（向き）に基づいて、頭部輪郭位置が推定され、各小領域が頭部輪郭である確からしさの情報が得られる。

胴体縦エッジ位置検出部１８２では、縦方向エッジ検出部１７３のエッジ検出画像に基づいて、例えば縦方向のエッジがある間隔で２つ存在するというパターンとのマッチングをとることで、胴体左右両端の縦エッジ位置が検出され、各小領域が胴体左右である確からしさの情報が得られる。

頭頂マッチング部１７８、頭側マッチング部１７９、ヘッド中央解析部１８０、頭部輪郭マッチング部１８１および胴体縦エッジ位置検出部１８２で得られる、画像の各小領域における頭頂部、頭部横両端、顔内部、頭部輪郭、胴体左右である確からしさの情報は、結果結合部１８３に供給される。この結果結合部１８３では、各確からしさの情報に基づいて、人の頭部領域Ｄｃが検知される。この人の頭部領域Ｄｃの情報は出力端子１８４に出力される。

例えば、画像データＶＤによる画像（入力画像）が図１１（ａ）に示すようであるとき、例えば頭頂マッチング部１７８、頭側マッチング部１７９、ヘッド中央解析部１８０、頭部輪郭マッチング部１８１および胴体縦エッジ位置検出部１８２で得られる、画像の各小領域における頭頂部、頭部横両端、顔内部、頭部輪郭、胴体左右である確からしさの情報は、それぞれ、図１１（ｂ），（ｃ），（ｄ），（ｅ），（ｆ）の画像として表示できる。ここで、画像の白い部分は確からしさが高い領域(位置)を表し、逆に画像の黒い部分は確からしさが低い領域（位置）を表している。この各確からしさの情報に基づいて、図１１（ｇ）にハッチングで示すように、人の頭部領域Ｄｃが検知される。

図２に示す画像データ処理部１０４の動作を説明する。入力端子１１３には画像データＶＤが供給される。この画像データＶＤは、動体検知部１１４、不動体検知部１１５および画像認識検知部１１６に供給される。動体検知部１１４では、画像データＤＶが処理され、この画像データＤＶによる画像から動き領域Ｄａが検知される。不動体検知部１１５では、不動体検知部１１５では、画像データＤＶが処理され、この画像データＤＶによる画像から不動体領域（物体の発生領域、物体の消失領域）が検知される。また、画像認識検知部１１６では、画像データＤＶに基づき画像認識処理が行われて所定領域、例えば人物、車等が検知される。

この場合、ユーザの色、図柄などの選択操作により、検知部１１４〜１１６で検知される領域の色、図柄が特定される。またこの場合、ユーザの画像認識すべき対象物の選択操作により、画像認識検知部１１６で画像認識される対象物が特定される。

これら検知部１１４〜１１６で検知された領域Ｄａ〜Ｄｃの情報は選択組み合わせ部１１７に供給される。この選択組み合わせ部１１７では、検知部１１４〜１１６で検知された領域Ｄａ〜Ｄｃに基づいて最終的な重要領域ＤＩ′が取得されて出力される。この場合、ユーザの選択操作により、重要領域ＤＩ′として、例えば、（１）動体検知部１１４で検知された領域Ｄａ、（２）不動体検知部１１５で検知された領域Ｄｂ、（３）画像認識検知部１１６で検知された領域Ｄｃ、（４）動体検知部１１４で検知された領域Ｄａであって、かつ画像認識検知部１１６で検知された領域Ｄｃ、などが出力される。

選択組み合わせ部１１７から出力される重要領域ＤＩ′は保持・追尾機能部１１８に供給される。このように保持・追尾機能部１１８に供給される重要領域ＤＩ′は重要領域ＤＩとして出力端子１１９に出力される。また、この保持・追尾機能部１１８では、あるフレームで重要領域ＤＩ′が供給され、それに続く複数のフレームで重要領域ＤＩ′が供給されないとき、あるフレームに供給される重要領域ＤＩ′の範囲と移動速度（方向情報も含む）に基づいてそれに続く各フレームの重要領域が推定され、この推定された重要領域が重要領域ＤＩとして出力端子１１９に出力される。

この場合、あるフレームで出力される重要領域ＤＩ′の移動速度が０でないときは、その移動速度に基づき、追尾機能によって、各フレームの重要領域は順次移動していく。一方、あるフレームで出力される重要領域ＤＩ′の移動速度が０であるときは、保持機能によって、各フレームの重要領域があるフレームの重要領域と同じ領域に保持される。

またこの場合、選択組み合わせ部１１７ｇが動体検知部１１４で検知された領域Ｄａを出力する状態にあり、あるフレームで重要領域ＤＩ′が供給されるが、それに続く複数のフレームで重要領域ＤＩ′が供給されないとき、あるフレームに供給される重要領域ＤＩ′がそのまま重要領域ＤＩとして出力端子１１９に出力される。

図１に戻って、画像データ圧縮部１０５は、撮像信号処理部１０３から出力される画像データＶＤに対してデータ圧縮処理を行って圧縮画像データＶＤＣを出力端子１０６に出力する。この場合、画像データ圧縮部１０５は、画像データ処理部１０４の重要領域ＤＩの検知出力に基づいて、重要領域ＤＩのデータ圧縮率を他の領域のデータ圧縮率より低く抑える。

図１２は、画像データ圧縮部１０５の具体的な構成を示している。この画像データ圧縮部１０５は、画像データＶＤの入力端子１５０、ＤＣＴ(Discrete Cosine Transform)部１５１、量子化部１５２、量子化テーブル（Ａ）１５３、量子化部１５４、量子化テーブル（Ｂ）１５５、重要領域ＤＩの情報の入力端子１５６、切換スイッチ１５７、エントロピー符号化部１５８および圧縮画像データＶＤＣの出力端子１５９を有している。

ＤＣＴ部１５１は、入力端子１５０に入力される画像データＶＤを、例えば８×８画素のブロックに分け、ブロック毎に、離散コサイン変換を行って、画素値から周波数成分（ＤＣＴ係数）に変換する。

量子化部１５２，１５４は、それぞれ、ＤＣＴ部１５１で得られる各ブロックのＤＣＴ係数を、量子化テーブル１５３，１５５に基づいて、量子化する。この場合、量子化テーブル１５５の値は、量子化テーブル１５３の値に比べて大きくされている。そのため、量子化部１５２における量子化によるデータ圧縮率に比べて、量子化部１５４における量子化によるデータ圧縮率は大きくされる。

切換スイッチ１５６は、入力端子１５６に入力される重要領域ＤＩの情報に基づいて、量子化部１５２から出力される量子化ＤＣＴ係数または量子化部１５４から出力される量子化ＤＣＴ係数を選択的に出力する。ここで、量子化部１５２の出力側は切換スイッチ１５７のａ側の固定端子に接続され、量子化部１５４の出力側は切換スイッチ１５７のｂ側の固定端子に接続される。

この切換スイッチ１５７の可動端子は、重要領域ＤＩではａ側の固定端子に接続され、その他の領域ではｂ側の固定端子に接続される。したがって、この切換スイッチ１５７の出力側には、重要領域ＤＩでは量子化部１５２から出力される量子化ＤＣＴ係数が得られ、その他の領域では量子化部１５４から出力される量子化ＤＣＴ係数が得られる。

エントロピー符号化部１５８は、切換スイッチ１５７から出力された量子化ＤＣＴ係数に対してエントロピー符号化、例えばハフマン符号化を行って圧縮画像データＶＤＣを生成して、出力端子１５９に出力する。

図１２に示す画像データ圧縮部１０５の動作を説明する。入力端子１５０には画像データＶＤが入力され、この画像データＶＤはＤＣＴ部１５１に供給され、ブロック毎に、ＤＣＴ係数に変換される。各ブロックのＤＣＴ係数は、順次、量子化部１５２，１５４のそれぞれに供給される。そして、量子化部１５２，１５４では、それぞれ、量子化テーブル１５３，１５５に基づいて、量子化が行われる。量子化部１５２，１５４から出力される量子化ＤＣＴ係数は、それぞれ、切換スイッチ１５７のａ側、ｂ側に供給される。

入力端子１５６には画像データ処理部１０４から供給される重要領域ＤＩの情報が入力される。切換スイッチ１５７は、この情報に基づき、重要領域ＤＩではａ側に接続され、その他の領域ではｂ側に接続される。したがって、重要領域ＤＩでは量子化部１５２で得られる量子化ＤＣＴ係数が出力され、その他の領域では量子化部１５４で得られる量子化ＤＣＴ係数が出力される。

この場合、上述したように量子化テーブル１５５の値は量子化テーブル１５３の値に比べて大きく、量子化部１５２における量子化によるデータ圧縮率に比べて量子化部１５２における量子化によるデータ圧縮率が大きくされていることから、重要領域ＤＩのデータ圧縮率は他の領域のデータ圧縮率より低く抑えられることになる。

切換スイッチ１５７から選択的に出力される量子化ＤＣＴ係数はエントロピー符号化部１５８に供給される。そして、このエントロピー符号化部１５８では、量子化ＤＣＴ係数に対してエントロピー符号化、例えばハフマン符号化が行われて圧縮画像データＶＤＣが生成され、この圧縮画像データＶＤＣは出力端子１５９に出力される。

図１に示す監視カメラ１００の動作を説明する。被写体の像光が撮像レンズ１０１を介して撮像素子１０２の撮像面に照射され、この撮像面に被写体像が結像される。撮像素子１０２ではこの状態で撮像が行われ、この撮像素子１０２から出力される撮像信号は撮像信号処理部１０３に供給されて処理され被写体に対応した画像データＶＤが生成される。この画像データＶＤは、画像データ処理部１０４および画像データ圧縮部１０５に供給される。

画像データ処理部１０４では、画像データＶＤが処理され、この画像データＶＤによる画像から重要領域ＤＩが検知される。例えば、動き領域、不動体領域（物体の発生領域、物体の消失領域）、画像認識された人物、車等の所定領域のいずれか、またはそれらの領域の所定の組み合わせが、重要領域ＤＩとされる。この重要領域ＤＩの情報は、画像データ圧縮部１０５に供給される。

画像データ圧縮部１０５では、画像データＶＤに対してデータ圧縮処理が行われて圧縮画像データＶＤＣが生成される。この場合、データ圧縮処理は、重要領域ＤＩの情報に基づいて行われ、重要領域ＤＩのデータ圧縮率は他の領域のデータ圧縮率より低く抑えられる。このように画像データ圧縮部１０５で生成される圧縮画像データＶＤＣは出力端子１０６に出力される。

上述したように、図１に示す監視カメラ１００においては、画像データ圧縮部１０５で画像データＶＤに対してデータ圧縮処理が行われて圧縮画像データＶＤＣが生成されるが、画像データ処理部１０４で画像データＶＤが処理されて検知される重要領域ＤＩに基づいて、重要領域ＤＩのデータ圧縮率が他の領域のデータ圧縮率より低く抑えられる。したがって、データ圧縮率が低く抑えられる領域が固定されておらず、重要領域ＤＩの位置、大きさが変化する場合にあっても、画像データＶＤを効果的に圧縮できる。

図１３は、「オリジナルＪＰＥＧ圧縮」、「低ビットレート」、および「動体検知領域のみ高画質」における、重要領域ＤＩとしての動体検知領域（動き領域）とそれ以外の領域の画像を示している。ここで、「オリジナルＪＰＥＧ圧縮」は、例えば、図１２に示す画像データ圧縮部１０５で切換スイッチ１５７をａ側に接続したままでデータ圧縮処理を行った場合の例である。「低ビットレート」は、例えば、図１２に示す画像データ圧縮部１０５で切換スイッチ１５７をｂ側に接続したままでデータ圧縮処理を行った場合の例である。また、「動体検知領域のみ高画質」は、図１２に示す画像データ圧縮部１０５で、切換スイッチ１５７を重要領域ＤＩの情報で制御して、データ圧縮処理を行った場合の例である。

「動体検知領域のみ高画質」では、動き領域である人物部分はデータ圧縮率が低く抑えられるので高画質で見やすくなっているが、その他の領域はデータ圧縮率が高くなるので低画質となっている。これに対して、「オリジナルＪＰＥＧ圧縮」では全ての領域でデータ圧縮率が低く抑えられるため高画質となっている。また、「低ビットレート」では全ての領域でデータ圧縮率が高くされ、低画質となっている。

また、図１に示す監視カメラ１００においては、画像データ処理部１０４で、あるフレームで重要領域が検知されるとき、続く複数のフレームで重要領域が検知されない場合であっても、あるフレームで検知される重要領域の範囲と移動速度に基づいて重要領域が推定されて検知出力とされる。したがって、例えば動き領域の検知、画像認識処理による所定領域の検知にあって、検知漏れが断続的に発生した場合であっても、重要領域でデータ圧縮率が低く抑えられることが継続され、見易い安定した画像を得ることができる。また、不動体領域の検知にあって、検知後でも当該不動体領域が重要領域とされてデータ圧縮率が低く抑えられることが継続され、当該不動体領域を見易い画像で監視することができる。

また、図１に監視カメラ１００においては、画像データ処理部１０４で、あるフレームで動き領域が検知されるとき、続く複数のフレームで動き領域が検知されない場合であっても、あるフレームで検知される動き領域が重要領域とされる。したがって、動体が停止し当該動体領域が動き領域として検知されなくなっても、この停止した動体の領域が重要領域とされてデータ圧縮率が低く抑えられることが継続され、当該停止した動体を見易い画像で監視することができる。

なお、上述実施の形態においては、画像データ圧縮部１０５では、図１２に示すように、２つの量子化部１５２，１５４および２つの量子化テーブル１５３，１５５を有するものを示したが、１つの量子化部および１つの量子化テーブルを用いて、同様の機能を持つデータ圧縮部を構成することもできる。

図１４は、１つの量子化部および１つの量子化テーブルを用いて構成される画像データ圧縮部１０５Ａの構成を示している。この図１４において、図１２と対応する部分には、同一符号を付し、適宜その説明は省略する。

この画像データ圧縮部１０５Ａは、画像データＶＤの入力端子１５０、ＤＣＴ部１５１、量子化部１５２、量子化テーブル１５３Ａ、重要領域ＤＩの情報の入力端子１５６、切換スイッチ１５７、エントロピー符号化部１５８、圧縮画像データＶＤＣの出力端子１５９および高周波係数削減処理部１６０を有している。

高周波係数削減処理部１６０は、ＤＣＴ部１５１でブロック毎に得られるＤＣＴ係数から高周波係数を削減する。切換スイッチ１５７は、入力端子１５６に入力される重要領域ＤＩの情報に基づいて、ＤＣＴ部１５１でブロック毎に得られるＤＣＴ係数、または高周波係数削減処理部１６０で高周波係数が削減されたＤＣＴ係数を選択的に出力する。

ここで、ＤＣＴ部１５１の出力側は切換スイッチ１５７のａ側の固定端子に接続され、高周波係数削減処理部１６０の出力側は切換スイッチ１５７のｂ側に接続される。これにより、切換スイッチ１５７の出力側には、重要領域ＤＩではＤＣＴ部１５１から出力されるＤＣＴ係数が得られ、その他の領域では高周波係数削減処理部１６０から出力される高周波係数が削減されたＤＣＴ係数が得られる。

量子化部１５２は、切換スイッチ１５７から出力されるＤＣＴ係数を、量子化テーブル１５３に基づいて、量子化する。エントロピー符号化部１５８は、この量子化部１５２から出力される量子化ＤＣＴ係数に対してエントロピー符号化、例えばハフマン符号化を行って圧縮画像データＶＤＣを生成し、出力端子１５９に出力する。

図１４に示す画像データ圧縮部１０５Ａの動作を説明する。入力端子１５０には画像データＶＤが入力される。この画像データＶＤはＤＣＴ部１５１に供給され、ブロック毎に、ＤＣＴ係数に変換される。このＤＣＴ部１５１から出力される各ブロックのＤＣＴ係数は切換スイッチ１５７のａ側の固定端子に供給される。

また、ＤＣＴ部１５１から出力される各ブロックのＤＣＴ係数は、高周波係数削減処理部１６０に供給される。そして、この高周波係数削減処理部１６０で高周波係数が削減されたＤＣＴ係数は切換スイッチ１５７のｂ側の固定端子に供給される。

入力端子１５６には画像データ処理部１０４から供給される重要領域ＤＩの情報が入力される。切換スイッチ１５７は、この情報に基づき、重要領域ＤＩではａ側に接続され、その他の領域ではｂ側に接続される。したがって、重要領域ＤＩではＤＣＴ部１５１から出力されるＤＣＴ係数が出力され、その他の領域では高周波係数削減処理部１６０から出力される高周波係数が削減されたＤＣＴ係数が出力される。これにより、重量領域ＤＩのデータ圧縮率は他の領域のデータ圧縮率より低く抑えられることになる。

この切換スイッチ１５７から出力されるＤＣＴ係数は量子化部１５２に供給される。そして、この量子化部１５２では、ＤＣＴ係数に対して、量子化テーブル１５３を用いて、量子化が行われる。この量子化部１５２から出力される量子化ＤＣＴ係数はエントロピー符号化部１５８に供給される。そして、このエントロピー符号化部１５８では、量子化ＤＣＴ係数に対してエントロピー符号化、例えばハフマン符号化が行われて圧縮画像データＶＤＣが生成され、この圧縮画像データＶＤＣは出力端子１５９に出力される。

このように、図１４に示す画像データ処理部１０５Ａにおいても、図１２に示す画像データ処理部１０５と同様に、重量領域ＤＩのデータ圧縮率は他の領域のデータ圧縮率より低く抑えられる。

また、上述実施の形態においては、撮像信号処理部１０３から出力される画像データＶＤに対して画像データ圧縮部１０５でデータ圧縮処理を行って圧縮画像データＶＤＣを生成し、この圧縮画像データＶＤＣを伝送データとして出力端子１０６に出力するものを示したが、この発明による画像処理装置は、例えば撮像信号処理部１０３から出力される画像データＶＤを一旦記録媒体に記録し、この記録媒体から再生された画像データＶＤに対してデータ圧縮処理を行って伝送データとしての圧縮画像データＶＤＣを得る際にも同様に適用できる。

また、上述実施の形態においては、重要領域ＤＩとそれ以外の領域とで２種類のデータ圧縮率を切り換えるものを示したが（図１２、図１４参照）、例えば重要領域ＤＩを複数段階のデータ圧縮率に分ける等して、全体として３種類以上のデータ圧縮率を切り換えるようにしてもよい。

また、上述実施の形態においては、画像データ圧縮部１０５，１０５ＡとしてＪＰＥＧ方式の例をあげたが、ＭＰＥＧ方式の場合であってもＩピクチャ(Intra picture)のデータ圧縮で同等の効果を得ることが可能である。

この発明は、重要領域の位置、大きさが変化する場合であっても、画像データの効果的な圧縮処理を可能とするものであり、監視カメラシステム等に適用できる。

実施の形態としての監視カメラの構成を示すブロック図である。 画像データ処理部の具体的な構成を示すブロック図である。 動体検知部の具体例を示すブロック図である。 動体検知部における変化連続性の検出処理を説明するための図である。 不動体検知部の具体例を示すブロック図である。 重み付き混合正規分布を説明するための図である。 画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときのクラス遷移状態を示す図である。 背景と車の重みの推移例とクラス分類（不動体を検知）を示す図である。 背景と車の重みの推移例とクラス分類（不動体を非検知）を示す図である。 画像認識検知部の具体例を示すブロック図である。 入力画像と、各確からしさの画像と、検知される頭部領域とを示す図である。 画像データ圧縮部の具体的な構成を示すブロック図である。 動体検知領域とそれ以外の領域の拡大画像を比較して示した図である。 画像データ圧縮部の具体的な他の構成を示すブロック図である。

符号の説明

１００・・・監視システム、１０１・・・撮像レンズ、１０２・・・撮像素子、１０３・・・撮像信号処理部、１０４・・・画像データ処理部、１０５，１０５Ａ・・・画像データ圧縮部、１０６・・・出力端子、１１１・・・制御部、１１２・・・ユーザ操作部、１１３・・・入力端子、１１４・・・動体検知部、１１５・・・不動体検知部、１１６・・・画像認識検知部、１１７・・・選択組み合わせ部、１１８・・・保持・追尾機能部、１１９・・・出力端子、１５０・・・入力端子、１５１・・・ＤＣＴ部、１５２，１５４・・・量子化部、１５３，１５５・・・量子化テーブル、１５６・・・重要領域の情報入力端子、１５７・・・切換スイッチ、１５８・・・エントロピー符号化部、１５９・・・出力端子、１６０・・・高周波係数削減処理部

Claims (12)

1. 入力画像データを処理することで、該入力画像データによる画像から重要領域を検知する領域検知部と、
   上記入力画像データに対してデータ圧縮処理を行って圧縮画像データを出力する画像データ圧縮部を備え、
   上記画像データ圧縮部は、上記領域検知部の検知出力に基づいて、上記重要領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑える
   ことを特徴とする画像処理装置。
2. 上記領域検知部は、あるフレームで上記重要領域を検知するとき、続く複数のフレームで上記重要領域を検知しない場合であっても、上記あるフレームで検知される重要領域の範囲と移動速度に基づいて重要領域を推定して検知出力とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記領域検知部は、上記入力画像データを処理することで、上記重要領域として動き領域を検知する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 上記領域検知部は、単発的あるいは周期的な動き領域を上記動き領域から除去する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 上記領域検知部は、あるフレームで上記動き領域を検知するとき、続く複数のフレームで上記動き領域を検知しない場合であっても、上記あるフレームで検知される上記動き領域を上記重要領域とする
   ことを特徴とする請求項４に記載の画像処理装置。
6. 上記領域検知部は、上記入力画像データを処理することで、上記重要領域として不動体領域を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 上記領域検知部は、
   画像の一または複数画素毎に、該一または複数の画素の輝度が、複数個の輝度分布のいずれに属するかを判定し、属すると判定された輝度分布についての重みを漸増すると共に、その他の輝度分布についての重みを漸減するようにして、上記複数個の輝度分布の重みを算出する算出部と、
   上記算出部で算出された輝度分布の重みに基づいて、上記一または複数の画素の輝度の時間的な変化状態を、上記一または複数の画素の輝度が所定の範囲内で安定している安定クラス、上記一または複数の画素の輝度が上記複数個の輝度分布のいずれに属するかが確定できない不安定クラスおよび上記安定クラスと上記不安定クラスとの中間状態である中間クラスを少なくとも含む複数のクラスに分類するクラス分類部と、
   上記一または複数の画素毎に、上記クラス分類部によって分類されたクラスの時間的遷移を判別するクラス遷移判別部と、
   上記一または複数の画素毎の輝度の時間的な変化状態が上記安定クラスにあるとされたときに上記重みが最大である輝度分布の代表輝度値を、上記一または複数の画素の基準輝度値として取得し、時間変化に応じて更新する基準輝度値更新部と、
   上記クラス遷移判別部で判別された上記クラスの時間的遷移が、上記不安定クラスから、上記中間クラスを経由して上記安定クラスになった時点を輝度変化検出タイミングとし、該輝度変化検出タイミングにおいて、上記複数個の輝度分布中の上記重みが最大である輝度分布の代表輝度値と、上記基準輝度値とを比較して、上記一または複数の画素について輝度の変化があったかどうかを検出する輝度変化検出部と、
   上記輝度変化検出部で上記輝度の変化があったと検出されたときに、該変化のあった上記一または複数の画素の上記画像中の位置を識別するための情報と、該変化があった時間の情報とを記憶する変化検出記憶部とを備え、
   上記変化検出記憶部に記憶された情報に基づいて、時間経過に応じて画像中に新たに加わって静止した物体の領域である物体の発生領域または上記画像中から消失した物体の領域である物体の消失領域を検知する
   ことを特徴とする請求項５に記載の画像処理装置。
8. 上記領域検知部は、上記入力画像データに基づき画像認識処理を行うことで、上記重要領域として所定領域を検知する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 上記領域検知部は、
   上記重要領域として動き領域を検知する動体検知部と、上記重要領域として不動体領域を検知する不動体検知部と、上記重要領域として画像認識処理により所定領域を検知する画像認識検知部を有し、
   上記各検知部で検知された領域のいずれかまたは上記各検知部で検知された領域の所定の組み合わせを最終的な上記重要領域とする
   ことを特徴とする請求項１に記載の画像処理装置。
10. 上記重要領域の条件を設定するユーザ操作部をさらに備え、
    上記領域検知部は、上記ユーザ操作部で設定された条件に基づいて、上記入力画像データによる画像から上記重要領域を検知する
    ことを特徴とする請求項１に記載の画像処理装置。
11. 入力画像データを処理することで、該入力画像データによる画像から重要領域を検知する領域検知ステップと、
    上記入力画像データに対してデータ圧縮処理を行って圧縮画像データを出力する画像データ圧縮ステップを備え、
    上記画像データ圧縮ステップでは、上記領域検知ステップの検知出力に基づいて、上記所定領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑える
    ことを特徴とする画像処理方法。
12. 被写体を撮像して画像データを得る撮像部と、
    上記撮像部で得られた画像データによる画像から重要領域を検知する領域検知部と、
    上記画像データに対してデータ圧縮処理を行って圧縮画像データを出力する画像データ圧縮部を備え、
    上記画像データ圧縮部は、上記領域検知部の検知出力に基づいて、上記所定領域のデータ圧縮率を他の領域のデータ圧縮率より低く抑える
    ことを特徴とする監視カメラ。