JP2006262359A

JP2006262359A - 画像センサ装置

Info

Publication number: JP2006262359A
Application number: JP2005080108A
Authority: JP
Inventors: Hideki Kawahara; 英喜河原; Hiroshi Matsuda; 啓史松田; Hiroyuki Fujii; 裕之藤井; Tadahiro Arakawa; 忠洋荒川
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2005-03-18
Filing date: 2005-03-18
Publication date: 2006-09-28
Anticipated expiration: 2025-03-18
Also published as: JP4525402B2

Abstract

【課題】監視者の負担を減らすとともに、証拠として画像を残すときの記録データ量を減らすことが可能で、その上誤検知後実際に不審者が監視エリア内に入った場合に見落とす恐れを低減できる画像センサ装置を提供することにある。
【解決手段】画像センサ装置Ａは、所定の監視エリアを撮像する撮像部１の撮像画像から人体ｍを検知する人体検知機能部２００と、撮像画像から所定のエリアを拡大ズーム処理するズーム処理部２０１とを備えた画像処理部２０を有し、人体検知機能部２００が人体ｍを検知すると、ズーム処理部２０１は人体ｍを含むゾーンを拡大ズームの対象ゾーンとして決定し、この決定に基づいて映像生成処理部２１のズーム画像生成部２１３で拡大ズーム画像を生成させ、画像切り換え部２１４を介して拡大ズームの画像データを映像出力部３に出力させる。
【選択図】図１

Description

本発明は、ズーム機能を持った画像センサ装置に関するものである

従来提供されている監視カメラ装置は、撮像カメラが撮像した監視エリアの画像をモニタ装置に映し、監視者はモニタ装置の画像を見ながら映し出される侵入者が不審者と判断した場合には，監視者が撮像対象場所と撮像画像のズーム倍率とを制御して、拡大ズームした画像を得ることで、不審者の詳細を捉えるようになっているのが一般的であった。

一方、撮像された映像信号による画像内容に応じて自動的に侵入者の拡大ズーム画像が得られるようにしたテレビジョンカメラが提供されている（例えば特許文献１）。
特開２０００−３５００８０号公報（段落番号０００８、０００９）

ところで、特許文献１に記載のものは自動的に侵入者の拡大映像が得られるものであるが、拡大ズーム画像が映し出された状態が続いた場合、この状態下で他の不審者が監視エリア内に侵入してきても発見できないという恐れがあった。また誤検知によって拡大ズーム画像が映し出されている状態で、実際に不審者が監視エリア内に侵入してきても見落とす恐れがあった。

本発明は、上述の点に鑑みて為されたもので、その目的とするところは誤検知後、実際に監視エリアに侵入者があった場合に侵入者を見落とす恐れ低減できる画像センサ装置を提供することにある。

上述の目的を達成するために、請求項１の発明では、所定の監視エリアを撮像する撮像部と、撮像部の撮像画像から人体を検知し、人体が検知されると撮像画像上の人体を含むゾーンを拡大ズームした画像を出力するとともに、人体検知による拡大ズーム画像データの出力から一定時間経過後少なくとも所定の時間は最大視野角でのズーム画像を出力する画像信号処理部とを備えていることを特徴とする。

請求項１の発明によれば、監視エリアに侵入者があれば、侵入者が撮像されているゾーンの拡大ズーム画像を自動的に映像出力部より出力するので、モニタ装置で侵入者の様子を詳細に確認することもでき、しかも一定時間経過後には最大視野角でのズーム画像を出力するため、拡大ズーム画像では見落としやすい新たな侵入者や、誤検知後に実際に侵入者があった場合にも一定時間経過したときに、監視エリア全体の画像を自動的にモニタ装置に映し出すことができるため、新たな侵入者や誤検知後の実際の侵入者を見落とす危険性を低減できる。

請求項２の発明では、請求項１の発明において、前記画像信号処理部は、人体検知時に拡大ズームする対象ゾーンを、撮像画像上の人体検知位置を基に決定し、且つ対象ゾーンが決められたときには一定時間同じ対象ゾーンの拡大ズーム画像を出力することを特徴とする。

請求項２の発明によれば、拡大ズームする対象ゾーンを一定時間固定するので、ズーム画像中の人体が何処でどの方向に進んでいるかが明確にわかり、監視者がその人体の行動に対して判断することができる。

請求項３の発明では、請求項１又は２の発明において、前記画像信号処理部は、拡大ズーム画像を出力する前の人体検知結果及び拡大ズーム画像出力中の人体検知結果に基づいて画像上の人体位置の追跡処理を行って人体の移動方向及び速さを予測するとともに拡大ズーム画像を出力している前記一定時間内に前記対象ゾーンから当該人体が抜け出る否かを判断する機能を備え、抜け出ると判断される場合には前記予測に基づいて次の対象ゾーンを決定して当該対象ゾーンに対する拡大ズーム画像を前記一定時間の残り時間だけ出力することを特徴とする。

請求項３の発明によれば、拡大ズーム画像の中から対象の人体がいなくなることを防ぐことができ、結果監視者が確実に対象人体を追跡してその人が不審者なのかの判断をすることができる。

請求項４の発明では、請求項１乃至３の何れかの発明において、前記画像信号処理部は、拡大ズーム画像を出力する前の人体検知結果及び拡大ズーム画像出力中の人体検知結果に基づいて画像上の人体位置の追跡処理を行い、前記一定時間経過後、最大視野角のズーム画像を出力する状態に戻ったときに、前記人体検知手段が複数の人体を検知している場合には、先の拡大ズーム対象の人体とは異なる人体を拡大ズームした画像を出力する機能を備えていることを特徴とする。

請求項４の発明によれば、複数の人体を順次拡大ズーム画像として捉えることができ、監視者が夫々の人に対して不審者であるかどかの判断も可能となり、しかも記録装置で記録した場合にも複数の人体を拡大ズーム画像で見ることができる。

請求項５の発明では、請求項１の発明において、前記拡大ズーム画像は、人体を検知した撮像画像の中で顔が映っていると判断された部位の画像であることを特徴とする。

請求項５の発明によれば、拡大ズームしたときに最も欲しいとする顔を明瞭に捉えることができる。

請求項６の発明では、請求項１乃至５の何れかの発明において、前記画像信号処理部は、人体検知時に拡大ズームする前の対象ゾーンの画像データによって前記撮像部のアイリスの開口量及び画像信号を増幅する増幅部の利得を決定して、これらアイリスの開口量及び利得を拡大ズーム画像の出力中一定とすることを特徴とする。

請求項６の発明によれば、露出最適で、感度も最適な拡大ズーム画像を得ることができ、モニタ装置で映し出される拡大ズーム画像から侵入者が不審者であるか否かを判断するのが容易となる。

本発明は、監視エリアに侵入者があれば、侵入者が撮像されているゾーンの拡大ズーム画像を自動的に映像出力部より出力するので、モニタ装置で侵入者の様子を詳細に確認することもでき、しかも一定時間経過後には最大視野角でのズーム画像を出力するため、拡大ズーム画像では見落としやすい新たな侵入者や、誤検知後に実際に侵入者があった場合にも一定時間経過したときに、監視エリア全体の画像を自動的にモニタ装置に映し出すことができるため、新たな侵入者や誤検知後の実際の侵入者を見落とす危険性を低減できるという効果がある。

以下本発明を実施形態により説明する。
（実施形態１）
本実施形態の画像センサ装置Ａは、図１に示すように監視エリアを撮像するための撮像部１と、撮像部１の画像から人体検知を行うとともに撮像画像上の人体検知領域を拡大ズームしてその拡大ズーム画像を出力したり、拡大ズーム画像の出力時間の制御する機能等を備えた画像信号処理部２と、画像信号処理部２から出力されるデジタル画像信号を所定形式の映像信号として外部へ出力するための映像出力部３と、画像信号処理部２からの人体検知情報に基づいて外部（例えば報知器７及び画像を記録するための記録装置６）へ人体検知信号を出力する出力部４とで構成される。

画像信号処理部２は画像処理部２０と、映像生成処理部２１とから構成される。

映像生成処理部２１は、撮像部１からのアナログの撮像信号を増幅するアナログ増幅部２１０と、この増幅された撮像信号をＡ／Ｄ変換するＡ／Ｄ変換部２１１と、Ａ／Ｄ変換されたデジタル画像信号を増幅するデジタル増幅部２１２と、画像処理部２０から指定される所定ゾーンの拡大ズーム画像信号を生成するズーム画像生成部２１３と、撮像部１が持つ視野角（最大視野角）で撮像した全体画像信号、つまりデジタル増幅部２１２から出力される画像信号と前記拡大ズーム画像信号とを画像処理部２０の指令により切り換えて映像出力部３へ出力させる画像切り換え部２１４と、画像処理部２０から与えられる利得値によりアナログ増幅部２１０及びデジタル増幅部２１２の利得Ｇを制御する利得制御部２１５と、画像処理部２０から与えられるアイリス開口量（面積）により撮像部１のアイリスの開口を制御するアイリス制御部２１６とで構成される。

一方画像処理部２０は、撮像部１からの撮像画像データからシルエットマッチングによって撮像画像上の人体を検知する人体検知機能部２００と、ズーム制御部２０１と空構成される。

ズーム制御部２０１は、人体検知機能部２００の人体検知をトリガとして一定時間Ｔ１の限時動作を行う画像出力タイマ２０２ａ及びこの画像出力タイマ２０２ａの限時終了後に一定時間Ｔ２の限時動作を行う画像出力タイマ２０２ｂを内蔵し、画像出力タイマ２０２ａの限時動作中には人体検知領域を拡大ズームのゾーンとして指定する信号や画像切り換え部２１４の拡大ズーム側に切り換える信号を出力し、画像出力タイマ２０２ｂの限時動作中及び待機中には画像切り換え部１４に全体画像側に切り換える信号を出力する機能を備え、且つ拡大ズーム画像出力側への切り換え信号を出力する機能と、増幅利得Ｇの決定やアイリス値Ｄｉを拡大ズームのゾーンのデータより決定して、夫々を映像生成処理部２１へ出力する機能とを備えている。

ここで人体検知機能部２００は、図２に示すように撮像部１により異なる時刻に撮像された複数枚の画像を用いて移動した物体に相当する領域を抽出する移動領域抽出手段２００ａと、移動領域抽出手段２００ａにより抽出した領域について人に対応する領域か否かを評価する領域解析手段２００ｂとを備えている。

尚本実施形態は、撮像部１により所定時間間隔で撮像した濃淡画像のアナログ信号をアナログ増幅部２１０で増幅した後Ａ／Ｄ変換器２１１でＡ／Ｄ変換し、更にデジタル増幅部２１２で増幅した撮像画像データを画像処理部２０の人体検知機能部２００に取り込むようになっており、撮像部１が撮像する時間間隔は、当該時間間隔で得られる時系列の画像から移動物体の存否を判断できる程度の範囲で適宜に設定すれば良い。

移動領域抽出手段２００ａは、撮像手段１から出力される濃淡画像と濃淡画像に後述する処理を施した画像とを一時的に記憶する画像用メモリ３０を備え、また濃淡画像に対して微分画像処理部３１において微分値と方向コードとを求める処理を行い、各画素の画素値が微分値となる微分画像と、各画素の画素値が方向コードとなる方向コード画像とを濃淡画像とともに画像用メモリ３０に記憶させる。微分値を求める手法は種々提案されているが、基本的には、着目する画素の近傍画素（８近傍が広く採用されている）について、画像の垂直方向に関する濃度差を水平方向に関する濃度差で除算した値を微分値として用いる。

但し、濃淡画像から微分画像を生成するのは、画像内の物体と背景との濃度値の相違によって物体と背景との境界付近で微分値が大きくなることを利用し、物体の輪郭線の候補を抽出するためであるから、本実施形態では、輪郭線の強調のためにソーベル（Ｓｏｂｅｌ）フィルタを用いた重み付きの微分処理を行う。

また、方向コードは、微分値を濃度値の変化方向に対応付けた値であって４５度を単位として８方向に整数値のコードを対応付けたものである（ここでは、８近傍の画素から求めた通常の微分値に方向コードを対応付けている）。各画素の方向コードは、画像内において濃度値の変化が最大になる方向に直交する方向を表すように設定される。従って、各画素において方向コードが示す方向は輪郭線の延長方向にほぼ一致する（各画素の方向コードが示す方向に対して±４５度の範囲内で隣接する３画素が物体の輪郭線上の画素になる可能性が高い）。

上述のように微分画像処理部３１において求めた微分画像では、コントラストの大きい部位が強調されるから、適宜の閾値で微分画像を二値化することによって、微分画像に含まれる物体の輪郭線の候補を抽出することができる。微分画像処理部３１では、抽出した輪郭線の候補となる領域を１画素幅に細線化して輪郭線の候補となるエッジの候補を抽出する。エッジの候補は途切れている可能性があるから、エッジの候補について方向コードを用いて画素を追跡し、物体の輪郭線とみなせるエッジの候補を連結したエッジからなるエッジ画像を生成して画像用メモリ３０に格納する。画像用メモリ３０はエッジ画像を求める際の作業領域としても用いられる。

本実施形態では、論理合成部３２において３枚又は５枚のエッジ画像を用いて移動物体に対応するエッジを抽出する。ここでは、図３を用いて３枚のエッジ画像を用いて移動物体に対応するエッジを抽出する技術について説明する。いま、図３（ａ）〜（ｃ）のように、時刻Ｔ−ΔＴ、Ｔ、Ｔ＋ΔＴに撮像された３枚のエッジ画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ）、Ｅ（Ｔ＋ΔＴ）が論理合成部３２に与えられるものとする。図示例では、各エッジ画像Ｐに、それぞれ移動物体Ｏｂが含まれている。

論理合成部３２では、まず、時系列において隣接する各一対のエッジ画像（つまり、Ｅ（Ｔ−ΔＴ）とＥ（Ｔ）、Ｅ（Ｔ）とＥ（Ｔ＋ΔＴ））の差分を求める（この画像は、エッジ画像の差分であるから、以下では「差分エッジ画像」と呼ぶ）。ただし、エッジ画像は、エッジの部分とエッジ以外の部分とで異なる画素値を持つ２値画像であるから、論理合成部３２では各一対のエッジ画像について同じ位置の一対の画素毎に排他的論理和を求める論理演算を行えば、着目する一対のエッジ画像の差分を求めたことになる。図示例のエッジ画像から求めた２枚の差分エッジ画像では、各差分エッジ画像にそれぞれ移動物体Ｏｂが２回ずつ現れることになる。

論理合成部３２では、時刻Ｔのエッジ画像Ｅ（Ｔ）に含まれる移動物体Ｏｂを抽出するために、２枚の差分エッジ画像について同じ位置の一対の画素毎に論理積を求める論理演算を行い、結果の画像を図３（ｄ）のような候補画像として出力する。即ち、２枚の差分エッジ画像では背景はほぼ除去されているから、２枚の差分エッジ画像について論理積の演算を行うと共通部分である時刻Ｔのエッジ画像Ｅ（Ｔ）について背景を除去した候補画像が得られ、この候補画像には移動物体Ｏｂのほかにはノイズを含むだけになると考えられる。

このようにして得られる２枚のエッジ画像をそれぞれ反転してエッジ画像Ｅ（Ｔ）との論理積を求める論理演算を行うと、エッジ画像Ｅ（Ｔ−２ΔＴ）、Ｅ（Ｔ＋２ΔＴ）において移動物体Ｏｂにより隠れていた背景とエッジ画像Ｅ（Ｔ）における移動物体Ｏｂを含むエッジ画像と、エッジ画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ＋ΔＴ）において移動物体Ｏｂにより隠れていた背景とエッジ画像Ｅ（Ｔ）における移動物体Ｏｂを含むエッジ画像とが得られる。両エッジ画像について論理積を求める論理演算によって共通部分を抽出すれば、エッジ画像Ｅ（Ｔ）における移動物体Ｏｂのエッジを含むエッジ画像（候補画像）が得られる。このほかに、４枚以上のエッジ画像を種々に組み合わせることによって、候補画像を生成することができる。

候補画像では濃淡画像から差分を求めるのではなく２値のエッジ画像について論理演算を行っており、しかも２枚の画像から移動物体Ｏｂを抽出するのではなく、３枚以上のエッジ画像を用いて特定時刻のエッジ画像に含まれる移動物体Ｏｂを抽出するようにしているから、候補画像の中では同じ移動物体Ｏｂが２箇所に現れることがなく、移動物体Ｏｂを含む変化の生じた領域のみを抽出することができる。上述のように、論理合成部３２から出力される候補画像には、移動物体Ｏｂのほかにノイズも含まれるから、画素が連結されている領域（連結領域）毎にラベリングを施す。ここに、各連結領域に対して図３（ｅ）のように外接矩形Ｄ１を設定し、外接矩形Ｄ１に対してラベリングを施すようにすれば、画素毎にラベルを付与する場合に比較してデータ量を低減することができる。

移動領域抽出手段２００ａにおける論理合成部３２から出力された図３（ｄ）のような候補画像と、画像用メモリ３０に格納された方向コード画像とは領域解析手段２００ｂに設けた度数分布作成部３３に与えられる。領域解析手段２００ｂは、移動領域抽出手段２００ａにより抽出された領域が、人体に対応する領域か人体以外の外乱かを評価する機能を有する。領域解析手段２００ｂでは、まず度数分布作成部３３において、論理合成部３２の出力として得られた候補画像の中でラベルが付された領域毎に、画像用メモリ３０に格納された方向コード画像を参照してエッジ上の画素の方向コードを求め、ラベルが付された領域毎に方向コードに関する度数分布を生成する。ここに、度数分布は対象とする各エッジ上の画素の総数で正規化しておく。また、方向コードは、８種類の方向コードを用いるのではなく、同方向で互いに逆向きになる方向コードについては同じ方向コードにまとめ、４種類の方向コードについて度数分布を生成する。つまり、０度と１８０度とに対応する方向コード、４５度と２２５度とに対応する方向コード、９０度と２７０度とに対応する方向コード、１３５度と３１５度とに対応する方向コードとの４種類の方向コードを用いる。

領域解析手段２００ｂには、度数分布作成部３３において生成された領域毎の度数分布は外乱徐去部３４に入力され、度数分布の形によって外乱か否かが判断される。つまり、外乱徐去部３４では、領域が人に対応するときの各方向コードの度数に関して方向コード毎に上限値及び下限値による正常範囲を設定してあり、領域毎に求めた度数分布について、各方向コードの度数のうちの１つでも正常範囲を逸脱するものがあるときには、当該領域を人以外の外乱とみなす。つまり、領域内の方向コードの度数が正常範囲を逸脱するときには、領域内の移動物体が特定方向に傾いたものであり、人以外のノイズとみなすのである。これは、人に対応するエッジには直線部分より曲線部分が多く、しかも人に対応するエッジは形状が複雑であるから、エッジの上の画素には方向コードのすべての値が出現する頻度が比較的高いのに対して、影や撮像部１で生じるフリッカによるノイズのエッジは特定の方向に偏った分布を示すことが多いという経験則を利用したものである。要するに、外乱徐去部３４は、各領域内のエッジ上の画素の方向コードに関する度数分布を特徴量として用い、移動物体が人に対応する領域か人以外のノイズになるかを判断し、ノイズと判断した領域については次段の分布比較処理部３３に与えずに除去する。

外乱徐去部３４においてノイズではないと評価された領域については、分布比較画像処理部３５に与えられ、当該領域が人を含むか否かを評価する。分布比較画像処理部３５では、人に関するエッジの方向コードの度数分布を基準データとしてあらかじめ登録してある基準データ格納部３６を用い、外乱徐去部３４で除去されずに残された領域毎の度数分布を、基準データ格納部３６に格納された基準データの度数分布と比較し、以下の演算によって両者の類似度を評価する。

即ち、外乱徐去部３４においてノイズではないと評価された領域に関する度数分布に関して方向コード毎の度数をＨ１ｉ（ｉ＝１，２，３，４）とし、基準データ格納部３６に格納された度数分布に関して方向コード毎の度数をＨ２ｉ（ｉ＝１，２，３，４）とするとき、類似度の評価値ｅ^２は数１によって求める。

数１により求めた評価値ｅ^２を適宜に設定した閾値と比較し、評価値ｅ^２が閾値以下である場合には類似度が高いから、候補画像から得られた当該領域を人に対応する領域と判断し、評価値ｅ^２が閾値を越える場合には類似度が低いから候補画像から得られた当該領域は人以外の外乱であると判断する。

本実施形態の動作を図４のフローチャートに基づいて説明する。

まず、人体ｍが検知されていない待機中においては、図４（ａ）に示すステップＳ１で撮像部１が撮像している撮像画像つまり、最大視野角である全体画像の画像データを映像生成画像処理部２１から映像出力部３へ出力する（ステップＳ１）。映像出力部３はこの画像データをＤ／Ａ変換してアナログの映像信号をモニタ装置５及び記録装置６へ出力する。この全体画像の出力は人体検知があるまで維持される（図６（ｄ）参照）。次に撮像部１の撮像画像（全体画像）上に人体ｍが存在することを人体検知機能部２００が検知する（ステップＳ２）と、この人体検知情報が出力部４に出力されて人体検知信号を図６（ａ）に示すように例えば報知器７及び記録装置６へ出力し、監視エリアに人が侵入したことを監視者に知らせるとともに、記録装置６を起動させ、後日の証拠となる画像の記録を開始する。監視人は報知によってモニタ装置５の画面を注視するように促されることになる。

一方ズーム処理部２０１では人体検知に呼応してズーム処理へ移行する（ステップＳ３）。ズーム処理に移行すると、ズーム処理部２０１は図５（ａ）に示す全体画像中、図５（ｂ）に示すように人体ｍが検知した画像上のゾーンを拡大ズームの対象ゾーンＸとして決定し、この対象ゾーンＸを映像生成処理部２１内のズーム画像生成部２１３へ拡大ズームのゾーンとして指定するとともに生成を指令し、同時に画像切り換えの信号を画像切り換え部２１４へ出力する。これによりズーム画像生成部２１３は所定の倍率で対象ゾーンＸの拡大ズームのデジタル画像信号を生成し、画像切り換え部２１４は拡大ズーム画像のデジタル画像信号を映像出力部３へ出力する（ステップＳ３１）。同時にズーム処理部２０１内の画像出力タイマ２０２ａが一定時間Ｔ１の限時動作を図６（ｂ）に示すように開始する（ステップＳ３２）。

一方映像出力部３はＡ／Ｄ変換した拡大ズーム画像の映像信号を図６（ｄ）に示すようにモニタ装置５へ出力し、モニタ装置５で映し出す画像を図５（ｃ）に示す拡大ズーム画像とする。これにより監視者は拡大ズームされて映し出されている人体ｍを詳細に観察することができ、不審者であるか否かの判断が可能となる。尚画像出力タイマ２０２ａの限時動作中において、ズーム処理部２０１はズーム画像生成部２１３に対して対象ゾーンＸの拡大ズーム画像の生成の指令を継続的に出力する。

そして画像出力タイマ２０２ａの一定時間Ｔ１の限時動作が終了すると（ステップＳ３３）、ズーム処理部２０１は拡大ズーム画像の生成指令を停止するとともに、画像切り換え部２１４に全体画像の画像データを出力するように切り換え信号を出力し、全体画像のデジタル画像信号を映像出力部３に出力させる（ステップＳ３４）。これによりモニタ装置５で映し出される画像は監視エリアの全体画像となる（図６（ｄ））。また同時に画像出力タイマ２０２ｂが図６（ｃ）に示すように一定時間Ｔ２の限時動作を開始する（ステップＳ３５）。そしてこの限時動作が終了するまでズーム処理部２０１は全体画像データの出力が維持されるように画像切り換え部２１４に全体画像側への切り換え信号の出力を継続する。そして画像出力タイマ２０２ｂの一定時間Ｔ２の限時動作が終了すると（ステップＳ３６）、図４（ａ）のフローチャートへ戻ることになる。

尚記録装置６の記録期間は例えば画像出力タイマ２０２ａ、２０２ｂの限時動作期間とするか、拡大ズーム画像を出力している一定時間Ｔ１とすることで、これにより常時記録する場合に比べて記録データ量が少なくなり、記録装置６の記録容量を少なくすることができる。

以上のように本実施形態では、撮像画像上に人体ｍが検知されると、出力部４を通じて人体検知信号を出力して監視者に知らせるとともに、記録装置６での記録を開始させ、同時に人体ｍが存在するゾーンを拡大ズームの対象ゾーンＸとし、その拡大ズーム画像をモニタ装置５に映し出させる。

そして一定時間Ｔ１が経過した時点でモニタ装置５に映し出せる画像を最大視野角、つまり撮像部１の撮像画像たる全体画像に戻し、この全体画像を映している一定時間Ｔ２が経過したときに、再び人体ｍの検知に基づいた処理に戻すようになっている。従って先の人体ｍの検知が誤検知の場合であっても一定時間Ｔ１の経過後に全体画像に戻るため、拡大ズーム画像が維持され続ける場合のように、その維持中に監視エリア内侵入者を見逃してしまうようなことも防げる。

ところで、ズーム処理を行う場合に、拡大ズーム画像が明瞭となるように撮像部１のアイリスの開口量（面積）、つまりアイリス値Ｄｉを最適な値とするとともに、画像処理部２の映像信号増幅の利得Ｇを最適な値とすることが理想的である。

そこで、ズーム処理部２０１にこのアイリス値Ｄｉ及び利得Ｇをズームする対象ゾーンＸのデータに基づいて決定してズーム開始前に撮像部１のアイリス制御及びアナログ増幅部２１０及びデジタル増幅部２１２の利得を制御するようにしても良い。

つまり、図７に示すように人体ｍの検知があってズーム処理に移行すると、拡大ズームの対象ゾーンＸを決定するとともにその対象ゾーンＸの撮像画像データを取得し（ステップＳ４１）、このデータに基づいて最適な露出となるアイリス値Ｄｉを算出し（ステップＳ４２）、更に最適な感度となる各増幅部２１０，２１２の利得Ｇの算出する処理を行い（ステップＳ４３）、これら算出値Ｄｉ，Ｇにより撮像部１のアイリスを映像生成処理部２１内のアイリス制御部２１６を介して制御するとともにアナログ増幅部２１０及びデジタル増幅部２１２の利得を映像生成処理部２１内の利得制御部２１５を介して制御する処理を行う（ステップＳ４４）。そしてこの処理後、図４（ｂ）で示したステップＳ３１〜Ｓ３６と同様な処理をステップＳ４５〜Ｓ５０で行うのである。

而して拡大ズーム画像の生成処理前に撮像部１のアイリス制御と増幅部２１０，２１２の利得を設定して出力する拡大ズーム画像の露出、感度を最適なものとし、この状態を拡大ズーム画像が出力されている一定時間Ｔ１の間維持することで、最適な露出、感度の拡大ズーム画像をモニタ装置５で映し出すことができ、監視者が映し出される人物を見て不審者と判断するのを容易にすることができる。
（実施形態２）
ところで、監視エリアに侵入した人物は図８（ａ）〜（ｅ）の撮像画像で示すように監視エリア内を移動するため、最初の人体ｍの検知に対応して拡大ズームする対象ゾーンＸを決定していても、時間の経過とともに人体ｍが移動して対象ゾーンＸから出て行ってしまい、見失うこともありえる。

そこで本実施形態では、ズーム処理部２０１に、拡大ズーム画像を出力する前の人体ｍの検知結果及び拡大ズーム画像出力中の人体ｍの検知結果に基づいて画像上の人体ｍの位置の追跡処理を行い、当該人体ｍの移動方向及び速さを予測するとともに拡大ズーム画像を出力している一定時間Ｔ１内に前記対象ゾーンＸから当該人体ｍが抜け出る否かを判断する機能を備えている点に特徴がある。

次に、本実施形態の特徴であるズーム処理部２０１の動作を図８（ａ）’〜（ｅ）’に基づいて説明する。

まず人体ｍ検知があって対象ゾーンＸが図８（ａ）’に示すように決定し、対象ゾーンＸの拡大ズーム画像を出力する期間を決める画像出力タイマ２０２ａの限時動作中、人物の移動を追跡し、一定時間Ｔ１内に人物が図８（ｂ）’に示すように対象ゾーンＸから出て行くと判断された場合、ズーム処理部２０１は対象ゾーンＸを移動方向に図８（ｃ）’に示すように変更する。これによりズーム画像生成部２１３で生成される拡大ズーム画像内に人体ｍを捉えることができ、引き続いて人体ｍの移動追跡を行う。この追跡する期間は画像出力タイマ２０２ａが限時する一定時間Ｔ１の残り時間、つまり一定時間Ｔ１が終了するまで行われる。図８（ｄ）’、（ｅ）’は対象ゾーンＸの変更後を示す。

尚その他の動作及びハードウェア構成は実施形態１と同じであるので、説明及び図示は省略する。

以上のように本実施形態では、拡大ズーム画像の中から対象の人体ｍがいなくなることを防ぐことができ、結果監視者が確実に対象人体ｍを追跡してその人体ｍが不審者なのかの判断をすることができる。
（実施形態３）
上記実施形態２では最初に検知された人体ｍに対応する対象ゾーンＸの拡大ズーム画像を出力するものであったが、本実施形態はこの機能に加え、画像出力タイマ２０２ａの限時動作が終了して、全体画像を出力する一定時間Ｔ２において、当該全体画像上に最初に検知された人体ｍ以外の人体ｍが検知された場合には、一定時間Ｔ２が終了し再び画像出力タイマ２０２ａにより限時動作が開始されると、後で検知された人体ｍに対応する対象ゾーンＸを設定し、その対象ゾーンＸの拡大ズーム画像を生成するようにズーム画像生成部２１３に指定する機能をズーム処理部２０１の機能に加えた点に特徴がある。尚ハードウェア構成は実施形態１と同じであるので、図示は省略する。

つまり図９（ａ）〜（ｃ）に示すように撮像画像上に人体ｍが検知されると、画像出力タイマ２０２ａの限時動作中、実施形態２と同様にズーム処理部２０１はその人体ｍに対応した対象ゾーンＸを図９（ａ）’〜（ｃ）’に示すように決定し、また人体ｍの移動追跡に基づいて変更する処理を行う。図９（ａ）”〜（ｃ）”は図９（ａ）’〜（ｃ）’に対応して出力される拡大ズーム画像を示す。そして画像出力タイマ２０２ａの限時動作が終了し、次に画像出力タイマ２０２ｂが限時動作を開始すると、ズーム処理部２０１は画像切り換え部２１４を介して映像出力部３へ出力するデジタル画像信号を図９（ｄ）の撮像画像に対応した図９（ｄ）’に示す最大視野角の画像、つまり全体画像のデジタル画像信号に切り換えるように切り換え信号を出力する処理を行う。図９（ｄ）”はこの出力画像を示す。

一方人体検知機能部２００は撮像画像中に先に検知した人体ｍ以外に別の人体ｍ’が撮像されていることを検知すると、この人体ｍ’の検知情報をズーム処理部２０１に渡す。ズーム処理部２０１は、これに応じて画像出力タイマ２０２ｂの限時動作の終了後、人体ｍ’の検知に呼応して再び画像出力タイマ２０２ａを限時動作させるとともに、後で検知された人体ｍ’に対応する対象ゾーンＸ’を決定し、この対象ゾーンＸ’の拡大ズーム画像生成をズーム画像生成部２１３へ指令するとともに画像切り換え部２１４に対して切り換え信号を出力する処理を行う。これによりモニタ装置５に映し出される画像は、図９（ｅ）”に示すように後で検知された人体ｍ’に対応した拡大ズーム画像となる。尚図９（ｅ）は拡大ズーム画像出力中の撮像画像を示す。

以上の本実施形態では、複数の人体ｍ、ｍ’を順次拡大ズーム画像として捉えることができ、監視者が夫々の人体ｍ、ｍ’に対して不審者であるかどかの判断も可能となり、しかも記録装置６で記録した場合にも複数の人物を拡大ズーム画像で見ることができる。
（実施形態４）
上記実施形態１〜３での拡大ズーム画像に映し出される人体ｍは全体であったが、不審者の確認に必要な部位は顔であるので、本実施形態のズーム処理部２０１には、この顔の部位を含む上半身を拡大したズーム画像とする処理機能を備えた点に特徴がある。

つまり本実施形態のズーム処理部２０１では、図１０（ａ）に示す撮像画像上に人体ｍが映されていることを人体検知機能部２００が検知すると、ズーム処理部２０１は撮像画像から顔の位置を検知する処理を行い、この顔位置から人体ｍの上半身に対応した対象ゾーンＸを決定する処理を行う。

ここでズーム処理部２０１が顔位置を検知して上半身に対応した対象ゾーンＸを決定する方法の一例を簡単に説明する。即ちこの方法は、撮像部１が撮像した複数の画像を記憶する記憶部（図示せず）と、類似度算出に用いるテンプレートを複数記憶している記憶部（図示せず）を備えるとともに、記憶部で記憶した複数の画像からある時刻における物体の移動領域を抽出する機能と、抽出した移動領域情報に基づいて使用するテンプレートを決定し、移動領域情報及び使用するテンプレートに基づいて走査範囲及び走査間隔を設定する機能と、使用するテンプレート及び走査条件を用いてテンプレートと対象画像との類似度を算出する機能とを備え、抽出された移動領域情報に基づいて外接長方形を生成して人の身体における顔部の相対的な位置情報に基づいて走査範囲を外接長方形内の上部に限定する処理を行うことで、顔部のエリアｘを含む上半身の領域、つまり対象ゾーンＸを決定する方法である。

而して上記方法によりズーム処理部２０１は、図１０（ｂ）に示すように顔部の部位ｘを含む上半身の領域、つまり対象ゾーンＸを決定し、この対象ゾーンＸの拡大ズーム画像のデジタル画像信号をズーム画像生成部２１３により生成させ、画像切り換え部２１４を介して映像出力部３へ出力させることで、図１０（ｃ）に示すように顔部を含む上半身の拡大ズーム画像をモニタ装置５に映し出すことができることになる。

以上のように本実施形態では顔部を拡大した拡大ズーム画像を出力することで、モニタ装置５に映し出される人物が不審者であるのか否かの判断を行うのが容易となる。

実施形態１の全体構成図である。実施形態１の人体検知方法の説明図である。実施形態１の人体検知機能部の要部の構成図である。実施形態１の動作説明用のフローチャートである。実施形態１のズーム処理の説明図である。実施形態１の動作説明用タイミングチャートである。実施形態１のズーム処理部の別の動作説明用タイミングチャートである。実施形態２のズーム処理の動作説明図である。実施形態３のズーム処理の動作説明図である。実施形態４のズーム処理の動作説明図である。

符号の説明

１撮像部
２画像信号処理部
２０画像処理部
２００人体検知機能部
２０１ズーム処理部
２０２ａ、２０２ｂ画像出力タイマ
２１映像生成処理部
２１０アナログ増幅部
２１１Ａ／Ｄ変換部
２１２デジタル増幅部
２１３ズーム画像生成部
２１４画像切り換え部
２１５利得性制御部
２１６アイリス制御部
３映像出力部
４出力部

Claims

所定の監視エリアを撮像する撮像部と、撮像部の撮像画像から人体を検知し、人体が検知されると撮像画像上の人体を含むゾーンを拡大ズームした画像を出力するとともに、人体検知による拡大ズーム画像の出力から一定時間経過後少なくとも所定の時間は最大視野角でのズーム画像を出力する画像信号処理部とを備えていることを特徴とする画像センサ装置。
前記画像信号処理部は、人体検知時に拡大ズームする対象ゾーンを、撮像画像上の人体検知位置を基に決定し、且つ対象ゾーンが決められたときには一定時間同じ対象ゾーンの拡大ズーム画像を出力することを特徴とする請求項１記載の画像センサ装置。
前記画像信号処理部は、拡大ズーム画像を出力する前の人体検知結果及び拡大ズーム画像出力中の人体検知結果に基づいて画像上の人体位置の追跡処理を行って人体の移動方向及び速さを予測するとともに拡大ズーム画像を出力している前記一定時間内に前記対象ゾーンから当該人体が抜け出る否かを判断する機能を備え、抜け出ると判断される場合には前記予測に基づいて次の対象ゾーンを決定して当該対象ゾーンに対する拡大ズーム画像を前記一定時間の残り時間だけ出力することを特徴とする請求項１又は２記載の画像センサ装置。
前記画像信号処理部は、拡大ズーム画像を出力する前の人体検知結果及び拡大ズーム画像出力中の人体検知結果に基づいて画像上の人体位置の追跡処理を行い、前記一定時間経過後、最大視野角のズーム画像を出力する状態に戻ったときに、前記人体検知手段が複数の人体を検知している場合には、先の拡大ズーム対象の人体とは異なる人体を拡大ズームした画像を出力する機能を備えていることを特徴とする請求項１乃至３の何れか記載の画像センサ装置。
前記拡大ズーム画像は、人体を検知した撮像画像の中で顔が映っていると判断された部位の画像であることを特徴とする請求項１記載の画像センサ装置。
前記画像信号処理部は、人体検知時に拡大ズームする前の対象ゾーンの画像データによって前記撮像部のアイリスの開口量及び画像信号を増幅する増幅部の利得を決定して、これらアイリスの開口量及び利得を拡大ズーム画像の出力中一定とすることを特徴とする請求項１乃至５の何れか記載の画像センサ装置。