JP2012015973A

JP2012015973A - 撮像装置

Info

Publication number: JP2012015973A
Application number: JP2010153365A
Authority: JP
Inventors: Toshiharu Takenouchi; 利春竹ノ内; Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2010-07-05
Filing date: 2010-07-05
Publication date: 2012-01-19
Anticipated expiration: 2030-07-05
Also published as: JP5891391B2

Abstract

【課題】画像に映った人の顔を見やすくする。
【解決手段】本実施形態の撮像装置(子機Ｓ)によれば、人(来訪者)の接近が検出されたとき、撮像部１で撮像される画像から顔検出処理部４で検出される顔存在領域に基づいて、拡大処理や露出補正処理などの補正処理の要否を制御部７で判断する。そして、必要と判断された補正処理(拡大処理又は露出補正処理)が補正手段たる画像処理部２で実行される。故に、画像に映った人(来訪者)の顔を見やすくできる。
【選択図】図１

Description

本発明は、撮像装置に関する。

従来の撮像装置として、インターホンシステムの通話機(主に来訪者が使用するドアホン子器やロビーインターホンなど)に搭載されるものがある。例えば、特許文献１に記載されている従来装置は、ドアホン子器のカメラで撮像した画像を親機のモニタに表示(出画)する際、親機の操作釦を操作して指定された領域を拡大して表示している。

特開２００６−１０１３２７号公報

ところで、上記従来例のようなインターホンシステムにおいては、撮像装置で常時撮像するのではなく、ドアホン子器やロビーインターホンの呼出釦の操作をトリガとして撮像装置が起動され、起動後に撮像が開始される。したがって、親機のモニタに表示される画像は、来訪者が呼出釦を操作した時点よりも後の時点の画像となる。そのため、撮像装置が撮像する画像が、必ずしも来訪者を確認しやすい(見やすい)画像であるとは限らない。

本発明は、上記課題に鑑みて為されたものであり、画像に映った人の顔を見やすくすることを目的とする。

本発明の撮像装置は、画像を取得する撮像手段と、人の接近を検出する検出手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、当該顔検出手段が検出した顔検出領域が見やすくなるように補正する補正手段と、前記検出手段が人の接近を検出したら前記顔検出手段に顔存在領域を検出させるとともに当該顔検出手段が検出した顔検出領域に基づいて前記補正手段による補正の要否を判断し、当該補正が必要と判断した場合に前記補正手段に補正を行わせる制御手段とを備えたことを特徴とする。

この撮像装置において、前記検出手段は、人に操作される操作部材の操作状況に基づいて前記人の接近を検出してなり、前記撮像手段は、前記操作部材を操作する人の顔が撮像可能な位置に配置されることが好ましい。

この撮像装置において、前記各手段が収納されるハウジングを備え、当該ハウジングに前記操作部材が設けられていることが好ましい。

この撮像装置において、人の接近を非接触で検出する第２の検出手段を備え、前記制御手段は、前記第２の検出手段が人の接近を検出したら前記撮像手段に画像取得準備を指示するとともに前記顔検出手段に顔存在領域の検出準備を指示し、前記撮像手段及び前記顔検出手段は、前記制御手段から前記指示を受けるまで休止状態にあり、前記指示を受けると休止状態から動作状態に復帰することが好ましい。

この撮像装置において、前記制御手段は、前記検出手段が人の接近を検出したら前記撮像手段に画像取得を指示するとともに前記顔検出手段に顔存在領域の検出を指示し、前記撮像手段及び前記顔検出手段は前記制御手段から前記指示を受けるまで休止状態にあり、前記指示を受けると休止状態から動作状態に復帰することが好ましい。

この撮像装置において、前記撮像手段が取得する画像を画像処理することで当該画像に人が映っているか否かを判定する判定手段を備え、前記制御手段は、前記検出手段が人の接近を検出し且つ前記判定手段が人が映っていると判定したら前記顔検出手段に顔存在領域を検出させるとともに当該顔検出手段が検出した顔検出領域に基づいて前記補正手段による補正の要否を判断することが好ましい。

この撮像装置において、前記補正手段は、前記顔存在領域を拡大することが好ましい。

この撮像装置において、前記補正手段は、前記顔検出領域の明るさを所定の適正範囲内に収めることが好ましい。

この撮像装置において、前記顔検出手段は、前記撮像手段が取得する複数フレームの画像に対してフレーム間差分処理を行い、当該フレーム間差分処理によって得られる差分画像から前記顔存在領域を検出することが好ましい。

この撮像装置において、前記検出手段は、前記撮像手段が取得する複数フレームの画像に対してフレーム間差分処理を行い、当該フレーム間差分処理によって得られる差分画像に対してテンプレートマッチング処理を行うことで人の接近を検出することが好ましい。

本発明の撮像装置は、画像に映った人の顔を見やすくできるという効果がある。

本発明に係る撮像装置(インターホン子機)の実施形態１を示すブロック図である。同上の正面図である。本発明に係る撮像装置(インターホン子機)の実施形態２を示すブロック図である。

以下、住戸の外玄関や集合住宅の共用玄関(ロビー)などに設置されるカメラ付きのインターホン子機(ロビーに設置される場合はロビーインターホン)Ｓと、住戸内に設置されてインターホン子機(以下、「子機」と略す)Ｓとの間で通話を行うインターホン親機(以下、「親機」と略す)Ｍとで構成されるインターホンシステムの子機Ｓに本発明を適用した実施形態について、図面を参照して詳細に説明する。但し、本発明に係る撮像装置は、インターホンシステムを構成するカメラ付きのインターホン子機に限定されるものではない。

(実施形態１)
図１に示すように、親機Ｍと子機Ｓは信号線Lsで接続されており、子機Ｓと親機Ｍとの間で信号線Lsを介して相互に音声信号を伝送して通話するとともに、子機Ｓの撮像装置で撮像された画像(動画像)が信号線Lsを介して親機Ｍに伝送され、親機Ｍの表示部101で表示される。但し、通話に関する構成については従来周知であるから図示並びに説明を省略する。

親機Ｍは、LCDパネルのような表示デバイスと表示デバイスを駆動して動画像(映像)を表示させるドライバ回路等を具備する表示部101、子機Ｓとの間で信号線Lsを介して音声信号、映像信号、制御信号を伝送(ディジタル伝送あるいは周波数分割多重伝送)する信号伝送部100などを備えている。

撮像装置でもある子機Ｓは、撮像部１、画像処理部２、信号伝送部３、顔検出処理部４、画角調整部５、操作入力部６、制御部７を備えている。信号伝送部３は、親機Ｍの信号伝送部101との間で信号線Lsを介して音声信号、映像信号、制御信号を伝送する。撮像手段たる撮像部１は、CCDイメージ・センサあるいはCMOSイメージ・センサからなる撮像素子10、撮像素子10の撮像面に光を集光するレンズ11などを具備している。なお、撮像素子10は、Yの輝度成分とU,Vの色差成分からなるディジタル・ビデオ信号(映像信号)を出力することができる。

画像処理部２は、撮像部１から出力される映像信号をディジタル変調(例えば、BPSKやQPSKなど)する変調処理のほか、露出補正処理や拡大処理(いわゆるディジタル・ズーム)などを行う。露出補正処理とは、１画面(１フレーム)の大きさよりも小さい領域(以下、「露出評価エリア」という。)における輝度成分のレベルを所定のしきい値(以下、「適正露出値」という。)と比較し、適正露出値よりも低ければ撮像素子10の電荷蓄積時間を長くして輝度成分のレベルを上げるように制御し、反対に、適正露出値よりも高ければ撮像素子10の電荷蓄積時間を短くして輝度成分のレベルを下げるように制御する処理である。例えば、被写体である人物よりも背景の方が輝度値が高いとき(いわゆる逆光のとき）、人物(特に顔)が映っている領域を露出評価エリアとすることで人物を適正な明るさで撮像することができる。なお、このような補正は、一般に逆光補正と呼ばれている。但し、露出制御処理において撮像素子10の電荷蓄積時間を調整する代わりに、撮像部１におけるレンズ11と撮像素子10の間にアイリス(絞り)が設けられている場合にはアイリスの開口度を調整して露出制御することも可能である。あるいは、撮像部１から出力される映像信号の明るさ(輝度成分のレベル)を、画像処理部２がディジタル処理によって調整することで露出制御することも可能である。

また、拡大処理とは、元の映像信号から、１画面(１フレーム)よりも小さい任意の領域(以下、「拡大領域」という。)を前記１画面分の大きさに拡大して表示するための映像信号を作成する処理である。但し、この種の拡大処理(ディジタル・ズーム)の具体的な処理内容については、従来周知であるから詳細な説明は省略する。

顔検出処理部４は、撮像部１で取得される画像における人の顔の存在領域を検出する処理(顔検出処理)を行っている。顔検出処理とは、例えば、予め撮像部１で取得される画像から人の顔の特徴部分(目や鼻、口など)を抽出してテンプレートを作成しておき、実際に撮像された画像に対してテンプレートを走査し、テンプレートとのマッチング(相関)が高い領域を人の顔の存在領域と判定する処理である。ここで、顔検出処理は上述したテンプレート・マッチングに限定されるものではない。例えば、撮像部１で撮像される画像には移動体(来訪者)と非移動体(建物の壁など)とが映っていると考えられるので、連続して取得された複数のフレームのフレーム間差分を求め、その差分画像において移動体が映っている領域を顔存在領域として検出することも可能である。さらに、差分画像において移動体が映っている領域が複数存在する場合、例えば、犬や猫などの小動物が映っていたり、風で揺れる木の枝が映っているような場合、前記複数の領域に対してテンプレート・マッチングを行うことで人の顔が存在する領域を精度よく検出することができる。なお、顔検出処理部４で検出された顔存在領域の位置情報が画像処理部２に伝えられる。

画角調整部５は、撮像部１を水平方向に回動させるパンニング、及び垂直方向に回動させるチルティングをそれぞれ行ってレンズ11の光軸の向き、すなわち、撮像部１の画角を調整するものである。なお、パンニング及びチルティングは、それぞれの回動機構をモータで駆動することによって実現される。また、画角調整部５による画角調整は、後述するように制御部７の指示によって行われる。

操作入力部６は、多数の押釦スイッチを有し、これらの押釦スイッチがオンされたときに各押釦スイッチに対応した操作入力を受け付けるとともに、受け付けた操作入力に対応する操作信号を制御部７に伝送する。また、操作入力部６は、後述するように入力内容を表示するための表示器(例えば、７セグメントのＬＥＤ表示器)も具備している。

制御部７は、マイクロコンピュータやメモリなどのハードウェアと、後述する種々の制御を実行するためのソフトウェアとで構成されている。例えば、操作入力部６で親機Ｍを呼び出す操作入力が受け付けられると、制御部７は、信号伝送部３から信号線Lsを介して親機Ｍに呼出信号を送信する。そして、呼出信号を受信した親機Ｍで呼出音が鳴動される。さらに、呼出音が鳴動されてから一定時間内に親機Ｍの応答釦が操作されると、親機Ｍと子機Ｓの間に信号線Lsを介した通話路が形成され、親機Ｍと子機Ｓとの間でインターホン通話が可能となる。

図２は、ロビーインターホンとして構成された子機Ｓの外観図(正面図)を示している。子機Ｓのハウジング200は、正面から見て矩形の箱形に形成され、その内部に撮像部１、画像処理部２、信号伝送部３、顔検出処理部４、画角調整部５、操作入力部６、制御部７の各部が収納されている。またハウジング200の前面中央には、操作入力部６の押釦スイッチを押操作するための操作部材201,202が配設されている。一方の操作部材201は、０〜１の数字や*(アスタリスク)を入力するための押釦スイッチと、入力した数字又はアスタリスクを消去するための押釦スイッチとにそれぞれ対応している。また、他方の操作部材202は、操作部材201を操作して入力した内容(親機Ｍが設置されている住戸の住戸番号)を確定し、子機Ｓから親機Ｍへ呼出信号を送信させるための押釦スイッチと対応している。なお、操作部材201を押操作して入力される内容(数字)は、ハウジング200前面において、操作部材201の上部に配設されている表示器(例えば、７セグメントのＬＥＤ表示器)203に表示される。また、ハウジング200前面における表示器203の隣に撮像部１のレンズ11が配置されている。但し、レンズ11は曇りガラスからなるカバー204で隠されている。なお、レンズ11が配置される位置は、操作部材201を押操作する来訪者の顔が撮像可能な位置であればよい。

次に、来訪者が子機Ｓを使用して訪問先の住戸の親機Ｍを呼び出すまでの動作を説明する。まず、来訪者が子機Ｓの前に立って操作部材201を押操作し、訪問先の住戸の住戸番号を入力する。操作入力部６は、操作部材201が押操作される毎に当該操作部材201で押操作された押釦スイッチと対応する操作信号を制御部７に出力する。制御部７は、最初の操作信号を操作入力部６から受け取った時点で人(来訪者)が接近したと判断する。すなわち、本実施形態においては、操作入力部６が人の接近を検出する検出手段に相当する。

そして制御部７は、人が接近したと判断した後、撮像部１を起動して画像を取得させるとともに、顔検出処理部４に顔検出処理の実行を指示する。ここで、来訪者によって操作部材201が操作される前は、撮像部１、画像処理部２、信号伝送部３、顔検出処理部４、画角調整部５が休止状態にあり、操作入力部６と制御部７のみが動作している。但し、制御部７はマイクロコンピュータの消費電力を抑えたスタンバイ状態にあり、操作入力部６から最初の操作信号を受け取った時点で通常の動作状態に復帰する。

顔検出処理部４は、撮像部１で撮像された画像に対して顔検出処理を実行して来訪者の顔が映っている領域(顔存在領域)を検出し、検出した顔存在領域の情報を制御部７に渡す。制御部７は、顔検出処理部４から受け取った顔存在領域の情報に基づいて、画像処理部２における拡大処理並びに露出補正処理の要否を判断する。例えば、来訪者が子機Ｓから離れた位置に居たため、画面に対する顔存在領域の占める割合が所定のしきい値以下であったとすれば、制御部７は拡大処理が必要と判断して画像処理部２に拡大処理の実行を指示する。一方、来訪者が子機Ｓに顔を近付けていたため、画面に対する顔存在領域の占める割合がしきい値を越えていたとすれば、制御部７は拡大処理が不要と判断して画像処理部２に拡大処理の実行を指示しない。また、制御部７は、顔存在領域の輝度成分レベルが適正露出値よりも低ければ露出補正処理が必要と判断し、顔存在領域の輝度成分レベルが適正露出値以上であれば露出補正処理が不要と判断して、画像処理部２に対して露出補正処理の実行の要否を指示する。

画像処理部２は、制御部７からの指示に従って拡大処理及び露出補正処理を実行し、処理後の画像(映像信号)あるいは何れの処理も実行しなかったときは元の画像(映像信号)を変調処理して信号伝送部３に出力する。したがって、親機Ｍの表示部101には、来訪者の顔が適切な大きさ及び明るさで映っている画像(映像)が表示されることになる。

このように本実施形態の撮像装置(子機Ｓ)によれば、人(来訪者)の接近が検出されたとき、撮像部１で撮像される画像から顔検出処理部４で検出される顔存在領域に基づいて、拡大処理や露出補正処理などの補正処理の要否を制御部７で判断するとともに、必要と判断された補正処理(拡大処理又は露出補正処理)が補正手段たる画像処理部２で実行されるので、画像に映った人(来訪者)の顔を見やすくできる。しかも、親機Ｍの表示部101で来訪者の顔を見る人(住戸の住人)は、親機Ｍに対して何等の操作もする必要が無く、撮像装置(子機Ｓ)がすべて自動的に処理するので、使い勝手が良いものである。

ところで、撮像部１で撮像された画像に人が映っていなければ、当該画像に対して顔検出処理を実行しても無駄である。そこで、画像処理部２において人が映っているか否かを判定し、人が映っていると判定された場合にのみ、顔検出処理部４が顔検出処理を実行すればよい。なお、画像処理部２における判定方法としては、例えば、連続して取得された複数のフレームのフレーム間差分を求め、その差分画像から人(移動体)の有無を判定すればよい。また、判定手段たる画像処理部２で人が映っていないと判定された場合、制御部７が画角調整部５に画角の調整を指示し、画角調整部５で画角調整された後に撮像部１で取得された画像に対して、再度、画像処理部２が上記判定処理を行うようにしても構わない。

また、操作入力部６で最初の操作入力が受け付けられたときに、制御部７が、来訪者に対して顔を子機Ｓの正面に向けるように促すメッセージを操作入力部６の表示器やその他の表示デバイスに表示させたり、あるいは、図示しないスピーカから前記メッセージを鳴動させるようにしても構わない。そして、このようなメッセージを来訪者に提示した後、制御部７が撮像部１に撮像させるとともに顔検出処理部４に顔検出処理を行わせれば、顔検出処理の対象とする画像に来訪者の顔が映っている可能性が非常に高くなる。また、顔検出処理の対象とする画像に対して、予め画像処理部２が露出補正処理を行うようにしてもよい。このように予め露出補正処理を行っておけば、来訪者の顔が逆光で暗くなっている場合に露出補正処理で適正な明るさに補正されるため、顔検出処理による顔存在領域の検出精度を向上することができる。

ところで、顔検出処理にフレーム間差分を用いる場合、来訪者の顔が撮像部１の画角内に入っている可能性が高い時間帯に撮像された複数のフレームのフレーム間差分を用いることが望ましい。例えば、制御部７が最初の操作信号を操作入力部６から受け取って人(来訪者)が接近したと判断した時点から所定期間が経過するまでの間に撮像された複数フレームのフレーム間差分を用いればよい。あるいは、操作入力部６が最初の操作入力を受け付けてから次の操作入力を受け付けるまでの間に撮像された複数フレームのフレーム間差分を用いてもよい。

なお、拡大処理後も顔検出処理部４で顔検出処理を実行し、来訪者の顔の一部でも画面の外にはみ出たら、制御部７が画角調整部５に画角の調整を指示して来訪者の顔が画面からはみ出さないようにすることが望ましい。

(実施形態２)
本実施形態の撮像装置(子機Ｓ)と親機Ｍのブロック図を図３に示す。但し、本実施形態の子機Ｓの構成は実施形態１の子機Ｓの構成と基本的に共通であるから、共通する構成要素には同一の符号を付して説明を省略する。

本実施形態の子機Ｓは、人の接近を非接触で検出する第２の検出手段(人感センサ部８)を備えている点に特徴がある。人感センサ部８は、人体から放射される熱線(赤外線)を焦電素子で感知することによって人の存在を検出するパッシブ型のものや、あるいは超音波又は電波を送波し、対象物(人)に反射して戻る超音波又は電波を受波することで人の存在を検出するアクティブ型のものなどがある。人感センサ部８の検出範囲が子機Ｓの周囲に形成されており、この検出範囲内に人が進入すると人感センサ部８が当該人の存在を検出して制御部７に人体検出信号を送出する。

人体検出信号を受け取った制御部７は、スタンバイ状態から通常の動作状態に復帰し、休止状態にある撮像部１を起動して画像を取得させるとともに、同じく休止状態にある顔検出処理部４に顔検出処理の実行を指示する。但し、人感センサ部８の検出範囲を広くした場合、検出範囲に進入した人(来訪者)が撮像部１の画角内に入るまでにタイムラグが生じることがある。その場合、人体検出信号を受け取った制御部７が休止状態にある撮像部１を起動して画像取得の準備をさせ、前記タイムラグに相当する時間が経過したときに撮像部１に画像の取得を指示するとともに顔検出処理部４に顔検出処理の実行を指示すればよい。また、本実施形態においても、画像処理部２において人が映っているか否かを判定し、人が映っていると判定された場合にのみ、制御部７が顔検出処理部４に顔検出処理の実行を指示することが好ましい。

また、顔検出処理にフレーム間差分を用いる場合、制御部７が人感センサ部８から人体検出信号を受け取った時点から、最初の操作信号を操作入力部６から受け取るまでの間に撮像された複数フレームのフレーム間差分を用いることが好ましい。このようにすれば、来訪者の顔が撮像部１の画角内に入っている可能性を高くすることができる。

Ｓインターホン子機(撮像装置)
１撮像部(撮像手段)
２画像処理部(補正手段)
４顔検出処理部(顔検出手段)
６操作入力部(検出手段)
７制御部(制御手段)

Claims

画像を取得する撮像手段と、人の接近を検出する検出手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、当該顔検出手段が検出した顔検出領域が見やすくなるように補正する補正手段と、前記検出手段が人の接近を検出したら前記顔検出手段に顔存在領域を検出させるとともに当該顔検出手段が検出した顔検出領域に基づいて前記補正手段による補正の要否を判断し、当該補正が必要と判断した場合に前記補正手段に補正を行わせる制御手段とを備えたことを特徴とする撮像装置。
前記検出手段は、人に操作される操作部材の操作状況に基づいて前記人の接近を検出してなり、前記撮像手段は、前記操作部材を操作する人の顔が撮像可能な位置に配置されることを特徴とする請求項１記載の撮像装置。
前記各手段が収納されるハウジングを備え、当該ハウジングに前記操作部材が設けられていることを特徴とする請求項２記載の撮像装置。
人の接近を非接触で検出する第２の検出手段を備え、前記制御手段は、前記第２の検出手段が人の接近を検出したら前記撮像手段に画像取得準備を指示するとともに前記顔検出手段に顔存在領域の検出準備を指示し、前記撮像手段及び前記顔検出手段は、前記制御手段から前記指示を受けるまで休止状態にあり、前記指示を受けると休止状態から動作状態に復帰することを特徴とする請求項２又は３記載の撮像装置。
前記制御手段は、前記検出手段が人の接近を検出したら前記撮像手段に画像取得を指示するとともに前記顔検出手段に顔存在領域の検出を指示し、前記撮像手段及び前記顔検出手段は前記制御手段から前記指示を受けるまで休止状態にあり、前記指示を受けると休止状態から動作状態に復帰することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
前記撮像手段が取得する画像を画像処理することで当該画像に人が映っているか否かを判定する判定手段を備え、
前記制御手段は、前記検出手段が人の接近を検出し且つ前記判定手段が人が映っていると判定したら前記顔検出手段に顔存在領域を検出させるとともに当該顔検出手段が検出した顔検出領域に基づいて前記補正手段による補正の要否を判断することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
前記補正手段は、前記顔存在領域を拡大することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
前記補正手段は、前記顔検出領域の明るさを所定の適正範囲内に収めることを特徴とすることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
前記顔検出手段は、前記撮像手段が取得する複数フレームの画像に対してフレーム間差分処理を行い、当該フレーム間差分処理によって得られる差分画像から前記顔存在領域を検出することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
前記顔検出手段は、前記検出手段が人の接近を検出してから前記操作部材が操作されるまでの間に前記撮像手段が取得する１乃至複数フレームの画像の中から選択した１フレームの画像を基準フレーム画像とし、当該基準フレーム画像よりも後に取得される画像とのフレーム間差分処理を行い、当該フレーム間差分処理によって得られる差分画像から前記顔存在領域を検出することを特徴とする請求項３又は４記載の撮像装置。
前記検出手段は、前記撮像手段が取得する複数フレームの画像に対してフレーム間差分処理を行い、当該フレーム間差分処理によって得られる差分画像に対してテンプレートマッチング処理を行うことで人の接近を検出することを特徴とする請求項１記載の撮像装置。