JP2012134660A

JP2012134660A - 撮像装置及びインターホン装置、インターホンシステム

Info

Publication number: JP2012134660A
Application number: JP2010283627A
Authority: JP
Inventors: Toshiharu Takenouchi; 利春竹ノ内; Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2012-07-12
Anticipated expiration: 2030-12-20
Also published as: JP5750590B2

Abstract

【課題】製造コストの上昇を抑えつつ人物の顔を確実に追跡して撮像する。
【解決手段】子機Ｓにおいては、顔検出処理部５の顔検出処理実行中にバッファメモリ２に記憶される画像データに対して画像処理部３が調整処理を行っている。したがって、画像処理部３並びに顔検出処理部５を構成するハードウェアが高性能なものでなく且つ顔検出処理に比較的長い時間を要する場合であっても、人物の顔を確実に追跡して撮像することができるとともに、製造コストの上昇を抑えることができる。
【選択図】図１

Description

本発明は、撮像装置、及び撮像装置を具備するインターホン装置、当該インターホン装置を備えたインターホンシステムに関する。

従来の撮像装置として、インターホンシステムのインターホン装置(主に来訪者が使用するドアホン子器やロビーインターホンなど)に搭載されるものがある。例えば、特許文献１に記載されている従来装置は、ドアホン子器のカメラで撮像した画像のなかから来訪者の顔等の拡大表示すべき位置が手動で指定された後、位置検出手段により検出される来訪者の動きに追従して拡大表示する位置を変化させている。

特開平６-３８２１４号公報

ところで、近年の撮像装置では、画像処理技術の進歩により、人物の被写体画像から顔領域を認識するとともに認識された顔領域が画角のほぼ中央に位置するように自動的に拡大処理等が行われている。しかしながら、特許文献１記載の従来例のように移動する来訪者を追跡する処理(追跡処理)と、来訪者の位置(顔領域)を検出する処理(顔検出処理)とが双方とも実行される場合、撮像装置における画像処理の負担が大幅に増加し、来訪者の追跡が困難になる虞があった。なお、画像処理を実行するハードウェア(CPUや画像処理用ICなど)が高性能なものであれば、画像処理の負担増にも対応可能ではあるが、そのような高性能なハードウェアが採用されると撮像装置の製造コストが上昇してしまうという問題がある。

本発明は、上記課題に鑑みて為されたものであり、製造コストの上昇を抑えつつ人物の顔を確実に追跡して撮像することを目的とする。

本発明の撮像装置は、画像を撮像する撮像手段と、当該画像を記憶する記憶手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、前記画像の一部の領域を拡大する拡大手段と、前記人が前記画像から外れないように前記撮像手段の撮像範囲又は前記拡大手段の拡大領域を調整する調整手段とを備え、前記顔検出手段の検出処理の実行中に前記記憶手段に記憶される前記画像に対して前記調整手段の調整処理が行われることを特徴とする。

この撮像装置において、前記記憶手段は、一定の周期で画像を記憶することが好ましい。

この撮像装置において、前記記憶手段は、人が前記撮像手段の撮像範囲内に居る可能性が高いときは前記撮像手段のフレーム周期よりも長い第１周期で画像を記憶し、その他のときは前記第１周期よりも短く且つ前記フレーム周期よりも長くない第２周期で画像を記憶することが好ましい。

この撮像装置において、前記調整手段で調整された画像を含む複数種類の画像を親画面と子画面に振り分けた画像を生成する画像生成手段を備えることが好ましい。

この撮像装置において、前記調整手段で調整された画像と前記調整手段で調整されていない画像とを選択して出力する出力手段を備え、前記調整手段は、当該出力手段に選択されるか否かに関わりなく、画像の調整を行うことが好ましい。

本発明のインターホン装置は、何れかの撮像装置と、当該撮像装置で撮像される画像を伝送する伝送手段とを備えることを特徴とする。

本発明のインターホンシステムは、前記インターホン装置と、前記インターホン装置から伝送される画像を表示する表示手段を具備するインターホン装置とを備えることを特徴とする。

本発明の撮像装置及びインターホン装置、インターホンシステムは、製造コストの上昇を抑えつつ人物の顔を確実に追跡して撮像することができるという効果がある。

本発明に係る撮像装置、インターホン装置、インターホンシステムの実施形態を示すブロック図である。同上におけるインターホン子機の平面図である。同上の動作説明用のタイムチャートである。

以下、撮像装置を内蔵して住戸の外玄関や集合住宅の共用玄関(ロビー)などに設置されるカメラ付きのインターホン子機(ロビーに設置される場合はロビーインターホン)Ｓと、住戸内に設置されてインターホン子機(以下、「子機」と略す)Ｓとの間で通話を行うインターホン親機(以下、「親機」と略す)Ｍとで構成されるインターホンシステムに本発明を適用した実施形態について、図面を参照して詳細に説明する。但し、撮像装置を子機Ｓと別体に構成しても構わない。

図１に示すように、インターホン装置に相当する親機Ｍと子機Ｓは信号線Lsで接続されている。本実施形態のインターホンシステムでは、子機Ｓと親機Ｍとの間で信号線Lsを介して相互に音声信号を伝送して通話するとともに、子機Ｓの撮像装置で撮像された画像(動画像)が信号線Lsを介して親機Ｍに伝送され、親機Ｍの表示部101で表示される。なお、図示は省略しているが、親機Ｍ並びに子機Ｓには、マイクロホンとスピーカ、マイクロホンで集音した音声を信号線Ls(あるいは、図示しない通話線)を介して伝送し、且つ相手側から伝送されてくる音声をスピーカから鳴動させる通話手段が設けられている。但し、このような通話手段については従来周知であるから図示並びに説明を省略する。

親機Ｍは、表示部101、信号伝送部100、操作入力部103、親機制御部102などを備えている。表示部101は、LCDパネルのような表示デバイスと表示デバイスを駆動して動画像(映像)を表示させるドライバ回路等を具備する。信号伝送部100は、子機Ｓとの間で信号線Lsを介して音声信号、映像信号、制御信号を伝送(ディジタル伝送あるいは周波数分割多重伝送)するとともに、子機Ｓから伝送されてくる映像信号の復調及び復号化の処理を行っている。操作入力部103は、後述する応答釦などの操作入力を受け付けて当該操作入力に対応した操作信号を親機制御部100に出力する。親機制御部102は、マイクロコンピュータやメモリなどのハードウェアとソフトウェアとで構成され、親機Ｍ全体の制御を行っている。

子機Ｓは、撮像部１、バッファメモリ２、画像処理部３、信号伝送部４、顔検出処理部５、画角調整部６、操作入力部７、制御部８などを備えている。信号伝送部４は、親機Ｍの信号伝送部101との間で信号線Lsを介して音声信号、映像信号、制御信号を伝送する。撮像手段たる撮像部１は、CCDイメージ・センサあるいはCMOSイメージ・センサからなる撮像素子10、撮像素子10の撮像面に光を集光するレンズ11などを具備している。なお、撮像素子10は、Yの輝度成分とU，Vの色差成分からなるディジタル・ビデオ信号(映像信号)を出力することができる。

バッファメモリ２は、制御部８の指示に従って撮像部１から出力される映像信号(画像データ)を記憶(バッファリング)するものであって、フラッシュメモリなどの電気的に書換可能な不揮発性の半導体メモリで構成されている。但し、バッファメモリ２が画像データを記憶(バッファリング)するタイミングは、制御部８の指示によって決まる。

画像処理部３は、バッファメモリ２から読み出す映像信号をディジタル変調(例えば、BPSKやQPSKなど)する変調処理のほか、拡大処理(いわゆるディジタル・ズーム)や追跡処理、調整処理などを行う。拡大処理とは、元の映像信号から、１画面(１フレーム)よりも小さい任意の領域(以下、「拡大領域」という。)を前記１画面分の大きさに拡大して表示するための映像信号を作成する処理である。また追跡処理とは、フレーム間差分によって抽出される移動体(来訪者)の画像上の位置を検出する処理である。但し、この種の拡大処理(ディジタル・ズーム)や追跡処理の具体的な処理内容については、従来周知であるから詳細な説明は省略する。さらに調整処理とは、後述する顔存在領域が画像(画角)から外れないように撮像部１の撮像範囲又は拡大処理における拡大領域を調整する処理である。なお、撮像部１の撮像範囲の調整は、後述するように画角調整部６による画角調整によって実現される。

顔検出処理部５は、撮像部１の撮像画像における人の顔の存在領域(顔存在領域)を検出する処理(顔検出処理)を行っている。顔検出処理とは、例えば、予め撮像部１で撮像される画像から人の顔の特徴部分(目や鼻、口など)を抽出してテンプレートを作成しておき、実際に撮像された画像に対してテンプレートを走査し、テンプレートとのマッチング(相関)が高い領域を顔存在領域と判定する処理である。なお、顔検出処理部５で検出された顔存在領域の位置情報(画像上の位置座標)が画像処理部３に伝えられる。

画角調整部６は、撮像部１を水平方向に回動させるパンニング、及び垂直方向に回動させるチルティングをそれぞれ行ってレンズ11の光軸の向き、すなわち、撮像部１の画角を調整するものである。なお、パンニング及びチルティングは、それぞれの回動機構をモータで駆動することによって実現される。また、画角調整部６による画角調整は、後述するように制御部８の指示によって行われる。

信号伝送部４は、親機Ｍの信号伝送部101との間で信号線Lsを介して音声信号、映像信号、制御信号を伝送する。また信号伝送部４では、映像信号の符号化(圧縮)処理や符号化された映像信号をディジタル変調(例えば、BPSKやQPSKなど)する変調処理なども行っている。

操作入力部７は、多数の押釦スイッチを有し、これらの押釦スイッチがオンされたときに各押釦スイッチに対応した操作入力を受け付けるとともに、受け付けた操作入力に対応する操作信号を制御部８に送出する。また、操作入力部７は、後述するように入力内容を表示するための表示器(例えば、７セグメントのＬＥＤ表示器)も具備している。

制御部８は、マイクロコンピュータやメモリなどのハードウェアと、後述する種々の制御を実行するためのソフトウェアとで構成されている。例えば、操作入力部７で親機Ｍを呼び出す操作入力が受け付けられると、制御部８は、信号伝送部４から信号線Lsを介して親機Ｍに呼出信号を送信する。そして、呼出信号を受信した親機Ｍのスピーカから呼出音が鳴動される。さらに、呼出音が鳴動されてから一定時間内に親機Ｍの応答釦が操作されると、親機Ｍと子機Ｓの間に信号線Lsを介した通話路が形成され、親機Ｍと子機Ｓとの間でインターホン通話が可能となる。すなわち、本実施形態では来訪者が通話に使用する子機Ｓが撮像装置及び当該撮像装置を備えるインターホン装置に相当し、応対者(住人)が通話に使用する親機Ｍ(インターホン装置)とともにインターホンシステムを構成している。

図２は、ロビーインターホンとして構成された子機Ｓの外観図(正面図)を示している。子機Ｓのハウジング200は、正面から見て矩形の箱形に形成され、その内部に撮像部１、バッファメモリ２、画像処理部３、信号伝送部４、顔検出処理部５、画角調整部６、操作入力部７、制御部８の各部が収納されている。またハウジング200の前面中央には、操作入力部７の押釦スイッチを押操作するための操作部材(操作釦)201，202が配設されている。一方の操作釦201は、０〜１の数字や*(アスタリスク)を入力するための押釦スイッチと、入力した数字又はアスタリスクを消去するための押釦スイッチとにそれぞれ対応している。また、他方の操作釦202は、操作釦201を操作して入力した内容(親機Ｍが設置されている住戸の住戸番号)を確定し、子機Ｓから親機Ｍへ呼出信号を送信させるための押釦スイッチと対応している。なお、操作釦201を押操作して入力される内容(数字)は、ハウジング200前面において、操作釦201の上部に配設されている表示器(例えば、７セグメントのＬＥＤ表示器)203に表示される。また、ハウジング200前面における表示器203の隣に撮像部１のレンズ11が配置されている。但し、レンズ11は曇りガラスからなるカバー204で隠されている。なお、レンズ11が配置される位置は、操作釦201を押操作する来訪者の顔が撮像可能な位置であればよい。

次に、図３のタイムチャートを参照して、来訪者が子機Ｓを使用して訪問先の住戸の親機Ｍを呼び出すまでの動作を説明する。まず、来訪者が子機Ｓの前に立って操作釦201を押操作し、訪問先の住戸の住戸番号を入力する。操作入力部７は、操作釦201が押操作される毎に当該操作釦201で押操作された押釦スイッチと対応する操作信号を制御部８に出力する。制御部８は、最初の操作信号を操作入力部７から受け取った時点で人(来訪者)が撮像部１の撮像範囲内に居る可能性が高いと判断する。

そして制御部８は、人が撮像範囲内に居る可能性が高いと判断した後、撮像部１を起動して撮像させるとともに、顔検出処理部５に顔検出処理の実行を指示する。さらに、制御部８は撮像部１のフレーム周期TFよりも長い周期TB(図示例ではTB=TF×５)でバッファメモリ２に画像データを記憶(バッファリング)させる。ここで、来訪者によって操作釦201が操作される前は、撮像部１、バッファメモリ２、画像処理部３、信号伝送部４、顔検出処理部５、画角調整部６が休止状態にあり、操作入力部７と制御部８のみが動作している。但し、制御部８はマイクロコンピュータの消費電力を抑えたスタンバイ状態にあり、操作入力部７から最初の操作信号を受け取った時点で通常の動作状態に復帰する。

顔検出処理部５は、撮像部１で撮像された画像に対して顔検出処理を実行して来訪者の顔が映っている領域(顔存在領域)を検出し、検出した顔存在領域の位置情報を制御部８に渡す。制御部８は、顔検出処理部５から受け取った顔存在領域の位置情報に基づいて、画像処理部３における拡大処理の要否を判断する。例えば、来訪者が子機Ｓから離れた位置に居たため、画面に対する顔存在領域の占める割合が所定のしきい値以下であったとすれば、制御部８は拡大処理が必要と判断して画像処理部３に拡大処理の実行を指示する。一方、来訪者が子機Ｓに顔を近付けていたため、画面に対する顔存在領域の占める割合がしきい値を越えていたとすれば、制御部８は拡大処理が不要と判断して画像処理部３に拡大処理の実行を指示しない。

さらに制御部８は、顔検出処理部５から顔存在領域の位置情報を受け取ると画像処理部３に追跡処理並びに調整処理を開始させる。この追跡処理は、操作釦201，202の操作開始時点から顔検出処理部５の顔検出処理が終了するまでの間(顔検出処理期間TX)にバッファメモリ２に記憶されている複数フレームの画像データから開始される。但し、一番最初に記憶されたフレームは追跡処理に使用されず、顔検出処理のみに使用される。さらに、顔検出処理期間TX中にバッファメモリ２に記憶されていた画像データの処理が済むと、画像処理部３は、引き続いてバッファメモリ２に記憶されている最新の画像データを用いて追跡処理を継続する。なお、顔検出処理期間TX中に記憶された画像データの処理が済んだ後、制御部８はバッファメモリ２のバッファリング周期TBを撮像部１のフレーム周期TFに一致させる。よって、バッファメモリ２には撮像部１から出力される全ての画像データが順番に記憶される。

そして画像処理部３は、追跡処理によって検出される移動体(来訪者)の画像上の位置に基づき、顔存在領域が画像(画角)から外れないように撮像部１の撮像範囲又は拡大処理における拡大領域を調整する(調整処理)。さらに画像処理部３は、制御部８からの指示に従って拡大処理及び追跡処理、調整処理を実行し、処理後の画像(映像信号)あるいは何れの処理も実行しなかったときは元の画像(映像信号)を変調処理して信号伝送部３に出力する。したがって、親機Ｍの表示部101には、来訪者の顔が適切な大きさで映っている画像(映像)が表示されることになる。

制御部８は、操作入力部７の操作釦202が押操作されると、それまでに操作入力部７から受け取った操作信号で示される数列を住戸番号として確定し、当該住戸番号が割り当てられている親機Ｍに対して信号伝送部３から制御信号(呼出信号)を伝送させる。さらに、制御部８は画像処理部３および信号伝送部４に指示して画像を伝送させる。

一方、親機Ｍにおいては、自己に割り当てられている住戸番号に一致する制御信号(呼出信号)を信号伝送部100で受信すると、親機制御部102がスピーカから呼出音を鳴動させる。さらに、子機Ｓから伝送されてくる画像が信号伝送部100で受信され、親機Ｍの表示部101に当該画像が表示される。

上述のように子機Ｓにおいては、顔検出処理部５の顔検出処理実行中にバッファメモリ２に記憶される画像データに対して画像処理部３が調整処理を行っている。したがって、画像処理部３並びに顔検出処理部５を構成するハードウェアが高性能なものでなく且つ顔検出処理に比較的長い時間を要する場合であっても、人物の顔を確実に追跡して撮像することができるとともに、製造コストの上昇を抑えることができる。

ところで、顔検出処理部５が顔検出処理を行った画像には、子機Ｓの操作釦201，202を押操作している来訪者が映っている可能性が高い。なお、以下では説明を簡単にするため、上述のように顔検出処理が行われた短時間の画像を「イントロ画像」と呼ぶことにする。なお、イントロ画像はバッファメモリ２とは別のメモリ(図示せず)に記憶されている。

従来のインターホンシステムでは、子機で呼出操作が行われた後に撮像されるリアルタイムの画像が親機のモニタに表示されていた。そのため、呼出操作を終了した来訪者が無意識又は故意に撮像部１の撮像範囲から外れてしまい、呼出音を聞いた住人(応対者)が観る時点で親機Ｍの表示部101に表示される画像に来訪者が映っていない場合があった。一方、本実施形態では、画像処理部３の追跡処理と調整処理により、ある程度までは移動する来訪者を撮像部１の撮像範囲内に収めることができる。

ここで、呼出音が鳴動されてから応答釦が操作されるまでの応答待ちの期間(以下、「イントロ期間」と呼ぶ。)において、イントロ画像とリアルタイムの画像を親画面と子画面に振り分けて親機Ｍの表示部101に同時に表示させてもよい。すなわち、子機Ｓの画像処理部３が親子画面処理を実行し、メモリに記憶されているイントロ画像とリアルタイムの画像(調整処理後の画像)とを合成し、一方の画像を親画面とし、他方の画像を子画面として同一画面内に同時に表示する画像を作成する。そして、画像処理部３で作成された親子画面の画像が信号伝送部４から親機Ｍに伝送され、親機Ｍの表示部101に２種類の画像(イントロ画像I2とリアルタイムの画像I1)が親子画面として表示される。また、親機Ｍの操作入力部103で親子画面を切り換える操作入力が受け付けられると、親機制御部102が信号伝送部100から親子画面の切換を指示する制御信号を送信させる。そして、当該制御信号を受け取った子機Ｓの制御部８は、画像処理部３に対して親画面に表示する画像と子画面に表示する画像の切換(入れ替え)を指示する。その結果、親機Ｍの表示部103に表示される親子画面の画像の位置が切り換えられることになる。つまり、本実施形態では画像処理部３が画像生成手段に相当し、制御部８が出力手段に相当する。但し、親画面と子画面の合成並びに入れ替えを親機Ｍの親機制御部102で行うことも可能である。

ここで、制御信号に応じて制御部８がイントロ画像のみを信号伝送部４から伝送させている間においても画像処理部３が追跡処理並びに調整処理を継続している。したがって、制御部８が信号伝送部４から伝送させる画像をイントロ画像からリアルタイム画像あるいはリアルタイム画像を含む親子画面の画像に切り換えた場合、直ちに調整処理がされたリアルタイム画像が伝送可能になる。

Ｍインターホン親機(インターホン装置)
Ｓインターホン子機(撮像装置，インターホン装置)
１撮像部(撮像手段)
２バッファメモリ(記憶手段)
３顔検出処理部(顔検出手段)
４画像処理部(拡大手段，調整手段)

Claims

画像を撮像する撮像手段と、当該画像を記憶する記憶手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、前記画像の一部の領域を拡大する拡大手段と、前記人が前記画像から外れないように前記撮像手段の撮像範囲又は前記拡大手段の拡大領域を調整する調整手段とを備え、前記顔検出手段の検出処理の実行中に前記記憶手段に記憶される前記画像に対して前記調整手段の調整処理が行われることを特徴とする撮像装置。
前記記憶手段は、一定の周期で画像を記憶することを特徴とする請求項１記載の撮像装置。
前記記憶手段は、人が前記撮像手段の撮像範囲内に居る可能性が高いときは前記撮像手段のフレーム周期よりも長い第１周期で画像を記憶し、その他のときは前記第１周期よりも短く且つ前記フレーム周期よりも長くない第２周期で画像を記憶することを特徴とする請求項２記載の撮像装置。
前記調整手段で調整された画像を含む複数種類の画像を親画面と子画面に振り分けた画像を生成する画像生成手段を備えることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
前記調整手段で調整された画像と前記調整手段で調整されていない画像とを選択して出力する出力手段を備え、前記調整手段は、当該出力手段に選択されるか否かに関わりなく、画像の調整を行うことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
請求項１〜５の撮像装置と、当該撮像装置で撮像される画像を伝送する伝送手段とを備えることを特徴とするインターホン装置。
請求項６のインターホン装置と、前記インターホン装置から伝送される画像を表示する表示手段を具備するインターホン装置とを備えることを特徴とするインターホンシステム。