JP2021002729A - インターホンシステム、制御方法及びプログラム - Google Patents

Abstract

【課題】話者の判別がし易い画像を生成することができるインターホンシステム、制御方法及びプログラムを提供する。【解決手段】インターホンシステム１は、方向推定部１８２と、処理制御部１８５と、を備える。方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。処理制御部１８５は、方向推定部１８２の推定結果に基づいて、所定の領域を撮像する撮像部１２１に対する第１処理及び撮像部１２１が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。【選択図】図１

Description

本開示は、一般にインターホンシステム、制御方法及びプログラムに関する。より詳細には、本開示は、撮像部が撮像した画像に対する処理を行うインターホンシステム、制御方法及びプログラムに関する。

特許文献１には、玄関に設置されて居住者を呼び出して通話するための玄関子機（インターホン装置）と、宅内に設置されて玄関子機からの呼び出しに応答するための居室親機（情報端末）と、を備えるインターホンシステムが記載されている。

玄関子機は、訪問者を撮像するためのカメラと、マイクロホンアレイと、子機ＣＯＤＥＣと、位相差検出部と、到来方向推定部と、映像信号処理部と、を備える。マイクロホンアレイは、複数のマイクロホンを備える。子機ＣＯＤＥＣは、マイクロホンアレイが収音して出力する複数チャネルの音声信号をデジタル信号に変換する。位相差検出部は、居室親機に玄関子機から伝送された複数チャネルのデジタル音声信号から音声信号の位相差を検出する。到来方向推定部は、検出した位相差情報を基に音声の到来方向を推定する。映像信号処理部は、到来方向推定部の推定結果を基にモニタに表示する映像をパン・チルトする。

特開２０１６−１８９５７０号公報

ところで、特許文献１のインターホンシステムでは、カメラで撮像された映像をそのままの状態でパン・チルトするため、カメラの撮像環境によっては、訪問者（話者）を判別が困難となる可能性がある。

本開示は上記課題に鑑みてなされ、話者の判別がし易い画像を生成することができるインターホンシステム、制御方法及びプログラムを提供することを目的とする。

本開示の一態様に係るインターホンシステムは、方向推定部と、処理制御部と、を備える。前記方向推定部は、音取得部が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。前記処理制御部は、前記方向推定部の推定結果に基づいて、所定の領域を撮像する撮像部に対する第１処理及び前記撮像部が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。

本開示の一態様に係る制御方法は、方向推定ステップと、処理制御ステップと、を含む。前記方向推定ステップは、音取得部が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。前記処理制御ステップは、前記方向推定ステップの推定結果に基づいて、所定の領域を撮像する撮像部に対する第１処理及び前記撮像部が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。

本開示の一態様に係るプログラムは、コンピュータに、前記制御方法を実行させるためのプログラムである。

本開示によると、話者の判別がし易い画像を生成することができる。

図１は、一実施形態に係るインターホンシステムとしてのインターホン装置の構成を説明する図である。 図２は、同上のインターホン装置を含む通話システムの構成を説明する図である。 図３Ａ及び図３Ｂは、同上のインターホン装置の方向推定部による話者の方向の推定を説明する図である。 図４Ａ及び図４Ｂは、同上のインターホン装置の処理制御部により話者領域の推定を説明する図である。 図５は、同上のインターホン装置の動作を説明する図である。 図６は、変形例１に係るインターホンシステムとしてのインターホン装置の構成を説明する図である。

以下に説明する実施形態及び変形例は、本開示の一例に過ぎず、本開示は、実施形態及び変形例に限定されない。以下の実施形態及び変形例以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

（実施形態）
以下、本実施形態に係るインターホンシステム１について、図１〜図５を用いて説明する。

（１）概要
以下、本実施形態に係るインターホンシステム１について、説明する。

本実施形態に係るインターホンシステム１は、図２に示すように、通話システム２に適用される。通話システム２は、例えば、マンション等の集合住宅５に適用される。本実施形態に係る通話システム２は、インターホンシステム１としてのインターホン装置１０と、複数（図２では２つ）の情報端末２０と、制御装置３０と、複数（図２では２つ）のドアホン４０と、を備えている。通話システム２では、複数の情報端末２０の各々とインターホン装置１０とが制御装置３０を介して通信を行うように構成されている。また、通話システム２では、複数の情報端末２０と複数のドアホン４０とが一対一に対応している。なお、本実施形態に係る通話システム２は、集合住宅５以外に、戸建住宅に適用されてもよい。あるいは、通話システム２は、事務所、店舗、学校若しくは介護施設等の非住宅施設等に適用されてもよい。

複数の情報端末２０の各々は、例えば、集合住宅５に含まれる複数の住戸Ｅ２の各々に設けられている住戸端末（親機）である。各情報端末２０は、例えば、各住戸Ｅ２の内側に設けられている。各情報端末２０は、第２幹線６２、分岐線６３、及び分岐器５０を介して制御装置３０に接続されている。各情報端末２０は、制御装置３０を介して、インターホン装置１０との間で通信（例えば、通話、及び制御信号の送信等）を行うように構成されている。さらに、各情報端末２０は、接続線６４を介して対応するドアホン４０に接続されている。各情報端末２０は、対応するドアホン４０との間で通信（例えば、通話、及び制御信号の送信等）を行うように構成されている。

インターホン装置１０は、例えば、集合住宅５の共用玄関（ロビー）Ｅ１に設けられているロビーインターホン（子機）である。インターホン装置１０は、第１幹線６１を介して制御装置３０に接続されている。インターホン装置１０は、制御装置３０を介して、各情報端末２０との間で通信（例えば、通話、及び映像信号の送信等）を行うように構成されている。インターホン装置１０は、例えば、共用玄関Ｅ１の壁Ｗ１に取り付けられている（図３Ａ，図３Ｂ参照）。インターホン装置１０が映像信号を情報端末２０に送信することで、情報端末２０は、映像を表示することができる。

制御装置３０は、例えば、集合住宅５の管理室Ｅ３に設けられている。制御装置３０は、第１幹線６１を介してインターホン装置１０に接続され、かつ第２幹線６２を介して各情報端末２０に接続されている。つまり、制御装置３０は、各情報端末２０とインターホン装置１０との間の通信を中継するように構成されている。

複数のドアホン４０の各々は、例えば、集合住宅５の各住戸Ｅ２の外側に設けられている。各ドアホン４０は、接続線６４を介して対応する情報端末２０に接続されている。各ドアホン４０は、対応する情報端末２０との間で通信（例えば、通話、映像信号の送信等）を行うように構成されている。

本実施形態では、第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４は、いずれもツイストペア線である。つまり、実際には、第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４は２本の電線で構成されるが、図面上は１本の線で表している。第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４の少なくとも１つはツイストペア線以外の電線であってもよい。

本実施形態に係るインターホン装置１０は、方向推定部１８２と、処理制御部１８５を備える。方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者である対象者２００の方向を推定する。処理制御部１８５は、方向推定部１８２の推定結果に基づいて、所定の領域を撮像する撮像部１２１に対する第１処理及び撮像部１２１が撮像した画像（映像）に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。ここで、対象者２００は、例えば、集合住宅５への訪問者であるが、インターホン装置１０から各住戸Ｅ２を呼び出す者であればよく、外出先から帰宅した各住戸Ｅ２の住人等であってもよい。

本実施形態に係るインターホン装置１０（インターホンシステム１）では、対象者２００の方向を予測し、その予測結果に応じて第１処理及び第２処理のうち少なくとも一方を制御する。そのため、撮像部１２１が撮像した画像を見易くすることができる。

（２）構成
（２−１）インターホン装置
インターホン装置１０は、図１に示すように、通信部１１、撮像装置１２、音取得部１３、操作部１４、出力部１５、表示部１６、記憶部１７及び制御部１８を備える。

インターホン装置１０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部１８として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

通信部１１は、制御装置３０を介して情報端末２０と通信を行うための通信インタフェースを含んでいる。通信部１１は、インターホン装置１０と情報端末２０との間で音データ及び制御信号等が双方向に伝送可能となるように、情報端末２０との間で双方向に通信可能に構成されている。ここで、インターホン装置１０からの信号には、情報端末２０を特定するための情報（例えば、アドレス情報等）が含まれている。そのため、この信号に含まれるアドレス情報と一致するアドレス情報が割り当てられた情報端末２０のみが信号を受信することができる。

撮像装置１２は、被写体（ユーザ）を撮像するためのカメラであり、図１に示すように、撮像部１２１及び第１処理部１２２を有している。撮像部１２１は、撮像素子と、撮像素子の撮像面に被写体像を結像させるレンズと、レンズを保持するレンズ鏡筒等とを有している。撮像素子は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサである。撮像部１２１は、撮像範囲である所定の領域を撮像する。具体的には、撮像部１２１は、被写体からの光をレンズ等の光学系によって撮像素子の撮像面（受光面）上に結像させ、撮像素子にて被写体からの光を電気信号に変換する。そして、撮像部１２１は、撮像素子の出力信号を映像信号として制御部１８に出力する。撮像部１２１は、インターホン装置１０の左右方向の長さを均等に２分する位置に配置されている（図３Ａ，図３Ｂ参照）。撮像部１２１の撮像範囲である所定の領域のサイズは、情報端末２０が表示する画像（映像）のサイズよりも大きい。つまり、撮像部１２１が撮像した画像の一部が情報端末２０で表示される。

本実施形態では、撮像装置１２は動画を撮像するカメラである。さらに、本実施形態では、撮像装置１２はカラー画像を撮像するカメラである。なお、撮像装置１２は、静止画を撮像するカメラ（スチルカメラ）であってもよいし、モノクロ画像を撮像するカメラであってもよい。

第１処理部１２２は、撮像部１２１に対する処理（第１処理）を行う。第１処理は、例えば、露光調整、撮像部１２１のレンズの向きの調整等を含む。ここで、「レンズの向きの調整」とは、レンズの向きをチルト方向及びパン方向のうち少なくとも一方の方向に移動させることである。

音取得部１３は、音を取得し、取得した音に係る音情報を制御部１８に出力する。音取得部１３は、複数のマイクロホンを有している。複数のマイクロホンの各々は、指向性を有するマイクロホンである。本実施形態では、音取得部１３は、図１に示すように、２つのマイクロホン（第１マイクロホン１３１及び第２マイクロホン１３２）を有している。第１マイクロホン１３１及び第２マイクロホン１３２は、同一の指向性を有する。第１マイクロホン１３１及び第２マイクロホン１３２は、水平方向（左右方向）及び鉛直方向（上下方向）の少なくとも一方において互いに異なる位置に配置される。第１マイクロホン１３１及び第２マイクロホン１３２は、左右方向に沿って並べられて配置されている（図３Ａ，図３Ｂ参照）。第１マイクロホン１３１及び第２マイクロホン１３２は、インターホン装置１０の前方に位置する対象者２００の音声（音）を含む周囲の音を取得し、取得した音をアナログの音信号（音情報）に変換して制御部１８に出力する。

操作部１４は、ユーザ（例えば、集合住宅５への訪問者、住人等）の操作を受け付けるように構成されている。操作部１４は、例えば、複数の押ボタンスイッチ、及びタッチパネル等を有する入力インタフェースである。操作部１４は、来訪者から呼び出しのための操作を受け付ける。操作部１４に対して所定の操作（例えば押操作）がされると、住戸Ｅ２内の住居者を呼び出すための制御信号（呼出信号）が、通信部１１及び制御装置３０を介して、呼出対象の情報端末２０に送信される。

出力部１５は、例えばスピーカである。出力部１５は、インターホン装置１０が情報端末２０と通話可能な状態である場合には、情報端末２０から送信された音データに基づいた音（情報端末２０の操作者の音声を含む）を出力する。

表示部１６は、例えば、液晶ディスプレイである。表示部１６は、映像を表示するように構成されている。また、表示部１６は、対象者２００に対してメッセージを表示するように構成されている。メッセージは、例えば、対象者２００に発話を促すためのメッセージである。表示部１６は、例えば、「お話しください」等のメッセージを表示する。この場合において、同様の音声メッセージを出力部１５、又は出力部１５とは別に設けられたスピーカから出力（報知）してもよい。また、表示部１６とスピーカとを併用してもよい。なお、インターホン装置１０がタッチパネルディスプレイを備えている場合には、タッチパネルディスプレイが表示部１６と操作部１４とを兼ねてもよい。

記憶部１７は、読み書き可能なメモリで構成されている。記憶部１７は、例えば、フラッシュメモリである。記憶部１７は、例えば、撮像装置１２で撮像された映像（画像）の映像データを記憶する。

制御部１８は、図１に示すように、音声処理部１８１、方向推定部１８２、方向制御部１８３、第２処理部１８４及び処理制御部１８５を有している。

音声処理部１８１は、音取得部１３が出力したアナログの音信号を取得する。音声処理部１８１は、取得したアナログの音信号を、デジタルの音信号に変換する。また、音声処理部１８１は、音取得部１３から取得した音信号に対して所定のフィルタリング処理等を行うように構成されている。

方向推定部１８２は、撮像部１２１が撮像した画像において話者の方向を推定する。言い換えると、方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。具体的には、方向推定部１８２は、第１信号と、第２信号との位相差に基づいて話者の方向を推定する。ここで、第１信号は、第１マイクロホン１３１が取得した音に基づく信号である。第２信号は、第２マイクロホン１３２が取得した音に基づく信号である。方向推定部１８２は、位相差に応じて第１マイクロホン１３１及び第２マイクロホン１３２のいずれかのマイクロホンの近くに話者（対象者２００）が存在すると推定する。位相差が“０”である場合には、方向推定部１８２は、第１マイクロホン１３１及び第２マイクロホン１３２の中間に話者が存在すると推定する。第１マイクロホン１３１及び第２マイクロホン１３２は、左右方向に沿って並べられて配置されているので、方向推定部１８２は、第１信号と第２信号との位相差により、話者の位置を推定することができる。

さらに、１マイクロホン１３１及び第２マイクロホン１３２は、指向性を有しているので、音声の発生元（対象者２００の口）の位置を推定するように構成されている。

例えば、対象者２００（話者）が、インターホン装置１０の正面に位置している場合には、対象者２００から第１マイクロホン１３１までの距離及び対象者２００から第２マイクロホン１３２までの距離が同一である。なお、距離が同一であるとは、許容される誤差を含む。そのため、第１マイクロホン１３１が取得した音声に基づく第１信号と第２マイクロホン１３２が取得した音声に基づく第２信号との位相差は“０”となる。その結果、方向推定部１８２は、第１マイクロホン１３１及び第２マイクロホン１３２の中間、つまりインターホン装置１０の正面に話者が存在すると推定する。

対象者２００（話者）が、インターホン装置１０から見て右側に位置している場合には（図３Ｂ参照）、対象者２００から第１マイクロホン１３１までの距離は、対象者２００から第２マイクロホン１３２までの距離よりも短い。そのため、第１マイクロホン１３１が取得した音声に基づく第１音声信号と第２マイクロホン１３２が取得した音声に基づく第２音声信号とで位相差が発生する。方向推定部１８２は、位相差に基づいて、インターホン装置１０から見て右側に話者が存在すると推定する。

方向制御部１８３は、方向推定部１８２の推定結果に基づいて、音取得部１３による音の取得方向を制御する。具体的には、方向制御部１８３は、方向推定部１８２の推定結果に基づいて、第１マイクロホン１３１から入力される音のゲイン、及び第２マイクロホン１３２から入力される音のゲインをそれぞれ調整するように構成されている。より具体的には、方向制御部１８３は、第１マイクロホン１３１及び第２マイクロホン１３２の各々から入力される音声信号に対して各種演算を行うことで、所望の方向の感度を高めた音声信号に変換する。これにより、所望の方向のＳ／Ｎ比が向上する。例えば、話者が右側に存在すると方向推定部１８２が推定した場合、方向制御部１８３は、第１マイクロホン１３１から入力される音のゲインを１、第２マイクロホン１３２から入力される音のゲインを０とする。この場合、方向制御部１８３は、第１マイクロホン１３１から入力される音のみを出力することになる。つまり、制御部１８は、方向推定部１８２の推定結果に基づいて、各マイクロホンから入力される音のゲインを方向制御部１８３が変えることで、音取得部１３による音の取得方向を制御することができる。

第２処理部１８４は、撮像部１２１から映像信号を受け取り、信号処理により映像信号に含まれる映像を処理する。第２処理部１８４は、信号処理を行った後の映像データを、通信部１１を介して情報端末２０に送信する。また、第２処理部１８４は、信号処理を行った後の映像データを記憶部１７に記憶させる。

第２処理部１８４は、処理制御部１８５の制御により、撮像部１２１が撮像した画像に対するパン制御とチルト制御とを除く処理(第２処理)を行う。第２処理は、撮像部１２１が撮像した画像を調整する画像調整処理を含む。ここで、画像調整処理は、画像に対する歪補正を含む。また、画像調整処理は、画像に対する階調補正及び色調補正のうち少なくとも一方を含む。すなわち、第２処理は、歪補正、階調補正及び色調補正等の話者の表示に係る処理を含み、画像を明瞭にする。さらに、第２処理は、画像を拡大する処理及び画像を縮小する処理を含む。

第２処理部１８４は、処理制御部１８５の制御により、撮像部１２１の撮像範囲である所定の領域に含まれ、後述する話者領域の画像に係る情報を基準とし、画像全体に対して第２処理を施す。例えば、第２処理部１８４は、話者領域に含まれる画素値を基準として、画像のうち話者領域を除く他の領域に対して画素値を小さくする処理を施す。この結果、話者領域は、他の領域と比較して明瞭になる。そのため、話者の顔を判別することが可能となる。

処理制御部１８５は、方向推定部１８２の推定結果に基づいて、所定の領域を撮像する撮像部１２１に対する第１処理及び撮像部１２１が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。

方向推定部１８２の推定結果には、左右方向において対象者２００（話者）の位置がインターホン装置１０から見て右側、左側、正面のいずれかであることが含まれている。そこで、処理制御部１８５は、撮像部１２１の撮像範囲である所定の領域Ｒ１を第１領域Ｒ１１、第２領域Ｒ１２及び第３領域Ｒ１３の３つに均等に分割し、方向推定部１８２の推定結果を基に、第１領域Ｒ１１、第２領域Ｒ１２及び第３領域Ｒ１３のうちいずれの領域に存在するかを判断する。また、方向推定部１８２の推定結果には、鉛直方向における対象者２００の位置（対象者２００の口の位置）が含まれる。そこで、鉛直方向における対象者２００の位置の推定結果を用いて、対象者２００の顔２１０を含む領域である話者領域Ｒ２０を推定する。

例えば、処理制御部１８５は、方向推定部１８２の推定結果を基に、第１領域Ｒ１１、第２領域Ｒ１２及び第３領域Ｒ１３のうち第１領域Ｒ１１に話者が存在すると判断する（図４Ａ参照）。さらに、処理制御部１８５は、鉛直方向における対象者２００の位置の推定結果を用いて、対象者２００の顔を含む話者領域Ｒ２０を推定する。処理制御部１８５は、話者領域Ｒ２０と他の領域とを比較して、第１処理及び第２処理のうち少なくとも１つの処理を行うように第１処理部１２２及び第２処理部１８４を制御する。具体的には、処理制御部１８５は、第１処理に含まれる露光処理、第２処理に含まれる歪補正、階調補正及び色調補正のうち、少なくとも１つの処理を行うように、第１処理部１２２及び第２処理部１８４を制御する。処理制御部１８５は、第２処理部１８４を制御する場合には、話者領域Ｒ２０の画像に係る情報を基準とし、画像全体に対して第２処理を施すように、第２処理部１８４を制御する。

話者領域Ｒ２０のすべてが所定の領域Ｒ１に含まれ、かつ話者領域Ｒ２０のすべてが所定の領域Ｒ１のうち情報端末２０で表示される領域（表示領域）に含まれていない場合には、処理制御部１８５は、表示領域を変更するように第２処理部１８４を制御する。言い換えると、処理制御部１８５は、パン制御とチルト制御とのうち一方の制御を行うように第２処理部１８４を制御する。つまり、処理制御部１８５は、所定の領域Ｒ１内において、パン方向及びチルト方向のうち少なくとも一方の方向に表示領域を移動させるように、第２処理部１８４を制御する。

話者領域Ｒ２０のすべてが所定の領域Ｒ１に含まれない場合には、処理制御部１８５は、撮像部１２１のレンズの向きの調整を調整するよう第１処理部１２２を制御する。

撮像部１２１が撮像した画像には、図４Ｂに示すように、複数（図示例では２つ）の対象者２００（対象者２０１，２０２）が含まれる場合がある。つまり、所定の領域Ｒ１は、複数（図示例では、２つ）の顔領域Ｒ３０，Ｒ３１を含む。顔領域Ｒ３０は、対象者２０１の顔２１０を含む。顔領域Ｒ３１は、対象者２０２の顔２１１を含む。この場合においても、処理制御部１８５は、方向推定部１８２の推定結果を基に、第１領域Ｒ１１、第２領域Ｒ１２及び第３領域Ｒ１３のうち話者である対象者２０１が存在すると推定された領域（例えば、第１領域Ｒ１１）を判断する。処理制御部１８５は、鉛直方向における対象者２０１の位置の推定結果を用いて、対象者２０１の顔２１０を含む顔領域Ｒ３０を話者領域Ｒ２０として推定する。つまり、所定の領域Ｒ１に複数の顔領域Ｒ３０，Ｒ３１が含まれる場合、処理制御部１８５は、方向推定部１８２の推定結果を基に、複数の顔領域Ｒ３０，Ｒ３１のうち１つの顔領域Ｒ３０を話者領域Ｒ２０として推定する。

（２−２）情報端末
情報端末２０は、図２に示すように、第１通信部２１と、第２通信部２２と、制御部２３と、通話部２４と、映像処理部２５と、表示部２６と、操作部２７と、記憶部２８と、を備えている。

情報端末２０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部２３として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

第１通信部２１は、インターホン装置１０（の通信部１１）と通信するための通信インタフェースを含んでいる。第１通信部２１は、第２幹線６２、分岐線６３、及び分岐器５０を介して制御装置３０に接続されている。第１通信部２１は、制御装置３０を介して、インターホン装置１０に対して音声信号、及び制御信号等を送信する。さらに、第１通信部２１は、制御装置３０を介して、インターホン装置１０から音声信号、及び映像信号等を受信する。

第２通信部２２は、ドアホン４０と通信するための通信インタフェースを含んでいる。第２通信部２２は、接続線６４を介してドアホン４０に接続されている。第２通信部２２は、ドアホン４０に対して音声信号、及び制御信号等を送信し、ドアホン４０から音声信号、及び映像信号等を受信する。

制御部２３は、第１通信部２１、第２通信部２２、通話部２４、及び映像処理部２５等を制御するように構成されている。

通話部２４は、スピーカ及びマイクロホンを含み、インターホン装置１０、及びドアホン４０との間で通話可能に構成されている。

映像処理部２５は、インターホン装置１０、及びドアホン４０からの映像信号を受け取り、信号処理により映像信号に含まれる映像を処理するように構成されている。

表示部２６は、例えば、液晶ディスプレイである。表示部２６は、映像処理部２５からの映像を表示するように構成されている。なお、情報端末２０がタッチパネルディスプレイを備えている場合には、タッチパネルディスプレイが表示部２６と操作部２７とを兼ねてもよい。

操作部２７は、ユーザ（例えば、各住戸Ｅ２の住人等）の操作を受け付けるように構成されている。操作部２７は、少なくとも通話ボタンを有している。通話ボタンは、インターホン装置１０、又はドアホン４０からの呼び出しに対して、インターホン装置１０、又はドアホン４０との通信（訪問者等との通話）を開始するためのボタンである。つまり、第１通信部２１が住人を呼び出すための呼出信号を受信している状態で通話ボタンが押されると、インターホン装置１０、又はドアホン４０と情報端末２０との間で音声通話が可能になる。

記憶部２８は、読み書き可能なメモリで構成されている。記憶部２８は、例えば、フラッシュメモリである。記憶部２８は、例えば、インターホン装置１０、及びドアホン４０からの映像データを記憶する。さらに、記憶部２８は、情報端末２０に割り当てられたアドレス情報（識別情報）を記憶する。

（２−３）制御装置
制御装置３０は、図２に示すように、通信部３１と、制御部３２と、記憶部３３と、を備えている。

制御装置３０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部３２として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

通信部３１は、各情報端末２０、及びインターホン装置１０と通信するための通信インタフェースを含んでいる。通信部３１は、第１幹線６１を介してインターホン装置１０に接続され、第２幹線６２を介して各情報端末２０に接続されている。つまり、通信部３１は、各情報端末２０とインターホン装置１０との間の通信を中継するように構成されている。

制御部３２は、通信部３１を制御するように構成されている。

記憶部３３は、読み書き可能なメモリで構成されている。記憶部３３は、例えば、フラッシュメモリである。記憶部３３は、例えば、各住戸Ｅ２に割り当てられた部屋番号と、各情報端末２０に割り当てられたアドレス情報との対応関係を表す対応テーブルを記憶する。つまり、制御装置３０では、制御部３２は、対応テーブルを参照して、インターホン装置１０からの信号に含まれる部屋番号を対応する情報端末２０のアドレス情報に置き換えた信号を作成し、この信号を通信部３１から各情報端末２０に送信させる。そして、各情報端末２０では、制御部２３は、第１通信部２１が受信した信号に含まれるアドレス情報が、記憶部２８に記憶されているアドレス情報と一致する場合には、この信号に含まれる情報を取得する。また、各情報端末２０では、制御部２３は、第１通信部２１が受信した信号に含まれるアドレス情報が、記憶部２８に記憶されているアドレス情報と一致しない場合には、この信号に含まれる情報を破棄する。

（２−４）ドアホン
各ドアホン４０は、図２に示すように、接続線６４を介して対応する情報端末２０に接続されている。ドアホン４０は、情報端末２０に対して音声信号、及び映像信号等を送信する。さらに、ドアホン４０は、情報端末２０から音声信号、及び制御信号等を受信する。

（３）動作
ここでは、インターホンシステム１としてのインターホン装置１０の動作について、図５を用いて説明する。

撮像装置１２の撮像部１２１は、インターホン装置１０の前方に位置している対象者２００を撮像する（ステップＳ１）。

音取得部１３は、対象者２００の音声を取得する（ステップＳ２）。具体的には、音取得部１３が有する第１マイクロホン１３１及び第２マイクロホン１３２の各々は、対象者２００の音声（音）を含む周囲の音を取得し、取得した音をアナログの音信号に変換して制御部１８に出力する。

方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者（対象者２００）の方向を推定する（ステップＳ３）。具体的には、方向推定部１８２は、左右方向における話者の位置、及び鉛直方向における話者の位置を推定する。

方向制御部１８３は、方向推定部１８２の推定結果に基づいて、音取得部１３による音の取得方向を制御する（ステップＳ４）。

処理制御部１８５は、制御処理を行う（ステップＳ５）。具体的には、処理制御部１８５は、方向推定部１８２の推定結果に基づいて、所定の領域Ｒ１を撮像する撮像部１２１に対する第１処理部１２２による第１処理及び撮像部１２１が撮像した画像に対するパン制御とチルト制御とを除く第２処理部１８４による第２処理のうち少なくとも一方を制御する。処理制御部１８５は、方向推定部１８２の推定結果を基に、話者領域Ｒ２０を推定する。処理制御部１８５は、第１処理及び第２処理のうち少なくとも１つの処理を行う。例えば、処理制御部１８５は、話者領域Ｒ２０の画像に係る情報を基準とし、画像全体に対して第２処理を施すように、第２処理部１８４を制御する。

（４）利点
以上説明したように、本実施形態のインターホン装置１０の方向推定部１８２は、第１マイクロホン１３１及び第２マイクロホン１３２が取得した音に係る音情報を基に、話者（対象者２００）の方向を推定している。処理制御部１８５は、方向推定部１８２の推定結果を基に、第１処理を行う第１処理部１２２及び第２処理を行う第２処理部１８４のうち少なくとも一方を制御する。第１処理は露光調整及びレンズの向きの調整を含み、第２処理は画像調整処理を含む。よって、インターホン装置１０は、第１処理及び第２処理のいずれかを行うことで、話者の判別がし易い画像を生成することができる。

（５）変形例
以下に、変形例について列記する。なお、以下に説明する変形例は、上記実施形態と適宜組み合わせて適用可能である。

（５−１）変形例１
上記実施形態において、処理制御部１８５は、第１処理部１２２及び第２処理部１８４を制御する構成としたが、この構成に限定されない。

処理制御部１８５は、さらに、撮像部１２１の周辺に設けられた照明装置７０を制御してもよい。

この場合のインターホンシステム１としてのインターホン装置１０Ａの構成について、図６を用いて説明する。なお、実施形態と同様の構成要素には同一の符号を付し、適宜その説明を省略する。本実施形態では、共用玄関Ｅ１に複数の照明装置７０が設置されているとする。

インターホン装置１０Ａは、図６に示すように、第１通信部１１ａ、第２通信部１１ｂ、撮像装置１２、音取得部１３、操作部１４、出力部１５、表示部１６、記憶部１７及び制御部１８ａを備える。

インターホン装置１０Ａは、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部１８ａとして機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

第１通信部１１ａは、実施形態の通信部１１と同様に、制御装置３０を介して情報端末２０と通信を行うための通信インタフェースを含んでいる。

第２通信部１１ｂは、複数（図示例では３つ）の照明装置７０と通信を行うための通信インタフェースを含んでいる。第２通信部１１ｂは、インターホン装置１０Ａと照明装置７０との間で制御信号等が双方向に伝送可能となるように、照明装置７０との間で双方向に通信可能に構成されている。ここで、インターホン装置１０からの信号には、照明装置７０を特定するための情報（例えば、アドレス情報等）が含まれている。そのため、この信号に含まれるアドレス情報と一致するアドレス情報が割り当てられた照明装置７０のみが信号を受信することができる。インターホン装置１０から照明装置７０に送信される信号は、例えば調光を制御する信号である。

制御部１８ａは、図６に示すように、音声処理部１８１、方向推定部１８２、方向制御部１８３、第２処理部１８４、処理制御部１８５及び信号出力部１８６を有している。

処理制御部１８５は、実施形態１の機能に加えて、更に、複数の照明装置７０のうち少なくとも１つの照明装置７０を制御する。具体的には、処理制御部１８５は、方向推定部１８２の推定結果に基づいて、複数の照明装置７０のうち制御対象となる少なくとも１つの照明装置７０を特定する。処理制御部１８５は、特定した照明装置７０に対して制御信号を出力するよう信号出力部１８６を制御する。例えば、処理制御部１８５は、方向推定部１８２の推定結果に基づいて、対象者２００（話者）が存在すると推定された方向において、対象者２００の背後に配置された照明装置７０を特定する。処理制御部１８５は、特定した照明装置７０の照度が低くなるように調光を制御するための信号（制御信号）を出力するように、信号出力部１８６を制御する。

信号出力部１８６は、撮像部１２１の周辺に設けられた照明装置７０を制御する制御信号を出力する。信号出力部１８６は、方向推定部１８２の推定結果に基づいた制御信号を、制御対象の照明装置７０に出力する。

これにより、例えば対象者２００（話者）の背後を暗くするので、逆光により話者が認識しづらいという可能性を低くすることができる。

なお、制御対象となる照明装置７０は、共用玄関Ｅ１に設けられた照明装置に限定されない。処理制御部１８５は、インターホン装置１０に備えられた照明装置を制御対象としてもよい。

（５−２）変形例２
上記実施形態では、インターホン装置１０がロビーインターホンであるが、インターホン装置１０はロビーインターホンに限らず、例えば、ドアホンであってもよい。さらに、インターホン装置１０は、住戸端末（親機）であってもよい。この場合、住戸端末には、内蔵のカメラ、又は外付けのカメラが設けられていてもよい。また、インターホン装置１０は、管理室親機が設けられている場合には管理室親機であってもよい。インターホン装置１０が管理室親機の場合、管理室親機には、内蔵のカメラ、又は外付けのカメラが設けられていてもよい。

（５−３）変形例３
上記実施形態では、方向推定部１８２は、左右方向、及び鉛直方向における対象者（話者）の位置を推定したが、これに限定されない。

方向推定部１８２は、更に、奥行き、つまりインターホン装置１０から対象者２００までの距離を推定してもよい。

処理制御部１８５は、推定した距離を基に、画像を拡大する処理及び画像を縮小する処理を第２処理部１８４が行うように第２処理部１８４を制御する。これにより、話者が撮像部１２１から遠い位置で音声を発している場合には画像を拡大することで、話者を判別し易くなる。また、話者が撮像部１２１に近い位置で音声を発している場合には画像を縮小することで、話者を判別し易くなる。つまり、インターホン装置１０は、推定した距離を基に、拡大処理又は縮小処理を行うことで、話者を判別し易い画像を生成することができる。

（５−４）変形例４
上記実施形態では、処理制御部１８５は、第２処理部１８４を制御する場合には、話者領域Ｒ２０の画像に係る情報を基準とし、画像全体に対して第２処理を施すように、第２処理部１８４を制御する構成とした。しかしながら、この構成に限定されない。

処理制御部１８５は、第２処理部１８４を制御する場合には、所定の領域Ｒ１のうち話者領域Ｒ２０に対して第２処理を施すように、第２処理部１８４を制御してもよい。
この場合、第２処理部１８４は、話者領域Ｒ２０に対して、第２処理を施す。例えば、第２処理部１８４は、話者領域Ｒ２０に対して、画像調整処理を施す。

（５−５）変形例５
実施形態において、制御装置３０と情報端末２０との間の通信、及び情報端末２０とドアホン４０との間の通信は、無線通信であってもよい。

（５−６）変形例６
上記実施形態において、撮像装置１２及び音取得部１３は、インターホン装置１０の必須の構成要素ではない。

（その他の変形例）
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、インターホンシステム１と同様の機能は、制御方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係るインターホンシステム１の制御方法は、方向推定ステップと、処理制御ステップと、を含む。方向推定ステップは、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。処理制御ステップは、方向推定ステップの推定結果に基づいて、所定の領域を撮像する撮像部１２１に対する第１処理及び撮像部１２１が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。一態様に係るプログラムは、コンピュータシステムを、上述したインターホンシステム１又はインターホンシステム１の制御方法として機能させるためのプログラムである。

本開示におけるインターホンシステム１又はインターホンシステム１の制御方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるインターホンシステム１又はインターホンシステム１の制御方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

（まとめ）
以上説明したように、第１の態様のインターホンシステム（１）は、方向推定部（１８２）と、処理制御部（１８５）と、を備える。方向推定部（１８２）は、音取得部（１３）が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。処理制御部（１８５）は、方向推定部（１８２）の推定結果に基づいて、所定の領域（Ｒ１）を撮像する撮像部（１２１）に対する第１処理及び撮像部（１２１）が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。

この構成によると、第１処理及び第２処理のいずれかを行うことで、話者の判別がし易い画像を生成することができる。

第２の態様のインターホンシステム（１）では、第１の態様において、処理制御部（１８５）は、方向推定部（１８２）の推定結果を基に、所定の領域（Ｒ１）のうち話者の顔を含む話者領域（Ｒ２０）を推定する。

この構成によると、話者の顔（２１０）を含む話者領域（Ｒ２０）を推定することができる。

第３の態様のインターホンシステム（１）では、第２の態様において、処理制御部（１８５）は、話者領域（Ｒ２０）の画像に係る情報を基準とし、画像全体に対して第２処理を施す。

この構成によると、話者領域（Ｒ２０）が明瞭な画像を生成することができる。

第４の態様のインターホンシステム（１）では、第２の態様において、処理制御部（１８５）は、話者領域（Ｒ２０）に対して第２処理を施す。

この構成によると、話者領域（Ｒ２０）が明瞭な画像を生成することができる。

第５の態様のインターホンシステム（１）では、第２〜第４のいずれかの態様において、所定の領域（Ｒ１）は、複数の人の顔（２１０，２１１）をそれぞれ含む複数の顔領域（例えば、顔領域Ｒ３０，Ｒ３１）を含む。処理制御部（１８５）は、方向推定部（１８２）の推定結果を基に、複数の顔領域のうち１つの顔領域（例えば、顔領域Ｒ３０）を話者領域（Ｒ２０）として推定する。

この構成によると、画像に複数の人物の顔が含まれる場合であっても、話者領域（Ｒ２０）を推定することができる。

第６の態様のインターホンシステム（１）では、第１〜第５のいずれかの態様において、第１処理及び第２処理のうち少なくとも一方は、話者の表示に係る処理を含む。

この構成によると、話者が明瞭な画像を生成することができる。

第７の態様のインターホンシステム（１）では、第１〜第６のいずれかの態様において、第１処理は、画像に対する露光を調整する処理を含む。

この構成によると、話者の判別がし易い画像を生成することができる。

第８の態様のインターホンシステム（１）では、第１〜第７のいずれかの態様において、第２処理は、画像を調整する画像調整処理を含む。

この構成によると、話者の判別がし易い画像を生成することができる。

第９の態様のインターホンシステム（１）では、第８の態様において、画像調整処理は、画像に対する歪補正を含む。

この構成によると、話者の判別がし易い画像を生成することができる。

第１０の態様のインターホンシステム（１）では、第８又は第９の態様において、画像調整処理は、画像に対する階調補正及び色調補正のうち少なくとも一方を含む。

この構成によると、話者の判別がし易い画像を生成することができる。

第１１の態様のインターホンシステム（１）では、第１〜第１０のいずれかの態様において、第２処理は、画像を拡大する処理及び画像を縮小する処理のうち少なくとも一方を含む。

この構成によると、話者の判別がし易い画像を生成することができる。

第１２の態様のインターホンシステム（１）では、第１〜第１１のいずれかの態様において、方向推定部（１８２）は、画像において話者の方向を推定する。

この構成によると、左右方向及び鉛直方向における話者の位置を推定することができる。

第１３の態様のインターホンシステム（１）は、第１〜第１２のいずれかの態様において、信号出力部（１８６）を、更に備える。信号出力部（１８６）は、撮像部（１２１）の周辺に設けられた照明装置（７０）を制御する制御信号を出力する。信号出力部（１８６）は、方向推定部（１８２）の推定結果に基づいた制御信号を照明装置（７０）に出力する。

この構成によると、撮像環境を適切な状態とすることができる。

第１４の態様の制御方法は、方向推定ステップと、処理制御ステップと、を含む。方向推定ステップは、音取得部（１３）が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する。処理制御ステップは、方向推定ステップの推定結果に基づいて、所定の領域（Ｒ１）を撮像する撮像部（１２１）に対する第１処理及び撮像部（１２１）が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する。

この制御方法によると、第１処理及び第２処理のいずれかを行うことで、話者の判別がし易い画像を生成することができる。

第１５の態様のプログラムは、コンピュータに、第１４の態様の制御方法を実行させるためのプログラムである。

このプログラムによると、話者の判別がし易い画像を生成することができる。

１ インターホンシステム
１０ インターホン装置
１３ 音取得部
７０ 照明装置
１２１ 撮像部
１２２ 第１処理部
１８２ 方向推定部
１８４ 第２処理部
１８６ 信号出力部
２００ 対象者（話者）
２０１，２０２ 対象者
２１０，２１１ 顔
Ｒ１ 所定の領域
Ｒ２０ 話者領域
Ｒ３０，Ｒ３１ 顔領域

Claims (15)

1. 音取得部が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する方向推定部と、
   前記方向推定部の推定結果に基づいて、所定の領域を撮像する撮像部に対する第１処理及び前記撮像部が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する処理制御部と、を備える、
   インターホンシステム。
2. 前記処理制御部は、方向推定部の推定結果を基に、前記所定の領域のうち前記話者の顔を含む話者領域を推定する、
   請求項１に記載のインターホンシステム。
3. 前記処理制御部は、前記話者領域の画像に係る情報を基準とし、前記画像全体に対して前記第２処理を施す、
   請求項２に記載のインターホンシステム。
4. 前記処理制御部は、前記話者領域に対して前記第２処理を施す、
   請求項２に記載のインターホンシステム。
5. 前記所定の領域は、複数の人の顔をそれぞれ含む複数の顔領域を含み、
   前記処理制御部は、方向推定部の推定結果を基に、前記複数の顔領域のうち１つの顔領域を前記話者領域として推定する、
   請求項２〜４のいずれか一項に記載のインターホンシステム。
6. 前記第１処理及び前記第２処理のうち少なくとも一方は、前記話者の表示に係る処理を含む、
   請求項１〜５のいずれか一項に記載のインターホンシステム。
7. 前記第１処理は、前記画像に対する露光を調整する処理を含む、
   請求項１〜６のいずれか一項に記載のインターホンシステム。
8. 前記第２処理は、前記画像を調整する画像調整処理を含む、
   請求項１〜７のいずれか一項に記載のインターホンシステム。
9. 前記画像調整処理は、前記画像に対する歪補正を含む、
   請求項８に記載のインターホンシステム。
10. 前記画像調整処理は、前記画像に対する階調補正及び色調補正のうち少なくとも一方を含む、
    請求項８又は９に記載のインターホンシステム。
11. 前記第２処理は、前記画像を拡大する処理及び前記画像を縮小する処理のうち少なくとも一方を含む、
    請求項１〜１０のいずれか一項に記載のインターホンシステム。
12. 前記方向推定部は、前記画像において前記話者の方向を推定する、
    請求項１〜１１のいずれか一項に記載のインターホンシステム。
13. 前記撮像部の周辺に設けられた照明装置を制御する制御信号を出力する信号出力部を、更に備え、
    前記信号出力部は、前記方向推定部の推定結果に基づいた前記制御信号を前記照明装置に出力する、
    請求項１〜１２のいずれか一項に記載のインターホンシステム。
14. 音取得部が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する方向推定ステップと、
    前記方向推定ステップの推定結果に基づいて、所定の領域を撮像する撮像部に対する第１処理及び前記撮像部が撮像した画像に対するパン制御とチルト制御とを除く第２処理のうち少なくとも一方を制御する処理制御ステップと、を含む、
    制御方法。
15. コンピュータに、請求項１４に記載の制御方法を実行させるためのプログラム。

Images