JP2021002728A - 通話システム、制御方法及びプログラム - Google Patents

Abstract

【課題】通話先で出力されている音（音声）の状況を話者が知ることができる通話システム、制御方法及びプログラムを提供する。【解決手段】通話システム１は、音取得部１３と、送出部１８４と、通知部１８６と、を備える。音取得部１３は、少なくとも話者の音声を含む音を取得する。送出部１８４は、取得した音を通話先の人が操作する装置（例えば、ロビーインターホン、ドアホン）に出力する。通知部１８６は、取得した音に関連する確認情報を、話者に通知する。【選択図】図１

Description

本開示は、一般に通話システム、制御方法及びプログラムに関する。より詳細には、本開示は、音声を出力する通話システム、制御方法及びプログラムに関する。

特許文献１には、玄関に設置されて居住者を呼び出して通話するための玄関子機（インターホン装置）と、宅内に設置されて玄関子機からの呼び出しに応答するための居室親機（情報端末）と、を備えるインターホンシステムが記載されている。

玄関子機は、訪問者を撮像するためのカメラと、マイクロホンアレイと、子機ＣＯＤＥＣと、位相差検出部と、到来方向推定部と、映像信号処理部と、を備える。マイクロホンアレイは、複数のマイクロホンを備える。子機ＣＯＤＥＣは、マイクロホンアレイが収音して出力する複数チャネルの音声信号をデジタル信号に変換する。位相差検出部は、居室親機に玄関子機から伝送された複数チャネルのデジタル音声信号から音声信号の位相差を検出する。到来方向推定部は、検出した位相差情報を基に音声の到来方向を推定する。映像信号処理部は、到来方向推定部の推定結果を基にモニタに表示する映像をパン・チルトする。

特開２０１６−１８９５７０号公報

通話を行う話者には、通話により外部に漏らしたくない音（音声）の出力を抑止したいという要望がある。特許文献１では、音声の到来方向を推定しているので、推定した方向以外からの音を抑制し、出力することが考えられる。しかしながら、外部に漏らしたくない音（音声）が通話先で出力されていないことの確認を話者はできない。

本開示は上記課題に鑑みてなされ、通話先で出力されている音（音声）の状況を話者が知ることができる通話システム、制御方法及びプログラムを提供することを目的とする。

本開示の一態様に係る通話システムは、音取得部と、出力部と、通知部と、を備える。前記音取得部は、少なくとも話者の音声を含む音を取得する。前記出力部は、取得した前記音を通話先の人が操作する装置に出力する。前記通知部は、取得した前記音に関連する確認情報を、前記話者に通知する。

本開示の一態様に係る制御方法は、音取得ステップと、出力ステップと、通知ステップと、を含む。前記音取得ステップは、少なくとも話者の音声を含む音を取得する。前記出力ステップは、取得した前記音を通話先の人が操作する装置に出力する。前記通知ステップは、取得した前記音に関連する確認情報を、前記話者に通知する。

本開示の一態様に係るプログラムは、コンピュータに、前記制御方法を実行させるためのプログラムである。

本開示によると、通話先で出力されている音（音声）の状況を話者が知ることができる。

図１は、一実施形態に係る通話システムとしての情報端末の構成を説明する図である。 図２は、同上の情報端末を含むインターホンシステムの構成を説明する図である。 図３は、同上の情報端末の動作を説明する図である。 図４は、変形例１に係る情報端末が表示部に表示する確認情報に係る画像の一例を説明する図である。 図５は、変形例２に係る情報端末の構成を説明する図である。 図６は、同上の情報端末が表示部に表示する確認情報に係る画像の一例を説明する図である。

以下に説明する実施形態及び変形例は、本開示の一例に過ぎず、本開示は、実施形態及び変形例に限定されない。以下の実施形態及び変形例以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

（実施形態）
以下、本実施形態に係る通話システム１としての情報端末１０を備えるインターホンシステム２について、図１〜図３を用いて説明する。

（１）概要
以下、本実施形態に係る通話システム１について、説明する。

本実施形態に係る通話システム１は、図２に示すように、インターホンシステム２に適用される。インターホンシステム２は、例えば、マンション等の集合住宅５に適用される。本実施形態に係るインターホンシステム２は、通話システム１としての情報端末１０を備える。本実施形態では、インターホンシステム２は、複数（図２では２つ）の情報端末１０を備える。インターホンシステム２は、ロビーインターホン２０と、制御装置３０と、複数（図２では２つ）のドアホン４０とを、更に備えている。インターホンシステム２では、複数の情報端末１０の各々とロビーインターホン２０とが制御装置３０を介して通信を行うように構成されている。また、インターホンシステム２では、複数の情報端末１０と複数のドアホン４０とが一対一に対応している。なお、本実施形態に係るインターホンシステム２は、集合住宅５以外に、戸建住宅に適用されてもよい。あるいは、インターホンシステム２は、事務所、店舗、学校若しくは介護施設等の非住宅施設等に適用されてもよい。

複数の情報端末１０の各々は、例えば、集合住宅５に含まれる複数の住戸Ｅ２の各々に設けられている住戸端末（親機）である。各情報端末１０は、例えば、各住戸Ｅ２の内玄関に設けられている。各情報端末１０は、第２幹線６２、分岐線６３、及び分岐器５０を介して制御装置３０に接続されている。各情報端末１０は、制御装置３０を介して、ロビーインターホン２０との間で通信（例えば、通話、及び制御信号の送信等）を行うように構成されている。さらに、各情報端末１０は、接続線６４を介して対応するドアホン４０に接続されている。各情報端末１０は、対応するドアホン４０との間で通信（例えば、通話、及び制御信号の送信等）を行うように構成されている。

ロビーインターホン２０は、例えば、集合住宅５の共用玄関（ロビー）Ｅ１に設けられている。ロビーインターホン２０は、第１幹線６１を介して制御装置３０に接続されている。ロビーインターホン２０は、制御装置３０を介して、各情報端末１０との間で通信（例えば、通話、及び映像信号の送信等）を行うように構成されている。ロビーインターホン２０は、例えば、共用玄関Ｅ１の壁に取り付けられている。ロビーインターホン２０が映像信号を情報端末１０に送信することで、情報端末１０は、映像（画像）を表示することができる。

制御装置３０は、例えば、集合住宅５の管理室Ｅ３に設けられている。制御装置３０は、第１幹線６１を介してロビーインターホン２０に接続され、かつ第２幹線６２を介して各情報端末１０に接続されている。つまり、制御装置３０は、各情報端末１０とロビーインターホン２０との間の通信を中継するように構成されている。

複数のドアホン４０の各々は、例えば、集合住宅５の各住戸Ｅ２の外玄関に設けられている。各ドアホン４０は、接続線６４を介して対応する情報端末１０に接続されている。各ドアホン４０は、対応する情報端末１０との間で通信（例えば、通話、映像信号の送信等）を行うように構成されている。

本実施形態では、第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４は、いずれもツイストペア線である。つまり、実際には、第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４は２本の電線で構成されるが、図面上は１本の線で表している。第１幹線６１、第２幹線６２、分岐線６３、及び接続線６４の少なくとも１つはツイストペア線以外の電線であってもよい。

本実施形態に係る情報端末１０は、音取得部１３と、送出部１８４（出力部）と、通知部１８６と、を備える。音取得部１３は、少なくとも話者の音声を含む音を取得する。送出部１８４は、音取得部１３が取得した音を通話先の人が操作する装置に出力する。通知部１８６は、音取得部１３が取得した音に関連する確認情報を、話者に通知する。ここで、話者は、例えば、住戸Ｅ２の住人である。通話先の人は、例えば、集合住宅５への訪問者であるが、ロビーインターホン２０から各住戸Ｅ２を呼び出す者であればよく、外出先から帰宅した各住戸Ｅ２の住人等であってもよい。

本実施形態に係る情報端末１０（通話システム１）では、音取得部１３が取得した音に関連する確認情報を、話者に通知する。そのため、話者は、情報端末１０が取得した音がどのような状態で通話先の人が操作する装置に出力されているかを知ることができる。例えば、話者は、本来外部に漏れて欲しくない音が出力されているかどうかを知ることができる。

（２）構成
（２−１）情報端末
情報端末１０は、図１に示すように、第１通信部１１、第２通信部、音取得部１３、操作部１４、出力部１５、表示部１６、記憶部１７及び制御部１８を備える。

情報端末１０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部１８として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

第１通信部１１は、ロビーインターホン２０（の通信部２１）と通信するための通信インタフェースである。第１通信部１１は、第２幹線６２、分岐線６３、及び分岐器５０を介して制御装置３０に接続されている。第１通信部１１は、制御装置３０を介して、ロビーインターホン２０に対して音声信号、及び制御信号等を送信する。さらに、第１通信部１１は、制御装置３０を介して、ロビーインターホン２０から音声信号、及び映像信号等を受信する。

第２通信部１２は、ドアホン４０と通信するための通信インタフェースである。第２通信部１２は、接続線６４を介してドアホン４０に接続されている。第２通信部１２は、ドアホン４０に対して音声信号、及び制御信号等を送信し、ドアホン４０から音声信号、及び映像信号等を受信する。

音取得部１３は、少なくとも話者の音声を含む音を取得し、取得した音に係る音情報を制御部１８に出力する。音取得部１３は、複数のマイクロホンを有している。複数のマイクロホンの各々は、指向性を有するマイクロホンである。本実施形態では、音取得部１３は、図１に示すように、２つのマイクロホン（第１マイクロホン１３１及び第２マイクロホン１３２）を有している。第１マイクロホン１３１及び第２マイクロホン１３２は、水平方向（左右方向）及び鉛直方向（上下方向）の少なくとも一方において互いに異なる指向性を有している。第１マイクロホン１３１及び第２マイクロホン１３２は、左右方向に沿って並べられて配置されている。第１マイクロホン１３１及び第２マイクロホン１３２は、情報端末１０の前方に位置する話者の音声（音）を含む周囲の音を取得し、取得した音をアナログの音信号（音情報）に変換して制御部１８に出力する。

操作部１４は、ユーザ（例えば、各住戸Ｅ２の住人等）の操作を受け付けるように構成されている。操作部１４は、少なくとも通話ボタンを有している。通話ボタンは、ロビーインターホン２０、又はドアホン４０からの呼び出しに対して、ロビーインターホン２０、又はドアホン４０との通信（訪問者等との通話）を開始するためのボタンである。つまり、第１通信部１１が住人を呼び出すための呼出信号を受信している状態で通話ボタンが押されると、ロビーインターホン２０、又はドアホン４０と情報端末１０との間で音声通話が可能になる。

出力部１５は、例えばスピーカである。出力部１５は、情報端末１０がロビーインターホン２０と通話可能な状態である場合には、ロビーインターホン２０から送信された音データに基づいた音（訪問者等の音声を含む）を出力する。

表示部１６は、例えば、液晶ディスプレイである。表示部１６は、映像を表示するように構成されている。また、表示部１６は、話者に対して、音取得部１３が取得した音に関連する確認情報を表示するように構成されている。確認情報は、例えば、通話中に音を取得したかの有無（音の有無）、取得した音の音圧、及び音量のうち少なくとも１つの情報を含む。なお、本実施形態では、確認情報は、音の有無、取得した音の音圧、及び音量を含む。表示部１６は、音の有無、取得した音の音圧、及び音量を表示する。なお、情報端末１０がタッチパネルディスプレイを備えている場合には、タッチパネルディスプレイが表示部１６と操作部１４とを兼ねてもよい。

記憶部１７は、読み書き可能なメモリで構成されている。記憶部１７は、例えば、フラッシュメモリである。記憶部１７は、例えば、確認情報を記憶する。

制御部１８は、図１に示すように、音声処理部１８１、方向推定部１８２、方向制御部１８３、送出部１８４、処理部１８５及び通知部１８６を有している。

音声処理部１８１は、音取得部１３が出力したアナログの音信号を取得する。音声処理部１８１は、取得したアナログの音信号を、デジタルの音信号に変換する。また、音声処理部１８１は、音取得部１３から取得した音信号に対して所定のフィルタリング処理等を行うように構成されている。音声処理部１８１は、例えば複数のエコーキャンセラ（第１エコーキャンセラ、第２エコーキャンセラ）を含む。第１エコーキャンセラは、第１マイクロホン１３１から出力された音信号に対してエコーの抑制又は除去を行う。第２エコーキャンセラは、第２マイクロホンから出力された音信号に対してエコーの抑制又は除去を行う。

方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する人の方向を推定する。具体的には、方向推定部１８２は、第１信号と、第２信号との位相差に基づいて音声を発する人の方向を推定する。

方向制御部１８３は、方向推定部１８２の推定結果に基づいて、音取得部１３による音の取得方向を制御する。具体的には、方向制御部１８３は、方向推定部１８２の推定結果に基づいて、第１マイクロホン１３１から入力される音のゲイン、及び第２マイクロホン１３２から入力される音のゲインをそれぞれ調整するように構成されている。より具体的には、方向制御部１８３は、第１マイクロホン１３１及び第２マイクロホン１３２の各々から入力される音声信号に対して各種演算を行うことで、所望の方向の感度を高めた音声信号に変換する。これにより、所望の方向のＳ／Ｎ比が向上する。例えば、話者が右側に存在すると方向推定部１８２が推定した場合、方向制御部１８３は、第１マイクロホン１３１から入力される音のゲインを１、第２マイクロホン１３２から入力される音のゲインを０とする。この場合、方向制御部１８３は、第１マイクロホン１３１から入力される音のみを出力することになる。つまり、制御部１８は、方向推定部１８２の推定結果に基づいて、各マイクロホンから入力される音のゲインを方向制御部１８３が変えることで、音取得部１３による音の取得方向を制御することができる。

方向制御部１８３は、例えばノイズサプレッサを含む。方向制御部１８３は、ゲイン調整された２つの信号を含む音の信号に対してノイズの抑制又は除去を行う。

送出部１８４は、音取得部１３が取得した前記音に係る音データ（音情報）を、通話先の人が操作する装置に出力する。具体的には、送出部１８４は、方向制御部１８３でノイズの抑制又は除去がされた音の信号を、第１通信部１１又は第２通信部１２を介して、通信対象の装置に送信する。例えば、情報端末１０がロビーインターホン２０と通信を行っている場合には、送出部１８４は、方向制御部１８３でノイズの抑制又は除去がされた音の信号（以下、単に“音の信号”という）を、第１通信部１１を介してロビーインターホン２０に送信する。

処理部１８５は、話者に通知する確認情報を生成する。処理部１８５は、音の信号を基に、音の有無、音量及び音圧を取得する。処理部１８５は、音の有無、音量及び音圧を含む確認情報を生成する。要は、処理部１８５は、音取得部１３が取得した音に対して当該音に関する所定の処理が施された音に基づいて確認情報を生成する。ここで、所定の処理は、音取得部１３が取得した音に対して、通話先の装置で出力される出力音として不要である音を除去する処理であり、例えば、エコーの抑制又は除去、及びノイズの抑制又は除去に係る処理である。したがって、確認情報には、音取得部１３が取得した音に対して音に関する所定の処理が施された音に関する情報が含まれることになる。つまり、確認情報は、情報端末１０が取得した音に関連する情報であって当該音とは異なる情報（言い換えると情報端末１０が取得した音そのものではない情報）である。

通知部１８６は、音取得部１３が取得した音に関連する確認情報を、話者に通知する。例えば、通知部１８６は、話者と通話先の人との通話中において、確認情報を話者に通知する。より詳細には、通知部１８６は、通話中において、処理部１８５が生成した確認情報に含まれる音の有無、音量及び音圧を、表示部１６が表示するよう表示部１６を制御する。このとき、表示部１６は、確認情報に含まれる音の有無、音量及び音圧を表示する。これにより、通知部１８６は、確認情報を、話者に通知することができる。

（２−２）ロビーインターホン
ロビーインターホン２０は、図２に示すように、通信部２１と、制御部２２と、音取得部２３と、通話部２４と、表示部２５と、操作部２６と、記憶部２７と、撮像部２８と、を備えている。

ロビーインターホン２０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部２２として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

通信部２１は、情報端末１０（の第１通信部１１）と通信するための通信インタフェースである。通信部２１は、第１幹線６１を介して制御装置３０（の通信部３１）に接続されている。通信部２１は、制御装置３０を介して、情報端末１０に対して音声信号、及び映像信号等を送信する。さらに、通信部２１は、制御装置３０を介して、情報端末１０から音声信号、及び制御信号等を受信する。ここで、ロビーインターホン２０からの通信信号には、情報端末１０を特定するための情報（例えば、アドレス情報等）が含まれている。そのため、この通信信号に含まれるアドレス情報と一致するアドレス情報が割り当てられた情報端末１０のみが通信信号を受信することができる。

制御部２２は、通信部２１、音取得部２３、通話部２４、及び撮像部２８等を制御するように構成されている。

音取得部２３は、マイクロホンを有している。マイクロホンは、ロビーインターホン２０の前方に位置する訪問者等の音声（音）を含む周囲の音を取得し、取得した音をアナログの音信号に変換して制御部２２に出力する。

通話部２４は、スピーカ及びマイクロホンを含み、情報端末１０との間で通話可能に構成されている。

表示部２５は、例えば、液晶ディスプレイである。表示部２５は、撮像部２８が撮像した映像を表示するように構成されている。また、表示部２５は、訪問者等に対してメッセージを表示するように構成されている。メッセージは、例えば、訪問者等に発話を促すためのメッセージである。表示部２５は、例えば、「お話しください」等のメッセージを表示する。この場合において、同様の音声メッセージを通話部２４のスピーカ、又は通話部２４のスピーカとは別に設けられたスピーカから出力（報知）してもよい。また、表示部２５とスピーカとを併用してもよい。なお、インターホンシステム２がタッチパネルディスプレイを備えている場合には、タッチパネルディスプレイが表示部２５と操作部２６とを兼ねてもよい。

操作部２６は、ユーザ（例えば、集合住宅５への訪問者、住人等）の操作を受け付けるように構成されている。操作部２６は、例えば、複数の押ボタンスイッチ、及びタッチパネル等を有する入力インタフェースである。

記憶部２７は、読み書き可能なメモリで構成されている。記憶部２７は、例えば、フラッシュメモリである。記憶部２７は、例えば、撮像部２８で撮像された映像（画像）の映像データを記憶する。

撮像部２８は、撮像素子を有し、被写体（ユーザ）を撮像するためのカメラである。本実施形態では、撮像部２８の撮像エリア（視野）は、インターホンシステム２の前方に設定されている。本実施形態では、撮像部２８は動画を撮像するカメラである。さらに、本実施形態では、撮像部２８はカラー画像を撮像するカメラである。なお、撮像部２８は、静止画を撮像するカメラ（スチルカメラ）であってもよいし、モノクロ画像を撮像するカメラであってもよい。

撮像素子は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサである。撮像部２８は、被写体からの光をレンズ等の光学系によって撮像素子の撮像面（受光面）上に結像させ、撮像素子にて被写体からの光を電気信号に変換する。そして、撮像部２８は、撮像素子の出力信号を映像信号として制御部２２に出力する。

（２−３）制御装置
制御装置３０は、図２に示すように、通信部３１と、制御部３２と、記憶部３３と、を備えている。

制御装置３０は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが制御部３２として機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

通信部３１は、各情報端末１０、及びロビーインターホン２０と通信するための通信インタフェースを含んでいる。通信部３１は、第１幹線６１を介してロビーインターホン２０に接続され、第２幹線６２を介して各情報端末１０に接続されている。つまり、通信部３１は、各情報端末１０とロビーインターホン２０との間の通信を中継するように構成されている。

制御部３２は、通信部３１を制御するように構成されている。

記憶部３３は、読み書き可能なメモリで構成されている。記憶部３３は、例えば、フラッシュメモリである。記憶部３３は、例えば、各住戸Ｅ２に割り当てられた部屋番号と、各情報端末１０に割り当てられたアドレス情報との対応関係を表す対応テーブルを記憶する。つまり、制御装置３０では、制御部３２は、対応テーブルを参照して、ロビーインターホン２０からの信号に含まれる部屋番号を対応する情報端末１０のアドレス情報に置き換えた信号を作成し、この信号を通信部３１から各情報端末１０に送信させる。そして、各情報端末１０では、制御部１８は、第１通信部１１が受信した信号に含まれるアドレス情報が、記憶部１７に記憶されているアドレス情報と一致する場合には、この信号に含まれる情報を取得する。また、各情報端末１０では、制御部１８は、第１通信部１１が受信した信号に含まれるアドレス情報が、記憶部１７に記憶されているアドレス情報と一致しない場合には、この信号に含まれる情報を破棄する。

（２−４）ドアホン
各ドアホン４０は、図２に示すように、接続線６４を介して対応する情報端末１０に接続されている。ドアホン４０は、情報端末１０に対して音声信号、及び映像信号等を送信する。さらに、ドアホン４０は、情報端末１０から音声信号、及び制御信号等を受信する。

（３）動作
ここでは、通話システム１としての情報端末１０の動作について、図３を用いて説明する。

音取得部１３は、話者の音声を取得する（ステップＳ１）。具体的には、音取得部１３が有する第１マイクロホン１３１及び第２マイクロホン１３２の各々は、話者の音声（音）を含む周囲の音を取得し、取得した音をアナログの音信号に変換して制御部１８に出力する。

方向推定部１８２は、音取得部１３が取得した音に係る音情報に基づいて、音声を発する話者の方向を推定する（ステップＳ２）。方向制御部１８３は、方向推定部１８２の推定結果に基づいて、音取得部１３による音の取得方向を制御する（ステップＳ３）。このとき、音取得部１３が取得した音に対して、音に関する所定の処理が施される。具体的には、所定の処理として、音取得部１３が取得した音に対して、通話先の装置で出力される出力音として不要である音を除去する処理が施される。より詳細には、情報端末１０は、音取得部１３が取得した音に対して、エコーの抑制又は除去、及びノイズの抑制又は除去が行われる。

処理部１８５は、確認処理を行う（ステップＳ４）。具体的には、処理部１８５は、音に関する所定の処理が施された音の信号を基に、音の有無、音量及び音圧を含む確認情報を生成する。

送出部１８４は、音に関する所定の処理が施された音の信号を、通話先の人が操作する装置に出力する（ステップＳ５）。例えば、情報端末１０がロビーインターホン２０と通信を行っている場合には、送出部１８４は、方向制御部１８３でノイズの抑制又は除去がされた音の信号をロビーインターホン２０に送信する。

通知部１８６は、話者と通話先の人との通話中において、確認情報を話者に通知する（ステップＳ６）。具体的には、通知部１８６は、通話中において、処理部１８５が生成した確認情報に含まれる音の有無、音量及び音圧を、表示部１６が表示するよう表示部１６を制御する。

（４）利点
以上説明したように、本実施形態の情報端末１０は、少なくとも話者の音声を含む音を取得し、取得した音を通話先の人が操作するロビーインターホン２０又はドアホン４０に出力する。情報端末１０は、取得した音に関連する確認情報として、取得した音の有無、音量及び音圧に係る情報を、話者に通知する。

これにより、情報端末１０を利用する話者は、情報端末１０が取得した音がどのような状態でロビーインターホン２０又はドアホン４０にて出力されているかを知ることができる。

（５）変形例
以下に、変形例について列記する。なお、以下に説明する変形例は、上記実施形態と適宜組み合わせて適用可能である。

（５−１）変形例１
上記実施形態では、確認情報には、音の有無、音量及び音圧のうち少なくとも１つが含まれる構成としたが、この構成に限定されない。

確認情報は、音取得部１３が音を取得する取得範囲に係る情報を含んでもよい。この場合、通知部１８６は、話者が居る場所に関する画像に対して取得範囲を重畳して表示部１６に表示させて、話者に通知する。

例えば、通知部１８６は、図４に示すように、ロビーインターホン２０が撮像した映像Ｇ１に、話者が居る場所に関する画像に対して取得範囲が重畳された確認画像Ｇ２を重畳して表示するように表示部１６を制御する。確認画像Ｇ２は、話者が居る場所に関する画像として情報端末１０が設置された空間の見取り図Ｇ２１に、取得範囲の画像としてポーラ図Ｇ２２が重畳された画像である。確認画像Ｇ２に含まれるオブジェクトＧ２３は、情報端末１０を表している。ポーラ図Ｇ２２は、情報端末１０を表すオブジェクトＧ２３を中心とした音の取得範囲を表す。

なお、話者が居る場所に関する画像は、見取り図Ｇ２１に限定されない。話者が居る場所に関する画像は、カメラで撮像した画像であってもよい。つまり、話者が居る場所に関する画像は、情報端末１０が設置された空間が認識できる画像であればよい。

また、取得範囲の画像は、ポーラ図に限定されない。取得範囲の画像は、音声の取得範囲が認識できる画像であればよい。

（５−２）変形例２
上記実施形態において、情報端末１０は、音識別機能により、取得した音に話者以外の音が含まれるか否かを判別してもよい。

例えば、本変形例の処理部１８５は、図５に示すように、判別部１９１及び確認処理部１９２を含む。

判別部１９１は、音取得部１３が取得した音に話者の音声とは異なる音である（話者外音）が含まれるか否かを判別する。例えば、判別部１９１は、音取得部１３が取得した音に人の声が含まれていると判別する場合には、当該人の声を話者の音声とし、音取得部１３が取得した音に当該話者の音声以外の音が含まれるか否かを判別する。

なお、判別部１９１は、住戸Ｅ２に話者が居るか否かの判別には、方向推定部１８２の推定結果を用いてもよい。この場合、判別部１９１は、音の信号に人の声が含まれ、かつ方向推定部１８２の推定結果が音声を発する人が正面に居ることを表す場合、当該人の音声を話者の音声とし、音取得部１３が取得した音に当該話者の音声以外の音が含まれるか否かを判別する。

確認処理部１９２は、判別部１９１の判別結果に応じて、話者に通知する確認情報を生成する。具体的には、音取得部１３が取得した音に当該話者の音声以外の音が含まれると判別部１９１が判別した場合、確認処理部１９２は、音取得部１３が取得した音に含まれる話者外音の種類及び話者外音の音源のうち少なくとも一方に係る情報を生成する。

例えば、確認処理部１９２は、音取得部１３が取得した音に話者の音声の周波数よりも高周波又は低周波の音が含まれる場合には、話者外音の種類として高周波（又は低周波）の音が含まれることを表す情報を含む確認情報を生成する。確認処理部１９２は、音取得部１３が取得した音に動物（例えば犬）の音声又は空間に設けられたテレビの音が含まれる場合には、話者外音の音源として音源（例えば、犬、テレビ）を表す情報を含む確認情報を生成する。音源を表す情報は、例えば音源を表すアイコンに係る情報である。

音源を表す情報として犬のアイコンの係る情報、及びテレビのアイコンに係る情報が確認情報に含まれる場合には、通知部１８６は、ロビーインターホン２０が撮像した映像に、話者外音の音源に係る情報Ｇ３として犬のアイコンＧ３１及びテレビのアイコンＧ３２を重畳させて表示部１６に表示させる（図６参照）。

（５−３）変形例３
上記実施形態において、処理部１８５は、確認情報に含まれる音量及び音圧について、その強弱に応じてレベル分けをしてもよい。このとき、通知部１８６は、レベル分けした結果に応じて、音量及び音圧を表示してもよい。例えば、通知部１８６は、音量及び音圧をその強弱に応じて表示色を変更する。より詳細には、処理部１８５は、確認情報に含まれる音量及び音圧の各々を、強度を３つのレベル（“大”、“中”、“小”）のうち１つのレベルに振り分ける。通知部１８６は、音量（又は音圧）のレベルが“大”である場合には音量（又は音圧）を赤色で表示部１６に表示させる。通知部１８６は、音量（又は音圧）のレベルが“中”である場合には音量（又は音圧）を黄色で表示部１６に表示させる。通知部１８６は、音量（又は音圧）のレベルが“小”である場合には音量（又は音圧）を青色で表示部１６に表示させる。

また、確認情報のレベルを色の濃淡等で表すヒートマップで確認情報を表示してもよい。例えば、上述したように、確認情報に含まれる音量及び音圧の各々を、強度を３つのレベル（“大”、“中”、“小”）のうち１つのレベルに振り分けた場合、レベルが“小”から“大”へ変わるにつれて、表示色を淡い色から濃い色へと、又は濃い色から淡い色へと変化させる。

なお、本変形例を変形例１に適用してもよい。この場合、処理部１８５は、取得範囲を、取得した音の強度（レベル）に基づいて複数の範囲に分割する。通知部１８６は、分割された範囲ごとに異なる色で表示部１６に表示させる。

（５−４）変形例４
上記実施形態では、通知部１８６は、話者と通話先の人との通話中において、確認情報を話者に通知する構成としたが、この構成に限定されない。

通知部１８６は、通話が行われていないときに、確認情報を話者に通知してもよい。この場合、音取得部１３は、通話中に、少なくとも話者の音声を含む音を取得する。処理部１８５は、音取得部１３が取得し、かつ方向制御部１８３により制御された音に対して音に関する所定の処理が施された音に基づいて確認情報を生成し、記憶部１７に記憶する。通知部１８６は、通話が終了した後に、操作部１４が所定の操作を受け付けると、記憶部１７に記憶している確認情報を、通知する。

（５−５）変形例５
上記実施形態において、通話システム１（情報端末１０）は、ロビーインターホン２０及びドアホン４０からの呼出が無い状態において、確認情報を話者が通知するテストモードを有してもよい。

音取得部１３は、テストモードが設定されると、ロビーインターホン２０及びドアホン４０からの呼出が無い状態で、操作者（話者）の操作により少なくとも話者の音声を含む音を取得する。言い換えると、音取得部１３は、テストモードが設定されると、ロビーインターホン２０及びドアホン４０と通話が行われていないときに、少なくとも話者の音声を含む音を取得する。

音声処理部１８１は、テストモードが設定され、かつ通話が行われていないときに、音取得部１３が出力したアナログの音信号を、デジタルの音信号に変換する。このとき、音声処理部１８１は、音取得部１３から取得した音信号に対して所定のフィルタリング処理（エコーキャンセル処理）等を行う。

方向推定部１８２は、テストモードが設定され、かつ通話が行われていないときに、音取得部１３が取得した音に係る音情報に基づいて、音声を発する人の方向を推定する。具体的には、方向推定部１８２は、実施形態１で説明したように、第１信号と、第２信号との位相差に基づいて音声を発する人の方向を推定する。

方向制御部１８３は、テストモードが設定され、かつ通話が行われていないときに、方向推定部１８２の推定結果に基づいて、音取得部１３による音の取得方向を制御する。具体的には、方向制御部１８３は、実施形態１で説明したように。方向推定部１８２の推定結果に基づいて、第１マイクロホン１３１から入力される音のゲイン、及び第２マイクロホン１３２から入力される音のゲインをそれぞれ調整する。さらに、方向制御部１８３は、テストモード時において、ゲイン調整された２つの信号を含む音の信号に対してノイズの抑制又は除去を行う。

送出部１８４は、テストモードでは、機能しない。つまり送出部１８４は、方向制御部１８３でノイズの抑制又は除去がされた音の信号を出力しない。

処理部１８５は、テストモードが設定され、かつ通話が行われていないときに、話者に通知する確認情報を生成する。処理部１８５は、実施形態１で説明したように、音取得部１３が取得した音に対して当該音に関する所定の処理が施された音に基づいて確認情報を生成する。

通知部１８６は、テストモードが設定され、かつ通話が行われていないときに、情報端末１０が取得した音に関連する情報であって当該音とは異なる情報を確認情報として、者に通知する。

これにより、テストモードが設定されると、情報端末１０は、通話が行われていない状態であっても、情報端末１０の操作者（話者）の音声を含む音に係る情報である確認情報を当該話者に通知することができる。そのため、話者は、ロビーインターホン２０又はドアホン４０で呼出があった場合、情報端末１０が取得した音がどのような状態で呼出先（通話先）にて出力されているかを知ることができる。

（５−６）変形例６
以下、変形例を列挙する。

上記実施形態では、音取得部１３は、複数のマイクロホンを有する構成としたが、この構成に限定されない。音取得部１３は、１つのマイクロホンを有してもよい。

上述実施形態では、情報端末１０を通話システム１の一例として説明したが、通話システム１は、情報端末１０に限定されない。通話システム１は、ロビーインターホン２０であってもよいし、ドアホン４０であってもよい。管理室親機が設けられている場合には、通話システム１は、管理室親機であってもよい。

上記実施形態において、通知部１８６は、音声等により話者に確認情報を通知してもよい。

（その他の変形例）
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、通話システム１と同様の機能は、制御方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る通話システム１の制御方法は、音取得ステップと、出力ステップと、通知ステップと、を含む。音取得ステップは。少なくとも話者の音声を含む音を取得する。出力ステップは、取得した音を通話先の人が操作する装置（例えば、ロビーインターホン２０、ドアホン４０）に出力する。通知ステップは、取得した音に関連する確認情報を、話者に通知する。一態様に係るプログラムは、コンピュータシステムを、上述した通話システム１又は通話システム１の制御方法として機能させるためのプログラムである。

本開示における通話システム１又は通話システム１の制御方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における通話システム１又は通話システム１の制御方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

（まとめ）
以上説明したように、第１の態様の通話システム（１）は、音取得部（１３）と、出力部（送出部１８４）と、通知部（１８６）と、を備える。音取得部（１３）は、少なくとも話者の音声を含む音を取得する。出力部は、取得した音を通話先の人が操作する装置（例えば、ロビーインターホン２０、ドアホン４０）に出力する。通知部（１８６）は、取得した音に関連する確認情報を、話者に通知する。

この構成によると、通話先で出力されている音（音声）の状況を話者が知ることができる。

第２の態様の通話システム（１）では、第１の態様において、確認情報は、音の有無、音圧、音量のうち少なくとも１つ以上の情報を含む。

この構成によると、通話先で出力されている音（音声）の状況として音の有無、音圧、音量のうち少なくとも１つ以上の情報について、話者は知ることができる。

第３の態様の通話システム（１）では、第１又は第２の態様において、確認情報は、音取得部（１３）が音を取得する取得範囲に係る情報を含む。

この構成によると、通話先で出力されている音（音声）の状況として音の取得範囲を、話者は知ることができる。

第４の態様の通話システム（１）では、第３の態様において、通知部（１８６）は、話者が居る場所に関する画像に対して取得範囲を重畳して表示部（１６）に表示させて、話者に通知する。

この構成によると、話者が居る場所に関する画像に対して取得範囲を重畳して表示するので、話者は、音の取得範囲を話者が居る場所に関する画像に対応付けて知ることができる。

第５の態様の通話システム（１）では、第１〜第４のいずれかの態様において、通知部（１８６）は、確認情報に含まれる音に関する情報をレベル分けして表示部（１６）に表示させて、話者に通知する。

この構成によると、話者は、確認情報に含まれる音に関する情報についてのレベルを知ることができる。

第６の態様の通話システム（１）では、第１〜第５のいずれかの態様において、確認情報は、音に含まれる音声とは異なる音である話者外音の種類及び話者外音の音源のうち少なくとも一方に係る情報を含む。

この構成によると、通話先で出力されている音（音声）の状況として、話者の音声以外の音の種類及び音源のうち少なくとも一方を知ることができる。

第７の態様の通話システム（１）は、第６の態様において、判別部（１９１）を、更に備える。判別部（１９１）は、音取得部（１３）が取得した音に話者外音が含まれるか否かを判別する。

この構成によると、話者外音の有無を判別することができる。

第８の態様の通話システム（１）では、第１〜第７のいずれかの態様において、確認情報は、音取得部（１３）が取得した音に対して所定の処理が施された後の音に関する情報を含む。

この構成によると、所定の処理が施された後の音が通話先でどのように出力されているかを、話者は知ることができる。

第９の態様の通話システム（１）では、第８の態様において、所定の処理は、音取得部（１３）が取得した音に対して、通話先の装置で出力される出力音として不要である音を除去する処理を含む。

この構成によると、例えば、ノイズキャンセルされた後の音が通話先でどのように出力されているかを、話者は知ることができる。

第１０の態様の通話システム（１）では、第１〜第９のいずれかの態様において、音取得部（１３）は、話者と通話先の人との通話中において、音を取得する。通知部（１８６）は、通話中において、確認情報を話者に通知する。

この構成によると、話者は、情報端末が取得した音が話先でどのように出力されているかを、リアルタイムに知ることができる。

第１１の態様の通話システム（１）では、第１〜第９のいずれかの態様において、音取得部（１３）は、話者と通話先の人との間で通話が行われているときに、音を取得する。通知部（１８６）は、通話が行われていないときに、確認情報を話者に通知する。

この構成によると、話者は、情報端末が取得した音が話先でどのように出力されているかを、例えば通話後に知ることができる。そのため、その後の通話に対して対応策を図ることができる。

第１２の態様の通話システム（１）は、第１〜第１１のいずれかの態様において、テストモードを有する。音取得部（１３）は、テストモードが設定されている場合には、通話が行われていないときに音を取得する。通知部（１８６）は、テストモードが設定され、かつ通話が行われていないときに、音に関連する情報であって当該音とは異なる情報を確認情報として、話者に通知する。

この構成によると、テストモードにより、情報端末が取得した音が話先でどのように出力されているかを事前に疑似的に知ることができる。

第１３の態様の制御方法は、音取得ステップと、出力ステップと、通知ステップと、を含む。音取得ステップは、少なくとも話者の音声を含む音を取得する。出力ステップは、取得した音を通話先の人が操作する装置（例えば、ロビーインターホン２０、ドアホン４０）に出力する。通知ステップは、取得した音に関連する確認情報を、話者に通知する。

この制御方法によると、通話先で出力されている音（音声）の状況を話者が知ることができる。

第１４の態様のプログラムは、コンピュータに、第１３の態様の制御方法を実行させるためのプログラムである。

このプログラムによると、通話先で出力されている音（音声）の状況を話者が知ることができる。

１ 通話システム
１０ 情報端末
１３ 音取得部
１６ 表示部
１８４ 送出部
１８６ 通知部
１９１ 判別部

Claims (14)

1. 少なくとも話者の音声を含む音を取得する音取得部と、
   取得した前記音を通話先の人が操作する装置に出力する出力部と、
   取得した前記音に関連する確認情報を、前記話者に通知する通知部と、を備える、
   通話システム。
2. 前記確認情報は、前記音の有無、音圧、音量のうち少なくとも１つ以上の情報を含む、
   請求項１に記載の通話システム。
3. 前記確認情報は、前記音取得部が前記音を取得する取得範囲に係る情報を含む、
   請求項１又は２に記載の通話システム。
4. 前記通知部は、前記話者が居る場所に関する画像に対して前記取得範囲を重畳して表示部に表示させて、前記話者に通知する、
   請求項３に記載の通話システム。
5. 前記通知部は、前記確認情報に含まれる前記音に関する情報をレベル分けして表示部に表示させて、前記話者に通知する、
   請求項１〜４のいずれか一項に記載の通話システム。
6. 前記確認情報は、前記音に含まれる前記音声とは異なる音である話者外音の種類及び前記話者外音の音源のうち少なくとも一方に係る情報を含む、
   請求項１〜５のいずれか一項に記載の通話システム。
7. 前記音取得部が取得した音に前記話者外音が含まれるか否かを判別する判別部を、更に備える、
   請求項６に記載の通話システム。
8. 前記確認情報は、前記音取得部が取得した前記音に対して所定の処理が施された後の音に関する情報を含む、
   請求項１〜７のいずれか一項に記載の通話システム。
9. 前記所定の処理は、前記音取得部が取得した前記音に対して、通話先の装置で出力される出力音として不要である音を除去する処理を含む、
   請求項８に記載の通話システム。
10. 前記音取得部は、前記話者と前記通話先の人との通話中において、前記音を取得し、
    前記通知部は、前記通話中において、前記確認情報を前記話者に通知する、
    請求項１〜９のいずれか一項に記載の通話システム。
11. 前記音取得部は、前記話者と前記通話先の人との間で通話が行われているときに、前記音を取得し、
    前記通知部は、前記通話が行われていないときに、前記確認情報を前記話者に通知する、
    請求項１〜９のいずれか一項に記載の通話システム。
12. テストモードを有し、
    前記音取得部は、前記テストモードが設定されている場合には、通話が行われていないときに、前記音を取得し、
    前記通知部は、テストモードが設定され、かつ通話が行われていないときに、前記音に関連する情報であって前記音とは異なる情報を前記確認情報として、前記話者に通知する、
    請求項１〜１１のいずれか一項に記載の通話システム。
13. 少なくとも話者の音声を含む音を取得する音取得ステップと、
    取得した前記音を通話先の人が操作する装置に出力する出力ステップと、
    取得した前記音に関連する確認情報を、前記話者に通知する通知ステップと、を含む、
    制御方法。
14. コンピュータに、請求項１３に記載の制御方法を実行させるためのプログラム。

Images