JP2017108287A - 通信装置、制御方法及び制御プログラム - Google Patents

Abstract

【課題】マイクによる音の収集を好適に制御する、通信装置、制御方法及び制御プログラムを提供する。
【解決手段】通信装置１００は、検出部１０４と、判定部１０５と、指向性制御部１０６とを有する。検出部１０４は、通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する。判定部１０５は、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する。指向性制御部１０６は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイの指向性を制御する。
【選択図】図３

Description

本発明は、通信装置、制御方法及び制御プログラムに関する。

従来、インターネット等のネットワークを利用して、各拠点のユーザ間の会話を実現するテレビ会議のための通信システムが知られている。テレビ会議のための通信システムでは、各拠点に設置されたカメラやマイクによって収集された映像や音を、ネットワークに接続された各拠点の通信装置間で送受して、他の拠点の表示装置やスピーカから出力させることにより、拠点間でのテレビ会議を実現する。

テレビ会議では、全方位を撮影可能なカメラや、指向性を有するマイクが利用されることがある。全方位を撮影可能なカメラを利用することで、会議に参加する全てのユーザを撮影することが可能となる。また、指向性を有するマイクを利用することで、ユーザの音声を明瞭に収集することが可能となる。さらに、より円滑な会話を実現することを目的として、マイクによって検知された音の音源方向にカメラの向きを制御する技術も存在する。

ところで、テレビ会議では、映像に映りたくないユーザや、映したくない物が存在する場合がある。かかる場合には、表示装置に表示する映像に映さない領域であるマスク領域を予め決定しておき、カメラのパン、チルト、ズームに応じてマスク領域をマスク処理した映像を表示装置に表示する。

しかしながら、従来技術では、マイクによる音の収集を好適に制御することが困難であるという問題がある。例えば、マスク領域をマスク処理した映像を表示させる際に、マスク領域で発生する音についても収集したくないという要求がある。従来技術は、マスク領域をマスク処理した映像を表示するものであり、マスク領域で発生する音については収集されることになるため、この要求を満たせているとは言えない。

本発明は、上記に鑑みてなされたものであって、マイクによる音の収集を好適に制御することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る通信装置は、通信装置であって、前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する検出部と、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する判定部と、前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御する指向性制御部とを有する。

本発明の一つの様態によれば、マイクによる音の収集を好適に制御することができるという効果を奏する。

図１は、実施の形態１に係る通信システムのシステム構成例を示す図である。 図２は、実施の形態１に係る通信装置のハードウェア構成例を示すブロック図である。 図３は、実施の形態１に係る通信装置の機能構成例を示すブロック図である。 図４は、実施の形態１に係るマスク領域の設定例を説明する図である。 図５は、実施の形態１に係るマイクアレイによる音の収集範囲の例を説明する図である。 図６は、実施の形態１に係る表示画像の例を説明する図である。 図７は、実施の形態１に係る通信装置による制御処理の流れの例を示すフローチャートである。 図８は、実施の形態１の変形例に係る表示画像の例を説明する図である。 図９は、実施の形態１に係る通信装置による制御処理の流れの例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る通信装置、制御方法及び制御プログラムの実施の形態を説明する。以下では、本発明に係る通信装置を適用した通信システムの一例として、地理的に離れた拠点間での会議を可能にするテレビ会議システムを例示する。但し、本発明は、複数の通信装置の間で映像や音を送受する各種の通信システム、及び、該通信システムで用いられる各種の通信装置に対して広く適用可能であり、以下の実施の形態により限定されるものではない。

（実施の形態１）
［実施の形態１に係るシステム構成］
図１を用いて、実施の形態１に係る通信システムの構成を説明する。図１は、実施の形態１に係る通信システムのシステム構成例を示す図である。

図１に示すように、通信システム１には、複数の拠点に設置された通信装置１００と、中継装置２００とが含まれる。複数の拠点に設置された通信装置１００と、中継装置２００とは、インターネットやＬＡＮ（Local Area Network）等のネットワーク２に接続し、相互に通信可能である。これらのうち、通信システム１に含まれる通信装置１００の台数は、テレビ会議等に参加する拠点数に対応する。図１では、拠点Ａ、拠点Ｂ及び拠点Ｃのそれぞれに通信装置１００が設置されている場合を例に挙げている。

通信装置１００は、中継装置２００を介して、他拠点の通信装置１００との間で各種情報を送受信する。また、通信装置１００は、受信した情報の出力を制御する。例えば、出力される情報は、カメラによって撮影された各拠点の映像や、マイクによって収集された各拠点の音（主に、話者の音声）等である。通信装置１００は、テレビ会議のための専用端末であっても良いし、ＰＣ（Personal Computer）やスマートフォン、タブレット端末等の汎用端末であっても良い。汎用端末は、本実施の形態に係る制御プログラムをインストールすることによって、アプリケーションの一つとして通信装置１００の各機能を実現する。中継装置２００は、各拠点に設置された複数の通信装置１００の間における映像や音等の各種情報の伝送を中継するサーバ装置等である。

上述した構成において、通信装置１００は、自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する。例えば、テレビ会議において、音の発生源は、主に話者による発話となる。また、マイクアレイを構成する各マイクは、指向性を有し、通信装置１００の筐体に分散して配置されている。通信装置１００は、各マイクに対して有効と無効とを切り替える制御を行ない、各マイクによって収集された音を積算することで、自拠点での任意の範囲の音を取得することができる。これらから、本実施の形態では、指向性を有する複数のマイクを含むマイクアレイを用いて、各マイクに到達する音の時間差等を利用することで、テレビ会議における音の発生源である話者の方向を検出する。

そして、通信装置１００は、他拠点の表示装置に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する。他拠点の表示装置に表示させる表示画像は、自拠点の映像に対応する。自拠点の撮影では、一つの様態として、全方位を撮影可能な全方位カメラを採用する。また、本実施の形態では、マイクアレイに基づき検出された音の発生源の方向を含む映像を利用することで、音の発生源となり得る話者の映像を他拠点に送信する。このため、画像領域は、全方位カメラによる自拠点の撮影に基づき、検出された音の発生源の方向を中心として切り出したときの画像の領域に対応する。また、通信装置１００は、画像領域にマスク領域が含まれるか否かについて、予め記憶されたマスクデータをもとに判定する。例えば、マスクデータは、全方位カメラで撮影される自拠点の映像に対する座標範囲である。ユーザは、マスク対象となる座標範囲を予め設定することができる。

続いて、通信装置１００は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイの指向性を制御する。例えば、通信装置１００は、画像領域にマスク領域が含まれる場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する範囲からの音の収集を制限するように、マイクアレイに含まれる各マイクの指向性を制御する。すなわち、通信装置１００は、他拠点の表示装置で表示される映像にマスク領域が含まれる場合に、マスク領域に対応する自拠点の範囲からの音の収集を制限し、主に、マスク領域を除く自拠点の範囲から音を収集するように、マイクアレイの指向性を制御する。これにより、マスク領域で発生する音については収集したくないといった要求に対し、マイクによる音の収集を好適に制御することができる。

その後、通信装置１００は、マスク領域に基づきマスク処理を実行し、他拠点の表示装置に表示させる表示画像を生成して、生成した表示画像と、指向性を制御されたマイクアレイにより収集された音とを含む出力情報を、他拠点に設置された通信装置１００に対して送信する。

［実施の形態１に係る通信装置のハードウェア構成］
次に、図２を用いて、実施の形態１に係る通信装置１００のハードウェア構成を説明する。図２は、実施の形態１に係る通信装置１００のハードウェア構成例を示すブロック図である。

図２に示すように、通信装置１００は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、ＳＳＤ（Solid State Drive）１５と、メディアドライブ１７と、操作部１８と、電源スイッチ１９とを有する。加えて、通信装置１００は、ネットワークＩ／Ｆ２１と、カメラ２２と、撮像素子Ｉ／Ｆ２３と、マイクアレイ２４と、スピーカ２５と、音声入出力Ｉ／Ｆ２６と、ディスプレイＩ／Ｆ２７と、外部機器接続Ｉ／Ｆ２８とを有する。

ＣＰＵ１１は、通信装置１００全体の動作を制御する。ＣＰＵ１１は、ＲＯＭ１２等に記憶されたプログラムを、ＲＡＭ１３等を作業領域として実行することで、通信装置１００全体の動作を制御する。ＲＯＭ１２は、通信装置１００による処理を実現するためのプログラムを記憶する。ＲＡＭ１３は、ＲＯＭ１２等に格納されたプログラムの実行時の作業領域である。ＳＳＤ１５は、各種プログラムや各種データを記憶可能なフラッシュメモリ１４に対する、データの読み出しや書き込みを制御する。メディアドライブ１７は、記録メディア１６に対するデータの読み出しや書き込み（記録）を制御する。

操作部１８は、通信装置１００の通信先となる他拠点の通信装置１００の選択や、マスク領域の設定、この他の各種設定のために操作される。例えば、操作部１８は、マウスやキーボード、ハードキー等を備えていても良いし、操作入力可能なタッチパネル等であっても良い。電源スイッチ１９は、通信装置１００の電源の投入と切断とを切り替えるためのものである。ネットワークＩ／Ｆ２１は、ネットワーク２への接続や、各種情報の送受信を制御するためのインタフェースである。カメラ２２は、拠点内を撮影する。撮像素子Ｉ／Ｆ２３は、ＣＰＵ１１による制御に従って、カメラ２２の駆動を制御するためのインタフェースである。例えば、カメラ２２は、拠点内の全方位を撮影可能な全方位カメラであっても良いし、マイクアレイに基づき検出された音の方向に追従して、撮影方向の切り替えができるカメラであっても良い。本実施の形態では、カメラ２２の一つの様態として、全方位カメラを適用する場合を例に挙げる。なお、撮影方向の切り替えについては、デジタル式とアナログ式との何れであっても良い。

マイクアレイ２４は、複数のマイクで構成されたマイクアレイにより拠点内の音を収集し、収集した音を通信装置１００に入力する。スピーカ２５は、音を出力する。音声入出力Ｉ／Ｆ２６は、ＣＰＵ１１による制御に従って、マイクアレイ２４に対する指向性を制御して信号（主に、音声信号）の入力を処理するとともに、スピーカ２５の音量等を制御して信号の出力を処理するためのインタフェースである。ディスプレイＩ／Ｆ２７は、ＣＰＵ１１による制御に従って、表示装置５０に表示させる映像のデータを伝送するためのインタフェースである。例えば、表示装置５０は、通信装置１００に外付けされるプロジェクタや液晶パネル等である。外部機器接続Ｉ／Ｆ２８は、各種の外部機器を通信装置１００に接続するためのインタフェースである。また、通信装置１００は、上記各部を電気的に接続するためのアドレスバスやデータバス等のバス２０を有する。なお、図２に示したハードウェア構成は一例であり、上記以外のハードウェアを追加しても良い。

［実施の形態１に係る通信装置の機能構成］
次に、図３を用いて、実施の形態１に係る通信装置１００の機能構成を説明する。図３は、実施の形態１に係る通信装置１００の機能構成例を示すブロック図である。

図３に示すように、通信装置１００は、操作入力受付部１０１と、表示制御部１０２と、音声出力制御部１０３と、検出部１０４と、判定部１０５と、指向性制御部１０６と、撮影制御部１０７と、画像生成部１０８と、音声入力制御部１０９と、送受信制御部１１０とを有する。上記各部は、ソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。また、上記各部は、例えば、フラッシュメモリ１４等からＲＡＭ１３上に展開された制御プログラムをＣＰＵ１１が実行することにより実現される機能である。

操作入力受付部１０１は、通信装置１００を利用するユーザによる各種の操作入力を受け付ける。具体的には、操作入力受付部１０１は、操作部１８や電源スイッチ１９等に対するユーザ操作に応じて、各種設定に関する情報や電源制御のための情報の入力を受け付ける。図４は、実施の形態１に係るマスク領域の設定例を説明する図である。図４左方は、ある拠点の会議室の鳥瞰図を示し、図４右方は、設定画面を示している。

例えば、図４に示すように、ある拠点の会議室には、ユーザＡ、ユーザＢ、ユーザＣ及びユーザＤの４人のユーザが参加している。また、円形のテーブルに置かれた通信装置１００を中心として、０°の方向にユーザＡ、９０°の方向にユーザＢ、１８０°の方向にユーザＣ、２７０°の方向にユーザＤが存在するものとする。ここで、あるユーザが、マスク領域を設定するために通信装置１００を操作する。これにより、表示装置５０には、図４右方に示す設定画面が表示出力される。設定画面には、会議の参加者を含む全方位映像と、「マスク追加」ボタンと、「マスク削除」ボタンと、「ＯＫ」ボタンと、「キャンセル」ボタンとが含まれる。

設定画面において、「マスク追加」ボタンが押下されると、破線によって構成される方形が出現する。破線で囲まれる範囲は、マスク領域に対応する。ユーザは、マスクしたい範囲（破線で囲まれる方形の大きさ）を指定し、「ＯＫ」ボタンを押下する。これにより、通信装置１００は、指定された範囲をマスクデータとして設定する。設定画面では、「マスク追加」ボタンを押下すれば、複数のマスク領域を設定することが可能である。また、設定済みのマスク領域を削除したい場合には、削除対象のマスク領域を選択したうえで「マスク削除」ボタンを押下すれば良い。「キャンセル」ボタンは、設定画面からキャンセルする場合に利用される。このようにして、ユーザは、事前にマスク領域を設定することができる。なお、マスク領域として指定するための範囲は、方形に限られることなく任意の形であっても良い。

表示制御部１０２は、表示装置５０に対する表示処理を制御する。例えば、表示制御部１０２は、他拠点の通信装置１００から受け付けられた他拠点における映像に対し、描画処理等を実行し、処理したデータを表示装置５０に対して出力する。これにより、表示装置５０は、他拠点における映像を含んだ画像（表示画像）を表示出力する。

音声出力制御部１０３は、スピーカ２５に対する音の出力処理を制御する。例えば、音声出力制御部１０３は、他拠点の通信装置１００から受け付けられた他拠点における音データを復号し、復号したデータ（主に、音声データ）をスピーカ２５に対して出力する。これにより、スピーカ２５は、他拠点における音声データを再生出力する。

検出部１０４は、自拠点で、複数のマイクを含むマイクアレイ２４により収集された音の発生源の方向を検出する。より具体的には、検出部１０４は、指向性を有する複数のマイクを含むマイクアレイ２４による音の収集に基づき、各マイクに到達する音の時間差等を利用して、自拠点での音の発生源である話者の方向を検出する。音の発生源である話者の方向は、通信装置１００に対する方向である。

判定部１０５は、他拠点の表示装置５０に表示させる表示画像の領域に対応し、検出された発生源の方向を含む画像領域に、他拠点の表示装置５０での表示をマスクするためのマスク領域が含まれるか否かを判定する。より具体的には、判定部１０５は、予め設定されたマスクデータの座標範囲に基づき、検出部１０４によって検出された音の発生源である話者の方向を含む画像領域に、マスク領域が含まれるか否かを判定する。例えば、画像領域は、全方位カメラによる自拠点の撮影に基づき、検出された発生源の方向を中心として切り出したときの画像の領域に対応する。

指向性制御部１０６は、画像領域にマスク領域が含まれると判定された場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の指向性を制御する。より具体的には、指向性制御部１０６は、判定部１０５によって、画像領域にマスク領域が含まれると判定された場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の各マイクの指向性を制御する。

図５は、実施の形態１に係るマイクアレイ２４による音の収集範囲の例を説明する図である。例えば、図５上段に示すように、矢印で表された音の発生源の方向を含む太線に囲まれた画像領域の一部に、網掛けで表されたマスク領域が含まれるものとする。このとき、図５下段に示すように、指向性制御部１０６は、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限し、主に、太線に囲まれた範囲からの音を収集するように、マイクアレイ２４の指向性を制御する。

撮影制御部１０７は、カメラ２２による撮影を制御する。例えば、撮影制御部１０７は、全方位カメラであるカメラ２２による撮影の開始や終了、倍率等を制御する。また、撮影制御部１０７は、カメラ２２によって撮影された画像を画像生成部１０８に対して出力する。

画像生成部１０８は、マスク領域に基づきマスク処理を実行し、他拠点の表示装置５０に表示させる表示画像を生成する。より具体的には、画像生成部１０８は、撮影制御部１０７によって出力された画像から、音の発生源の方向を中心とした画像を切り出す。切り出された画像は、画像領域に相当する。そして、画像生成部１０８は、マスク領域に対応するマスクデータの座標範囲に基づき、切り出した画像に対してマスク処理を実行し、他拠点の表示装置５０に表示させる表示画像を生成する。すなわち、表示画像は、音の発生源の方向を中心として、全方位映像から所定画角に合わせて切り出された画像となる。マスク処理では、マスク対象となる座標範囲を単一色で塗りつぶす、又は、モザイク状にする等の任意のマスキングが施されれば良い。その後、画像生成部１０８は、生成した表示画像を送受信制御部１１０に対して出力する。

音声入力制御部１０９は、マイクアレイ２４からの音の入力処理を制御する。例えば、音声入力制御部１０９は、マイクアレイ２４によって収集された拠点内の音に対し、ＰＣＭ（Pulse Code Modulation）等の任意の符号化フォーマットで符号化し、符号化したデータ（主に、音声データ）を送受信制御部１１０に対して出力する。

送受信制御部１１０は、ネットワーク２を介して、中継装置２００を経由して他拠点の通信装置１００との間における各種情報の送受信を制御する。送受信制御部１１０は、一つの様態として「送信制御部」に対応する。例えば、送受信制御部１１０は、画像生成部１０８によって出力された表示画像と、音声入力制御部１０９によって出力された音声データとを含む出力情報を、中継装置２００を介して、他拠点に設置された通信装置１００に対して送信する。また、送受信制御部１１０は、他拠点に設置された通信装置１００からの出力情報を受信する。送受信制御部１１０は、受信した出力情報に含まれる表示画像に関するデータについては表示制御部１０２に対して出力し、音声に関するデータについては音声出力制御部１０３に対して出力する。これらにより、表示制御部１０２や音声出力制御部１０３による制御によって、他拠点の映像や音声が出力される。

図６は、実施の形態１に係る表示画像の例を説明する図である。図６上段は音の発生源の方向をクローズアップした映像の例であり、図６下段は画像領域及びマスク領域を含む全方位映像の例である。表示装置５０には、クローズアップ映像を表示画像として表示出力させても良いし、クローズアップ映像と全方位映像とを表示画像として表示出力させても良い。例えば、図６に示すように、全方位映像において、音の発生源となるユーザＢ（話者）を含む画像領域の一部にマスク領域が含まれる場合に、横線で表された範囲が音を収集する範囲となる。また、クローズアップ映像には、ユーザＢや単一色で塗りつぶされたマスク領域等が含まれる。スピーカ２５からは、マスク領域に対応する範囲からの音の収集が制限され、主に、横線で表された範囲から収集された音のデータが出力されることになる。

［実施の形態１に係る制御処理フロー］
次に、図７を用いて、実施の形態１に係る通信装置１００による制御処理の流れを説明する。図７は、実施の形態１に係る通信装置１００による制御処理の流れの例を示すフローチャートである。

図７に示すように、通信装置１００は、複数のマイクを含むマイクアレイ２４による音の収集に基づき、各マイクに到達する音の時間差等を利用して、自拠点での音の発生源の方向を検出する（ステップＳ１０１）。そして、通信装置１００は、予め設定されたマスクデータの座標範囲に基づき、検出された音の発生源の方向がマスク領域に含まれるか否かを判定する（ステップＳ１０２）。このとき、通信装置１００は、音の発生源の方向がマスク領域に含まれる場合に（ステップＳ１０２：Ｙｅｓ）、検出された方向からの音を収集することは好ましくないため、マイクアレイ２４の指向性の制御等を実行することなく処理を終了する。一方、通信装置１００は、音の発生源の方向がマスク領域に含まれない場合に（ステップＳ１０２：Ｎｏ）、マスクデータの座標範囲に基づき、検出された音の発生源の方向を含む画像領域に、マスク領域が含まれるか否かを判定する（ステップＳ１０３）。

通信装置１００は、画像領域にマスク領域が含まれる場合に（ステップＳ１０３：Ｙｅｓ）、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の各マイクの指向性を制御する（ステップＳ１０４）。また、通信装置１００は、画像領域にマスク領域が含まれない場合に（ステップＳ１０３：Ｎｏ）、画像領域に対応する自拠点の範囲からの音の収集に関して制限することなく、発生源からの音を収集するように、マイクアレイ２４の各マイクの指向性を制御する（ステップＳ１０５）。

そして、通信装置１００は、撮影された画像から、音の発生源の方向を中心として画像を切り出し、マスク領域に対応するマスクデータの座標範囲に基づき、必要に応じて、切り出した画像に対してマスク処理を実行し、他拠点の表示装置５０に表示させる表示画像を生成する（ステップＳ１０６）。続いて、通信装置１００は、表示画像と、音声データとを含む出力情報を、中継装置２００を介して、他拠点に設置された通信装置１００に対して送信する（ステップＳ１０７）。

［実施の形態１による効果］
上述したように、通信装置１００は、音の発生源の方向を検出し、検出した発生源の方向を含む画像領域にマスク領域が含まれる場合に、該マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の指向性を制御するので、マイクによる音の収集を好適に制御することができる。換言すると、通信装置１００は、マスク領域を除く自拠点の範囲からの音を主に収集するので、マスク領域に対応する自拠点の範囲からの音を収集したくないといった要求に対し、マイクによる音の収集を好適に制御することができる。

（実施の形態１の変形例）
上記実施の形態１では、画像領域において、マスク領域と、マスク領域ではない領域（以下、「非マスク領域」と呼ぶ）との数がそれぞれ一つである場合を説明した。上記実施の形態１において、マスク領域は、音の収集を制限する対象となる自拠点の範囲に対応し、非マスク領域は、音を収集する主な対象となる自拠点の範囲に対応している。但し、マスク領域の設定によっては、画像領域に複数のマスク領域、非マスク領域が含まれる場合も有り得る。そこで、実施の形態１の変形例では、画像領域に複数の非マスク領域が含まれる場合の音の収集範囲について説明する。なお、実施の形態１の変形例に係る通信装置１００のハードウェア構成については、実施の形態１に係る通信装置１００のハードウェア構成と同様である。以下では、図３等を用いながら、実施の形態１に係る通信装置１００とは異なる機能について説明する。

判定部１０５は、マスク領域によって画像領域が複数の非マスク領域に分割されるか否かをさらに判定する。より具体的には、判定部１０５は、予め設定されたマスクデータの座標範囲に基づき、検出部１０４によって検出された音の発生源である話者の方向を含む画像領域が、マスク領域によって複数の非マスク領域に分割されるか否かを判定する。

指向性制御部１０６は、マスク領域によって画像領域が複数の非マスク領域に分割されると判定された場合に、発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の指向性を制御する。より具体的には、指向性制御部１０６は、判定部１０５によって、マスク領域によって画像領域が複数の非マスク領域に分割されると判定された場合に、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲と、音の発生源の方向を含まない非マスク領域に対応する自拠点の範囲とからの音の収集を制限するように、マイクアレイ２４の各マイクの指向性を制御する。

図８は、実施の形態１の変形例に係る表示画像の例を説明する図である。図８上段は音の発生源の方向をクローズアップした映像の例であり、図８下段は画像領域及びマスク領域を含む全方位映像の例である。例えば、図８に示すように、全方位映像において、音の発生源となるユーザＢ（話者）を含む画像領域の一部に存在するマスク領域により、複数の非マスク領域に分割される場合に、横線で表された範囲が音を収集する範囲となる。スピーカ２５からは、マスク領域と、音の発生源であるユーザＢ（話者）を含まない非マスク領域とに対応する自拠点の範囲からの音の収集が制限され、主に、横線で表された自拠点の範囲から収集された音のデータが出力されることになる。

［実施の形態１の変形例に係る制御処理フロー］
次に、図９を用いて、実施の形態１の変形例に係る通信装置１００による制御処理の流れを説明する。図９は、実施の形態１に係る通信装置１００による制御処理の流れの例を示すフローチャートである。なお、実施の形態１に係る制御処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ２０１〜ステップＳ２０３は、ステップＳ１０１〜ステップＳ１０３における処理と同様である。また、ステップＳ２０７〜ステップＳ２０９は、ステップＳ１０５〜ステップＳ１０７における処理と同様である。

図９に示すように、通信装置１００は、画像領域にマスク領域が含まれる場合に（ステップＳ２０３：Ｙｅｓ）、マスク領域により画像領域が複数の非マスク領域に分割されるか否かを判定する（ステップＳ２０４）。このとき、通信装置１００は、画像領域が複数の非マスク領域に分割されない場合に（ステップＳ２０４：Ｎｏ）、画像領域に対応する自拠点の範囲のうち、マスク領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の各マイクの指向性を制御する（ステップＳ２０５）。一方、通信装置１００は、画像領域が複数の非マスク領域に分割される場合に（ステップＳ２０４：Ｙｅｓ）、画像領域に対応する自拠点の範囲のうち、音の発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の指向性を制御する（ステップＳ２０６）。

［実施の形態１の変形例による効果］
上述したように、通信装置１００は、マスク領域によって画像領域が複数の非マスク領域に分割される場合に、音の発生源を含む非マスク領域を除いた領域に対応する自拠点の範囲からの音の収集を制限するように、マイクアレイ２４の指向性を制御するので、マイクによる音の収集をより好適に制御することができる。換言すると、通信装置１００は、非マスク領域のうち、音の発生源となる話者を含む領域に対応する自拠点の範囲からの音を主に収集するので、マイクによる音の収集をより好適に制御することができる。

（その他の実施の形態）
さて、これまで本発明に係る通信装置１００の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）構成、（２）プログラム、について異なる実施の形態を説明する。

（１）構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

また、上記実施の形態ではカメラ２２が全方位カメラである場合を例に挙げたが、カメラ２２は全方位カメラでなく、撮影方向を切り替えられるカメラであっても良い。全方位カメラを採用しない場合、撮影制御部１０７は、音の発生源の方向を中心としてカメラ２２による撮影の向きを制御する。このとき、画像領域は、音の発生源の方向を中心としてカメラ２２の向きを制御したときの画角で撮影されたときの画像の領域に対応する。また、画像生成部１０８による表示画像の生成の際には、全方位映像ではなくなるため、画像の切り出しは行なわれない。

また、上記実施の形態では、画像領域が、一つのマスク領域により、二つの非マスク領域に分割される場合を例に挙げた。マスク領域・非マスク領域の数や範囲は一例であって、図示した数や範囲に限られるものではない。すなわち、非マスク領域の分割は上記以外にも様々なケースが有り得るし、画像領域には複数のマスク領域が含まれる場合も有り得る。

（２）プログラム
また、通信装置１００で実行される制御プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、通信装置１００で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、通信装置１００で実行される制御プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、通信装置１００で実行される制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

通信装置１００で実行される制御プログラムは、上述した各部（少なくとも、検出部１０４、判定部１０５、指向性制御部１０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが記憶媒体からプログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、検出部１０４、判定部１０５、指向性制御部１０６等が主記憶装置上に生成されるようになっている。

１００ 通信装置
１０１ 操作入力受付部
１０２ 表示制御部
１０３ 音声出力制御部
１０４ 検出部
１０５ 判定部
１０６ 指向性制御部
１０７ 撮影制御部
１０８ 画像生成部
１０９ 音声入力制御部
１１０ 送受信制御部
２００ 中継装置

特許第３７２２６５３号公報 特許第５７７６３１３号公報 特開２００９−１８２９７９号公報

Claims (8)

1. 通信装置であって、
   前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出する検出部と、
   他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定する判定部と、
   前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御する指向性制御部と
   を有することを特徴とする通信装置。
2. 前記画像領域は、全方位カメラによる前記自拠点の撮影に基づき、前記発生源の方向を中心として切り出したときの画像の領域に対応することを特徴とする請求項１に記載の通信装置。
3. 前記画像領域は、前記発生源の方向を中心としてカメラの向きを制御したときの画角で撮影された画像の領域に対応することを特徴とする請求項１に記載の通信装置。
4. 前記判定部は、前記マスク領域によって前記画像領域が複数の非マスク領域に分割されるか否かをさらに判定し、
   前記指向性制御部は、前記マスク領域によって前記画像領域が複数の非マスク領域に分割されると判定された場合に、前記発生源を含む非マスク領域を除いた領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御することを特徴とする請求項１〜３の何れか一つに記載の通信装置。
5. 前記マスク領域に基づきマスク処理を実行し、前記表示画像を生成する画像生成部をさらに有することを特徴とする請求項１〜４の何れか一つに記載の通信装置。
6. 生成された前記表示画像と、収集された音とを含む出力情報の、他拠点に設置された通信装置に対する送信を制御する送信制御部をさらに有することを特徴とする請求項５に記載の通信装置。
7. 通信装置における制御方法であって、
   前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出するステップと、
   他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定するステップと、
   前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御するステップと
   を含むことを特徴とする制御方法。
8. 通信装置に、
   前記通信装置が設置された自拠点で、複数のマイクを含むマイクアレイにより収集された音の発生源の方向を検出するステップと、
   他拠点の表示装置に表示させる表示画像の領域に対応し、検出された前記発生源の方向を含む画像領域に、前記表示装置での表示をマスクするためのマスク領域が含まれるか否かを判定するステップと、
   前記画像領域に前記マスク領域が含まれると判定された場合に、該マスク領域に対応する前記自拠点の範囲からの音の収集を制限するように、前記マイクアレイの指向性を制御するステップと
   を実行させるための制御プログラム。

Images