JP2021176212A - 仮想的空間接続装置 - Google Patents

Abstract

【課題】異なる空間にいるユーザの円滑な意思疎通を実現する仮想的空間接続装置を提供する。【解決手段】仮想的空間接続装置は、第１空間ＳＡを撮像した第１撮像画像信号と第１空間で収音した第１音声信号とを第１空間と離隔した第２空間ＳＢ側に送信する処理と、第２空間を撮像した第２撮像画像信号と第２空間で収音した第２音声信号とを受信し、第２撮像画像信号に基づく表示及び第２音声信号に基づく音声出力を実行させる第１制御部と、第２撮像画像信号と第２音声信号とを第２空間と離隔した第１空間側に送信する処理と、第１撮像画像信号と第１音声信号とを受信し、第１撮像画像信号に基づく表示及び第１音声信号に基づく音声出力を実行させる第２制御部と、第１空間に第２空間を仮想的に接続する第１表示ユニット（第１プロジェクタ３１Ａ、第１スクリーン３２Ａ）と、第２空間に第１空間を仮想的に接続する第２表示ユニットと、を備える。【選択図】図２

Description

本技術は、互いに離隔する空間を仮想的に接続する仮想的空間接続装置の技術に関する。

一方の空間で撮像された撮像画像及び収音された音声を、他方の空間に出力することで各空間にいるユーザが会話を行うテレビ電話などのコミュニケーション手段が知られている。

特許文献１では、撮像部で撮像したユーザの撮像画像を、コミュニケーション相手となる他のユーザのコミュニケーション装置へ送信するとともに、当該他のユーザのコミュニケーション装置から送信されてくる他のユーザの画像を受信して表示部に表示するコミュニケーション装置が開示されている。

特開２０１９−１４６１１８号公報

このようなコミュニケーション手段においては、ただ単に会話をすることのみならず、互いの空間の状況を各空間のユーザ同士が共有することで臨場感のある意思疎通を行うことが望まれている。
また各空間における臨場感をより高めるためには、一方の空間における収音をどのように他方の空間に出力するかが重要となる。

そこで本発明では、互いに離隔した空間を仮想的に接続し、各空間の状況に応じて音声出力の調整を行うことで、互いの空間にいるユーザ同士の円滑な意思疎通を実現することを目的とする。

本発明に係る仮想的空間接続装置は、第１空間を撮像した第１撮像画像信号と前記第１空間で収音した第１音声信号とを前記第１空間と離隔した第２空間側に送信する処理と、前記第２空間を撮像した第２撮像画像信号と前記第２空間で収音した第２音声信号とを受信し、前記第２撮像画像信号に基づく表示及び前記第２音声信号に基づく音声出力を実行させる第１演算処理部と、前記第２撮像画像信号と前記第２音声信号とを前記第２空間と離隔した第１空間側に送信する処理と、前記第１撮像画像信号と前記第１音声信号とを受信し、前記第１撮像画像信号に基づく表示及び前記第１音声信号に基づく音声出力を実行させる第２演算処理部と、前記第１演算処理部からの制御信号により前記第１空間内で前記第２撮像画像信号に基づく表示を実行することで前記第１空間に前記第２空間を仮想的に接続する第１表示ユニットと、前記第２演算処理部からの制御信号により前記第２空間内で前記第１撮像画像信号に基づく表示を実行することで前記第２空間に前記第１空間を仮想的に接続する第２表示ユニットと、を備え、前記第１空間の状況に応じて前記第１音声信号の音声処理に関するパラメータを制御し、前記第２空間の状況に応じて前記第２音声信号の音声処理に関するパラメータを制御する。
これにより、第１の空間と第２空間の何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１の空間と第２の空間が仮想的に接続される。

ここで空間の状況とは、例えば騒音や静寂といった空間内の環境音の状況や、ユーザの存否、人数、位置、仕草、向きといった空間内のユーザの状況、空間内の明るさ、温度、天候の状況、室内、屋外といった空間が設けられている状況など、様々な状況が含まれる。
また音声処理に関するパラメータとは、例えば音声入力ユニットの指向性制御に関するパラメータ、ノイズリダクション処理に関するパラメータ、エンコード処理のためのパラメータ、増幅処理に関するパラメータ、周波数特性やボイスチェンジといった音質処理に関するパラメータなどのことである。

上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号を収音するマイクロフォンの指向性に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を収音するマイクロフォンの指向性に関するパラメータを制御することが考えられる。
これにより、第１空間の状況に応じてマイクロフォンの指向性が制御された第１音声入力ユニットに入力された第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じてマイクロフォンの指向性が制御された第２音声入力ユニットに入力された第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。

上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号のノイズリダクション処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号をノイズリダクション処理に関するパラメータを制御することが考えられる。
これにより、第１空間の状況に応じたノイズリダクション処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じたノイズリダクション処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。

上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の減衰処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を減衰処理に関するパラメータを制御する。
これにより、第１空間の状況に応じた減衰処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じた減衰処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。

上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の増幅処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を増幅処理に関するパラメータを制御する。
これにより、第１空間の状況に応じた増幅処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じた増幅処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。

上記した本発明に係る仮想的空間接続装置において、前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定し、前記第２撮像画像信号の解析処理結果に基づいて前記第２空間内の状況を判定することが考えられる。
これにより、例えば一方の空間内にユーザを検出した場合は、ユーザの発した声が他方の空間側に伝わるように一方の空間内で収音した音声信号の音声処理に関するパラメータを制御する。

上記した本発明に係る仮想的空間接続装置において、前記第１空間内の状況として前記第１空間内の輝度を判定し、前記第２空間内の状況として前記第２空間内の輝度を判定することが考えられる。
これにより、例えば空間内の輝度が低い場合、当該空間に意思疎通を行おうとしているユーザがいないことが推定できる。

本発明によれば、互いに離隔した空間にいるユーザ同士が円滑に意思疎通を行うことができる。

本発明の実施の形態における仮想的空間接続装置の概要を示す図である。 実施の形態における仮想的空間接続装置の実装例を示す図である。 第１の実施の形態における演算装置の処理を示すフローチャートである。 第２の実施の形態における演算装置の処理を示すフローチャートである。 第３の実施の形態における演算装置の処理を示すフローチャートである。

本発明の実施の形態では一例として、第１空間ＳＡと当該第１空間ＳＡから離隔した第２空間ＳＢとにおいて自空間に他方の空間の撮像画像及び音声を出力することで、第１空間ＳＡと第２空間ＳＢを仮想的に接続する仮想的空間接続装置１００について説明する。

本実施の形態における第１空間ＳＡと第２空間ＳＢは、例えば屋内であり、自宅の部屋と親戚の部屋、病院の診察室と自宅の部屋、会社のオフィスと自宅の部屋、自社のオフィスと他社のオフィスなど様々な組み合わせが考えられる。このように本実施の形態の仮想的空間接続装置１００は様々な空間を仮想的に接続することができる。

また以下の説明では、第１空間ＳＡ側で撮像された画像信号を第１撮像画像信号、第１空間ＳＡ側で収音された音声信号を第１音声信号と、第２空間ＳＢ側で撮像された画像信号を第２撮像画像信号、第２空間ＳＢ側で収音された音声信号を第２音声信号と表記する。

なお、説明にあたり参照する図面に記載された各構成は、本発明に係る要部の構成のみ抽出したものであり、図面に記載された構成は、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。
また、以下で一度説明した構成は、それ以降同一の符号を付して説明を省略することがある。さらに、本発明は本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

以下、実施の形態を次の順序で説明する。
＜１．仮想的空間接続装置の構成＞
＜２．仮想的空間接続装置の概要＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．まとめ＞
＜７．変型例＞

＜１．仮想的空間接続装置の構成＞
本発明の実施の形態としての仮想的空間接続装置１００の構成について、図１及び図２を参照して説明する。図１は、仮想的空間接続装置１００により第１空間ＳＡと第２空間ＳＢを仮想的に接続することで、第１空間ＳＡにいるユーザＵ１と第２空間ＳＢにいるユーザＵ２とが図２に示すように実際に隣の部屋にいるように感じながら意思疎通を行うための構成を示している。

図１において仮想的空間接続装置１００は、第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１表示ユニット３Ａ、第１音声出力ユニット４Ａ、第１演算処理部５Ａ、及び第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、第２演算処理部５Ｂを有している。

第１撮像部１Ａは第１空間ＳＡに設けられ、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型として構成された撮像素子を有する。この第１撮像部１Ａは、撮像素子で受光した光を光電変換し、第１撮像画像信号として第１演算処理部５Ａに出力する。

第１音声入力ユニット２Ａは第１空間ＳＡに設けられ、複数、例えば３つの第１マイクロフォン２１Ａを有している（図２参照）。第１音声入力ユニット２Ａは、各第１マイクロフォン２１Ａで収音した音声のアナログ信号としての第１音声信号を第１演算処理部５Ａに出力する。

第１表示ユニット３Ａは第１空間ＳＡに設けられ、例えば第１プロジェクタ３１Ａと第１スクリーン３２Ａにより構成される。第１プロジェクタ３１Ａは、第２演算処理部５Ｂから受信した第２空間ＳＢの第２撮像画像信号に基づく画像出力、ここでは投影出力を第１スクリーン３２Ａに対して行う。

第１音声出力ユニット４Ａは、例えば１又は複数のスピーカ４１Ａであり第１空間ＳＡに設けられている（図２参照）。第１音声出力ユニット４Ａは、第２空間ＳＢで収音された第２音声信号を受信した第１演算処理部５Ａから取得し、当該受信した第２音声信号に基づく音声出力を実行する。

第１演算処理部５Ａは例えば第１空間ＳＡの第１プロジェクタ３１Ａに内蔵されたり、第１プロジェクタ３１Ａとは別体の装置として設けられている。第１演算処理部５Ａは、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａ、第１制御部５４Ａを有する。

第１画像信号処理部５１Ａは、例えばＤＳＰ（Digital Signal Processor）やＶＤＰ（Video Display Processor）等により画像処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１画像信号処理部５１Ａは、デジタル信号としての第１撮像画像信号に対して輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種の信号処理を施す。

第１音声信号処理部５２Ａは、例えばＤＳＰにより音声処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１音声入力ユニット２Ａからのアナログ信号としての第１音声信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１音声信号処理部５２Ａは、デジタル信号としての第１音声信号に対して各種の信号処理を施す。例えば第１音声信号処理部５２Ａは、第１音声信号に対してビームフォーミング処理、ノイズリダクション処理、増幅処理や減衰処理、音質処理、コーデック処理等を行う。
ここでビームフォーミング処理とは、音源から各第１マイクロフォン２１Ａへの音波伝搬がそれぞれ異なることに基づいて収音方向の指向性を制御する処理のことである。

第１通信部５３Ａは、第１制御部５４Ａからの制御により、第２空間ＳＢ側の第２演算処理部５ＢとネットワークＮＷを介した無線通信によるデータ通信を実行する。
第１通信部５３Ａは、第１空間ＳＡを撮像した第１撮像画像信号と第１空間ＳＡで収音した第１音声信号とを第１空間ＳＡと離隔した第２空間ＳＢ側の第２演算処理部５Ｂに送信する。また第１通信部５３Ａは、第２空間ＳＢを撮像した第２撮像画像信号と第２空間ＳＢで収音した第２音声信号とを第２空間ＳＢ側の第２演算処理部５Ｂから受信する。

第１制御部５４Ａは、例えばＧＰＵ（Graphics Processing Unit）やＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成される。

第１制御部５４Ａは、第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１表示ユニット３Ａ、第１音声出力ユニット４Ａ、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａの制御を実行する。

また第１制御部５４Ａは、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行する。そして画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定する。

ここで空間の状況とは、例えば騒音や静寂といった空間内の環境音の状況や、ユーザの存否、人数、位置、仕草、向きといった空間内のユーザの状況、空間内の明るさ、温度、天候の状況、室内、屋外といった空間が設けられている状況などのことである。
なお、第１空間ＳＡの状況を判定するにあたっては、画像解析処理と音声解析処理の両方の解析結果を用いてもよいし、何れか一方の解析結果のみ用いてもよい。また何れか一方の解析結果を用いる場合、他方の解析処理を実行しないこととしてもよい。

第１制御部５４Ａは、第１空間ＳＡの状況の判定結果に基づいて、第１音声信号処理部５２Ａが実行する第１音声信号の音声処理に関するパラメータを制御する。ここで音声処理に関するパラメータとは、例えば各第１マイクロフォン２１Ａの指向性制御に関するパラメータ、ノイズリダクション処理に関するパラメータ、増幅処理や減衰処理に関するパラメータ、周波数特性やボイスチェンジといった音質処理に関するパラメータ、コーデック処理に関するパラメータなどのことである。

第１音声入力ユニット２Ａは、第１制御部５４Ａから取得した音声処理に関するパラメータに基づいて、ビームフォーミング処理、ノイズリダクション処理、増幅処理や減衰処理、音質処理、コーデック処理等を実行する。

第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、及び第２演算処理部５Ｂの各構成は、上述した第１空間ＳＡ側の各構成の説明における、第１空間ＳＡと第２空間ＳＢ、第１撮像画像信号と第２撮像画像信号、第１音声信号と第２音声信号、第１撮像部１Ａと第２撮像部１Ｂ、第１音声入力ユニット２Ａと第２音声入力ユニット２Ｂ、第１表示ユニット３Ａと第２表示ユニット３Ｂ、第１音声出力ユニット４Ａと第２音声出力ユニット４Ｂ、第１演算処理部５Ａと第２演算処理部５Ｂ、第１マイクロフォン２１Ａと第２マイクロフォン２１Ｂ、第１プロジェクタ３１Ａと第２プロジェクタ３１Ｂ、第１スクリーン３２Ａと第２スクリーン３２Ｂ、第１スピーカ４１Ａと第２スピーカ４１Ｂ、第１画像信号処理部５１Ａと第２画像信号処理部５１Ｂ、第１音声信号処理部５２Ａと第２音声信号処理部５２Ｂ、第１通信部５３Ａと第２通信部５３Ｂ、第１制御部５４Ａと第２制御部５４Ｂ、を互いに読み替えることで説明される。そのため、第２空間ＳＢ側の構成の説明を省略する。また、以降の説明において第１空間ＳＡ側と同様であることから第２空間ＳＢ側の構成や処理を省略する際には、上記のように読み替えるものとする。
以上の構成に基づいて本発明の実施の形態が実現される。

＜２．仮想的空間接続装置の実装例＞
本発明の実施の形態における仮想的空間接続装置の実装例について、図２を参照して説明する。図２は、第１空間ＳＡ側から見て第２空間ＳＢが仮想的に接続された状態の一例を示している。ここでは、第１空間ＳＡと第２空間ＳＢが互いに異なる建物の一室である例について説明する。

第１空間ＳＡ側には、第１撮像部１Ａ、３つの第１マイクロフォン２１Ａ、第１演算処理部５Ａが内蔵された第１プロジェクタ３１Ａ、第１スクリーン３２Ａ、２つの第１スピーカ４１Ａが配置される。

第１演算処理部５Ａは、第１撮像部１Ａ、第１マイクロフォン２１Ａ、第１プロジェクタ３１Ａ、第１スピーカ４１Ａのそれぞれと有線又は無線により接続されている。

第１スクリーン３２Ａは、例えば第１空間ＳＡの壁面に床面から天井にかけて設けられており、第１プロジェクタ３１Ａは、例えば第１スクリーン３２Ａの側方に設けられている。ここで第１プロジェクタ３１Ａは、ユーザＵ１から見て第１スクリーン３２Ａの右側方に設けられている。また第１プロジェクタ３１Ａは、第１スクリーン３２Ａの高さ方向における中央付近の高さに設けられている。

第１プロジェクタ３１Ａが、第２空間ＳＢ側での第２撮像画像信号に基づく画像投影を、第１スクリーン３２Ａの側方から第１スクリーン３２Ａに向けて行うことで、第１スクリーン３２Ａに第２空間ＳＢの撮像画像が表示され、第２空間ＳＢにいるユーザＵ２や第２空間ＳＢの様子が第１空間ＳＡ側に表示される。これにより、第１空間にいるユーザＵ１は、第２空間ＳＢ側の状況を視覚的にリアルタイムに認識することができる。

第１スクリーン３２Ａの左右側方にはそれぞれ第１スピーカ４１Ａが配置されている。ここではユーザＵ１から見て前方の第１スクリーン３２Ａの左右側方に第１スピーカ４１Ａが配置されている。

第１スピーカ４１Ａにより、第２空間ＳＢ側での第２音声信号に基づく音声が出力され、第２空間ＳＢにいるユーザＵ２の声や第２空間ＳＢの環境音などが第１空間ＳＡ側に出力される。これにより、第１空間ＳＡにいるユーザＵ１は、第２空間ＳＢ側の状況を聴覚によりリアルタイムに認識することができる。

このように、第１スクリーン３２Ａ及び第１スピーカ４１Ａにより、第１空間ＳＡにいるユーザＵ１が、視覚及び聴覚によりリアルタイムに第２空間ＳＢ側の状況を認識可能とすることで、ユーザＵ１は第２空間ＳＢがまるで隣の部屋として存在するかのような感覚を得ることができる。

第１スクリーン３２Ａの裏側には第１撮像部１Ａが配置されている。第１撮像部１Ａは例えば撮像レンズの幅が２ｍｍ程の小型デジタルカメラである。第１スクリーン３２Ａには、第１空間ＳＡのユーザＵ１の首の辺りの高さ（例えば床面から１４５ｃｍ程の高さ）であって、第１スクリーン３２Ａの幅方向の中央部に極小の孔が設けられており、当該孔に小型デジタルカメラの撮像レンズが収まるように当該小型デジタルカメラが配置される。

第１撮像部１Ａにより第１スクリーン３２Ａ側から第１空間ＳＡを撮像することで、第２空間ＳＢ側から第１空間ＳＡを見たような撮像を実現することができる。またユーザＵ１の首の辺りの高さに第１撮像部１Ａを設けることで、第２空間ＳＢ側のユーザＵ２と会話をしようとしている第１空間ＳＡ側のユーザＵ１を略正面から撮像することができる。これにより、第１空間ＳＡ側のユーザＵ１の目線が第２空間ＳＢ側のユーザＵ２に向いているような撮像が可能となる。

第１撮像部１Ａで撮像された第１撮像画像信号は第１演算処理装置５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置装置５Ｂに送信される。
その後、第２空間ＳＢ側の図示しない第２プロジェクタ３１Ｂが、第１空間ＳＡ側の第１撮像画像信号に基づく画像投影を、図示しない第２スクリーン３２Ｂに行うことで、第１空間ＳＢの撮像画像が表示される。このとき、リアルタイムな通信や相手がすぐそこにいる感じを強調するために、第１空間ＳＡ側の画像が等身大に表示される。
これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を視覚により認識することができる。

第１空間ＳＡには、３つの第１マイクロフォン２１Ａが、例えば第１空間ＳＡの天井に互いに離間して配置されている。
第１マイクロフォン２１Ａで収音された第１音声信号は第１演算処理装置５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置装置５Ｂに送信され、第２空間ＳＢ側に配置された図示しない第２スピーカ４１Ｂにより、第１空間ＳＡ側の第１音声信号に基づく音声が出力される。これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を聴覚により認識することができる。

以上のように、本発明の実施の形態における仮想的空間接続装置１００においては、一方の空間で入力された撮像画像信号及び音声信号を他方の空間側で出力する処理を互いに連続して実行することで、第１空間ＳＡと第２空間ＳＢを仮想的に常時接続する。

これにより、ユーザＵ１とユーザＵ２が互いの空間がまるで隣の部屋として存在するかのような感覚を得ることができる。また第１空間ＳＡ側のユーザＵ１と第２空間ＳＢ側のユーザＵ２とが互いの空間を認識したうえで、違和感のない会話、動作などによる意思疎通を行うことが可能となる。

なお、ここでの常時接続とは、ユーザの有無に関わらず撮像画像及び音声信号の相互通信が常時行われている状態をいい、またユーザによりいつでも音声や画像による通話が実行できる状態で相手先と接続されていることをいう。

＜３．第１の実施の形態＞
第１の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図３を参照して説明する。第１の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況をユーザＵ１の存否により判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。
なお、以下に説明する各実施の形態における処理は、第２空間ＳＢ側の第２制御部５４Ｂも同様に実行するため、第２制御部５４Ｂの処理については説明を省略する。

まず第１制御部５４ＡはステップＳ１０１において、第１撮像部１Ａから受信した第１撮像画像信号、及び第１音声入力ユニット２Ａから受信した第１音声信号を取得する。

そして第１制御部５４ＡはステップＳ１０２において、第１撮像部１Ａからの第１撮像画像信号に基づく画像解析処理を各フレーム単位で実行する。第１制御部５４Ａは、第１撮像画像信号に基づく画像解析処理により第１空間ＳＡ内におけるユーザＵ１の検出を行い、そのユーザＵ１の位置情報（画面上での座標値、被写体距離の情報等）、サイズ情報（例えばユーザＵ１の横幅、高さ、ピクセル数等）、属性情報（例えば性別、年齢等）などを取得する。
画像解析処理としては、パターンマッチングの手法でユーザＵ１の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体からユーザＵ１を検出することなども考えられる。ユーザＵ１の検出の手法は以上に限定されず、多様に考えられる。

また第１制御部５４Ａは、ステップＳ１０３において、第１音声入力ユニット２Ａから受信した第１音声信号に基づく音声解析処理を実行する。第１制御部５４Ａは、当該音声解析処理を行うことでユーザＵ１の話し声、第１空間ＳＡ内の環境音などの音声種別情報を取得する。
このとき第１制御部５４Ａは、第１音声入力ユニット２Ａにおける各第１マイクロフォン２１Ａへの音源からの音波伝搬がそれぞれ異なることに基づき、ユーザＵ１の位置情報（音源の第１空間ＳＡにおける座標値、音源までの距離情報等）を取得することができる。

第１制御部５４Ａは、ステップＳ１０４において、画像解析処理及び音声解析処理により取得した各種情報に基づいて第１空間ＳＡの状況を判定する。第１の実施の形態では第１空間ＳＡの状況判定の一例として、第１空間ＳＡにおいてユーザＵ１を検出したか否かを判定する。
なお、第１制御部５４Ａは、画像解析処理及び音声解析処理の何れか一方の処理により取得した情報に基づいて第１空間ＳＡの状況を判定することとしてもよい。この場合、第１制御部５４Ａは、ステップＳ１０２又はＳ１０３の何れかの処理を行うことなくステップＳ１０４に処理を進めることになる。

ステップＳ１０４で第１空間ＳＡにおけるユーザＵ１を検出した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０５に処理を進める。
第１制御部５４Ａは、ステップＳ１０５において、画像解析処理及び音声解析処理により取得した位置情報に基づいてユーザＵ１の位置を判定する。

そして第１制御部５４ＡはステップＳ１０６に処理を進め、指向性制御処理を実行する。第１制御部５４Ａは指向性制御処理として、第１音声信号の音声処理に関するパラメータとして、収音する第１音声信号の指向性に関するパラメータを制御する。ここで第１制御部５４Ａは、例えばビームフォーミング処理のパラメータを設定する。

第１制御部５４Ａは、判定したユーザＵ１の位置に収音の位置を合わせた指向性をもって第１音声信号を収音できるパラメータ制御を行い、当該制御信号を第１音声信号処理部５２Ａに送信する。
これにより第１音声信号処理部５２Ａではビームフォーミング処理により、ユーザＵ１から発せられる声を主に収音した聞き取りやすい音声信号を得ることが可能となる。

続いて第１制御部５４Ａは、ステップＳ１０７において、第１音声信号処理部５２Ａに対して検知モードに基づく音声信号処理制御を実行する。第１制御部５４Ａは、音声信号処理制御として例えばノイズリダクション処理に関するパラメータ、第１音声信号の増幅処理や減衰処理に関するパラメータなどの様々なパラメータ制御を実行する。

例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、ユーザＵ１の発する声の周波数に基づいて、ユーザＵ１の声が強調されるようなローパスフィルタ及びハイパスフィルタ、ハンドパスフィルタなどのフィルタ処理を実行させるためのパラメータ制御を行う。

またユーザＵ１の性別による声の周波数帯域の違いに着目し、第１制御部５４Ａは、画像解析処理により取得したユーザＵ１の性別情報に基づいて、当該性別で想定される声の周波数帯域を強調したフィルタ処理を実行させるためのパラメータ制御を行うことも考えられる。

さらに第１制御部５４Ａは、音声解析処理に基づいて第１空間ＳＡ内の環境音の音声種別情報を取得し、当該音声種別情報に基づいてフィルタ処理を実行させるためのパラメータ制御を行うことも考えられる。例えば第１制御部５４Ａは、第１空間ＳＡ内の環境音における騒音と判定される周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。

また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡにユーザＵ１がいる場合はコミュニケーションを行う際に臨場感が伝わるように、第１音声信号の増幅処理を実行させるためのパラメータ制御を行う。

第１制御部５４Ａは、上記のような各種パラメータに基づく音声信号処理を第１音声信号処理部５２Ａに実行させる。その後、第１制御部５４ＡはステップＳ１０７の処理を終えるとステップＳ１１０に処理を進める。

一方、ステップＳ１０４で第１空間ＳＡにおいてユーザＵ１を検出しなかった場合、第１制御部５４Ａは現在のモードを非検知モードと判定し、ステップＳ１０８に処理を進める。

第１制御部５４Ａは、ステップＳ１０８において無指向性制御処理を実行する。第１制御部５４Ａは無指向性制御として、第１音声信号の指向性に関するパラメータをリセットし、第１音声信号の指向性が無指向性となるような制御信号を第１音声信号処理部５２Ａに送信する。これにより第１音声信号処理部５２Ａでは、収音方向の指向性を加味しない音声信号処理が可能となる。

続いて第１制御部５４Ａは、ステップＳ１０９において、非検知モードに基づく音声信号処理制御を実行する。
第１制御部５４Ａは、音声信号処理制御として例えばノイズリダクション処理に関するパラメータ、第１音声信号の増幅処理や減衰処理に関するパラメータなどの様々なパラメータ制御を実行する。

例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、全周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。これにより、第１音声信号処理部５２Ａにより当該パラメータに基づく音声処理が行われることで、第１空間ＳＡにユーザＵ１がいない場合において、第２空間ＳＢ側における第１空間ＳＡ側の環境音を遮断することができる。

また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡにユーザＵ１がいない場合は、第１音声信号の減衰処理を実行させるためのパラメータ制御を行う。これにより、第１空間ＳＡにユーザＵ１がいない場合は、第２空間ＳＢ側における第１空間ＳＡ側の環境音を小さくすることができる。

第１制御部５４Ａは、上記のような各種パラメータに基づく音声信号処理を第１音声信号処理部５２Ａに実行させる。その後、第１制御部５４ＡはステップＳ１０９の処理を終えるとステップＳ１１０に処理を進める。

第１制御部５４Ａは、ステップＳ１１０において、第１音声信号処理部５２Ａで信号処理がされた第１音声信号、及び第１画像信号処理部５１Ａで信号処理がされた第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。

第２演算処理部５Ｂは、受信した送信用データに基づいて、第１撮像画像信号に基づく撮像画像を第２表示ユニット３Ｂにより表示させ、第１音声信号に基づく音声を第２音声出力ユニット４Ｂにより出力される。これにより、第１空間ＳＡ側の画像及び音声が第２空間ＳＢ側に出力される。

第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。これにより、第１空間ＳＡ側の画像及び音声が常に第２空間ＳＢ側に出力されることになり、第１空間ＳＡが第２空間ＳＢと仮想的に接続された状態となる。
以上により、第１の実施の形態における第１制御部５４Ａの処理が実現される。

＜４．第２の実施の形態＞
第２の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図４を参照して説明する。第２の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況をユーザＵ１の顔の向きにより判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。

第１制御部５４Ａは、ステップＳ１０１において第１撮像画像信号及び第１音声信号を取得し、ステップＳ１０２において第１撮像画像信号に基づく画像解析処理を、ステップＳ１０３において第１音声信号に基づく音声解析処理を実行する。
ここで第１制御部５４Ａは、画像解析処理によりユーザＵ１の位置情報、サイズ情報、属性情報などに加えて、ユーザＵ１の人数情報や、顔の向き等のユーザＵ１の姿勢に関する情報を取得する。

第１制御部５４Ａは、ステップＳ１０４において、画像解析処理及び音声解析処理により取得した各種情報に基づいて第１空間ＳＡにおいてユーザＵ１を検出したか否か、及び検出したのであればその人数を判定する。

まず第１空間ＳＡにいるユーザＵ１が１人であると判定した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０４からステップＳ１１２，Ｓ１０５の順に処理を進める。
そして第１制御部５４Ａは、ステップＳ１０５においてユーザＵ１の位置判定を行い、ステップＳ１０６において、ユーザＵ１の位置に収音の位置を合わせた指向性をもって指向性制御処理を実行する。また第１制御部５４Ａは、ステップＳ１０７において、検知モードに基づく音声信号処理制御を実行する。

次に第１空間ＳＡにユーザＵ１が複数人いると判定した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０４からステップＳ１１２，Ｓ１１３の順に処理を進める。

第１制御部５４Ａは、ステップＳ１１３において、画像解析処理で取得したユーザＵ１の姿勢に関する情報から、顔が正面を向いている（第１スクリーン３２Ａと対向している）ユーザＵ１がいるか否かを判定する。

顔が正面を向いているユーザＵ１がいると判定した場合、第１制御部５４Ａは、顔が正面を向いているユーザＵ１が第２空間ＳＢ側のユーザＵ２と会話をしようとしていると推定する。

そこで第１制御部５４ＡはステップＳ１１３からステップＳ１０５に処理を進め、顔が正面を向いているユーザＵ１の位置判定を行い、ステップＳ１０６において、顔が正面を向いているユーザＵ１の位置に収音の位置を合わせた指向性をもってパラメータを制御する指向性制御を実行する。また第１制御部５４Ａは、ステップＳ１０７において、検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０７からステップＳ１１０に処理を進める。

一方、ステップＳ１１３において顔が正面を向いているユーザＵ１がいないと判定した場合、第１制御部５４Ａは、第１空間ＳＡにおいて現在第２空間ＳＢ側のユーザＵ２と会話しようとしているユーザＵ１がいないものと推定する。そこで第１制御部５４Ａは、ステップＳ１０８で無指向性制御処理を実行し、ステップＳ１０９において非検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０９からステップＳ１１０に処理を進める。

なお、ステップＳ１０４で第１空間ＳＡにおいてユーザＵ１を検出しなかった場合、第１制御部５４Ａは現在のモードを非検知モードと判定し、ステップＳ１０８で無指向性制御処理を実行し、ステップＳ１０９において非検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０９からステップＳ１１０に処理を進める。

上述の処理を実行した後、第１制御部５４Ａは、ステップＳ１１０において、第１音声信号及び第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。
第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。
以上により、第２の実施の形態における第１制御部５４Ａの処理が実現される。

＜５．第３の実施の形態＞
第３の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図５を参照して説明する。第３の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況を第１空間ＳＡの輝度に基づいて判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。

第１制御部５４Ａは、ステップＳ１０１において第１撮像画像信号及び第１音声信号を取得し、ステップＳ１０２において第１撮像画像信号に基づく画像解析処理を、ステップＳ１０３において第１音声信号に基づく音声解析処理を実行する。
ここで第１制御部５４Ａは、画像解析処理によりユーザＵ１の位置情報、サイズ情報、属性情報などに加えて、第１空間ＳＡの輝度情報を取得する。

そして第１制御部５４Ａは、ステップＳ１１４において、第１空間ＳＡが暗室状態であるか否かを判定する。例えば第１制御部５４Ａは、画像解析処理により取得した第１空間ＳＡの輝度の値と所定の閾値との比較に基づいて暗室状態であるか否かを判定する。

第１空間ＳＡが暗室状態である場合、第１制御部５４Ａは現在のモードが暗室モードであると判定し、ステップＳ１１５に処理を進める。
第１制御部５４Ａは、ステップＳ１１５において無指向性制御処理を実行し、ステップＳ１１６において暗室モードに基づく音声信号処理を実行する。
例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、全周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。これにより、第１音声信号処理部５２Ａにより当該パラメータに基づく音声処理が行われることで、第１空間ＳＡが暗室状態である場合において、第２空間ＳＢ側における第１空間ＳＡ側の環境音を遮断することができる。

また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡが暗室状態である場合は、第１音声信号の減衰処理を実行させるためのパラメータ制御を行う。これにより、第１空間ＳＡが暗室状態である場合は、第２空間ＳＢ側における第１空間ＳＡ側の環境音を小さくすることができる。

第１制御部５４Ａは、ステップＳ１１０において、第１音声信号処理部５２Ａで信号処理がされた第１音声信号、及び第１画像信号処理部５１Ａで信号処理がされた第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。

第２演算処理部５Ｂは、受信した送信用データに基づいて、第１撮像画像信号に基づく撮像画像を第２表示ユニット３Ｂにより表示させ、第１音声信号に基づく音声を第２音声出力ユニット４Ｂにより出力される。これにより、第１空間ＳＡ側の画像及び音声が第２空間ＳＢ側に出力される。

第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。なお、第１制御部５４ＡによるステップＳ１０４以降の処理は、第１の実施の形態で説明した処理と同様であるため、説明を省略する。
以上により、第３の実施の形態における第１制御部５４Ａの処理が実現される。

＜６．まとめ及び変型例＞
以上の実施の形態の仮想的空間接続装置１００は、第１空間ＳＡを撮像した第１撮像画像信号と第１空間ＳＡで収音した第１音声信号とを第１空間ＳＡと離隔した第２空間ＳＢ側に送信する処理と、第２空間ＳＢを撮像した第２撮像画像信号と第２空間ＳＢで収音した第２音声信号とを受信し、第２撮像画像信号に基づく表示及び第２音声信号に基づく音声出力を実行させる第１演算処理部５Ａと、第２撮像画像信号と第２音声信号とを第２空間ＳＢと離隔した第１空間ＳＡ側に送信する処理と、第１撮像画像信号と第１音声信号とを受信し、第１撮像画像信号に基づく表示及び第１音声信号に基づく音声出力を実行させる第２演算処理部５Ｂと、第１演算処理部５Ａからの制御信号により第１空間ＳＡ内で第２撮像画像信号に基づく表示を実行することで第１空間ＳＡに第２空間ＳＢを仮想的に接続する第１表示ユニット３Ａと、第２演算処理部５Ｂからの制御信号により第２空間ＳＢ内で第１撮像画像信号に基づく表示を実行することで第２空間ＳＢに第１空間ＳＡを仮想的に接続する第２表示ユニット３Ｂと、を備え、第１演算処理部５Ａは、第１空間ＳＡの状況に応じて第１音声信号の音声処理に関するパラメータを制御し、第２演算処理部５Ｂは、第２空間ＳＢの状況に応じて第２音声信号の音声処理に関するパラメータを制御する（図１及び図３等参照）。
これにより、第１空間ＳＡと第２空間ＳＢの何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１空間ＳＡと第２空間ＳＢが仮想的に接続され、第１音声入力ユニット２Ａから第２空間ＳＡの状況を反映した音声が出力され、第２音声入力ユニット３Ｂから第１空間ＳＡの状況を反映した音声が出力される。
従って、互いに離隔する空間を仮想的に接続することにより、例えば自宅の一室と勤務先のオフィスといった互いに離れた場所にいるユーザが互いの空間を擬似的に共有することができ、互いに意思疎通を図ることができる。
また、一方の空間の状況に応じて他方への音声出力を調整することで、隣接する空間にいる互いのユーザが違和感のない臨場感のある円滑な意思疎通を実現できる。

実施の形態の仮想的空間接続装置１００では、第１プロジェクタ３１Ａが、第１演算処理部５Ａから受信した第２空間ＳＢ側の第２撮像画像信号に基づく画像出力を、第１スクリーン３２Ａの側方から第１スクリーン３２Ａに向けて行う（図１及び図２等参照）。
このように、第１スクリーン３２Ａを用いて第２空間ＳＢを表示することで、第１空間ＳＡ内に第２空間ＳＢの表示領域を、液晶パネル等を用いるときよりも容易に設置することができる。

また第１プロジェクタ３１Ａにより、第１スクリーン３２Ａの側方から撮像画像の投影を行うことで、第１プロジェクタ３１Ａからの光がユーザＵ１などにあたることで生じる影が第１スクリーン３２Ａにかかることにより、映像の臨場感が損なわれることを防止することができる。また、第１プロジェクタ３１Ａを第１スクリーン３２Ａの側方に設置することで、床から天井までを占める投影が可能となる。これは第２空間ＳＢ側においても同様である。

実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１音声信号の音声処理に関するパラメータとして第１音声信号を収音する第１マイクロフォン２１Ａの指向性に関するパラメータを制御し、第２演算処理部５Ｂは、第２音声信号の音声処理に関するパラメータとして第２音声信号を収音する第２マイクロフォン２１Ｂの指向性に関するパラメータを制御する（図３のＳ１０６，Ｓ１０８等参照）。
これにより、第１空間ＳＡの状況に応じて第１空間ＳＡにおける収音の指向性が制御された第１音声入力ユニット２Ａに入力された第１音声信号が第１空間ＳＡと離隔した第２空間ＳＢ側に送信され、第２空間ＳＢの第２音声出力ユニット２Ｂにより出力される。また第２空間ＳＢの状況に応じて第２空間ＳＢにおける収音の指向性が制御された第２音声入力ユニット２Ｂに入力された第２音声信号が第２空間ＳＢと離隔した第１空間ＳＡ側に送信され、第１空間ＳＡの第１音声出力ユニット２Ａにより出力される。
従って、空間の状況に応じて収音方向の指向性を制御することで、例えばユーザの話し声といった特定の音声を強調して他の空間側に出力したり、他の方向からの騒音等を減衰して他の空間に出力することができる。よって、互いの空間にいるユーザ同士が円滑な意思疎通を行うことができる。

実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１音声信号の音声処理に関するパラメータとして第１音声信号のノイズリダクション処理に関するパラメータを制御し、第２演算処理部５Ｂは、第２音声信号の音声処理に関するパラメータとして第２音声信号をノイズリダクション処理に関するパラメータを制御する（図３のＳ１０７，Ｓ１０９等参照）。
これにより、第１空間ＳＡの状況に応じたノイズリダクション処理が行われた第１音声信号が第１空間ＳＡと離隔した第２空間ＳＢ側に送信され、第２空間ＳＢの第２音声出力ユニット４Ｂにより出力される。また第２空間ＳＢの状況に応じたノイズリダクション処理が行われた第２音声信号が第２空間ＳＢと離隔した第１空間ＳＡ側に送信され、第１空間ＳＡの第１音声出力ユニット４Ａにより出力される。
従って、空間の状況に応じて特定の周波数についてフィルタリングを行うといった処理が可能となり、ユーザの話し声の周波数帯域以外をフィルタリングすることでユーザの声を強調したり、騒音に該当する周波数帯域をフィルタリングすることで騒音を目立たせなくすることができる。これによってもユーザ同士の円滑な意思疎通が図られる。

実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１撮像画像信号の解析処理結果に基づいて第１空間ＳＡ内の状況を判定し、第２演算処理部５Ｂは、第２撮像画像信号の解析処理結果に基づいて第２空間ＳＢ内の状況を判定する（図３のＳ１０２，Ｓ１０４等参照）。
これにより、例えば第１空間ＳＡ内のユーザＵ１を検出した場合は、ユーザＵ１の発した声が第２空間ＳＢ側に伝わるように第１空間ＳＡ内で収音する第１音声信号の音声処理に関するパラメータを制御することが可能となる。
撮像画像信号の解析処理結果に基づいて空間内の状況を判定することで、例えば空間内にいるユーザ等を高精度で認識することができる。

第３の実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１空間ＳＡ内の状況として第１空間ＳＡ内の輝度を判定し、第２演算処理部５Ｂは、第２空間ＳＢ内の状況として第２空間ＳＢ内の輝度を判定する（図５のＳ１１４からＳ１１６等参照）。
これにより、例えば空間内の輝度が低い場合にユーザが当該空間に意思疎通を行おうとしているユーザがいないことが推定できる。
このような場合、例えば輝度が低い場合に音声信号を減衰させて、第２空間ＳＢ側に出力される第１空間ＳＡ側の音声を小さくするといった出力音声の調整をすることができる。

＜７．変型例＞
本実施の形態では、第１空間ＳＡにいるユーザＵ１と第２空間ＳＢにいるユーザＵ２とが意思疎通を行う例について説明したが、仮想的空間接続装置１００により仮想的に接続された第１空間ＳＡ及び第２空間ＳＢには、必ずしも他方の空間にいるユーザと意思疎通をしようとするユーザがいる必要はなく、単に一方の空間が他方の空間の撮像画像及び音声を共有できるように用いられてもよい。

本実施の形態では一例として、第１空間ＳＡと第２空間ＳＢを屋内として説明したが、第１空間ＳＡと第２空間ＳＢは、仮想的空間接続装置の各構成が配置可能な環境であれば屋内に限られず、屋外であってもよい。即ち、屋内と屋外や、屋外と屋外の空間を仮想的に接続することも可能である。

本実施の形態では、第１撮像部１Ａは第１スクリーン３２Ａの略中心部に１つ設けられているが、第１撮像部１Ａは周囲の空間座標を把握するために複数の撮像装置から構成されていてもよい。これは第２撮像部１Ｂにおいても同様である。

本実施の形態では、第１音声入力ユニット２Ａを３つのマイクロフォンで構成される例について説明したが、第１音声入力ユニット２Ａは２つ又は４以上のマイクロフォンから構成されていてもよい。マイクロフォンの数を増やすことで、空間的な自由度が高まり、鋭い指向性を得ることができる。これは第２音声入力ユニット２Ｂにおいても同様である。

本実施の形態では、第１演算処理部５Ａからの第１空間ＳＡの状況に応じた制御信号により、第１音声入力ユニット２Ａが各マイクロフォンの指向性制御、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行する例について説明したが、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などについては、第１演算処理部５Ａにおいて実行することとしてもよい。
この場合、第１演算処理部５Ａは、第１音声入力ユニット２Ａから受信した第１音声信号について、第１空間ＳＡの状況に応じたノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行する。これは第２空間ＳＢ側においても同様である。

本実施の形態では、第１演算処理部５Ａと第２演算処理部５ＢはネットワークＮＷを介した無線通信によりデータ通信が実行されるとしたが（図１参照）、通信方式は無線通信に限られず、有線通信によりデータ通信を実行するものとしてもよい。

また本実施の形態では、第１演算処理部５Ａの第１画像信号処理部５１Ａが、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ変換処理等の各種の信号処理を実行する例について説明したが、当該各種の信号処理は、第１撮像部１Ａ側で実行することとしてもよい。同様に、第２演算処理部５Ｂの第２画像信号処理部５１Ｂについても当該各種の信号処理を第２撮像部１Ｂ側で実行することとしてもよい。

本実施の形態では、第１空間ＳＡ側の第１表示ユニット３Ａが第１プロジェクタ３１Ａと第１スクリーン３２Ａにより構成される例について説明したが、第１表示ユニット３Ａは、撮像制御装置と表示部から構成されていてもよい。ここで表示部は、例えば液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルである。この場合、撮像制御装置と表示部は有線又は無線により接続され、撮像制御装置からの出力に応じて、表示部に第２空間ＳＢ側の撮像画像が表示される。これは第２空間ＳＢ側の第２表示ユニット３Ｂについても同様である。

本実施の形態では、第１空間側の第１制御部５４Ａが、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行し、第１空間側の第１制御部５４Ａが画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定することとしたが、第２空間ＳＢ側の第２制御部５４Ｂが、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行し、第１空間側の第１制御部５４Ａが画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定することとしてもよい。

この場合、第２空間ＳＢ側の第２制御部５４Ｂにより、第１空間ＳＡの状況の判定結果に基づいて、第１音声信号処理部５２Ａが実行する第１音声信号の音声処理に関するパラメータが設定され、第１空間ＳＡ側の第１制御部５４Ａは、当該第２制御部５４Ｂから受信した第１音声信号の音声処理に関するパラメータに基づいて第１音声入力ユニット２Ａに各種処理を実行させる。
これは本実施の形態における第２空間ＳＢ側の第２制御部５４Ｂについても同様に適用できる。

最後に、本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
また本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。

１００ 仮想的空間接続装置
１Ａ 第１撮像部
１Ｂ 第２撮像部
２Ａ 第１音声入力ユニット
２Ｂ 第２音声入力ユニット
３Ａ 第１表示ユニット
３Ｂ 第２表示ユニット
５Ａ 第１演算処理部
５Ｂ 第２演算処理部
ＳＡ 第１空間
ＳＢ 第２空間

Claims (7)

1. 第１空間を撮像した第１撮像画像信号と前記第１空間で収音した第１音声信号とを前記第１空間と離隔した第２空間側に送信する処理と、前記第２空間を撮像した第２撮像画像信号と前記第２空間で収音した第２音声信号とを受信し、前記第２撮像画像信号に基づく表示及び前記第２音声信号に基づく音声出力を実行させる第１演算処理部と、
   前記第２撮像画像信号と前記第２音声信号とを前記第２空間と離隔した前記第１空間側に送信する処理と、前記第１撮像画像信号と前記第１音声信号とを受信し、前記第１撮像画像信号に基づく表示及び前記第１音声信号に基づく音声出力を実行させる第２演算処理部と、
   前記第１演算処理部からの制御信号により前記第１空間内で前記第２撮像画像信号に基づく表示を実行することで前記第１空間に前記第２空間を仮想的に接続する第１表示ユニットと、
   前記第２演算処理部からの制御信号により前記第２空間内で前記第１撮像画像信号に基づく表示を実行することで前記第２空間に前記第１空間を仮想的に接続する第２表示ユニットと、を備え、
   前記第１空間の状況に応じて前記第１音声信号の音声処理に関するパラメータを制御し、前記第２空間の状況に応じて前記第２音声信号の音声処理に関するパラメータを制御する
   仮想的空間接続装置。
2. 前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号を収音するマイクロフォンの指向性に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を収音するマイクロフォンの指向性に関するパラメータを制御する
   請求項１に記載の仮想的空間接続装置。
3. 前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号のノイズリダクション処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号をノイズリダクション処理に関するパラメータを制御する
   請求項１又は請求項２に記載の仮想的空間接続装置。
4. 前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の減衰処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号の減衰処理に関するパラメータを制御する
   請求項１から請求項３の何れかに記載の仮想的空間接続装置。
5. 前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の増幅処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号の増幅処理に関するパラメータを制御する
   請求項１から請求項４の何れかに記載の仮想的空間接続装置。
6. 前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定し、前記第２撮像画像信号の解析処理結果に基づいて前記第２空間内の状況を判定する
   請求項１から請求項５の何れかに記載の仮想的空間接続装置。
7. 前記第１空間内の状況として前記第１空間内の輝度を判定し、前記第２空間内の状況として前記第２空間内の輝度を判定する
   請求項１から請求項６の何れかに記載の仮想的空間接続装置。

Images