JP2015173433A - 端末装置及び通信システム - Google Patents

Abstract

【課題】受信側が所望する音声合成に柔軟に対応することが可能な端末装置及び通信システムを提供する。
【解決手段】他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部１５３と、当該撮像部により撮像された画像と、他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部１５７と、複数の音声を合成して合成音声を生成する音声合成部１５９と、画像を表示部１８０に表示させる表示制御部１６１と、合成音声を音声出力部１９０に出力させる音声出力制御部１６３と、を備える。
【選択図】図２

Description

本発明は、端末装置及び通信システムに関する。

インターネット等のネットワークを介して画像（映像）や音声などをリアルタイムに送受信することで、遠隔地とのコミュニケーションを実現するビデオ会議システム（テレビ会議システムなどと称される場合もある）などの通信システムが知られている。

例えば、ビデオ会議システムの場合、一方の参加者が用いる会議端末が、当該参加者の画像を撮影するとともに当該参加者の発言などの音声を収集し、他方の参加者が用いる会議端末に送信する。そして、他方の参加者が用いる会議端末が、画像及び音声を受信し、画像を表示するとともに音声を出力することで、遠隔会議を実現する。

ここで、例えば特許文献１には、複数のマイクロフォンを内蔵するとともに、外部制御可能なＰＴＺ（パン・チルト・ズーム）機能を有するビデオカメラをテレビ会議システムに採用し、当該ビデオカメラが、ＰＴＺの状態を示す制御信号に応じたパラメータで複数のマイクロフォンから入力された音声信号を合成して外部出力する技術が開示されている。

特許文献１に開示された技術によれば、ビデオカメラの撮像範囲（撮像された画像）に対応した音声信号を外部出力できるので、テレビ会議の音声品質を向上させることができる。

しかしながら、上述したような従来技術では、送信側で音声を合成しているので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができない。

本発明は、上記事情に鑑みてなされたものであり、受信側が所望する音声合成に柔軟に対応することが可能な端末装置及び通信システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる端末装置は、ネットワークを介して他の端末装置と接続される端末装置であって、前記他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部と、前記撮像部により撮像された画像と、前記他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部と、前記複数の音声を合成して合成音声を生成する音声合成部と、前記画像を表示部に表示させる表示制御部と、前記合成音声を音声出力部に出力させる音声出力制御部と、を備える。

本発明によれば、受信側が所望する音声合成に柔軟に対応することが可能という効果を奏する。

図１は、第１実施形態のビデオ会議システムの構成の一例を示すブロック図である。 図２は、第１実施形態の会議端末の構成の一例を示すブロック図である。 図３は、第１実施形態の音声入力部の配置の一例を示す図である。 図４は、第１実施形態の会議端末で実行される送信動作の一例を示すフローチャート図である。 図５は、第１実施形態の会議端末で実行される受信動作の一例を示すフローチャート図である。 図６は、第２実施形態の会議端末で実行される送信動作の一例を示すフローチャート図である。 図７は、第２実施形態の会議端末で実行される受信動作の一例を示すフローチャート図である。 図８は、変形例のサーバで実行される処理の一例を示すフローチャート図である。

以下、添付図面を参照しながら、本発明にかかる端末装置及び通信システムの実施形態を詳細に説明する。以下の実施形態では、本発明をビデオ会議システムに適用した場合を例に取り説明するが、これに限定されるものではない。

（第１実施形態）
図１は、第１実施形態のビデオ会議システム１の構成の一例を示すブロック図である。図１に示すように、ビデオ会議システム１（通信システムの一例）は、会議端末１０−１〜１０−Ｎ（端末装置及び他の端末装置の一例）と、サーバ２０とを、備える。ここで、Ｎは２以上の自然数である。

会議端末１０−１〜１０−Ｎ及びサーバ２０は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、ＬＡＮ（Local Area Network）やインターネットなどにより実現できる。

サーバ２０は、会議端末１０−１〜１０−Ｎ間での画像（映像）や音声などの送受信を中継する。また、サーバ２０は、画像や音声の中継機能に加え、会議端末１０−１〜１０−Ｎ間での会議の開始や終了などを制御する会議制御機能も有しているが、ここでは説明を省略する。

会議端末１０−１〜１０−Ｎは、それぞれ異なる拠点に配置されており、サーバ２０を介して画像や音声の送受信を行う。第１実施形態では、会議端末１０−１〜１０−Ｎとして、ビデオ会議用の専用端末を想定しているが、これに限定されず、ノートＰＣ（Personal Computer）、スマートフォン、及びタブレット端末などであってもよい。なお、以下の説明では、会議端末１０−１〜１０−Ｎを各々区別する必要がない場合は、単に会議端末１０と称する場合がある。

図２は、第１実施形態の会議端末１０の構成の一例を示すブロック図である。図２に示すように、会議端末１０は、撮像部１１０と、音声入力部１２０−１〜１２０−Ｍと、記憶部１３０と、通信部１４０と、制御部１５０と、操作部１７０と、表示部１８０と、音声出力部１９０とを、備える。ここで、Ｍは２以上の自然数である。

制御部１５０は、会議端末１０の各部を制御するものであり、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。制御部１５０は、送信部１５１と、撮像制御部１５３と、設定部１５５と、受信部１５７と、音声合成部１５９と、表示制御部１６１と、音声出力制御部１６３とを、含む。

まず、会議端末１０が画像及び音声を会議に用いられている（参加している）他の会議端末１０に送信する送信動作について説明する。

撮像部１１０は、会議端末１０を使用する会議の参加者を撮像するものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子、及びレンズなどにより構成される撮像装置により実現できる。なお、レンズは広角レンズであってもよい。

また撮像部１１０は、外部制御可能なメカニカルなＰＴＺ（パン・チルト・ズーム）機能を有しており、自身の撮像範囲を外部制御可能に構成されている。メカニカルなＰＴＺ機能とは、撮像部１１０を物理的に動かしてＰＴＺを行う機能である。

音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者が発話する音声などを入力するものであり、マイクロフォンなどの音声入力装置により実現できる。なお、以下の説明では、音声入力部１２０−１〜１２０−Ｍを各々区別する必要がない場合は、単に音声入力部１２０と称する場合がある。

第１実施形態では、音声入力部１２０−１〜１２０−Ｍは、撮像部１１０の撮像可能な範囲で発生した音声を、音声入力部１２０−１〜１２０−Ｍの少なくともいずれかで入力できるように、会議端末１０の筐体に配置されている。

具体的には、音声入力部１２０は、指向性を有しており、音声入力部１２０に対して所定方向の一定範囲を集音範囲とし、当該集音範囲で発生した音声を入力する。このため、音声入力部１２０−１〜１２０−Ｍは、撮像部１１０の撮像可能な範囲を音声入力部１２０−１〜１２０−Ｍ全体での集音範囲が網羅するように、会議端末１０の筐体に配置されている。

図３は、第１実施形態の音声入力部１２０−１〜１２０−Ｍの配置の一例を示す図であり、Ｍ＝４の場合を示している。図３に示す例では、音声入力部１２０−１〜１２０−４を撮像部１１０の周辺に分散して会議端末１０の筐体に配置することで、撮像部１１０の撮像可能な範囲を音声入力部１２０−１〜１２０−４全体での集音範囲が網羅するようになっている。

記憶部１３０は、会議端末１０で実行される各種プログラム、及び会議端末１０で行われる各種処理に使用されるデータなどを記憶する。例えば、記憶部１３０は、音声入力部１２０−１〜１２０−Ｍそれぞれの配置位置及び指向性の特性を定義した合成制御情報などを記憶する。

記憶部１３０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、及び電気的に記憶可能な記憶装置の少なくともいずれかにより実現できる。

通信部１４０は、ネットワーク２を介してサーバ２０などの外部機器と通信するものであり、ＮＩＣ（Network Interface Card）や無線通信装置などの通信装置により、有線、無線を問わずに実現できる。

送信部１５１は、撮像部１１０により撮像された画像と、音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を送信する。具体的には、送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし、送信先情報（例えば、会議に用いられている他の会議端末１０のＩＰアドレスなど）を付加し、通信部１４０からサーバ２０に送信する。これにより、サーバ２０は、エンコードされた画像及び複数の音声を会議に用いられている他の会議端末１０に転送する。

例えば、会議端末１０−１〜１０−３が会議に用いられている場合、会議端末１０−１の送信部１５１は、会議端末１０−１の撮像部１１０により撮像された画像と、会議端末１０−１の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−２、１０−３に送信する。

同様に、会議端末１０−２の送信部１５１は、会議端末１０−２の撮像部１１０により撮像された画像と、会議端末１０−２の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−１、１０−３に送信する。

同様に、会議端末１０−３の送信部１５１は、会議端末１０−３の撮像部１１０により撮像された画像と、会議端末１０−３の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−１、１０−２に送信する。

なお、送信部１５１がエンコードする画像は、制御部１５０によりＡ／Ｄ変換処理及び画像処理が施され、送信部１５１がエンコードする複数の音声は、制御部１５０によりＡ／Ｄ変換処理が施されている。ここで、送信部１５１がエンコードする複数の音声は、制御部１５０により更に音声処理が施されていてもよい。

また送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する。

次に、会議端末１０が画像及び音声を会議に用いられている（参加している）他の会議端末１０から受信する受信動作について説明する。

操作部１７０は、会議端末１０を使用する会議の参加者が各種操作入力を行うものであり、マウス、キーボード、タッチパッド、及びタッチパネルなどの入力装置により実現できる。

表示部１８０は、会議画像（会議の参加者やホワイトボードなどの画像）など各種画面を表示するものであり、液晶ディスプレイやタッチパネル式ディスプレイなどの表示装置により実現できる。なお、表示部１８０は、会議端末１０と別体で設けられていてもよい。

音声出力部１９０は、会議に用いられている他の会議端末１０を使用している会議の参加者が発話した音声を出力するものであり、スピーカなどの音声出力装置により実現できる。

撮像制御部１５３は、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御する。具体的には、会議端末１０を使用している会議の参加者が、表示部１８０に表示されている、会議に用いられている他の会議端末１０が有する撮像部１１０により撮像された画像を見ながら、操作部１７０から当該撮像部１１０のＰＴＺ（パン・チルト・ズーム）をメカニカルに制御する操作入力を行うので、撮像制御部１５３は、当該操作入力から当該撮像部１１０のＰＴＺ（パン・チルト・ズーム）をメカニカルに遠隔制御するコマンドを生成し、通信部１４０からサーバ２０を介して他の会議端末１０に送信する。

これにより、他の会議端末１０が有する撮像部１１０は、送信されたコマンドに基づいて、自身（他の会議端末１０）のＰＴＺをメカニカルに制御する。

設定部１５５は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づく第１音声合成を行うか当該撮像範囲のデフォルトの設定に基づく第２音声合成を行うかを設定する。具体的には、設定部１５５は、会議端末１０を使用している会議の参加者が操作部１７０から音声合成手法の設定操作入力を行うので、当該設定操作入力から第１音声合成を行うか第２音声合成を行うかを設定する。なお第１実施形態では、第１音声合成を行う設定の場合に、前述の撮像制御部１５３が、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御でき、第２音声合成を行う設定の場合に、前述の撮像制御部１５３が、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御できないことを想定している。

受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信する。具体的には、受信部１５７は、サーバ２０が他の会議端末１０から転送したエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。

例えば、会議端末１０−１〜１０−３が会議に用いられている場合、会議端末１０−１の受信部１５７は、会議端末１０−２からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−３からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。

同様に、会議端末１０−２の受信部１５７は、会議端末１０−１からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−３からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。

同様に、会議端末１０−３の受信部１５７は、会議端末１０−１からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−２からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。

また受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する。

音声合成部１５９は、受信部１５７により受信され、デコードされた複数の音声を合成して合成音声を生成する。

例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

第１実施形態では、音声合成部１５９は、設定部１５５により第１音声合成が設定されている場合、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定（例えば、ＰＴＺの設定値）より、当該撮像部１１０の撮像範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

一方、音声合成部１５９は、設定部１５５により第２音声合成が設定されている場合、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。なお、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定は、例えば、撮像制御部１５３が把握している。

例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定（例えば、デフォルトのＰＴＺの設定値）より、当該撮像部１１０のデフォルトの撮像範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

なお、音声合成部１５９の音声合成手法については、特許文献１に開示された手法を採用できるため、これ以上の詳細な説明は省略する。

表示制御部１６１は、受信部１５７により受信され、デコードされた画像を表示部１８０に表示させる。

音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる。

第１実施形態では、会議に用いられている各会議端末１０が、上述した画像及び複数の音声の送信動作及び受信動作を繰り返し行うことで、ビデオ会議システム１による多拠点間での遠隔会議が実現される。

図４は、第１実施形態の会議端末１０で実行される送信動作の一例を示すフローチャート図である。

まず、会議端末１０の送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ１０１）。

続いて、会議端末１０の撮像部１１０は、他の会議端末１０の撮像制御部１５３からＰＴＺの遠隔制御が行われた場合（ステップＳ１０３でＹｅｓ）、自身のＰＴＺを遠隔制御の設定に変更する（ステップＳ１０５）。

なお、他の会議端末１０の撮像制御部１５３からＰＴＺの遠隔制御が行われない場合（ステップＳ１０３でＮｏ）、ステップＳ１０５の処理は行われない。

続いて、会議端末１０の撮像部１１０は、会議端末１０を使用する会議の参加者を撮像する（ステップＳ１０７）。

続いて、会議端末１０の音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者などが発話する音声を入力する（ステップＳ１０９）。

続いて、会議端末１０の送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし（ステップＳ１１１）、エンコードされた画像及び複数の音声を、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ１１３）。

続いて、会議が終了しなければ（ステップＳ１１５でＮｏ）、ステップＳ１０３へ戻り、会議が終了すれば（ステップＳ１１５でＹｅｓ）、処理は終了となる。

図５は、第１実施形態の会議端末１０で実行される受信動作の一例を示すフローチャート図である。

まず、会議端末１０の受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する（ステップＳ２０１）。

続いて、会議端末１０の撮像制御部１５３は、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御する場合（ステップＳ２０３でＹｅｓ）、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御する（ステップＳ２０５）。この際、撮像制御部１５３は、他の会議端末１０から遠隔制御後の撮像部１１０のＰＴＺの設定値を取得してもよい。

なお、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御しない場合（ステップＳ２０３でＮｏ）、ステップＳ２０５の処理は行われない。

続いて、会議端末１０の受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信し（ステップＳ２０７）、受信した画像及び複数の音声をデコードする（ステップＳ２０９）。

続いて、会議端末１０の音声合成部１５９は、設定部１５５により第１音声合成が設定されている場合（ステップＳ２１１でＹｅｓ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、当該他の会議端末１０が有する撮像部１１０に対する撮像制御部１５３による遠隔制御後のＰＴＺの設定に基づく撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ２１３）。

一方、音声合成部１５９は、設定部１５５により第１音声合成が設定されていない場合（ステップＳ２１１でＮｏ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、当該他の会議端末１０が有する撮像部１１０のデフォルトのＰＴＺの設定に基づく撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ２１５）。

続いて、会議端末１０の表示制御部１６１は、受信部１５７により受信され、デコードされた画像を表示部１８０に表示させる（ステップＳ２１７）。

続いて、会議端末１０の音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる（ステップＳ２１９）。

続いて、会議が終了しなければ（ステップＳ２２１でＮｏ）、ステップＳ２０３へ戻り、会議が終了すれば（ステップＳ２２１でＹｅｓ）、処理は終了となる。

以上のように第１実施形態によれば、受信側で音声合成を行うので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができる。

例えば、他の会議端末１０が有する撮像部１１０に対する撮像制御部１５３による遠隔制御後の撮像範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、撮像範囲（撮像された画像）に対応した合成音声を生成でき、同一の場で会議を行っているような臨場感のある遠隔会議を行うことができる。

また例えば、他の会議端末１０が有する撮像部１１０のデフォルトの撮像範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、例えば、他の会議端末１０が有する撮像部１１０が、会議の参加者ではなくホワイトボードなど音声が発生しない範囲を撮像している場合であっても、他の会議端末１０を使用している会議の参加者の発話音声を途切れさせずに、当該発話音声をある程度の品質で再現することができる。

特に第１実施形態によれば、受信側で音声合成を行うので、多拠点間で会議を行っており、受信側が複数存在し、それぞれ受信側で着目したい範囲の音声が異なる場合であっても、それぞれの受信側が所望する音声合成を行うことができ、それぞれの受信側が所望する音声合成に柔軟に対応することができる。

（第２実施形態）
第２実施形態では、撮像部１１０が外部制御可能なメカニカルなＰＴＺ機能を有さない例について説明する。第２実施形態では、第１実施形態との相違点、具体的には、撮像制御部１５３、設定部１５５、音声合成部１５９、及び表示制御部１６１について主に説明し、第１実施形態と同様の内容については、その説明を省略する。

第２実施形態では、撮像制御部１５３は、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御するのでは無く、他の会議端末１０が撮像した画像の表示範囲を制御する。

例えば、会議端末１０を使用している会議の参加者が、表示部１８０に表示されている、会議に用いられている他の会議端末１０が有する撮像部１１０により撮像された画像を見ながら、操作部１７０からデジタルＰＴＺを制御する操作入力を行う。そして、撮像制御部１５３は、当該操作入力に基づいて、デジタルＰＴＺを制御するコマンド（例えば、デジタルＰＴＺの設定値を示すコマンド）を生成し、表示制御部１６１に出力する。デジタルＰＴＺとは、画像の表示範囲を制御するために、画像に仮想的にＰＴＺ（パン・チルト・ズーム）を行うことである。

例えば、会議端末１０を使用している会議の参加者が、操作部１７０から、表示部１８０に表示されている画像中で注目した領域を中心として拡大する操作入力を行うと、撮像制御部１５３は、当該画像の表示範囲が当該操作後（拡大後）の表示範囲となるように表示制御部１６１にデジタルＰＴＺを行わせるためのコマンドを生成し、表示制御部１６１に出力する。

これにより、表示制御部１６１は、出力されたコマンドに基づいて、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行うことができる。

第２実施形態では、設定部１５５は、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づく第１音声合成及び第１表示制御を行うか撮像制御部１５３のデジタルＰＴＺのデフォルトの設定に基づく第２音声合成及び第２表示制御を行うかを設定する。具体的には、設定部１５５は、会議端末１０を使用している会議の参加者が操作部１７０から音声合成手法及び表示制御手法の設定操作入力を行うので、当該設定操作入力から第１音声合成及び第１表示制御を行うか第２音声合成及び第２表示制御を行うかを設定する。なお第２実施形態では、第１音声合成及び第１表示制御を行う設定の場合に、前述の撮像制御部１５３がデジタルＰＴＺ（画像の表示範囲）を制御でき、第２音声合成及び第２表示制御を行う設定の場合に、前述の撮像制御部１５３がデジタルＰＴＺ（画像の表示範囲）を制御できないことを想定している。

第２実施形態では、音声合成部１５９は、例えば、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づいて、受信部１５７が他の会議端末１０から受信した複数の音声を合成する。

具体的には、音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

例えば、音声合成部１５９は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定（例えば、デジタルＰＴＺの設定値）より、当該画像の表示範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

一方、音声合成部１５９は、設定部１５５により第２音声合成及び第２表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。なお、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定は、例えば、撮像制御部１５３が把握している。

例えば、音声合成部１５９は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定（例えば、画像の全てを表示）より、画像のデフォルトの表示範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。

第２実施形態では、表示制御部１６１は、例えば、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づいて、受信部１５７が他の会議端末１０から受信した画像を表示部１８０に表示させる。

具体的には、表示制御部１６１は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した画像を表示部１８０に表示させる。

例えば、表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定（例えば、デジタルＰＴＺの設定値を示すコマンド）に基づいて、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる。これにより、あたかもメカニカルなＰＴＺを行ったかのように表示範囲が制御された画像を表示できる。

一方、表示制御部１６１は、設定部１５５により第２音声合成及び第２表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した画像を表示部１８０に表示させる。なお、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定は、例えば、撮像制御部１５３が把握している。

例えば、表示制御部１６１は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定（例えば、画像の全てを表示）に基づいて、受信部１５７が他の会議端末１０から受信した画像に対して必要であればデジタルＰＴＺを行い、表示部１８０に表示させる。なお、表示制御部１６１は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定上、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行う必要がなければ、そのまま表示部１８０に表示させる。

図６は、第２実施形態の会議端末１０で実行される送信動作の一例を示すフローチャート図である。

まず、会議端末１０の送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ３０１）。

続いて、会議端末１０の撮像部１１０は、会議端末１０を使用する会議の参加者を撮像する（ステップＳ３０７）。

続いて、会議端末１０の音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者などが発話する音声を入力する（ステップＳ３０９）。

続いて、会議端末１０の送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし（ステップＳ３１１）、エンコードされた画像及び複数の音声を、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ３１３）。

続いて、会議が終了しなければ（ステップＳ３１５でＮｏ）、ステップＳ３０７へ戻り、会議が終了すれば（ステップＳ３１５でＹｅｓ）、処理は終了となる。

図７は、第２実施形態の会議端末１０で実行される受信動作の一例を示すフローチャート図である。

まず、会議端末１０の受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する（ステップＳ４０１）。

続いて、会議端末１０の撮像制御部１５３は、デジタルＰＴＺの設定を変更する場合（ステップＳ４０３でＹｅｓ）、デジタルＰＴＺの設定を変更する（ステップＳ４０５）。

なお、デジタルＰＴＺの設定を変更しない場合（ステップＳ４０３でＮｏ）、ステップＳ４０５の処理は行われない。

続いて、会議端末１０の受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信し（ステップＳ４０７）、受信した画像及び複数の音声をデコードする（ステップＳ４０９）。

続いて、会議端末１０の音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合（ステップＳ４１１でＹｅｓ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ４１３）。

続いて、会議端末１０の表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づく表示範囲となるように、当該画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる（ステップＳ４１５）。

一方、音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されていない場合（ステップＳ４１１でＮｏ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づく表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ４１７）。

続いて、会議端末１０の表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づく表示範囲となるように、当該画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる（ステップＳ４１９）。

続いて、会議端末１０の音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる（ステップＳ４２１）。

続いて、会議が終了しなければ（ステップＳ４２３でＮｏ）、ステップＳ４０３へ戻り、会議が終了すれば（ステップＳ４２３でＹｅｓ）、処理は終了となる。

以上のように第２実施形態によれば、受信側でデジタルＰＴＺを行いながら、音声合成を行うので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができる。

例えば、他の会議端末１０が撮像した画像範囲のうち、指定した所定の領域で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、指定した所定の領域に適合した合成音声を生成でき、同一の場で会議を行っているような臨場感のある遠隔会議を行うことができる。

また例えば、他の会議端末１０が撮像した画像のデフォルトの範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、例えば、他の会議端末１０が有する撮像部１１０が、会議の参加者ではなくホワイトボードなど音声が発生しない範囲を撮像している場合であっても、他の会議端末１０を使用している会議の参加者の発話音声を途切れさせずに、当該発話音声をある程度の品質で再現することができる。

特に第２実施形態によれば、受信側で音声合成を行うので、多拠点間で会議を行っており、受信側が複数存在し、それぞれ受信側で着目したい範囲の音声が異なる場合であっても、それぞれの受信側が所望する音声合成を行うことができ、それぞれの受信側が所望する音声合成に柔軟に対応することができる。

（変形例）
なお、本発明は、上記各実施形態に限定されるものではなく、種々の変形が可能である。例えば、会議端末１０が行った、エンコード処理、デコード処理、及び音声合成処理の少なくともいずれかをサーバ２０で行うようにしてもよい。

例えば、音声の合成をサーバ２０が行う場合、サーバ２０は、少なくとも端末装置１０の通信部１４０、送信部１５１、受信部１５７、及び音声合成部１５９と同様の構成を備える。

図８は、変形例のサーバ２０で実行される処理の一例を示すフローチャート図である。

まず、サーバ２０の受信部１５７は、会議開始時に、会議に用いられている送信側の会議端末１０から合成制御情報を受信する（ステップＳ５０１）。

続いて、サーバ２０の受信部１５７は、会議に用いられている受信側の会議端末１０から、第１音声合成を行うか第２音声合成を行うかの設定を受信した場合（ステップＳ５０３でＹｅｓ）、受信側の会議端末１０の音声合成の設定を受信した設定に更新する（ステップＳ５０５）。なお、受信側の会議端末１０から、第１音声合成を行うか第２音声合成を行うかの設定を受信しなかった場合（ステップＳ５０３でＮｏ）、ステップＳ５０５の処理は行われない。

続いて、サーバ２０の受信部１５７は、会議に用いられている受信側の会議端末１０から、デジタルＰＴＺの設定を受信した場合（ステップＳ５０７でＹｅｓ）、受信側の会議端末１０のデジタルＰＴＺの設定を受信した設定に更新する（ステップＳ５０９）。なお、受信側の会議端末１０から、デジタルＰＴＺの設定を受信しなかった場合（ステップＳ５０７でＮｏ）、ステップＳ５０９の処理は行われない。

続いて、サーバ２０の受信部１５７は、送信側の会議端末１０が有する撮像部１１０により撮像され、エンコードされた画像と、送信側の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力され、エンコードされた音声と、を受信し（ステップＳ５１１）、受信した複数の音声をデコードする（ステップＳ５１３）。

続いて、サーバ２０の音声合成部１５９は、受信側の会議端末１０の音声合成の設定が第１音声合成の場合（ステップＳ５１５でＹｅｓ）、サーバ２０の受信部１５７が送信側の会議端末１０から受信した合成制御情報を用いて、サーバ２０の受信部１５７が受信側の会議端末１０から受信したデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、デコードした複数の音声を合成する（ステップＳ５１７）。

一方、サーバ２０の音声合成部１５９は、受信側の会議端末１０の音声合成の設定が第２音声合成の場合（ステップＳ５１５でＮｏ）、サーバ２０の受信部１５７が送信側の会議端末１０から受信した合成制御情報を用いて、受信側の会議端末１０のデフォルトのデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、デコードした複数の音声を合成する（ステップＳ５１９）。

続いて、サーバ２０の送信部１５１は、合成音声をエンコードし（ステップＳ５２１）、エンコードされた画像及び合成音声を、受信側の会議端末１０に送信する（ステップＳ５２３）。

続いて、会議が終了しなければ（ステップＳ５２５でＮｏ）、ステップＳ５０３へ戻り、会議が終了すれば（ステップＳ５２５でＹｅｓ）、処理は終了となる。

変形例においても第２実施形態と同様の効果が得られる。特に変形例によれば、音声の合成処理の種類が増加しても、サーバ２０で処理するので、会議端末１０にかかる負荷を抑えることができる。

（ハードウェア構成）
上記実施形態の会議端末１０のハードウェア構成について説明する。上記実施形態の会議端末１０は、ＣＰＵなどの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置、ＨＤＤやＳＳＤなどの外部記憶装置、ディスプレイなどの表示装置、マウスやキーボードなどの入力装置、ＮＩＣなどの通信装置、デジタルカメラなどの撮像装置、マイクロフォンなどの音声入力装置、及びスピーカなどの音声出力装置を備えており、通常のコンピュータを利用したハードウェア構成で実現できる。

上記実施形態の会議端末１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記実施形態の会議端末１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の会議端末１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態の会議端末１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態の会議端末１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、制御装置が外部記憶装置からプログラムを記憶装置上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

１ ビデオ会議システム
２ ネットワーク
１０−１〜１０−Ｎ（１０） 会議端末
２０ サーバ
１１０ 撮像部
１２０−１〜１２０−Ｍ（１２０） 音声入力部
１３０ 記憶部
１４０ 通信部
１５０ 制御部
１５１ 送信部
１５３ 撮像制御部
１５５ 設定部
１５７ 受信部
１５９ 音声合成部
１６１ 表示制御部
１６３ 音声出力制御部
１７０ 操作部
１８０ 表示部
１９０ 音声出力部

特許第３３７０５３０号公報

Claims (9)

1. ネットワークを介して他の端末装置と接続される端末装置であって、
   前記他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部と、
   前記撮像部により撮像された画像と、前記他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部と、
   前記複数の音声を合成して合成音声を生成する音声合成部と、
   前記画像を表示部に表示させる表示制御部と、
   前記合成音声を音声出力部に出力させる音声出力制御部と、
   を備える端末装置。
2. 前記撮像制御部は、前記撮像部の撮像範囲を遠隔制御する請求項１に記載の端末装置。
3. 前記撮像制御部は、前記画像の表示範囲を制御する請求項１に記載の端末装置。
4. 前記音声合成部は、前記撮像範囲の遠隔制御の設定に基づいて、前記複数の音声を合成する請求項２に記載の端末装置。
5. 前記撮像範囲の遠隔制御の設定に基づく第１音声合成を行うか前記撮像範囲のデフォルトの設定に基づく第２音声合成を行うかを設定する設定部を更に備え、
   前記音声合成部は、前記第１音声合成が設定されている場合、前記撮像範囲の遠隔制御の設定に基づいて、前記複数の音声を合成し、前記第２音声合成が設定されている場合、前記撮像範囲のデフォルトの設定に基づいて、前記複数の音声を合成する請求項２又は４に記載の端末装置。
6. 前記音声合成部は、前記表示範囲の設定に基づいて、前記複数の音声を合成し、
   前記表示制御部は、前記表示範囲の設定に基づいて、前記画像を前記表示部に表示させる請求項３に記載の端末装置。
7. 前記表示範囲の設定に基づく第１音声合成及び第１表示制御を行うか前記表示範囲のデフォルトの設定に基づく第２音声合成及び第２表示制御を行うかを設定する設定部を更に備え、
   前記音声合成部は、前記第１音声合成及び前記第１表示制御が設定されている場合、前記表示範囲の設定に基づいて、前記複数の音声を合成し、前記第２音声合成及び前記第２表示制御が設定されている場合、前記表示範囲のデフォルトの設定に基づいて、前記複数の音声を合成し、
   前記表示制御部は、前記第１音声合成及び前記第１表示制御が設定されている場合、前記表示範囲の設定に基づいて、前記画像を前記表示部に表示させ、前記第２音声合成及び前記第２表示制御が設定されている場合、前記表示範囲のデフォルトの設定に基づいて、前記画像を前記表示部に表示させる請求項３又は６に記載の端末装置。
8. ネットワークを介して接続された複数の端末装置を備える通信システムであって、
   一の端末装置は、
   撮像部と、
   複数の音声入力部と、
   前記撮像部により撮像された画像と、前記複数の音声入力部それぞれに入力された音声と、を送信する送信部と、を備え、
   他の端末装置は、
   前記撮像部の撮像範囲を遠隔制御する撮像制御部と、
   前記画像と前記複数の音声とを受信する受信部と、
   前記複数の音声を合成して合成音声を生成する音声合成部と、
   前記画像を表示部に表示させる表示制御部と、
   前記合成音声を音声出力部に出力させる音声出力制御部と、を備える通信システム。
9. ネットワークを介して接続された複数の端末装置を備える通信システムであって、
   一の端末装置は、
   撮像部と、
   複数の音声入力部と、
   前記撮像部により撮像された画像と、前記複数の音声入力部それぞれに入力された音声と、を送信する送信部と、を備え、
   他の端末装置は、
   前記画像と前記複数の音声とを受信する受信部と、
   前記画像の表示範囲を制御する撮像制御部と、
   前記複数の音声を合成して合成音声を生成する音声合成部と、
   前記画像を表示部に表示させる表示制御部と、
   前記合成音声を音声出力部に出力させる音声出力制御部と、を備える通信システム。

Images