JP2017083661A - 通信システム、通信装置、通信方法およびプログラム - Google Patents

Abstract

【課題】意図した出力を行うことが可能な通信システム、通信装置、通信方法およびプログラムを提供する。【解決手段】本発明の通信装置は、生成部と送信制御部と出力制御部とを備える。生成部は、投影面のうち、通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、基本領域のサイズ、および、基本領域の座標と、撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、投射領域の座標と撮像画像の座標との対応関係を示す第２の対応情報を生成する。送信制御部は、投射領域のうちユーザによって指定された範囲を示す座標情報と、第２の対応情報とを、他の通信装置へ送信する制御を行う。出力制御部は、撮像画像のうち座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を他の通信装置から受信した場合、その受信した出力情報を出力する制御を行う。【選択図】図５

Description

本発明は、通信システム、通信装置、通信方法およびプログラムに関する。

複数の通信装置間でデータの送受信を行う通信システムの一形態として、通信ネットワークを利用して遠隔会議を実現するビデオ（テレビ）会議システムが知られている。このビデオ会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔ビデオ会議システムの通信装置（端末装置）を用いて会議の当事者などの会議室の画像および発言などの音声をデジタルデータに変換して相手側の通信装置に送信し、相手側の会議室のディスプレイに画像を表示し、音声をスピーカから出力することで、実際の会議に近い状態で遠隔地間の会議を行うことができる。

このようなビデオ会議システムでは、会議の参加者の音声を取得するためにマイクを使用し、映像を取得するためにカメラを使用している。カメラには画角があるため、カメラの画角外にいる会議参加者の映像は撮影することができない。この問題を解決するため、周囲３６０度のパノラマ画像を取得可能なパノラマカメラを用いる方法が知られている。一方、通常のマイクは無指向性のため、参加者の発言以外の周囲の音も集音してしまう。この問題を解決するため、マイクアレイを使用してマイクの集音範囲に指向性をもたせることで、周囲の音の集音を抑え、参加者の発言をクリアにする方法が知られている。例えば特許文献１には、会議端末は、選択された参加者の配置パターンに従ってマイクアレイの集音ビームを形成する方法が開示されている。また、特許文献２には、複数のマイクを配列して構成されたマイクアレイを用いて話者の方向を検出し、その方向にカメラの撮影方向を追従させる技術が開示されている。

上記のパノラマカメラと、マイクアレイを組み合わせて、パノラマカメラで会議室全体を撮影し、かつ、発言者がいた場合は、少なくとも発言者の方向にマイクの集音範囲を向けることで、より臨場感のあるビデオ会議を実現する方法が考えられる。しかしながら、この組み合わせでは、発言者の方向にマイクの集音範囲を向けることはできるが、相手側の通信装置では、発言者にフォーカスした出力を望んでいない場合もある。したがって、この組み合わせでは、通信システムを構成する各通信装置が意図した出力を行うことができないという問題がある。

本発明は、上記に鑑みてなされたものであって、意図した出力を行うことが可能な通信システム、通信装置、通信方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムであって、前記第１の通信装置は、投影面のうち前記第１の通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成部と、前記投射領域のうち、ユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを前記第２の通信装置へ送信する制御を行う第１の送信制御部と、前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備え、前記第２の通信装置は、前記第２の通信装置の周囲を撮像する前記撮像部による撮像で得られた前記撮像画像を取得する取得部と、前記第１の通信装置から前記座標情報と前記第２の対応情報とを受信した場合、その受信した前記座標情報と前記第２の対応情報とに基づいて、前記取得部により取得された前記撮像画像のうち前記座標情報に対応する領域を特定する特定部と、前記第２の通信装置に搭載された複数のマイクのうち、前記特定部により特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、前記指向性制御部により指向性が制御された音声を含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御部と、を備える。

本発明によれば、意図した出力を行うことが可能な通信システム、通信装置、通信方法およびプログラムを提供することができる。

図１は、通信システムの構成の一例を示す図である。 図２は、会議端末のハードウェア構成の一例を示す図である。 図３は、マイクの設置例を示す図である。 図４は、会議端末の詳細を説明するための図である。 図５は、実施形態のビデオ会議の状況の一例を示す模式図である。 図６は、投射画像の切り出し範囲を指定する方法について説明するための図である。 図７は、切り出し範囲の指定の一例を示す図である。 図８は、会議端末の制御部が有する機能の一例を示す図である。 図９は、投射画像と撮像画像との対応関係のキャリブレーションを説明するための図である。 図１０は、プロジェクタの動作例を示すフローチャートである。 図１１は、会議端末の動作例を示すフローチャートである。 図１２は、会議端末の動作例を示すフローチャートである。 図１３は、会議端末の動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る通信システム、通信装置、通信方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の通信システム１の構成の一例を示す図である。図１の例では、拠点Ａおよび拠点Ｂの各々に通信装置の一例である会議端末２が１台ずつ配置されている。拠点Ａおよび拠点Ｂの各々に配置された会議端末２は、インターネットなどのネットワーク３を介してサーバ４と接続される。なお、これに限らず、通信システム１に含まれる会議端末２の数（拠点の数）は任意に変更可能である。

サーバ４は、各会議端末２がサーバ４と接続しているか否かを監視し、会議開始時における会議端末２の呼び出し制御等の会議時に必要な制御を行う。会議時の会議端末２は、自装置のデータ送信時は、サーバ４に対して画像・音声データを送信し、サーバ４は、相手側の他の会議端末２に対して画像・音声データを送信する。データ受信時は、サーバ４を介して、相手側の他の会議端末２の画像・音声データを受信する。例えば拠点Ａと拠点Ｂで会議を行った場合、拠点Ａの会議端末２が送信したデータは、サーバ４を介して拠点Ｂの会議端末２に送信され、他の会議端末２（会議に参加していない会議端末２）には送信されない。同様に、拠点Ｂの会議端末２が送信したデータは、サーバ４を介して、会議に参加している拠点Ａの会議端末２に送信され、会議に参加していない他の会議端末２には送信されない。上記のような制御を行うことで、複数の会議端末２間(複数の拠点間)で会議を行うことができる。

次に、会議端末２の構成について説明する。なお、拠点Ａおよび拠点Ｂの各々に配置された会議端末２の構成は同じなので、以下の説明では、１つの会議端末２を例に挙げて説明する。図２は、会議端末２のハードウェア構成の一例を示す図である。図２に示すように、会議端末２は、パノラマカメラ１０、表示部１１、マイクアレイ１２、スピーカ１３、ＣＰＵ１４、記憶装置１５、メモリ１６、ＬＡＮ Ｉ／Ｆ部１７、操作部１８を備える。

パノラマカメラ１０は、「撮像部」の一例であり、撮像により得られる撮像画像を生成する。この例では、パノラマカメラ１０は、パノラマカメラ１０の周囲３６０度（会議端末２の周囲３６０度であると考えてもよい）を撮像して得られるパノラマ画像（撮像画像の一例）を生成し、生成したパノラマ画像をＣＰＵ１４へ送信する。例えばパノラマカメラ１０は、公知の全天球カメラなどで構成される。パノラマカメラ１０の周囲３６０度を撮像することで、パノラマカメラ１０の周囲に存在する会議参加者全員が映り込んだ撮像画像を生成することができる。ここでパノラマ画像とは、複数の撮像素子を持つカメラ、１つのカメラを動かすことや、複数のカメラを用いて撮影することで、複数枚の画像（撮像画像）を合成して生成された画像を意味する。なお、この例では、パノラマカメラ１０による撮像が行われる領域を、パノラマカメラ１０の周囲３６０度としているが、これより狭くても構わない。

表示部１１は、ＣＰＵ１４から受信した映像データを、画面に表示する機能を有する。この例では、表示部１１は、液晶型ディスプレイ装置などで構成される。

マイクアレイ１２は、会議端末２に分散して搭載された複数のマイクを含み、会議参加者の音声を取得してＣＰＵ１４に送信する機能を有する。マイクアレイとは、複数の全指向性のマイク（マイクロホン）から構成され、ビームフォーマにより指向性を形成する。一般的に、ビームフォーマとは、各マイクロホンに到達する音の時間差を利用し、指向性を形成する手法である。ビームフォーマにより形成される指向性は、マイクロホンの配置により上下方向や左右方向に自由に指向性を向けることができる。そのため、集音したいエリア（目的エリア）を任意に変更することができる。

図３は、会議端末２の筐体において、マイクアレイ１２に含まれる６つのマイクａ〜マイクｆが設置される例を示す図である。ＣＰＵ１４は、各マイクの有効／無効を切り替え、各マイクの音声を積算することにより、任意の範囲の音声を集音することができる。また、各マイクと、会議端末２の筐体における設置箇所との対応関係は、会議端末２の記憶装置１５に予め保存されている。

図２の説明を続ける。スピーカ１３は、ＣＰＵ１４から受信した音声データを出力する機能を有する。ＣＰＵ１４は、会議端末２全体の動作を統括的に制御する。例えばＣＰＵ１４は、ビデオ会議を制御する機能、パノラマカメラ１０から取得した映像やマイクアレイ１２から取得した音声データをエンコードしてＬＡＮ Ｉ／Ｆ部１７に送信し、ＬＡＮ Ｉ／Ｆ部１７で受信した会議相手側の映像・音声データをデコードして表示部１１やスピーカ１３に送信するＣＯＤＥＣ機能などを有する。ＣＰＵ１４が使用するＣＯＤＥＣの一例として、Ｈ．２６４／ＡＶＣやＨ．２６４／ＳＶＣがある。さらに、ＣＰＵ１４は、マイクアレイ１２の指向性を制御する機能や、パノラマカメラ１０から取得したパノラマ画像に映り込んだ会議参加者のうち発言者をクローズアップして表示する機能などを有する。

記憶装置１５は、ＣＰＵ１４が実行する各種の制御（ビデオ会議制御等）のプログラムや後述の変換テーブルなどを記憶する。記憶装置１５の例としては、フラッシュメモリやＨＤＤといった不揮発性の記憶媒体が挙げられる。

メモリ１６は、ＣＰＵ１４が実行するプログラムの展開、および、演算データの一時保存を行う。メモリ１６の例としては、ＤＤＲメモリなどの揮発性のメモリが挙げられる。ＬＡＮ Ｉ／Ｆ部１７はネットワーク３を経由して別の会議端末２と接続し、データ（画像・音声データ）の送受信を行う。ＬＡＮ Ｉ／Ｆ部１７は、１０Ｂａｓｅ−Ｔ、１００Ｂａｓｅ−ＴＸ、１０００Ｂａｓｅ−Ｔに対応し、Ｅｔｈｅｒｎｅｔ（登録商標）に接続する有線ＬＡＮ、８０２．１１ａ／ｂ／ｇ／ｎ／ａｃに対応した無線ＬＡＮが例として挙げられる。

操作部１８は、ユーザによる各種の操作（会議端末２の機器制御に関する各種の操作）に用いられるデバイスであり、例えばキーボードやボタン等を有する。

図４は、会議端末２の詳細を説明するための図である。会議端末２は、「画像投射装置」の一例であるプロジェクタ３００に接続されている。プロジェクタ３００は、該プロジェクタ３００が設置された拠点に設けられた投影面（例えばスクリーン）に対して、会議端末２から入力された画像を投射する機能を有する。このプロジェクタ３００は、特殊なワイヤレスインタラクティブペン（専用のスタイラスペン）を使用して、投射面のうち画像が投射された領域を直接操作することで、各種の操作（ポイント操作、クリック操作、スクロール操作等）を入力することが可能な、いわゆる対話型操作が可能である。ＴＩ社のＤＬＰインタラクティブ・プロジェクタでは、投射ビームに組み込まれて独自のピクセル・レベルで管理できるシステムにより、プロジェクタは、投影面のうち専用のスタイラスペンの指し示している位置を常に把握しているので、起動時にキャリブレーションを実行する必要がなく、プロジェクタが移動したときでもキャリブレーションが不要という特徴がある。本実施形態では、このシステムに対応したプロジェクタ３００と、専用のスタイラスペン４００とを用いている。

プロジェクタ３００は、スタイラスペン４００および会議端末２の各々と無線通信する機能を有し、スタイラスペン４００は、プロジェクタ３００と無線通信する機能を有している。プロジェクタ３００は、スタイラスペン４００と無線通信することで、スタイラスペン４００から、投影面のうちスタイラスペン４００が指し示す位置を示す情報を取得できるので、投影面のうちスタイラスペン４００が指し示す位置（ユーザによって指し示された位置であると考えてもよい）を常に把握することができる。また、会議端末２も、プロジェクタ３００と無線通信することで、投影面のうちスタイラスペン４００が指し示す位置を常に把握することができる。

この例では、拠点Ａおよび拠点Ｂの各々に、同一構成のプロジェクタ３００と専用のスタイラスペン４００との組み合わせが１つずつ配置されている。

図４に示すように、会議端末２は、上述したパノラマカメラ１０、マイクアレイ１２、スピーカ１３、記憶装置１５等の他、ネットワーク部１００、制御部１０１、表示制御部１０２、無線通信部１０９、カメラＩ／Ｆレシーバ１１１、レンズ特性保持部１１２、歪曲補正処理部１１３を備える。ネットワーク部１００、制御部１０１、表示制御部１０２、無線通信部１０９、カメラＩ／Ｆレシーバ１１１、および、歪曲補正処理部１１３の各々の機能は、ＣＰＵ１４が記憶装置１５等に格納されたプログラムを実行することにより実現される形態であってもよいし、これらの機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）により実現される形態であってもよい。また、例えばレンズ特性保持部１１２は、記憶装置１５により実現される形態であってもよい。

ネットワーク部１００は、会議の相手となる他の会議端末２との間でのデータの送受信を行う。

制御部１０１は、各種の制御や演算を行う部分である。制御部１０１が有する機能の詳細については後述する。

表示制御部１０２は、プロジェクタ３００による表示（投影面に対する画像の投射）を制御する機能を有している。

無線通信部１０９は、プロジェクタ３００との間で無線通信を行い、プロジェクタ３００から、投影面のうちスタイラスペン４００が指し示す位置を示す位置情報を取得する。無線通信部１０９は、プロジェクタ３００から取得した位置情報を制御部１０１へ通知することができる。

パノラマカメラ１０により生成されたパノラマ画像はカメラＩ／Ｆレシーバ１１１に送られる。カメラＩ／Ｆレシーバ１１１は、ＶｂｙＯｎｅ（登録商標）やＨＤＭＩ（登録商標）等の高速なシリアルＩ／Ｆを想定している。カメラＩ／Ｆレシーバ１１１によりシリアル／パラレル変換されたパノラマ画像は歪曲補正処理部１１３により歪みを補正されて制御部１０１へ出力される。レンズ特性保持部１１２には、レンズ特性に合わせて歪曲補正するための変換パラメータが格納されており、歪曲補正処理部１１３は、この変換パラメータを用いてパノラマ画像の歪みを補正することができる。

図５は、本実施形態のビデオ会議の状況の一例を示す模式図である。拠点１には、会議端末２が机に置かれている。会議端末２は、パノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定している。上述したように、この会議端末２は、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点１では、人物Ｄ〜Ｈの５人がビデオ会議に参加していることを示している。また、拠点１に設置された会議端末２には、映像出力ケーブルを介して上述のプロジェクタ３００が接続されており、拠点２側のパノラマ画像を含む画像（拠点２側のパノラマ画像が表示された画像）が投影面に投射される。以下の説明では、拠点１側の投影面に投射された状態の画像を「投射画像１」と称し、拠点２側の投影面に投射された状態の画像を「投射画像２」と称する。両者を互いに区別しない場合は、単に「投射画像」と称する。投射画像１の下側には、拠点２で会議に参加している全ての人物（この例では人物Ａ〜Ｃ）が映り込んだパノラマ画像が表示されている。また、投射画像１の上側には、発言者である人物Ａを拡大した切り出し画像が表示されている。通常の話者追従機能を搭載したビデオ会議システムの場合は、何れかの会議参加者が発言すると、切り出し画像に発言者がクローズアップして表示される。

拠点２においても、会議端末２が机に置かれている。拠点１と同様に、会議端末２はパノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定しており、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点２では、人物Ａ〜Ｃの３人がビデオ会議に参加していることを示している。拠点１と同様に、拠点２に設置された会議端末２には、映像出力ケーブルを介して上述のプロジェクタ３００が接続されており、拠点１側のパノラマ画像を含む画像（拠点１側のパノラマ画像が表示された画像）が投影面に投射される。投射画像２の下側には、拠点１で会議に参加している全ての人物（この例では人物Ｄ〜Ｈ）が映り込んだパノラマ画像が表示されている。ここで、通常であれば、発言者が切り出し画像に表示されるが、例えば図５のように、拠点２で会議に参加している何れかの人物がスタイラスペン４００を用いて、点線で囲まれた領域を指定した場合、その指定された領域に応じて指向性が制御された音声が出力されるとともに、その指定された領域の画像が切り出し画像として投射画像２上に表示される。すなわち、パノラマ画像に映り込んだ会議参加者のうち、クローズアップしたい人物が映り込んだ領域を指定することで、その指定された領域にフォーカスした出力を行わせることができる。また、人物以外でも、パノラマ画像に映り込んだ被写体のうち、注目したい被写体が映り込んだ領域を指定することで、その指定された領域にフォーカスした出力を行わせることができる。これを実現するための会議端末２の構成（制御部１０１が有する機能）については後述する。

図６を用いて、投射画像の切り出し範囲を指定する方法について説明する。プロジェクタ３００は、切り出し範囲の指定を開始することを指示するための開始アイコン３１０の押下を受け付けると、図６の（Ａ）に示すような、切り出し範囲の指定開始を確認するポップアップ画面を表示する制御を行う。そして、プロジェクタ３００は、ポップアップ画面の「ＯＫボタン」の押下を受け付けると、図６の（Ｂ）に示すような、切り出し範囲の指定を促すメッセージを表示する制御を行う。その後、ユーザは、スタイラスペン４００などで、切り出し範囲を指定する操作を行うことができる。そして、プロジェクタ３００は、図６の（Ｃ）に示すように、切り出し範囲の指定を終了することを指示するための終了アイコン３２０の押下を受け付けると、投影面のうち、指定された切り出し範囲（図６の例では点線で囲まれた矩形）の座標を示す座標情報を会議端末２へ送信する。そして、会議端末２は、プロジェクタ３００から受信した範囲情報を、会議相手となる他の会議端末２へ送信する制御を行う。

いま、図７に示すように、投射画像２（拠点２側の投影面のうち拠点１側のパノラマ画像を含む画像が投射された領域であると捉えることもできる）のうち、人物Ｈが映り込んだ領域３３０が切り出し範囲として指定された場合を想定する。この例では、領域３３０は矩形の領域であり、領域３３０の座標情報は、領域３３０の４つの頂点（Ａ，Ｂ，Ｃ，Ｄ）の各々の座標を示す情報となる。この例では、投射画像２における頂点Ａの座標は（Ｘａ，Ｙａ）、頂点Ｂの座標は（Ｘｂ，Ｙｂ）、頂点Ｃの座標は（Ｘｃ，Ｙｃ）、頂点Ｄの座標は（Ｘｄ，Ｙｄ）である。この座標情報は、拠点１側の会議端末２へ送信される。

拠点１側の会議端末２は、拠点１側のパノラマ画像のうち、拠点２側の会議端末２から受信した座標情報に対応する領域を切り出した切り出し画像と、該領域に応じて指向性が制御された音声とを含む出力情報を生成し、その生成した出力情報を拠点２側の会議端末２へ送信する。図７の例では、拠点１側の会議端末２は、自装置に搭載されたパノラマカメラ１０から取得したパノラマ画像のうち、Ａ’の座標（Ｘａ’，Ｙａ’）と、Ｂ’の座標（Ｘｂ’，Ｙｂ’）と、Ｃ’の座標（Ｘｃ’，Ｙｃ’）と、Ｄ’の座標（Ｘｄ’，Ｙｄ’）とで囲まれた矩形の領域の画像を、切り出し画像として切り出す。また、拠点１側の会議端末２は、マイクアレイ１２に含まれるマイクの位置と、パノラマ画像の座標との関係を示す位置情報に基づいて、パノラマ画像のうち、拠点２側の会議端末２から受信した座標情報に対応する領域の座標に最も近い位置に配置されたマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。

そして、拠点１側の会議端末２は、以上のようにして切り出した切り出し画像と、指向性が制御された音声とを含む出力情報を拠点２側の会議端末２へ送信する。拠点２側の会議端末２は、拠点１側の会議端末２から受信した出力情報を出力する。

ここで、本実施形態の各会議端末２（拠点１側の会議端末２、および、拠点２側の会議端末２）は、該会議端末２が設置された拠点に設けられた投影面のうち、該会議端末２に接続されたプロジェクタ３００によって画像が投射される領域として予め定められた領域を示す基本領域の座標と、パノラマ画像の座標との対応関係を示す第１の対応情報を予め保持している。基本領域とは、予め設計された位置および姿勢に設定されたプロジェクタ３００が画像を投射した場合に、投影面のうち該画像が投射されることが想定される領域を表す。例えばプロジェクタ３００を使用する際に、その位置および姿勢が、予め設計された位置および姿勢と異なる場合は、投影面のうち実際に画像が投射される領域（以下の説明では、「投射領域」と称する場合がある）のサイズは基本領域のサイズとは異なってしまうので、上述の第１の対応情報では、投射領域の座標と、撮像画像の座標との対応関係を正確に表すことができないという問題がある。

そこで、本実施形態の会議端末２は、投影面のうちプロジェクタ３００によって実際に画像が投射される領域を示す投射領域のサイズと、基本領域のサイズと、上述の第１の対応情報とに基づいて、投射領域の座標と撮像画像の座標との対応関係を示す第２の対応情報を生成する。これにより、使用中のプロジェクタ３００の位置および姿勢に関わらず、投射領域の座標と、撮像画像の座標との対応関係を正確に表すことができる。より具体的な内容については後述する。

図８は、会議端末２の制御部１０１が有する機能の一例を示す図である。説明の便宜上、図８では、本実施形態に関する機能を主に例示しているが、制御部１０１が有する機能は、これらに限られるものではない。

図８に示すように、制御部１０１は、生成部１２１と、第１の送信制御部１２２と、取得部１２３と、特定部１２４と、切り出し部１２５と、指向性制御部１２６と、第２の送信制御部１２７と、出力制御部１２８とを有する。

生成部１２１は、投影面のうち自装置に接続されたプロジェクタ３００によって実際に画像が投射される領域を示す投射領域のサイズ、投影面のうち自装置に接続されたプロジェクタ３００によって画像が投射される領域として予め定められた領域を示す基本領域のサイズ、および、上述の第１の対応情報に基づいて、投射領域の座標と撮像画像の座標との対応関係を示す第２の対応情報を生成する。より具体的には、生成部１２１は、基本領域のサイズと投射領域のサイズとの違いに応じた倍率変換を行って、投射領域の各座標に対応するパノラマ画像の座標を導いて第２の対応情報を生成する。

本実施形態では、生成部１２１は、ユーザの操作に応じて投射領域を特定する。より具体的には、生成部１２１は、投影面のうち、ユーザによって指し示された、投射領域の４つの頂点に対応する位置に基づいて、該投射領域を特定する。また、この例では、生成部１２１は、ユーザが投影面上の位置を指し示すのに用いる指示デバイス（ここでは専用のスタイラスペン４００）から、投影面のうち該指示デバイスが指し示す位置を示す情報を、ユーザによって指し示された位置を示す情報として取得する。

例えば図９に示すように、基本領域と投射領域とが異なる場合を想定する。本実施形態では、上述した切り出し範囲を指定するためのアイコンと同様に、投影面に投射された画像（投射画像）上で、投射画像と撮像画像との対応関係のキャリブレーションの実行を指示するためのアイコンの押下を受け付けるとキャリブレーションモードに入り、生成部１２１は、矩形状の投射画像（投射領域）の４つの頂点を指し示すことを促す情報（映像でもよいし音声でもよい）を出力する制御を行う。そして、図９の（Ｂ）に示すように、ユーザは、投射画像の４つの頂点を、規定の順番に従って専用のスタイラスペン４００でポイント（指示）していく。これにより、生成部１２１は、投射領域の４つの頂点の座標を確認できるので、左辺の長さ（α’）、下辺の長さ（β’）、上辺の長さ（γ’）、右辺の長さ（δ’）を確認できる。基本領域の左辺の長さ（α）、下辺の長さ（β）、上辺の長さ（γ）、右辺の長さ（δ）は予め分かっているので、α／α’、β／β’、γ／γ’、δ／δ’といったように４つの辺ごとのスケールの違いを把握することができる。生成部１２１は、この値（４つの辺ごとのスケールの違いを表す値）を利用して上述の第１の対応情報の倍率変換を行うことにより、投射領域の各座標に対応するパノラマ座標を導き出すことができる。これにより、投射領域の座標と、撮像画像の座標との対応関係を示す第２の対応情報を生成することができる。

図８に戻って説明を続ける。第１の送信制御部１２２は、投射領域のうち、ユーザによって指定された範囲（切り出し範囲として指定された範囲）を示す座標情報と、第２の対応情報とを会議相手となる他の会議端末２（以下では、単に「他の会議端末２」と称する場合がある）へ送信する制御を行う。

取得部１２３は、自装置の周囲を撮像するパノラマカメラ１０による撮像で得られたパノラマ画像を取得する。この例では、取得部１２３は、上述の歪曲補正処理部１１３から入力される補正後のパノラマ画像を取得する。

特定部１２４は、他の会議端末２から、該他の会議端末２が設置された拠点の投影面の投射領域のうち、該他の会議端末２のユーザによって指定された範囲（切り出し範囲）を示す座標情報と、該他の会議端末２によって生成された上述の第２の対応情報とを受信した場合、その受信した座標情報と第２の対応情報とに基づいて、取得部１２３により取得された撮像画像のうち、その受信した座標情報に対応する領域を特定する。

切り出し部１２５は、取得部１２１により取得されたパノラマ画像のうち、特定部１２４により特定された領域の画像を、切り出し画像として切り出す。

指向性制御部１２６は、会議端末２に分散して搭載された複数のマイクのうち、特定部１２４により特定された領域（この例ではパノラマ画像内の領域）に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。指向性制御部１２６は、マイクアレイ１２に含まれるマイクの位置と、パノラマ画像の座標との関係を示す位置情報に基づいて、特定部１２４により特定された領域の座標に対応するマイクを決定することができる。上記位置情報は、例えば記憶装置１５などに格納されていてもよい。

第２の送信制御部１２７は、指向性制御部１２６により指向性が制御された音声を少なくとも含む出力情報を他の会議端末２へ送信する制御を行う。本実施形態では、第２の送信制御部１２７は、指向性制御部１２６により指向性が制御された音声と、切り出し部１２５によって切り出された切り出し画像とを含む出力情報を他の会議端末２へ送信する制御を行う。より具体的には、第２の送信制御部１２７は、取得部１２３により取得されたパノラマ画像と、指向性制御部１２６により指向性が制御された音声と、切り出し部１２５によって切り出された切り出し画像と、を含む出力情報を他の会議端末２へ送信する制御を行う。なお、出力情報は、指向性制御部１２６により指向性が制御された音声（取得部１２３により取得された撮像画像のうち他の会議端末２から受信した座標情報に対応する領域に応じて指向性が制御された音声）を少なくとも含む形態であればよい。例えば切り出し部１２５が設けられない形態とすることもできる。

また、第２の送信制御部１２７は、他の会議端末２から上述の座標情報と第２の対応情報を受信していない場合は、取得部１２３により取得されたパノラマ画像と、該パノラマ画像に映り込んだ会議参加者のうち発言者を切り出して拡大した切り出し画像と、マイクアレイ１２で集音された音声データとを含む通常会議情報を、他の会議端末２へ送信する制御を行う。

出力制御部１２８は、他の会議端末２から受信した画像や音声を出力する制御を行う。出力制御部１２８は、表示制御部１０２に対して、他の会議端末２から受信した画像をプロジェクタ３００から出力（投影面に投射）させることを指示し、他の会議端末２から受信した音声をスピーカ１３から出力する制御を行う。本実施形態の出力制御部１２８は、他の会議端末２から上述の出力情報を受信した場合は、その受信した出力情報を出力する制御を行う。より具体的には、出力制御部１２８は、表示制御部１０２に対して、その受信した出力情報に含まれる切り出し画像およびパノラマ画像を合成した画像を出力させることを指示し、その受信した出力情報に含まれる音声をスピーカ１３から出力する制御を行う。また、出力制御部１２８は、他の会議端末２から上述の通常会議情報を受信した場合は、その受信した通常会議情報を出力する制御を行う。

以上に説明した制御部１０１が有する機能（生成部１２１、第１の送信制御部１２２、取得部１２３、特定部１２４、切り出し部１２５、指向性制御部１２６、第２の送信制御部１２７、出力制御部１２８）は、ＣＰＵ１４が記憶装置１５等に記憶されたプログラムを実行することにより実現されてもよいし、制御部１０１が有する機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。

また、以上の例では、パノラマカメラ１０やスピーカ１３は、会議端末２内に含まれているが、これに限らず、例えば会議端末２外に設けられる形態であってもよい。

図１０は、切り出し範囲を指定する場合のプロジェクタ３００の動作の一例を示すフローチャートである。開始アイコン３１０の押下を受け付けた場合（ステップＳ１：Ｙｅｓ）、切り出し範囲を指定する操作を受け付ける（ステップＳ２）。そして、終了アイコン３２０の押下を受け付けた場合（ステップＳ３：Ｙｅｓ）、指定された切り出し範囲の座標を示す座標情報を会議端末２へ送信する（ステップＳ４）。

図１１は、自装置に接続されたプロジェクタ３００から座標情報を受信した場合の会議端末２の動作例を示すフローチャートである。座標情報を受信した場合（ステップＳ５：Ｙｅｓ）、第１の送信制御部１２２は、その受信した座標情報と、予めキャリブレーションモードで生成済みの上述の第２の対応情報とを他の会議端末２へ送信する制御を行う（ステップＳ６）。

図１２は、他の会議端末２から座標情報と第２の対応情報とを受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から座標情報と第２の対応情報とを受信した場合（ステップＳ１０：Ｙｅｓ）、特定部１２４は、その受信した座標情報と第２の対応情報とに基づいて、取得部１２３により取得されたパノラマ画像（自装置のパノラマカメラ１０から取得したパノラマ画像）のうち、受信した座標情報に対応する領域を特定する（ステップＳ１１）。次に、切り出し部１２５は、取得部１２３により取得されたパノラマ画像のうち、ステップＳ１１で特定した領域に対応する領域の画像を切り出し画像として切り出す（ステップＳ１２）。次に、指向性制御部１２５は、会議端末２に分散して搭載された複数のマイクのうち、ステップＳ１１で特定した領域に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する（ステップＳ１３）。そして、第２の送信制御部１２７は、取得部１２３により取得されたパノラマ画像と、ステップＳ１２で切り出した切り出し画像と、ステップＳ１３の結果として指向性が制御された音声とを含む出力情報を他の会議端末２へ送信する制御を行う（ステップＳ１４）。

図１３は、他の会議端末２から出力情報を受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から出力情報を受信した場合（ステップＳ２０：Ｙｅｓ）、出力制御部１２８は、その受信した出力情報を出力する制御を行う（ステップＳ２１）。

以上に説明したように、本実施形態の会議端末２は、会議相手となる他の会議端末２から上述の座標情報と上述の第２の対応情報とを受信した場合、その受信した座標情報と第２の対応情報とに基づいて、自装置のパノラマカメラ１０から取得したパノラマ画像のうち、その受信した座標情報に対応する領域を特定し、その特定した領域の画像を切り出し画像として切り出す。また、会議端末２に分散して搭載された複数のマイクのうち、その特定した領域に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。そして、会議端末２は、切り出し画像と、指向性が制御された音声とを含む出力情報を他の会議端末２へ送信し、他の会議端末２は、その受信した出力情報を出力する。これにより、他の会議端末２は、意図した出力を行うことができる。なお、本実施形態では、パノラマカメラとして、撮影領域の範囲を周囲３６０度とした。しかしながら、本実施形態の骨子は、撮像画像の一部を切り出し画像として指定し、その切り出し画像に対応するマイクの指向性を制御するものである。したがって、撮像領域として、カメラの画角は３６０度を下回る形態であってもよく、例えば８０度程度でも構わない。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、上述の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

また、上述した会議端末２で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ 通信システム
２ 会議端末
３ ネットワーク
４ サーバ
１０ パノラマカメラ
１１ 表示部
１２ マイクアレイ
１３ スピーカ
１４ ＣＰＵ
１５ 記憶装置
１６ メモリ
１７ ＬＡＮ Ｉ／Ｆ部
１８ 操作部
１００ ネットワーク部
１０１ 制御部
１０２ 表示制御部
１１１ カメラＩ／Ｆレシーバ
１１２ レンズ特性保持部
１１３ 歪曲補正処理部
１２１ 生成部
１２２ 第１の送信制御部
１２３ 取得部
１２４ 特定部
１２５ 切り出し部
１２６ 指向性制御部
１２７ 第２の送信制御部
１２８ 出力制御部
３００ プロジェクタ
４００ スタイラスペン

特開２００７−２７４４６３号公報 特許第５０２８９４４号公報

Claims (10)

1. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムであって、
   前記第１の通信装置は、
   投影面のうち前記第１の通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成部と、
   前記投射領域のうちユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを前記第２の通信装置へ送信する制御を行う第１の送信制御部と、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備え、
   前記第２の通信装置は、
   前記第２の通信装置の周囲を撮像する前記撮像部による撮像で得られた前記撮像画像を取得する取得部と、
   前記第１の通信装置から前記座標情報と前記第２の対応情報とを受信した場合、その受信した前記座標情報と前記第２の対応情報とに基づいて、前記取得部により取得された前記撮像画像のうち前記座標情報に対応する領域を特定する特定部と、
   前記第２の通信装置に搭載された複数のマイクのうち、前記特定部により特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、
   前記指向性制御部により指向性が制御された音声を少なくとも含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御部と、を備える、
   通信システム。
2. 前記第２の通信装置は、
   前記取得部により取得された前記撮像画像のうち、前記特定部により特定された領域の画像を切り出し画像として切り出す切り出し部をさらに備え、
   前記第２の送信制御部は、前記切り出し部によって切り出された前記切り出し画像と、前記指向性制御部により指向性が制御された音声とを含む前記出力情報を前記第１の通信装置へ送信する制御を行う、
   請求項１に記載の通信システム。
3. 前記生成部は、前記基本領域のサイズと前記投射領域のサイズとの違いに応じた倍率変換を行って、前記投射領域の各座標に対応する前記撮像画像の座標を導いて前記第２の対応情報を生成する、
   請求項１または２に記載の通信システム。
4. 前記生成部は、ユーザの操作に応じて前記投射領域を特定する、
   請求項１乃至３のうちの何れか１項に記載の通信システム。
5. 前記生成部は、前記投影面のうち、前記ユーザによって指し示された、前記投射領域の４つの頂点に対応する位置に基づいて、前記投射領域を特定する、
   請求項４に記載の通信システム。
6. 前記生成部は、前記ユーザが前記投影面上の位置を指し示すのに用いる指示デバイスから、前記投影面のうち前記指示デバイスが指し示す位置を示す情報を、前記ユーザによって指し示された位置を示す情報として取得する、
   請求項５に記載の通信システム。
7. 通信装置であって、
   投影面のうち前記通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成部と、
   前記投射領域のうちユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを、前記通信装置と通信する他の通信装置へ送信する制御を行う送信制御部と、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御部と、を備える、
   通信装置。
8. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムによる通信方法であって、
   前記第１の通信装置は、
   投影面のうち前記第１の通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成ステップと、
   前記投射領域のうちユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを前記第２の通信装置へ送信する制御を行う第１の送信制御ステップと、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記第２の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を含み、
   前記第２の通信装置は、
   前記第２の通信装置の周囲を撮像する前記撮像部による撮像で得られた前記撮像画像を取得する取得ステップと、
   前記第１の通信装置から前記座標情報と前記第２の対応情報とを受信した場合、その受信した前記座標情報と前記第２の対応情報とに基づいて、前記取得ステップにより取得された前記撮像画像のうち前記座標情報に対応する領域を特定する特定ステップと、
   前記第２の通信装置に搭載された複数のマイクのうち、前記特定ステップにより特定された領域に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御ステップと、
   前記指向性制御ステップにより指向性が制御された音声を含む前記出力情報を前記第１の通信装置へ送信する制御を行う第２の送信制御ステップと、を含む、
   通信方法。
9. 通信装置による通信方法であって、
   投影面のうち前記通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成ステップと、
   前記投射領域のうちユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを、前記通信装置と通信する他の通信装置へ送信する制御を行う送信制御ステップと、
   前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を含む、
   通信方法。
10. 通信装置に搭載されたコンピュータに、
    投影面のうち前記通信装置に接続された画像投射装置によって実際に画像が投射される領域を示す投射領域のサイズ、前記投影面のうち前記画像が投射される領域として予め定められた領域を示す基本領域のサイズ、前記基本領域の座標と撮像部による撮像で得られた撮像画像の座標との対応関係を示す第１の対応情報に基づいて、前記投射領域の座標と前記撮像画像の座標との対応関係を示す第２の対応情報を生成する生成ステップと、
    前記投射領域のうちユーザによって指定された範囲を示す座標情報と、前記第２の対応情報とを、前記通信装置と通信する他の通信装置へ送信する制御を行う送信制御ステップと、
    前記撮像画像のうち前記座標情報に対応する領域に応じて指向性が制御された音声を含む出力情報を前記他の通信装置から受信した場合、その受信した前記出力情報を出力する制御を行う出力制御ステップと、を実行させるためのプログラム。

Images