JP2017034502A - 通信装置、通信方法、プログラムおよび通信システム - Google Patents

Abstract

【課題】相手側の通信装置が意図した画像および音声を提供可能な装置、方法及びプログラムを提供する。
【解決手段】通信装置（会議端末）の制御部１０１において、取得部１２１は、撮影した画像を取得する。特定部１２３は、他の通信装置から座標情報を受信した場合、表示映像の座標と画像の座標とを対応付けた対応情報に基づいて、座標情報に対応する画像の座標を特定する。切り出し部１２４は、画像のうち、特定部１２３により特定された画像の座標に対応する領域の画像を切り出す。指向性制御部１２５は、複数のマイクのうち、特定部１２３により特定された画像の座標に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。第１の送信制御部１２６は、切り出し部１２４によって切り出された画像を示す切り出し画像と、指向性制御部１２５により指向性が制御された音声とを含む出力情報を他の通信装置へ送信する制御を行う。
【選択図】図５

Description

本発明は、通信装置、通信方法、プログラムおよび通信システムに関する。

複数の通信装置間でデータの送受信を行う通信システムの一形態として、通信ネットワークを利用して遠隔会議を実現するビデオ（テレビ）会議システムが知られている。このビデオ会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔ビデオ会議システムの通信装置（端末装置）を用いて会議の当事者などの会議室の画像および発言などの音声をデジタルデータに変換して相手方の通信装置に送信し、相手方の会議室のディスプレイに画像を表示し、音声をスピーカから出力することで、実際の会議に近い状態で遠隔地間の会議を行うことができる。

このようなビデオ会議システムでは、会議の参加者の音声を取得するためにマイクを使用し、映像を取得するためにカメラを使用している。カメラには画角があるため、カメラの画角外にいる会議参加者の映像は撮影することができない。この問題を解決するため、周囲３６０度のパノラマ画像を取得可能なパノラマカメラを用いる方法が知られている。一方、通常のマイクは無指向性のため、参加者の発言以外の周囲の音も集音してしまう。この問題を解決するため、マイクアレイを使用してマイクの集音範囲に指向性をもたせることで、周囲の音の集音を抑え、参加者の発言をクリアにする方法が知られている。例えば特許文献１には、会議端末は、選択された参加者の配置パターンに従ってマイクアレイの集音ビームを形成する方法が開示されている。また、特許文献２には、複数のマイクを配列して構成されたマイクアレイを用いて話者の方向を検出し、その方向にカメラの撮影方向を追従させる技術が開示されている。

上記のパノラマカメラと、マイクアレイを組み合わせて、パノラマカメラで会議室全体を撮影し、かつ、発言者がいた場合は、自動的に発言者の映像をクローズアップして表示し、発言者の方向にマイクの集音範囲を向けることで、より臨場感のあるビデオ会議を実現する方法が考えられる。しかしながら、この組み合わせでは、発言者の映像をクローズアップして表示し、発言者の方向にマイクの集音範囲を向けることはできるが、相手側の通信装置では、発言者だけを切り出して表示し、その音声を出力することを必ずしも望んでいるわけではない。したがって、この組み合わせでは、相手側の通信装置が意図した画像および音声を提供することが困難であるという問題がある。

本発明は、上記に鑑みてなされたものであって、相手側の通信装置が意図した画像および音声を提供することが可能な通信装置、通信方法、プログラムおよび通信システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、通信装置であって、撮影した画像を取得する取得部と、前記通信装置と通信する他の通信装置から、前記他の通信装置に接続された出力装置に表示される表示映像のうち指定された範囲の座標を示す座標情報を受信した場合、前記表示映像の座標と、前記画像の座標とを対応付けた対応情報に基づいて、前記座標情報に対応する前記画像の座標を特定する特定部と、前記画像のうち、前記特定部により特定された前記画像の座標に対応する領域の画像を切り出す切り出し部と、前記通信装置に分散して搭載された複数のマイクのうち、前記特定部により特定された前記画像の座標に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、前記切り出し部によって切り出された画像を示す切り出し画像と、前記指向性制御部により指向性が制御された音声とを含む出力情報を前記他の通信装置へ送信する制御を行う第１の送信制御部と、を備える。

本発明によれば、相手側の通信装置が意図した画像および音声を提供することが可能になる。

図１は、通信システムの構成の一例を示す図である。 図２は、会議端末のハードウェア構成の一例を示す図である。 図３は、マイクの設置例を示す図である。 図４は、会議端末の詳細を説明するための図である。 図５は、制御部が有する機能の一例を示す図である。 図６は、実施形態のビデオ会議の状況の一例を示す模式図である。 図７は、インタラクティブホワイトボードに表示される表示映像の切り出し範囲を指定する方法について説明するための図である。 図８は、実施形態の具体例を説明するための図である。 図９は、実施形態の具体例を説明するための図である。 図１０は、インタラクティブホワイトボードの動作例を示すフローチャートである。 図１１は、会議端末の動作例を示すフローチャートである。 図１２は、会議端末の動作例を示すフローチャートである。 図１３は、会議端末の動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る通信装置、通信方法、プログラムおよび通信システムの実施形態を詳細に説明する。

図１は、本実施形態の通信システム１の構成の一例を示す図である。図１の例では、拠点Ａおよび拠点Ｂの各々に通信装置の一例である会議端末２が１台ずつ配置されている。拠点Ａおよび拠点Ｂの各々に配置された会議端末２は、インターネットなどのネットワーク３を介してサーバ４と接続される。なお、これに限らず、通信システム１に含まれる会議端末２の数（拠点の数）は任意に変更可能である。

サーバ４は、各会議端末２がサーバ４と接続しているか否かを監視し、会議開始時における会議端末２の呼び出し制御等の会議時に必要な制御を行う。会議時の会議端末２は、自装置のデータ送信時は、サーバ４に対して画像・音声データを送信し、サーバ４は、相手側の他の会議端末２に対して画像・音声データを送信する。データ受信時は、サーバ４を介して、相手側の他の会議端末２の画像・音声データを受信する。例えば拠点Ａと拠点Ｂで会議を行った場合、拠点Ａの会議端末２が送信したデータは、サーバ４を介して拠点Ｂの会議端末２に送信され、他の会議端末２（会議に参加していない会議端末２）には送信されない。同様に、拠点Ｂの会議端末２が送信したデータは、サーバ４を介して、会議に参加している拠点Ａの会議端末２に送信され、会議に参加していない他の会議端末２には送信されない。上記のような制御を行うことで、複数の会議端末２間(複数の拠点間)で会議を行うことができる。

次に、会議端末２の構成について説明する。なお、拠点Ａおよび拠点Ｂの各々に配置された会議端末２の構成は同じなので、以下の説明では、１つの会議端末２を例に挙げて説明する。図２は、会議端末２のハードウェア構成の一例を示す図である。図２に示すように、会議端末２は、パノラマカメラ１０、表示部１１、マイクアレイ１２、スピーカ１３、ＣＰＵ１４、記憶装置１５、メモリ１６、ＬＡＮ Ｉ／Ｆ部１７、操作部１８を備える。

パノラマカメラ１０は、パノラマカメラ１０の周囲３６０度（会議端末２の周囲３６０度であると考えてもよい）を撮影したパノラマ画像を生成し、生成したパノラマ画像をＣＰＵ１４へ送信する。例えばパノラマカメラ１０は、公知の全天球カメラなどで構成される。パノラマカメラ１０の周囲３６０度を撮影することで、パノラマカメラ１０の周囲に存在する会議参加者全員を撮影することができる。ここでパノラマ画像とは、複数の撮像素子を持つカメラ、１つのカメラを動かすことや、複数のカメラを用いて撮影することで、複数枚の画像を合成して生成された画像を意味する。なお、パノラマ画像の撮影領域を３６０度としているが、これより狭くても構わない。また、パノラマ画像としているが、より画角の狭い画像であっても構わないが、パノラマ画像であればより好ましい。

表示部１１は、ＣＰＵ１４から受信した映像データを、画面に表示する機能を有する。この例では、表示部１１は、液晶型ディスプレイ装置などで構成される。

マイクアレイ１２は、会議端末２に分散して搭載された複数のマイクを含み、会議参加者の音声を取得してＣＰＵ１４に送信する機能を有する。マイクアレイとは、複数の全指向性のマイク（マイクロホン）から構成され、ビームフォーマにより指向性を形成する。一般的に、ビームフォーマとは、各マイクロホンに到達する音の時間差を利用し、指向性を形成する手法である。ビームフォーマにより形成される指向性は、マイクロホンの配置により上下方向や左右方向に自由に指向性を向けることができる。そのため、集音したいエリア（目的エリア）を任意に変更することができる。

図３は、会議端末２の筐体において、マイクアレイ１２に含まれる６つのマイクａ〜マイクｆが設置される例を示す図である。ＣＰＵ１４は、各マイクの有効／無効を切り替え、各マイクの音声を積算することにより、任意の範囲の音声を集音することができる。また、各マイクと、会議端末２の筐体における設置箇所との対応関係は、会議端末２の記憶装置１５に予め保存されている。

図２の説明を続ける。スピーカ１３は、ＣＰＵ１４から受信した音声データを出力する機能を有する。ＣＰＵ１４は、会議端末２全体の動作を統括的に制御する。例えばＣＰＵ１４は、ビデオ会議を制御する機能、パノラマカメラ１０から取得した映像やマイクアレイ１２から取得した音声データをエンコードしてＬＡＮ Ｉ／Ｆ部１７に送信し、ＬＡＮ Ｉ／Ｆ部１７で受信した会議相手側の映像・音声データをデコードして表示部１１やスピーカ１３に送信するＣＯＤＥＣ機能などを有する。ＣＰＵ１４が使用するＣＯＤＥＣの一例として、Ｈ．２６４／ＡＶＣやＨ．２６４／ＳＶＣがある。さらに、ＣＰＵ１４は、マイクアレイ１２の指向性を制御する機能や、パノラマカメラ１０から取得したパノラマ画像に映り込んだ会議参加者のうち発言者をクローズアップして表示する機能などを有する。

記憶装置１５は、ＣＰＵ１４が実行する各種の制御（ビデオ会議制御等）のプログラムや後述の変換テーブルなどを記憶する。記憶装置１５の例としては、フラッシュメモリやＨＤＤといった不揮発性の記憶媒体が挙げられる。

メモリ１６は、ＣＰＵ１４が実行するプログラムの展開、および、演算データの一時保存を行う。メモリ１６の例としては、ＤＤＲメモリなどの揮発性のメモリが挙げられる。ＬＡＮ Ｉ／Ｆ部１７はネットワーク３を経由して別の会議端末２と接続し、データ（画像・音声データ）の送受信を行う。ＬＡＮ Ｉ／Ｆ部１７は、１０Ｂａｓｅ−Ｔ、１００Ｂａｓｅ−ＴＸ、１０００Ｂａｓｅ−Ｔに対応し、Ｅｔｈｅｒｎｅｔ（登録商標）に接続する有線ＬＡＮ、８０２．１１ａ／ｂ／ｇ／ｎ／ａｃに対応した無線ＬＡＮが例として挙げられる。

操作部１８は、ユーザによる各種の操作（会議端末２の機器制御に関する各種の操作）に用いられるデバイスであり、例えばキーボードやボタン等を有する。

図４は、会議端末２の詳細を説明するための図である。会議端末２は、座標検知機能を有する出力装置の一例であるインタラクティブホワイトボード３００に接続されている。この例では、拠点Ａおよび拠点Ｂの各々に、同一構成のインタラクティブホワイトボード３００が１つずつ配置されている。表示制御部１０２は、表示を制御する機能を有している。この例では、表示制御部１０２は、画面描画や出力に関する機能だけでなく、インタラクティブホワイトボード３００から後述の座標情報を取得し、その取得した座標情報を制御部１０１へ伝える機能を有している。ここで、インタラクティブホワイトボードとしているが、タブレット、ノートパソコン、タッチパネルディスプレイ等の座標検知機能を有する出力装置であれば、いずれであっても構わない。

パノラマカメラ１０により生成されたパノラマ画像はカメラＩ／Ｆレシーバ１１１に送られる。カメラＩ／Ｆレシーバ１１１は、ＶｂｙＯｎｅ（登録商標）やＨＤＭＩ（登録商標）等の高速なシリアルＩ／Ｆを想定している。カメラＩ／Ｆレシーバ１１１によりシリアル／パラレル変換されたパノラマ画像は歪曲補正処理部１１３により歪みを補正されて制御部１０１へ出力される。レンズ特性保持部１１２には、レンズ特性に合わせて歪曲補正するための変換パラメータが格納されており、歪曲補正処理部１１３は、この変換パラメータを用いてパノラマ画像の歪みを補正することができる。

ネットワーク部１００は、会議の相手となる他の会議端末２との間でのデータの送受信を行う。

制御部１０１は、各種の制御や演算を行う部分であり、ＣＰＵ１４に相当する。図５は、制御部１０１が有する機能の一例を示す図である。説明の便宜上、図５では、本実施形態に関する機能を主に例示しているが、制御部１０１が有する機能は、これらに限られるものではない。

図５に示すように、制御部１０１は、取得部１２１と、出力制御部１２２と、特定部１２３と、切り出し部１２４と、指向性制御部１２５と、第１の送信制御部１２６と、第２の送信制御部１２７とを有する。

取得部１２１は、撮影した画像を取得する。より具体的には、取得部１２１は、会議端末２の周囲３６０度を撮影したパノラマ画像を取得する。この例では、取得部１２１は、上述の歪曲補正処理部１１３から入力される補正後のパノラマ画像を取得する。

出力制御部１２２は、会議相手となる他の会議端末２（以下では、単に「他の会議端末２」と称する場合がある）から受信した画像・音声データを出力する制御を行う。出力制御部１２２は、表示制御部１０２に対して、インタラクティブホワイトボード３００の現在の表示モード（表示モードは任意に変更可能）に従って、他の会議端末２から受信した画像をインタラクティブホワイトボード３００に表示させることを指示し、他の会議端末２から受信した音声データをスピーカ１３から出力する制御を行う。

特定部１２３は、他の会議端末２から、該他の会議端末２に接続されたインタラクティブホワイトボード３００に表示される表示映像のうち指定された範囲（以下の説明では「切り出し範囲」と称する場合がある）の座標を示す座標情報を受信した場合、表示映像の座標と、撮影した画像（この例ではパノラマ画像）の座標とを対応付けた対応情報に基づいて、その受信した座標情報に対応する画像（この例ではパノラマ画像）の座標を特定する。この例では、対応情報は記憶装置１５に予め格納されている。また、通常のビデオ会議システムは自装置の映像のみを映したり、相手側の映像のみを映したり、と自由にレイアウトの変更（表示モードの変更）ができるため、インタラクティブホワイトボード３００に表示される表示映像の座標と、撮影した画像（この例ではパノラマ画像）の座標との関係は必ずしも１対１に対応していない。そこで、この例における対応情報は、インタラクティブホワイトボード３００の表示モード（レイアウト情報）ごとに、表示映像の座標と、撮影した画像（この例ではパノラマ画像）の座標とを対応付けている。

切り出し部１２４は、取得部１２１により取得された画像（この例ではパノラマ画像）のうち、特定部１２３により特定された画像（この例ではパノラマ画像）の座標に対応する領域の画像を切り出す。

指向性制御部１２５は、会議端末２に分散して搭載された複数のマイクのうち、特定部１２３により特定された画像（この例ではパノラマ画像）の座標に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。この例では、指向性制御部１２５は、マイクアレイ１２に含まれるマイクの位置と、撮影した画像（この例ではパノラマ画像）の座標との関係を示す位置情報に基づいて、特定部１２３により特定された画像（この例ではパノラマ画像）の座標に対応するマイクを決定することができる。上記位置情報は、例えば記憶装置１５などに格納されていてもよい。

第１の送信制御部１２６は、切り出し部１２４によって切り出された画像を示す切り出し画像と、指向性制御部１２５により指向性が制御された音声とを含む出力情報を他の会議端末２へ送信する制御を行う。また、第１の送信制御部１２６は、他の会議端末２から上述の座標情報を受信していない場合は、取得部１２１により取得された画像（この例ではパノラマ画像）と、該画像に映り込んだ会議参加者のうち発言者を切り出して拡大した切り出し画像と、マイクアレイ１２で集音された音声データとを含む通常会議情報を、他の会議端末２へ送信する制御を行う。

また、この例では、上述の出力制御部１２２は、他の会議端末２から上述の通常会議情報を受信した場合は、その受信した通常会議情報を出力する制御を行う。また、出力制御部１２２は、他の会議端末２から上述の出力情報を受信した場合は、その受信した出力情報を出力する制御を行う。

第２の送信制御部１２７は、自装置の表示制御部１０２から上述の座標情報を受信した場合、その受信した座標情報を他の会議端末２へ送信する制御を行う。

以上に説明した制御部１０１が有する機能（取得部１２１、出力制御部１２２、特定部１２３、切り出し部１２４、指向性制御部１２５、第１の送信制御部１２６、第２の送信制御部１２７）は、ＣＰＵ１４が記憶装置１５等に記憶されたプログラムを実行することにより実現されてもよいし、制御部１０１が有する機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。

また、図４の例では、パノラマカメラ１０やスピーカ１３は、会議端末２内に含まれているが、これに限らず、例えば会議端末２外に設けられる形態であってもよい。

図６は、本実施形態のビデオ会議の状況の一例を示す模式図である。拠点１には、会議端末２が机に置かれている。会議端末２は、パノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定している。上述したように、この会議端末２は、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点１では、人物Ｄ〜Ｈの５人がビデオ会議に参加していることを示している。また、拠点１には上述のインタラクティブホワイトボード３００が備え付けられており、拠点２側の映像が映し出される。インタラクティブホワイトボード３００に表示される表示映像の下側には、拠点２で会議に参加している全ての人物（この例では人物Ａ〜Ｃ）が映り込んだパノラマ画像が表示されている。また、表示映像の上側には、発言者である人物Ａを拡大した切り出し画像が表示されている。通常の話者追従機能を搭載したビデオ会議システムの場合は、何れかの会議参加者が発言すると、切り出し画像に発言者がクローズアップして表示される。

拠点２においても、会議端末２が机に置かれている。拠点１と同様に、会議端末２はパノラマカメラ１０を搭載しているため、机の中央に置かれていることを想定しており、マイクａ〜マイクｆを含むマイクアレイ１２を搭載している。拠点２では、人物Ａ〜Ｃの３人がビデオ会議に参加していることを示している。拠点１と同様に、拠点２には上述のインタラクティブホワイトボード３００が備え付けられており、拠点１側の映像が映し出される。インタラクティブホワイトボード３００に表示される表示映像の下側には、拠点１で会議に参加している全ての人物（この例では人物Ｄ〜Ｈ）が映り込んだパノラマ画像が表示されている。ここで、通常であれば、発言者が切り出し画像に表示されるが、図６のように、拠点２で会議に参加している何れかの人物がスタイラスペンなどを用いて、点線で囲まれた領域を指定した場合、その指定された領域の切り出し画像が表示映像上に表示される。すなわち、パノラマ画像に映り込んだ会議参加者のうち、クローズアップしたい人物が映り込んだ領域を指定することで、その人物の切り出し画像を、拠点２側のインタラクティブホワイトボード３００に表示させることができる。また、人物以外でも、パノラマ画像に映り込んだ被写体のうち、注目したい被写体が映り込んだ領域を指定することで、その被写体の切り出し画像を表示させることができる。

図７を用いて、インタラクティブホワイトボード３００に表示される表示映像の切り出し範囲を指定する方法について説明する。インタラクティブホワイトボード３００は、切り出し範囲の指定を開始することを指示するための開始アイコン３１０の押下を受け付けると、図７の（Ａ）に示すような、切り出し範囲の指定開始を確認するポップアップ画面を表示する制御を行う。そして、インタラクティブホワイトボード３００は、ポップアップ画面の「ＯＫボタン」の押下を受け付けると、図７の（Ｂ）に示すような、切り出し範囲の指定を促すメッセージを表示する制御を行う。その後、ユーザは、スタイラスペンなどで、切り出し範囲を指定する操作を行うことができる。そして、インタラクティブホワイトボード３００は、図７の（Ｃ）に示すように、切り出し範囲の指定を終了することを指示するための終了アイコン３２０の押下を受け付けると、インタラクティブホワイトボード３００に表示される表示映像のうち、指定された切り出し範囲（図７の例では点線で囲まれた矩形）の座標を示す座標情報を会議端末２へ送信する。そして、会議端末２は、インタラクティブホワイトボード３００から受信した範囲情報を、会議相手となる他の会議端末２へ送信する制御を行う。

いま、図８に示すように、拠点２側のインタラクティブホワイトボード３００に表示された表示映像のうち、人物Ｈが映り込んだ領域３３０が切り出し範囲として指定された場合を想定する。この例では、領域３３０は矩形の領域であり、領域３３０の座標情報は、領域３３０の４つの頂点（Ａ，Ｂ，Ｃ，Ｄ）の各々の座標を示す情報となる。この例では、表示映像における頂点Ａの座標は（Ｘａ，Ｙａ）、頂点Ｂの座標は（Ｘｂ，Ｙｂ）、頂点Ｃの座標は（Ｘｃ，Ｙｃ）、頂点Ｄの座標は（Ｘｄ，Ｙｄ）である。この座標情報は、拠点１側の会議端末２へ送信される。

拠点１側の会議端末２は、表示映像の座標と、パノラマ画像の座標とを対応付けた対応情報に基づいて、拠点２側の会議端末２から受信した座標情報に対応するパノラマ画像の座標を特定する。ここでは、拠点１側の会議端末２が取得したパノラマ画像のうち、拠点２側のインタラクティブホワイトボード３００に表示された表示映像の頂点Ａに対応する点をＡ’、頂点Ｂに対応する点をＢ’、頂点Ｃに対応する点をＣ’、頂点Ｄに対応する点をＤ’と表記する。図９は、表示映像における頂点Ａ，Ｂ，Ｃ，Ｄの各座標と、パノラマ画像におけるＡ’，Ｂ’，Ｃ’，Ｄ’の各座標との対応関係を示す図である。拠点１側の会議端末２は、拠点２側の会議端末２から受信した座標情報に対応するパノラマ画像の座標を特定し、パノラマ画像のうち、その特定した座標に対応する領域の画像を、切り出し画像として切り出す。この例では、図８に示すように、拠点１側の会議端末２は、自装置に搭載されたパノラマカメラ１０から取得したパノラマ画像のうち、Ａ’の座標（Ｘａ’，Ｙａ’）と、Ｂ’の座標（Ｘｂ’，Ｙｂ’）と、Ｃ’の座標（Ｘｃ’，Ｙｃ’）と、Ｄ’の座標（Ｘｄ’，Ｙｄ’）とで囲まれた矩形の領域の画像を、切り出し画像として切り出す。また、拠点１側の会議端末２は、マイクアレイ１２に含まれるマイクの位置と、パノラマ画像の座標との関係を示す位置情報に基づいて、特定したパノラマ画像の座標に最も近い位置に配置されたマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。

そして、拠点１側の会議端末２は、以上のようにして切り出した切り出し画像と、指向性が制御された音声とを含む出力情報を拠点２側の会議端末２へ送信する。拠点２側の会議端末２は、拠点１側の会議端末２から受信した出力情報を出力する。これにより、拠点２側では、人物Ｈがクローズアップされることになる。

図１０は、切り出し範囲を指定する場合のインタラクティブホワイトボード３００の動作の一例を示すフローチャートである。開始アイコン３１０の押下を受け付けた場合（ステップＳ１：Ｙｅｓ）、切り出し範囲を指定する操作を受け付ける（ステップＳ２）。そして、終了アイコン３２０の押下を受け付けた場合（ステップＳ３：Ｙｅｓ）、指定された切り出し範囲の座標を示す座標情報を会議端末２へ送信する（ステップＳ４）。

図１１は、自装置に接続されたインタラクティブホワイトボード３００から座標情報を受信した場合の会議端末２の動作例を示すフローチャートである。座標情報を受信した場合（ステップＳ５：Ｙｅｓ）、第２の送信制御部１２７は、その受信した座標情報を他の会議端末２へ送信する制御を行う（ステップＳ６）。

図１２は、他の会議端末２から座標情報を受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から座標情報を受信した場合（ステップＳ１０：Ｙｅｓ）、特定部１２３は、上述の対応情報に基づいて、その受信した座標情報に対応するパノラマ画像の座標を特定する（ステップＳ１１）。次に、切り出し部１２４は、自装置に搭載されたパノラマカメラ１０から取得したパノラマ画像のうち、ステップＳ１１で特定したパノラマ画像の座標に対応する領域の画像を切り出す（ステップＳ１２）。次に、指向性制御部１２５は、会議端末２に分散して搭載された複数のマイクのうち、ステップＳ１１で特定したパノラマ画像の座標に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する（ステップＳ１３）。そして、第１の送信制御部１２６は、ステップＳ１２で切り出した画像を示す切り出し画像と、ステップＳ１３の結果として指向性が制御された音声とを含む出力情報を他の会議端末２へ送信する制御を行う（ステップＳ１４）。

図１３は、他の会議端末２から出力情報を受信した場合の会議端末２の動作例を示すフローチャートである。他の会議端末２から出力情報を受信した場合（ステップＳ２０：Ｙｅｓ）、出力制御部１２２は、その受信した出力情報を出力する制御を行う（ステップＳ２１）。出力制御部１２２は、出力情報に含まれる切り出し画像をインタラクティブホワイトボード３００に表示する制御を行うとともに、出力情報に含まれる音声をスピーカ１３から出力する制御を行う。

以上に説明したように、本実施形態の会議端末２は、会議相手となる他の会議端末２から上述の座標情報を受信した場合、表示映像の座標と、パノラマ画像の座標とを対応付けた対応情報に基づいて、受信した座標情報に対応するパノラマ画像の座標を特定し、パノラマ画像のうち、その特定したパノラマ画像の座標に対応する領域の画像を、切り出し画像として切り出す。また、会議端末２に分散して搭載された複数のマイクのうち、その特定したパノラマ画像の座標に対応するマイクに指向性を向けるよう、マイクアレイ１２の指向性を制御する。そして、会議端末２は、切り出し画像と、指向性が制御された音声とを含む出力情報を他の会議端末２へ送信し、他の会議端末２は、その受信した出力情報を出力するので、他の会議端末２側で意図した映像および音声を出力することができる。なお、本実施形態では、パノラマカメラとして、撮影領域の範囲を周囲３６０度とした。しかしながら、本発明の骨子は、撮影した画像の一部を切り出し領域として指定し、その領域とマイクの指向性を制御するものである。したがって、撮影領域として、カメラの画角は８０度程度でも構わない。

以上、本発明に係る実施形態について説明したが、本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、上述の各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

また、上述した会議端末２で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ 通信システム
２ 会議端末
３ ネットワーク
４ サーバ
１０ パノラマカメラ
１１ 表示部
１２ マイクアレイ
１３ スピーカ
１４ ＣＰＵ
１５ 記憶装置
１６ メモリ
１７ ＬＡＮ Ｉ／Ｆ部
１８ 操作部
１００ ネットワーク部
１０１ 制御部
１０２ 表示制御部
１１１ カメラＩ／Ｆレシーバ
１１２ レンズ特性保持部
１１３ 歪曲補正処理部
１２１ 取得部
１２２ 出力制御部
１２３ 特定部
１２４ 切り出し部
１２５ 指向性制御部
１２６ 第１の送信制御部
１２７ 第２の送信制御部
３００ インタラクティブホワイトボード

特開２００７−２７４４６３号公報 特許第５０２８９４４号公報

Claims (7)

1. 通信装置であって、
   撮影した画像を取得する取得部と、
   前記通信装置と通信する他の通信装置から、前記他の通信装置に接続された出力装置に表示される表示映像のうち指定された範囲の座標を示す座標情報を受信した場合、前記表示映像の座標と、前記画像の座標とを対応付けた対応情報に基づいて、前記座標情報に対応する前記画像の座標を特定する特定部と、
   前記画像のうち、前記特定部により特定された前記画像の座標に対応する領域の画像を切り出す切り出し部と、
   前記通信装置に分散して搭載された複数のマイクのうち、前記特定部により特定された前記画像の座標に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、
   前記切り出し部によって切り出された画像を示す切り出し画像と、前記指向性制御部により指向性が制御された音声とを含む出力情報を前記他の通信装置へ送信する制御を行う第１の送信制御部と、を備える、
   通信装置。
2. 前記対応情報は、前記出力装置の表示モードごとに、前記表示映像の座標と、前記画像の座標とを対応付けた情報である、
   請求項１に記載の通信装置。
3. 前記指向性制御部は、マイクアレイに含まれるカメラの位置と、前記画像の座標との関係を示す位置情報に基づいて、前記特定部により特定された前記画像の座標に対応するマイクを決定する、
   請求項１または２に記載の通信装置。
4. 前記画像は、複数枚の画像を合成したパノラマ画像であることを特徴とする、
   請求項１乃至３のうちの何れか１項に記載の通信装置。
5. 通信装置による通信方法であって、
   撮影した画像を取得する取得ステップと、
   前記通信装置と通信する他の通信装置から、前記他の通信装置に接続された出力装置に表示される表示映像のうち指定された範囲の座標を示す座標情報を受信した場合、前記表示映像の座標と、前記画像の座標とを対応付けた対応情報に基づいて、前記座標情報に対応する前記画像の座標を特定する特定ステップと、
   前記画像のうち、前記特定ステップにより特定された前記画像の座標に対応する領域の画像を切り出す切り出しステップと、
   前記通信装置に分散して搭載された複数のマイクのうち、前記特定ステップにより特定された前記画像の座標に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御ステップと、
   前記切り出しステップによって切り出された画像を示す切り出し画像と、前記指向性制御ステップにより指向性が制御された音声とを含む出力情報を前記他の通信装置へ送信する制御を行う送信制御ステップと、を含む、
   通信方法。
6. 通信装置に搭載されたコンピュータに、
   撮影した画像を取得する取得ステップと、
   前記通信装置と通信する他の通信装置から、前記他の通信装置に接続された出力装置に表示される表示映像のうち指定された範囲の座標を示す座標情報を受信した場合、前記表示映像の座標と、前記画像の座標とを対応付けた対応情報に基づいて、前記座標情報に対応する前記画像の座標を特定する特定ステップと、
   前記画像のうち、前記特定ステップにより特定された前記画像の座標に対応する領域の画像を切り出す切り出しステップと、
   前記通信装置に分散して搭載された複数のマイクのうち、前記特定ステップにより特定された前記画像の座標に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御ステップと、
   前記切り出しステップによって切り出された画像を示す切り出し画像と、前記指向性制御ステップにより指向性が制御された音声とを含む出力情報を前記他の通信装置へ送信する制御を行う送信制御ステップと、を実行させるためのプログラム。
7. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置と、を含む通信システムであって、
   前記第１の通信装置は、
   撮影した画像を取得する取得部と、
   前記第２の通信装置から、前記第２の通信装置に接続された出力装置に表示される表示映像のうち指定された範囲の座標を示す座標情報を受信した場合、前記表示映像の座標と、前記座標との対応関係を示す対応情報に基づいて、前記座標情報に対応する前記画像の座標を特定する特定部と、
   前記画像のうち、前記特定部により特定された前記画像の座標に対応する領域の画像を切り出す切り出し部と、
   前記第１の通信装置に分散して搭載された複数のマイクのうち、前記特定部により特定された前記画像の座標に対応するマイクに指向性を向けるよう、前記複数のマイクを含むマイクアレイの指向性を制御する指向性制御部と、
   前記切り出し部によって切り出された画像を示す切り出し画像と、前記指向性制御部により指向性が制御された音声とを含む出力情報を前記第２の通信装置へ送信する制御を行う第１の送信制御部と、を備え、
   前記第２の通信装置は、
   前記座標情報を前記第１の通信装置へ送信する制御を行う第２の送信制御部と、
   前記第１の通信装置から受信した前記出力情報を出力する制御を行う出力制御部と、を備える、
   通信システム。

Images