JP2017022661A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図る。
【解決手段】音声入力部３２は、音声が入力され、音声の収音方向を切替え可能である。切出部３８Ｂは、撮影部３０により撮影された画像の少なくとも一部の切出領域を切出画像として切出す。送信部３８Ｃは、切出画像と、音声入力部３２に入力された音声の音声データと、を含む映像情報を送信する。取得部３８Ｄは、会議時における座席領域Ｐの配置を示すレイアウト情報と、レイアウト情報に示される座席領域Ｐの各々の優先度を示す優先度情報と、を含む設定情報を取得する。切出制御部３８Ｆは、取得した設定情報に応じて、音声入力部３２による収音方向および切出部３８Ｂによる切出領域を制御する。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

インターネット等のネットワークを介して画像（映像）や音声などをリアルタイムに送受信することで、遠隔地とのコミュニケーションを実現する会議システムが知られている。例えば、一方の参加者が用いる情報処理装置が、当該参加者の画像を撮影するとともに当該参加者の発言などの音声を収集し、他方の参加者が用いる情報処理装置へ送信する。そして、他方の参加者が用いる情報処理端末が、画像および音声を受信して出力することで、遠隔会議を実現する。

また、指向性を有するマイクを用いて収音方向の切替えを可能とし、発言者の音声を選択的に収音すると共に、撮影画像から発言者を含む領域を切出し、音声データと切出画像を送信する技術が開示されている。また、会議参加者の配置パターンに基づいて、会議参加者方向の音声データを送信する技術が開示されている。

しかしながら、従来では、情報処理装置にかかる処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができない、という問題があった。

上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、撮影部と、音声の収音方向を切替え可能な音声入力部と、前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出部と、前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信部と、会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得部と、取得した前記設定情報に応じて、前記音声入力部による前記収音方向および前記切出部による前記切出領域を制御する切出制御部と、を備える。

本発明によれば、処理負荷の軽減を図ることができる、という効果を奏する。

図１は、本実施の形態の会議システムの構成の一例を示す図である。 図２は、本実施の形態の情報処理装置の一例を示すブロック図である。 図３は、複数の入力部の配置の一例を示す模式図である。 図４は、レイアウト管理情報および優先度情報のデータ構成の一例を示す図である。 図５は、レイアウト情報の一例を示す模式図である。 図６は、情報処理の流れの一例を示すフローチャートである。 図７は、情報処理の流れの一例を示すフローチャートである。 図８は、本実施の形態の情報処理装置の一例を示すブロック図である。 図９は、会議中に会議参加者が会議室内を移動した状態を示す説明図である。 図１０は、情報処理の流れの一例を示すフローチャートである。 図１１は、割込処理の手順の一例を示すフローチャートである。 図１２は、ハードウェア構成図である。

以下、添付図面を参照しながら、本発明にかかる情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。なお、以下の実施の形態では、本発明を会議システムに適用した場合を一例として説明するが、これに限定されない。

（第１の実施の形態）
図１は、本実施の形態の会議システム１の構成の一例を示す図である。会議システム１は、複数の情報処理装置１０と、サーバ２０と、を備える。図１には、一例として、２台の情報処理装置１０（情報処理装置１０Ａ、情報処理装置１０Ｂ）を示した。しかし、会議システム１に含まれる情報処理装置１０の数は、２台に限定されない。

複数の情報処理装置１０およびサーバ２０は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどにより実現できる。

サーバ２０は、複数の情報処理装置１０間における画像や音声データなどの送受信を中継する中継機能を有する。また、サーバ２０は、中継機能に加え、会議に参加する情報処理装置１０間での会議の開始や終了などを制御する会議制御機能も有するが、ここでは説明を省略する。

複数の情報処理装置１０は、それぞれ異なる拠点に配置されており、サーバ２０を介して映像情報の送受信を行う。映像情報は、切出画像（詳細後述）と音声データとを含む。本実施の形態では、情報処理装置１０として、テレビ会議用の専用端末を想定している。しかし、これに限定されず、情報処理装置１０は、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、及びタブレット端末などであってもよい。なお、以下の説明では、複数の情報処理装置１０（情報処理装置１０Ａ、情報処理装置１０Ｂ）の各々を区別する必要のない場合には、単に、情報処理装置１０と称して説明する場合がある。

図２は、本実施の形態の情報処理装置１０の一例を示すブロック図である。

情報処理装置１０は、撮影部３０と、音声入力部３２と、記憶部３４と、通信部３６と、制御部３８と、操作部４０と、表示部４２と、音声出力部４４と、を備える。撮影部３０、音声入力部３２、記憶部３４、通信部３６、操作部４０、表示部４２、および音声出力部４４は、制御部３８にデータや信号授受可能に接続されている。

撮影部３０は、会議において情報処理装置１０を使用する、会議の参加者を撮影する。撮影部３０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子、およびレンズなどにより構成される撮像装置により構成される。なお、レンズは広角レンズであってもよい。

また撮影部３０は、外部制御可能なメカニカルなＰＴＺ（パン・チルト・ズーム）機能を有していてもよい。この場合、撮影部３０は、自身の撮影範囲を外部制御可能に構成される。メカニカルなＰＴＺ機能とは、撮影部３０を物理的に動かしてＰＴＺを行う機能である。

本実施の形態では、撮影部３０は、３６０°の全方位を撮影可能なパノラマカメラである場合を説明する。すなわち、撮影部３０は、全方位を撮影した画像（パノラマ画像）を得る。このため、撮影部３０は、情報処理装置１０を設置した会議室内の会議参加者の全てを撮影した画像を取得することが可能である。

音声入力部３２は、入力された音声の音声信号を、音声データとして出力する。音声入力部３２は、音声の収音方向を切替え可能である。音声入力部３２は、制御部３８の制御によって、収音方向が制御され、制御された収音方向の音声の音声信号を音声データとして出力する。すなわち、音声入力部３２は、制御部３８によって指向性を制御される。

音声入力部３２は、複数の入力部４６と、切替部４８と、を含む。

入力部４６は、互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する。すなわち、複数の入力部４６の各々は、互いに異なる方向の一定範囲を収音範囲とし、複数の入力部４６の各々には、対応する収音範囲で発生した音声が入力される。

本実施の形態では、情報処理装置１０に設けられた複数の入力部４６は、撮影部３０の撮影可能な範囲で発生した音声（すなわち、会議出席者の音声）が、何れかの入力部４６に入力されるように、情報処理装置１０の筐体に配置されている。

図３は、情報処理装置１０における、複数の入力部４６（入力部４６Ａ〜入力部４６Ｆ）の各々の配置の一例を示す模式図である。図３に示す例では、複数の入力部４６（入力部４６Ａ〜入力部４６Ｆ）の各々は、撮影部３０の撮影可能な範囲（本実施の形態では、３６０°の全方位）を、複数の入力部４６の全体の収音範囲が網羅するように、情報処理装置１０の筐体に配置されている。

図２に戻り、切替部４８は、音声入力部３２に含まれる複数の入力部４６の内、音声データとして用いる音声信号を出力した切替部４８の選択を切替える。言い換えると、切替部４８は、各入力部４６の各々から出力された音声信号の有効／無効の切替えを行う。

これによって、切替部４８は、音声入力部３２の収音方向を切替える。切替部４８は、制御部３８の制御によって、何れの入力部４６から出力された音声信号を音声データとして用いるかを切替え、切替えた入力部４６から出力された音声信号を音声データとして出力する。

なお、切替部４８は、少なくとも１つの入力部４６から出力された音声信号を音声データとして用いるように切替えても良いし、複数の入力部４６から出力された音声信号を音声データとして用いるように切替えても良い。

具体的には、切替部４８が、特定の１つの入力部４６を選択するように切替えた場合、選択された該入力部４６が有する指向性の方向が、収音方向として制御される。また、切替部４８が、音声入力部３２に含まれる全ての入力部４６を選択するように切替えた場合、音声入力部３２に設けられた全ての入力部４６の各々が有する指向性の方向（すなわち、全方向）が収音方向として制御される（すなわち、この場合、全指向性となる）。何れの方向を収音方向とするかは、制御部３８によって制御される。

また、切替部４８は、複数の入力部４６から出力された音声信号を音声データとして出力する場合、切替部４８では、これらの複数の入力部４６の各々から出力された複数の音声信号を積算した信号を、音声データとして用いればよい。

ここで、複数の入力部４６を配置した音声入力部３２の動作の概念を説明する。

まず、マイクロフォンを８個１列に並べたマイクロフォンアレイ（入力部４６に対応する）を例にして説明する。マイクロフォンアレイ装置では、各マイクロフォンから出力される音響信号に対して遅延器（遅延器は、各マイクロフォンに対して複数個設けられる）により遅延を付加した後に、この遅延を付加した音響信号を加算器で加算することにより、指向性を制御することが可能である。Ｓｐｏｔ１は、音源からの音響信号を集音するために設定される空間上の位置である主焦点、Ｓｐｏｔ２（主焦点の左側）およびＳｐｏｔ３（主焦点の右側）は、音源の位置を探知するために設定される空間上の位置である探知用焦点である。

各マイクロフォンから出力される音響信号は、それぞれアンプで増幅され、Ａ番目の各遅延器により遅延が付加される。そして、それらの遅延器により遅延が付加された音響信号は、加算器で加算され、主信号となる。

Ａ番目の遅延器に設定される遅延量は、主焦点Ｓｐｏｔ１から各マイクロフォンに到達して集音される音響信号が加算器Ｘによる加算時点で同相となるように設定される。これにより、主焦点Ｓｐｏｔ１から各マイクロフォンに到達する音響信号が強調される。

一方、主焦点Ｓｐｏｔ１とは異なる方向から到来する音響信号は、主焦点Ｓｐｏｔ１から到来する音響信号とは異なる時間差で集音されるので、各マイクロフォンで集音された後に加算されても同相化されず、主焦点Ｓｐｏｔ１から到来する音響信号に比べて強調効果が小さい。以上の結果、主焦点Ｓｐｏｔ１の方向に対して感度が高い指向性が形成される。

次に、Ｂ番目の各遅延器により遅延が付加された音響信号は、加算器Ｙで加算され、探知信号Ｏｕｔ２となる。Ｂ番目の各遅延器に設定される遅延量は、探知用焦点Ｓｐｏｔ２から各マイクロフォンに到達して集音される音響信号が先の他の加算器による加算時点で同相となるように設定される。例えば、探知用焦点Ｓｐｏｔ２の位置は、マイクロフォンアレイから主焦点Ｓｐｏｔ１に向かって右側に設定される。

一方、Ｃ番目の遅延器により遅延が付加された音響信号は、加算器Ｚで加算され、探知信号Ｏｕｔ３となる。Ｃ番目の遅延器に設定される遅延量は、探知用焦点Ｓｐｏｔ３から各マイクロフォンに到達して集音される音響信号が加算器Ｚによる加算時点で同相となるように設定される。探知用焦点Ｓｐｏｔ３の位置は、マイクロフォンアレイから主焦点Ｓｐｏｔ１に向かって左側に設定される。

また、探知用焦点Ｓｐｏｔ２とＳｐｏｔ３は、マイクロフォンアレイの中点Ｃと主焦点Ｓｐｏｔ１とを結ぶ線分Ｌ１に対して線対称となるように設定される。すなわち、中点Ｃと探知用焦点Ｓｐｏｔ２とを結ぶ線分Ｌ２が線分Ｌ１となす角、及び中点Ｃと探知用焦点Ｓｐｏｔ３とを結ぶ線分Ｌ３が線分Ｌ１となす角は、共にθである。

例えば、音源が主焦点Ｓｐｏｔ１の方向にあるときに主信号は最も大きくなり、音源が左右どちらかに移動すると、主信号Ｏｕｔ１のレベルは減少する。これに対して、探知信号Ｏｕｔ２，Ｏｕｔ３は、音源が主焦点Ｓｐｏｔ１の方向にあるときは同レベルとなり、音源が負の方向（Ｓｐｏｔ２の方向）に移動すると、探知信号Ｏｕｔ３が減少して探知信号Ｏｕｔ２が増大し、音源が正の方向（Ｓｐｏｔ３の方向）に移動すると、探知信号Ｏｕｔ２が減少して探知信号Ｏｕｔ３が増大する。したがって、探知信号Ｏｕｔ２とＯｕｔ３のレベル差を検出することにより、音源の方向を検出することができる。

このように、探知信号Ｏｕｔ２のレベルと探知信号Ｏｕｔ３のレベルとの差に基づいて音源の方向を検出して、この音源の方向に集音用の第１の指向性を持たせるようにしたので、音源が移動したとしても、音源から集音することができる。また、音源の方向に応じて第１の指向性（主焦点Ｓｐｏｔ１）の方向を変更すると同時に、音源探知用の第２の指向性（探知用焦点Ｓｐｏｔ２）及び第３の指向性（探知用焦点Ｓｐｏｔ３）の方向も変更するため、音源の方向に応じた音源位置検出感度の最適化が可能である。

通信部３６は、ネットワーク２を介してサーバ２０や他の情報処理装置１０と通信する。通信部３６は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）や無線通信装置などの通信装置などである。本実施の形態では、通信部３６は、他の情報処理装置１０との間で映像情報の送信や受信などを行う。

操作部４０は、ユーザ（例えば、会議の参加者）の各種操作入力を受け付ける。操作部４０は、例えば、マウス、キーボード、およびタッチパッド、およびタッチパネルなどである。

表示部４２は、各種画像を表示する。表示部４２は、例えば、液晶ディスプレイや投影装置などである。なお、表示部４２および操作部４０の少なくとも一方は、情報処理装置１０と別体として構成されていてもよい。また、操作部４０および表示部４２を一体的に構成し、タッチパネルとして機能させてもよい。表示部４２は、例えば、他の情報処理装置１０から通信部３６を介して受信した映像情報に含まれる切出画像を表示する。

音声出力部４４は、音声を出力する。本実施の形態では、音声出力部４４は、例えば、他の情報処理装置１０から通信部３６を介して受信した映像情報に含まれる音声データの音声を出力する。音声出力部４４は、例えば、スピーカなどである。

記憶部３４は、各種データを記憶する。記憶部３４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、メモリカード、光ディスク、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの磁気的、光学的、および電気的に記憶可能な記憶装置などである。

本実施の形態では、記憶部３４は、レイアウト管理情報と優先度情報と、を予め記憶する。

図４は、レイアウト管理情報６０および優先度情報６２のデータ構成の一例を示す図である。レイアウト管理情報６０は、会議時における座席領域の配置を示すレイアウト情報を管理するための情報である。例えば、図４（Ａ）に示すようにレイアウト管理情報６０は、レイアウトＩＤと、レイアウト情報と、を対応づけたものである。なお、座席領域の配置を、単に、レイアウトと称して説明する場合がある。

レイアウトＩＤは、レイアウト情報を識別する識別情報である。レイアウト情報は、上述したように、会議時にける座席領域の配置を示す情報である。

図５は、レイアウト情報の一例を示す模式図である。図５（Ａ）は、あるレイアウトＩＤ（例えば、パターン１とする）によって識別される座席領域Ｐの配置の一例を示す模式図である。図５（Ａ）に示すパターン１によって識別されるレイアウトでは、会議室の中央に配置された机５２上に情報処理装置１０を設置したときの配置として、机５２の周囲に会議参加者の座席領域Ｐ（座席領域Ｐ１〜座席領域Ｐ７）が配置されている。詳細には、パターン１によって識別されるレイアウトは、情報処理装置１０におけるホワイトボード５０の配置側の領域を座席領域Ｐ７とし、図５（Ａ）中の右回りに、机５２の周囲に沿って順に、座席領域Ｐ１〜座席領域Ｐ６を順に配置した構成となっている。

なお、情報処理装置１０に設けられた撮影部３０は、これらの座席領域Ｐ（座席領域Ｐ１〜座席領域Ｐ７）を含む画像（パノラマ画像）を得る。このため、制御部３０は、各座席領域Ｐに位置する会議参加者の全員を撮影した画像を得ることができる。

図５（Ｂ）は、あるレイアウトＩＤ（例えば、パターン２とする）によって識別される座席領域の配置の一例を示す模式図である。図５（Ｂ）に示すパターン２によって識別されるレイアウトでは、会議室内に配置された机５２上に情報処理装置１０を設置したときの配置として、机５２の周囲におけるホワイトボートの設置方向とは逆側の領域に、座席領域Ｐ１〜座席領域Ｐ４を順に配置した構成となっている。

なお、本実施の形態では、レイアウト情報に示される各座席領域Ｐは、情報処理装置１０を予め定めた設置向きで設置したときの、該情報処理装置１０に設けられた複数の入力部４６（入力部４６Ａ〜４６Ｆ）の各々が指向性を有する方向の収音範囲の各々と一致する。

すなわち、レイアウト情報に示される座席領域Ｐは、情報処理装置１０に設けられた複数の入力部４６の各々が指向性を有する方向の収音範囲と１対１（１つの座席領域に対して１つの入力部４６の収音範囲）、１対多（１つの座席領域に対して複数の入力部４６の収音範囲）、または多対１（複数の座席領域に対して１つの入力部４６の収音範囲）の関係を示す。

このため、レイアウト情報は、各座席領域Ｐを収音範囲とする（情報処理装置１０に対する各座席領域Ｐの方向を、指向性を有する方向とする）入力部４６の識別情報と、対応する座席領域Ｐと、を更に対応づけた情報であることが好ましい。本実施の形態では、レイアウト情報は、座席領域Ｐの配置と、各座席領域Ｐを収音範囲とする入力部４６の識別情報（すなわち座席領域Ｐに対応する入力部４６の識別情報）と、を対応づけた情報であるものとして説明する。

なお、座席領域Ｐの配置と、各座席領域Ｐを収音範囲とする入力部４６の識別情報と、を対応づけたテーブルを、別途、制御部３８に予め記憶してもよい。

ユーザは、操作部４０を操作することで、予めレイアウト情報や各座席領域Ｐに対応する入力部４６の識別情報を入力し、予め記憶部３４に記憶すればよい。そして、記憶部３４は、レイアウトＩＤに対応づけて、座席領域Ｐの配置と、各座席領域Ｐを収音範囲とする入力部４６の識別情報（すなわち各座席領域Ｐに対応する入力部４６の識別情報）とを対応づけたレイアウト情報を記憶すればよい（図４（Ａ）参照）。なお、レイアウト情報は、ユーザによる操作部４０の操作指示によって適宜変更可能としてもよい。

次に、優先度情報６２について説明する。記憶部３４は、レイアウトＩＤ（またはレイアウト情報）ごとに、対応する優先度情報６２を予め記憶する。

図４（Ｂ）は、図５（Ａ）に示すレイアウト情報（または該レイアウト情報のレイアウトＩＤ（パターン１））に対応する、優先度情報６２のデータ構成の一例を示す図である。

優先度情報６２は、対応するレイアウト情報に示される座席領域Ｐと、優先度と、を対応づけたものである。

図４（Ｂ）に示す例では、優先度情報６２は、座席領域Ｐ１〜座席領域Ｐ７の各々の座席領域Ｐに対応する優先度を対応づけている。なお、異なる複数の座席領域Ｐに、同じ優先度を対応づけてもよい。

図４（Ｂ）に示す例では、優先度「１」が最も優先度が高く、優先度「２」、優先度「３」のこの順に優先度が低いことを示す。また、優先度「０」は、優先度が登録されていないことを示す。

ユーザは、操作部４０を操作することで、レイアウト情報に対応する優先度情報６２を予め入力し、予め記憶部３４に記憶すればよい。そして、記憶部３４は、レイアウトＩＤ（またはレイアウト情報）に対応づけて、優先度情報６２を記憶すればよい（図４（Ｂ）参照）。なお、優先度情報６２は、ユーザによる操作部４０の操作指示によって適宜変更可能としてもよい。

具体的には、図４（Ｂ）に示す例では、図５（Ａ）に示すレイアウト情報の座席領域Ｐ４には、会議参加者が不在であることから優先度「０」がユーザによる操作部４０の操作指示によって設定されている。また、座席領域Ｐ７には会議参加者は不在であるが、ホワイトボード５０が配置されているため、優先度「３」がユーザによる操作部４０の操作指示によって設定されている。また、座席領域Ｐ１〜座席領域Ｐ３、および座席領域Ｐ５〜座席領域Ｐ６には、会議参加者が存在することから、優先度「１」〜「２」が設定されている。特に、座席領域Ｐ２に会議の司会者が座る場合、ユーザは、座席領域Ｐ２に最も高い優先度「１」を操作部４０の操作指示により設定する。

なお、各レイアウト情報に対応する優先度情報６２は、会議の開始前にユーザが操作部４０を操作し、各座席領域Ｐに対応する優先度を設定することで記憶部３４に記憶されるようにしてもよい。また、複数種類の優先度情報６２を予め記憶部３４に記憶し、会議の開始前にユーザが操作部４０を操作することで、レイアウト情報に対応する優先度情報６２を選択してもよい。

図２に戻り、制御部３８は、情報処理装置１０全体を制御する。

制御部３８は、撮影制御部３８Ａと、切出部３８Ｂと、送信部３８Ｃと、取得部３８Ｄと、受付部３８Ｅと、切出制御部３８Ｆと、受信部３８Ｇと、表示制御部３８Ｈと、音声出力制御部３８Ｉと、を含む。

撮影制御部３８Ａ、切出部３８Ｂ、送信部３８Ｃ、取得部３８Ｄ、受付部３８Ｅ、切出制御部３８Ｆ、受信部３８Ｇ、表示制御部３８Ｈ、および音声出力制御部３８Ｉの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

撮影制御部３８Ａは、撮影部３０を制御する。本実施の形態では、撮影制御部３８Ａは、撮影部３０の撮影開始および撮影停止などを制御し、撮影部３０で撮影されたパノラマ画像である画像を取得する。なお、撮影部３０がＰＴＺ機能を有する場合、撮影制御部３８Ａは、撮影部３０のＰＬＺ機能を制御してもよい。

切出部３８Ｂは、撮影部３０によって撮影された画像の少なくとも一部の切出領域を切出画像として切出す。すなわち、切出部３８Ｂは、撮影部３０で撮影され、撮影制御部３８Ａで取得したパノラマ画像における所定の切出領域を切出画像として切出す。この切出領域は、切出制御部３８Ｆの制御によって定まる。

送信部３８Ｃは、切出部３８Ｂで切出した切出画像と、音声入力部３２に入力された音声の音声データと、を含む映像情報を送信する。本実施の形態では、送信部３８Ｃは、映像情報をエンコードし、他の情報処理装置１０へ送信する。エンコードの方法には、公知の方法を用いればよい。例えば、Ｈ．２６４／ＡＶＣやＨ．２６４／ＳＶＣなどの圧縮符号化技術を用いればよい。

受付部３８Ｅは、ユーザによる操作部４０の各種操作指示を受付ける。受信部３８Ｇは、他の情報処理装置１０やサーバ２０から、通信部３６を介して各種データを受信する。本実施の形態では、受信部３８Ｇは、他の情報処理装置１０から通信部３６を介して映像情報を受信し、デコードする。デコードの方法には、公知の方法を用いればよい。

表示制御部３８Ｈは、表示部４２に各種画像を表示する制御を行う、音声出力制御部３８Ｉは、音声出力部４４に各種音声データの音声を出力する制御を行う。

本実施の形態では、表示制御部３８Ｈは、受信部３８Ｇで受信した映像情報に含まれる切出画像を表示部４２に表示する。このとき、音声出力制御部３８Ｉは、該映像情報に含まれる音声データの音声を音声出力部４４から出力する。

このため、情報処理装置１０は、他の情報処理装置１０から送信された映像情報に応じた切出画像および音声を出力することができる。また、情報処理装置１０の送信部３８Ｃは、当該情報処理装置１０で作成した映像情報を他の情報処理装置１０へ送信する。

このため、会議参加者は、表示部４２に表示された画像（切出画像）を視認し、音声出力部４４から出力された音声を聞くことで、他の情報処理装置１０の設置位置に位置する会議参加者の情報を得ることができる。また、当該情報処理装置１０の設置位置に位置する会議参加者に応じた映像情報が、他の情報処理装置１０へ送信される。このため、会議システム１では、遠隔地とのコミュニケーションを実現する会議システムを実現可能な構成となっている。

取得部３８Ｄは、会議時における座席領域Ｐの配置を示すレイアウト情報と、該レイアウト情報に示される座席領域Ｐの各々の優先度を示す優先度情報６２と、を含む設定情報を取得する。本実施の形態では、取得部３８Ｄは、ユーザによって操作される操作部４０から受け付けたレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報６２と、を設定情報として取得する。

例えば、ユーザは、操作部４０を操作することで、会議室のレイアウトを示すレイアウトＩＤを入力する。例えば、表示制御部３８Ｈは、制御部３８に記憶されているレイアウトＩＤの一覧を表示部４２に表示する。このとき、表示制御部３８Ｈは、レイアウト管理情報６０における、レイアウトＩＤに対応するレイアウト情報を表示部４２に合わせて表示してもよい。

そして、ユーザは、操作部４０を操作することで、表示部４２に表示されたレイアウトＩＤから、会議時の座席領域の配置を示すレイアウト情報（またはレイアウトＩＤ）を選択する。取得部３８Ｄは、操作部４０から受付部３８Ｅで受け付けたレイアウトＩＤ（またはレイアウト情報）に対応する優先度情報６２を記憶部３４から読取ることで、優先度情報６２を取得する。また、取得部３８Ｄは、操作部４０から受け付けたレイアウトＩＤに対応するレイアウト情報と、読取った優先度情報６２と、を設定情報として取得すればよい。

設定情報を取得した取得部３８Ｄは、取得した設定情報を、会議で用いる設定情報として記憶部３４に記憶する。

切出制御部３８Ｆは、取得部３８Ｄが取得した設定情報に応じて、音声入力部３２による収音方向、および、切出部３８Ｂによる切出領域を制御する。すなわち、切出制御部３８Ｆは、レイアウト情報と、優先度情報６２と、を用いて、音声入力部３２による収音方向および切出部３８Ｂによる切出領域を制御する。

本実施の形態では、切出制御部３８Ｆは、第１の制御を行う。

詳細には、切出制御部３８Ｆは、取得部３８Ｄで取得した設定情報に含まれる優先度情報６２に示される最も高い優先度の座席領域Ｐの方向を収音方向として設定する。具体的には、切出制御部３８Ｆは、記憶部３４から、取得部３８Ｄによって記憶された、会議で用いる設定情報を読取る。そして、切出制御部３８Ｆは、読取った設定情報を用いて、収音方向を設定する。

例えば、図４（Ｂ）に示す優先度情報６２が設定情報に含まれる場合、切出制御部３８Ｆは、優先度の最も高い（例えば、優先度「１」）座席領域Ｐ（座席領域Ｐ２、座席領域Ｐ３、座席領域Ｐ５、座席領域Ｐ６）の方向を収音方向として設定する。

そして、切出制御部３８Ｆは、設定した収音方向の音声を収音するように前記音声入力部３２による収音方向を制御する。例えば、切出制御部３８Ｆは、読取った設定情報に含まれるレイアウト情報に示される、各座席領域Ｐに対応する入力部４６の識別情報を読取る。そして、切出制御部３８Ｆは、収音方向として設定した座席領域Ｐに対応する入力部４６の識別情報を把握する。そして、切出制御部３８Ｆは、把握した識別情報によって識別される入力部４６に入力された音声の音声信号を、音声データとして用いるように、切替部４８による入力部４６の選択を切替える。

例えば、切替部４８は、収音方向として設定された方向の座席領域Ｐ（座席領域Ｐ２、座席領域Ｐ３、座席領域Ｐ５、座席領域Ｐ６）の各々に対応する入力部４６に入力された音声の音声信号を、音声データとして用いるように切替える。

このため、音声入力部３２は、音声入力部３２に含まれる複数の入力部４６の内、音声データとして用いる入力部４６として選択された入力部４６から出力された音声信号を、音声データとして制御部３８へ出力する。すなわち、切出制御部３８Ｆによる第１の制御によって、音声入力部３２は、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を収音方向とした音声データを、制御部３８へ出力する。

また、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する。

このため、切出制御部３８Ｆによる第１の制御によって、切出制御部３８Ｆは、撮影部３０が撮影した画像における、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を切出画像として切出す。

送信部３８Ｃは、切出制御部３８Ｆによって制御された収音方向の音声データと、切出制御部３８Ｆによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置１０へ送信する。

なお、切出制御部３８Ｆは、会議の始まる前の少なくとも第１のタイミングに第１の制御を行うことが好ましい。第１のタイミングは、例えば、電力供給が開始されて情報処理装置１０が起動してから、ユーザによる操作部４０の操作指示などによって会議開始を示す信号が入力されるまでの時間である。なお、第１のタイミングは、電力供給が開始されてから最初の音声が入力部４６に入力されるまでの期間であってもよい。

また、切出制御部３８Ｆは、第２の制御を行う。

詳細には、切出制御部３８Ｆは、少なくとも２以上の複数の入力部４６に音声が入力されたときに、音声が入力された複数の入力部４６が有する指向性の方向の内、取得部３８Ｄが取得した設定情報に含まれる優先度情報６２に示される最も高い優先度の座席領域Ｐの方向を、収音方向として設定する。

例えば、図４（Ｂ）に示す優先度情報６２が、取得部３８Ｄで取得した設定情報に含まれるとする。そして、情報処理装置１０に設けられた複数の入力部４６（入力部４６Ａ〜入力部４６Ｆ）の内、入力部４６Ｄおよび入力部４６Ｅに音声が入力されたとする。

この場合、切出制御部３８Ｆは、取得した設定情報に含まれるレイアウト情報に示される、入力部４６Ｄおよび入力部４６Ｅの各々の収音範囲に対応する座席領域Ｐを把握する。そして、切出制御部３８Ｆは、把握した座席領域Ｐ（例えば、座席領域Ｐ１、座席領域Ｐ２）の内、優先度の最も高い座席領域Ｐ（例えば、座席領域Ｐ２）の方向を、収音方向として設定する。

そして、切出制御部３８Ｆは、設定した収音方向の音声を収音するように音声入力部３２による収音方向を制御する。例えば、切出制御部３８Ｆは、読取った設定情報に含まれるレイアウト情報における、各座席領域Ｐに対応する入力部４６の識別情報を記憶部３４から読取る。そして、切出制御部３８Ｆは、収音方向として設定した座席領域Ｐ（例えば、座席領域Ｐ２）に対応する入力部４６の識別情報を把握する。そして、切出制御部３８Ｆは、把握した識別情報によって識別される入力部４６（例えば、入力部４６Ｅ）に入力された音声の音声信号を、音声データとして用いるように、切替部４８による入力部４６の選択を切替える。

例えば、切出制御部３８Ｆは、収音方向として設定した方向の座席領域Ｐ（座席領域Ｐ２）に対応する入力部４６（例えば、入力部４６Ｅ）に入力された音声の音声信号を、音声データとして用いるように、切替部４８を切替える。

このため、切出制御部３８Ｆによる第２の制御によって、音声入力部３２は、音声の入力された複数の入力部４６が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を収音方向とした音声データを、制御部３８へ出力する。

また、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する。

このため、切出制御部３８Ｆによる第２の制御によって、切出制御部３８Ｆは、撮影部３０が撮影した画像における、音声の入力された複数の入力部４６が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を切出画像として切出す。

送信部３８Ｃは、切出制御部３８Ｆによって制御された収音方向の音声データと、切出制御部３８Ｆによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置１０へ送信する。

なお、切出制御部３８Ｆは、第１のタイミングより後に、第２の制御または後述する第３の制御を行うことが好ましい。すなわち、切出制御部３８Ｆは、会議が開始された後に、第２の制御または第３の制御を行うことが好ましい。

また、切出制御部３８Ｆは、第３の制御を行う。

詳細には、切出制御部３８Ｆは、音声入力部３２に含まれる複数の入力部４６の内、何れか１つの入力部４６に音声が入力されたときに、音声が入力された入力部４６が有する指向性の方向に応じた座席領域Ｐに対応する優先度が設定情報に含まれる優先度情報６２に登録されていない場合、第１の制御を行う。

また、切出制御部３８Ｆは、音声入力部３２に含まれる複数の入力部４６の内、何れか１つの入力部４６に音声が入力されたときに、音声が入力された入力部４６が有する指向性の方向に応じた座席領域Ｐに対応する優先度が設定情報に含まれる優先度情報６２に登録されている場合、音声が入力された入力部４６が有する指向性の方向を収音方向として設定する。

そして、切出制御部３８Ｆは、設定した収音方向の音声を収音するように音声入力部３２を制御する。また、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する。

このため、第３の制御によって、切出制御部３８Ｆは、音声が入力された入力部４６が有する指向性の方向に応じた座席領域Ｐに対応する優先度が設定情報に含まれる優先度情報６２に登録されている場合、撮影部３０が撮影した画像における、音声の入力された１つの入力部４６が有する指向性の方向を収音方向として設定し、該収音方向に応じた座席領域Ｐの方向を切出画像として切出す。

送信部３８Ｃは、切出制御部３８Ｆによって制御された収音方向の音声データと、切出制御部３８Ｆによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置１０へ送信する。

次に、本実施の形態の情報処理装置１０で実行する情報処理の流れを説明する。図６は、情報処理装置１０において映像情報を他の情報処理装置１０へ送信するときに行う、情報処理の流れの一例を示すフローチャートである。

情報処理装置１０に電力が供給されると、受付部３８ＥがレイアウトＩＤを操作部４０から受け付ける（ステップＳ１００）。例えば、ユーザは、操作部４０を操作することで、会議室のレイアウトのレイアウトＩＤを入力する。

例えば、表示制御部３８Ｈは、制御部３８に記憶されているレイアウトＩＤの一覧を表示部４２に表示する。このとき、表示制御部３８Ｈは、レイアウト管理情報６０における、レイアウトＩＤに対応するレイアウト情報を表示部４２に合わせて表示してもよい。

そして、ユーザは、操作部４０を操作することで、表示部４２に表示されたレイアウトＩＤから、会議時の座席領域の配置を示すレイアウト情報（またはレイアウトＩＤ）を選択する。すると、受付部３８Ｅは、レイアウトＩＤを受け付ける。

次に、取得部３８Ｄが、設定情報を取得する（ステップＳ１０２）。ステップＳ１０２では、取得部３８Ｄは、ステップＳ１００で受け付けたレイアウトＩＤに対応するレイアウト情報と、該レイアウト情報に対応する優先度情報６２と、を記憶部３４から読取ることで、レイアウト情報および優先度情報６２を含む設定情報を取得する。

そして、取得部３８Ｄは、取得した設定情報を、会議で用いる設定情報として記憶部３４に記憶する（ステップＳ１０４）。

次に、切出制御部３８Ｆが第１の制御を行う（ステップＳ１０６〜ステップＳ１１０）。まず、切出制御部３８Ｆは、ステップＳ１０４で記憶部３４に記憶した設定情報に含まれる優先度情報６２に示される最も高い優先度の座席領域Ｐの方向を収音方向として設定する（ステップＳ１０６）。

次に、切出制御部３８Ｆは、ステップＳ１０６で設定した収音方向の音声を収音するように音声入力部３２を制御する（ステップＳ１０８）。これにより、切出制御部３８Ｆは、ステップＳ１０６で設定した収音方向の音声の音声データを受け付ける。

次に、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、ステップＳ１０６で設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する（ステップＳ１１０）。なお、撮影部３０は、情報処理装置１０への電力供給が開示されると、撮影を開始し、撮影によって得た画像（パノラマ画像）を制御部３８へ順次出力するものとして説明する。

ステップＳ１１０の処理によって、切出制御部３８Ｆは、撮影部３０が撮影した画像における、ステップＳ１０２で取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を切出画像として切出す。

次に、送信部３８Ｃは、ステップＳ１０８で受け付けた音声データと、ステップＳ１１０で切出した切出画像と、をエンコードし（ステップＳ１１２）、他の情報処理装置１０へ送信する（ステップＳ１１４）。

次に、制御部３８は、会議終了か否かを判断する（ステップＳ１１６）。例えば、制御部３８は、ユーザによる操作部４０の操作指示によって会議終了が指示されたか否かを判別することで、ステップＳ１１６の判断を行う。ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、本ルーチンを終了する。

一方、ステップＳ１１６で否定判断すると（ステップＳ１１６：Ｎｏ）、ステップＳ１１８へ進む。

ステップＳ１１８では、制御部３８は、音声入力部３２に設けられた複数の入力部４６の何れかに音声が入力されたか否かを判断する（ステップＳ１１８）。

ステップＳ１１８で否定判断すると（ステップＳ１１８：Ｎｏ）、上記ステップＳ１０６へ戻る。一方、ステップＳ１１８で肯定判断すると（ステップＳ１１８：Ｙｅｓ）、ステップＳ１２０へ進む。

ステップＳ１２０では、切出制御部３８Ｆが、ステップＳ１１８で音声入力有りと判断された入力部４６が複数であるか否かを判断する（ステップＳ１２０）。ステップＳ１１８で音声入力有りと判断された入力部４６が複数である場合（ステップＳ１２０：Ｙｅｓ）、ステップＳ１２２へ進む。

そして、切出制御部３８Ｆは、第２の制御（ステップＳ１２２〜ステップＳ１２８）を行う。すなわち、切出制御部３８Ｆは、会議で用いる設定情報として記憶部３４に記憶された設定情報を読取る（ステップＳ１２２）。

次に、切出制御部３８Ｆは、ステップＳ１２０で音声が入力されたと判断した複数の入力部４６が有する指向性の方向の内、ステップＳ１２２で読取った設定情報に含まれる優先度情報６２に示される最も高い優先度の座席領域Ｐの方向を収音方向として設定する（ステップＳ１２４）。

次に、切出制御部３８Ｆは、ステップＳ１２４で設定した収音方向の音声を収音するように音声入力部３２による収音方向を制御する（ステップＳ１２６）。これによって、切出制御部３８Ｆは、ステップＳ１２４で設定した収音方向の音声の音声データを受け付ける（ステップＳ１２６）。

次に、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、ステップＳ１２４で設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する（ステップＳ１２８）。

ステップＳ１２８の処理によって、切出制御部３８Ｆは、撮影部３０が撮影した画像における、音声の入力された複数の入力部４６が有する指向性の方向の内、ステップＳ１０２で取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を切出画像として切出す。

次に、送信部３８Ｃは、ステップＳ１２６で受け付けた音声データと、ステップＳ１２８で切出した切出画像と、をエンコードし（ステップＳ１３０）、映像情報として他の情報処理装置１０へ送信する（ステップＳ１３２）。そして、上記ステップＳ１１６へ戻る。

一方、上記ステップＳ１２０の判断において、切出制御部３８Ｆが、ステップＳ１１８において音声入力有りと判断された入力部４６が１つであると判断した場合（ステップＳ１２０：Ｎｏ）、ステップＳ１３４へ進む。

そして、切出制御部３８Ｆは、第３の制御を行う（ステップＳ１３４〜ステップＳ１４２）。詳細には、切出制御部３８Ｆは、会議で用いる設定情報として記憶部３４に記憶された設定情報を読取る（ステップＳ１３４）。

そして、切出制御部３８Ｆは、音声が入力された入力部４６の有する指向性の方向に応じた座席領域Ｐに対応する優先度が、ステップＳ１３４で読取った設定情報に含まれる優先度情報６２に登録されているか否かを判断する（ステップＳ１３６）。

優先度が登録されていないと判断した場合（ステップＳ１３６：Ｎｏ）、上記ステップＳ１０６へ戻る。

一方、優先度が登録されていると判断した場合（ステップＳ１３６：Ｙｅｓ）、ステップＳ１３８へ進む。ステップＳ１３８では、切出制御部３８Ｆは、音声が入力された入力部４６が有する指向性の方向を収音方向として設定する（ステップＳ１３８）。

そして、切出制御部３８Ｆは、ステップＳ１３８で設定した収音方向の音声を収音するように音声入力部３２を制御する（ステップＳ１４０）。ステップＳ１４０の処理によって、切出制御部３８Ｆは、ステップＳ１３８で設定した収音方向の音声の音声データを受け付ける。

次に、切出制御部３８Ｆは、撮影部３０が撮影した画像（本実施の形態ではパノラマ画像）における、ステップＳ１３８で設定した収音方向の座席領域Ｐに対応する領域を、切出画像として切出すように、切出部３８Ｂによる切出領域を制御する（ステップＳ１４２）。

ステップＳ１４２の処理によって、切出制御部３８Ｆは、撮影部３０が撮影した画像における、音声の入力された入力部４６が有する指向性の方向を切出画像として切出す。

次に、送信部３８Ｃは、ステップＳ１４０で受け付けた音声データと、ステップＳ１４２で切出した切出画像と、をエンコードし（ステップＳ１４４）、映像情報として他の情報処理装置１０へ送信する（ステップＳ１４６）。そして、上記ステップＳ１１６へ戻る。

次に、本実施の形態の情報処理装置１０において映像情報を他の情報処理装置１０から受信したときに行う、情報処理の流れを説明する。図７は、他の情報処理装置１０から映像情報を受信したときに行う、情報処理の流れの一例を示すフローチャートである。

まず、受信部３８Ｇが、他の情報処理装置１０から通信部３６を介して映像情報を受信したか否かを判断する（ステップＳ２００）。ステップＳ２００で否定判断すると（ステップＳ２００：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ２００で肯定判断すると（ステップＳ２００：Ｙｅｓ）、ステップＳ２０２へ進む。

ステップＳ２０２では、受信部３８Ｇが受信した映像情報をデコードし、表示制御部３８Ｈが映像情報に含まれる切出画像を表示部４２へ表示すると共に、音声出力制御部３８Ｉが該映像情報に含まれる音声データを音声出力部４４へ出力する（ステップＳ２０２）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１０は、撮影部３０と、音声入力部３２と、切出部３８Ｂと、送信部３８Ｃと、取得部３８Ｄと、切出制御部３８Ｆと、を備える。音声入力部３２は、音声が入力され、音声の収音方向を切替え可能である。切出部３８Ｂは、撮影部３０により撮影された画像の少なくとも一部の切出領域を切出画像として切出す。送信部３８Ｃは、切出画像と、音声入力部３２に入力された音声の音声データと、を含む映像情報を送信する。取得部３８Ｄは、会議時における座席領域Ｐの配置を示すレイアウト情報と、レイアウト情報に示される座席領域Ｐの各々の優先度を示す優先度情報６２と、を含む設定情報を取得する。切出制御部３８Ｆは、取得した設定情報に応じて、音声入力部３２による収音方向および切出部３８Ｂによる切出領域を制御する。

このように、本実施の形態の情報処理装置１０では、レイアウト情報と、優先度情報と、に応じて、音声入力部３２による収音方向および切出部３８Ｂによる切出領域を制御する。

従って、本実施の形態の情報処理装置１０は、処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができる、という効果を奏する。

例えば、従来では、会議中に発言した発言者の画像の切出しと、発言中の発言者の方向へのマイクの指向性制御と、を動的に行っていた。また、レイアウトに応じて切出画像の切出しおよび指向性制御を行う場合、会議参加者の意図したとおりの切出領域が切出画像として切出されない場合があった。例えば、実際には会議参加者の不在の領域が切出され、切出画像として他の情報処理装置１０へ送信される場合があった。

一方、本実施の形態の情報処理装置１０は、レイアウト情報と優先度情報に応じて、音声入力部３２による収音方向および切出部３８Ｂによる切出領域を制御する。このため、本実施の形態の情報処理装置１０は、処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができる、という効果を奏する。

また、音声入力部３２は、複数の入力部４６と、切替部４８と、を有することができる。複数の入力部４６は、互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する。切替部４８は、複数の入力部４６の内、送信する音声データとして用いる音声信号を出力した入力部４６の選択を切替えることによって、収音方向を切替える。

また、切出制御部３８Ｆは、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を収音方向として設定する。そして、切出制御部３８Ｆは、、設定した収音方向の音声を収音するように音声入力部３２による収音方向を制御すると共に、撮影部３０が撮影した画像における該座席領域Ｐに対応する領域を切出画像として切出すように切出部３８Ｂによる切出領域を制御する、第１の制御を行うことができる。

また、切出制御部３８Ｆは、会議の始まる前の少なくとも第１のタイミングに第１の制御を行うことが好ましい。

また、切出制御部３８Ｆは、少なくとも２以上の複数の入力部４６に音声が入力されたときに、音声が入力された複数の入力部４６が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Ｐの方向を収音方向として設定する。そして、切出制御部３８Ｆは、設定した収音方向の音声を収音するように音声入力部３２を制御すると共に、撮影部３０が撮影した画像における該座席領域Ｐに対応する領域を切出画像として切出すように切出部３８Ｂを制御する、第２の制御を行うことが好ましい。

また、切出制御部３８Ｆは、何れか１つの入力部４６に音声が入力されたときに、音声が入力された入力部４６が有する指向性の方向に応じた座席領域Ｐに対応する優先度が設定情報に含まれる優先度情報に登録されていない場合、第１の制御を行うことができる。また、切出制御部３８Ｆは、該優先度が設定情報に含まれる優先度情報に登録されている場合、音声が入力された入力部４６が有する指向性の方向を収音方向として設定する。そして、切出制御部３８Ｆは、設定した収音方向の音声を収音するように音声入力部３２を制御すると共に、撮影部３０が撮影した画像における該入力部４６が有する指向性の方向に応じた座席領域Ｐに対応する領域を切出画像として切出すように切出部３８Ｂを制御する、第３の制御を行うことが好ましい。

また、取得部３８Ｄは、ユーザによって操作される操作部４０から受け付けたレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得することができる。

また、本実施の形態の情報処理方法は、撮影部３０と、収音方向を切替え可能な音声入力部３２と、を備えた情報処理装置１０で実行する情報処理方法である。本実施の形態の情報処理方法は、撮影部３０により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、切出画像と、音声入力部３２に入力された音声の音声データと、を含む映像情報を送信するステップと、会議時における座席領域の配置を示すレイアウト情報と、レイアウト情報に示される座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、取得した設定情報に応じて、収音方向および切出領域を制御するステップと、を含む。

また、本実施の形態の情報処理プログラムは、撮影部３０と、収音方向を切替え可能な音声入力部３２と、を備えたコンピュータに実行させる情報処理プログラムである。本実施の形態の情報処理プログラムは、撮影部３０により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、切出画像と、音声入力部３２に入力された音声の音声データと、を含む映像情報を送信するステップと、会議時における座席領域の配置を示すレイアウト情報と、レイアウト情報に示される座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、取得した設定情報に応じて、収音方向および切出領域を制御するステップと、を含む。

（第２の実施の形態）
上記実施の形態では、取得部３８Ｄは、ユーザによって操作される操作部４０から受け付けたレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する場合を説明した。

本実施の形態では、取得部３８Ｄが、撮影部３０によって撮影された画像から設定情報を取得する形態を説明する。

なお、第１の実施の形態と同様の機能を示す構成には、同じ符号を付与して詳細な説明を省略する場合がある。

図１は、本実施の形態の会議システム１Ａの構成の一例を示す図である。会議システム１Ａは、複数の情報処理装置１１（例えば、情報処理装置１１Ａ、情報処理装置１１Ｂ）と、サーバ２０と、を備える。複数の情報処理装置１１およびサーバ２０は、ネットワーク２を介して接続されている。会議システム１Ａは、情報処理装置１０に代えて情報処理装置１１を備えた以外は、会議システム１と同様である。

図８は、本実施の形態の情報処理装置１１の一例を示すブロック図である。

情報処理装置１１は、撮影部３０と、音声入力部３２と、記憶部３４と、通信部３６と、制御部３９と、操作部４０と、表示部４２と、音声出力部４４と、を備える。撮影部３０、音声入力部３２、記憶部３４、通信部３６、操作部４０、表示部４２、および音声出力部４４は、制御部３９にデータや信号授受可能に接続されている。情報処理装置１１は、制御部３８に代えて制御部３９を備えた以外は、第１の実施の形態の情報処理装置１０と同様である。

制御部３９は、情報処理装置１１全体を制御する。制御部３９は、撮影制御部３８Ａと、切出部３８Ｂと、送信部３８Ｃと、取得部３９Ｄと、受付部３８Ｅと、切出制御部３８Ｆと、受信部３８Ｇと、表示制御部３８Ｈと、音声出力制御部３８Ｉと、を含む。

撮影制御部３８Ａ、切出部３８Ｂ、送信部３８Ｃ、取得部３９Ｄ、受付部３８Ｅ、切出制御部３８Ｆ、受信部３８Ｇ、表示制御部３８Ｈ、および音声出力制御部３８Ｉの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

制御部３９は、取得部３８Ｄに代えて取得部３９Ｄを備えた以外は、第１の実施の形態で説明した制御部３８と同様である。

取得部３９Ｄは、取得部３８Ｄと同様に、会議時における座席領域の配置を示すレイアウト情報と、該レイアウト情報に示される座席領域Ｐの各々の優先度を示す優先度情報６２と、を含む設定情報を取得する。

本実施の形態では、取得部３９Ｄは、特定部３９Ｋと、第２の取得部３９Ｌと、判断部３９Ｍと、を含む。

特定部３９Ｋは、撮影部３０によって撮影された画像からレイアウト情報を特定する。本実施の形態では、情報処理装置１１に電力が供給されると、撮影部３０が全方位（３６０°）をスキャンし、パノラマ画像を得る。そして、特定部３９Ｋは、撮影部３０によって撮影された画像（パノラマ画像）に含まれる人物の位置を、公知の顔認識などの画像解析方法を用いて識別する。

そして、特定部３９Ｋは、撮影部３０によって撮影された画像に含まれる人物の位置の各々に対応する配置に最も近い、座席領域Ｐの配置を示すレイアウト情報を、記憶部３４に記憶されているレイアウト管理情報６０（図４（Ａ）参照）から特定する。

第２の取得部３９Ｌは、特定部３９Ｋが特定したレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報（例えば、優先度情報６２）と、を設定情報として取得する。

このように、本実施の形態では、取得部３９Ｄは、撮影部３０が撮影した画像を用いて、設定情報を取得する。

ここで、会議中に、会議参加者が会議室内を移動する場合がある。図９は、会議中に会議参加者が会議室内を移動した状態を示す説明図である。

図９（Ａ）に示すように、会議の開始時には、座席領域Ｐ１〜座席領域Ｐ５の各々に会議参加者が存在したとする。しかし、会議中に、例えば、座席領域Ｐ１に存在した会議参加者Ｍ（会議参加者Ｍ１）が、座席領域Ｐ６へ移動する場合がある（図９（Ｂ）参照）。

移動後の座席領域Ｐ６がレイアウト情報に登録されていない場合、座席領域Ｐ６の音声や座席領域Ｐ６の画像が映像情報として他の情報処理装置１０へ送信されない場合がある。

なお、このような場合、図９（Ｃ）に示すように、座席領域Ｐ１の音声の平均音量は、座席領域Ｐ１から座席領域Ｐ６への会議参加者Ｍの移動によって、時刻ｔ１を境界として音量Ｌ１低下する。そして、そのまま座席領域Ｐ１に会議参加者Ｍが存在しない場合、該座席領域Ｐ１の音声の平均音量は、低下した状態が継続することとなる（例えば、Ｔ１時間継続）。

図８に戻り、そこで、判断部３９Ｍは、音声入力部３２に入力された音声の平均音量が第１の閾値以上変動した後に変動後の平均音量が第２の閾値以上の時間継続した座席領域Ｐを判断する。第１の閾値には、会議参加者Ｍが存在する状態から存在しない状態になったことの判別可能な、平均音量の閾値を予め定めればよい。また、第２の閾値には、会議参加者が存在しない状態が維持されたか否かを判別可能な継続時間の閾値を、予め定めればよい。

そして、取得部３９Ｄでは、判断部３９Ｍが座席領域Ｐを判断したときに、特定部３９Ｋでレイアウト情報の特定、および第２の取得部３９Ｌで設定情報の取得を行うことが好ましい。これにより、会議中に会議参加者が移動した場合に、動的に、設定情報を変更することが可能となる。

次に、本実施の形態の情報処理装置１１で実行する情報処理の流れを説明する。図１０は、情報処理装置１１において映像情報を他の情報処理装置１１へ送信するときに行う、情報処理の流れの一例を示すフローチャートである。

情報処理装置１１に電力が供給されると、撮影制御部３８Ａは、全方位（３６０°）をスキャンし、パノラマ画像を得るように撮影部３０を制御する。これによって、取得部３９Ｄは、撮影部３０から全方位の画像（すなわちパノラマ画像）を取得する（ステップＳ３００）。

次に、特定部３９Ｋが、ステップＳ３００で取得した画像（パノラマ画像）から、レイアウト情報を特定する（ステップＳ３０２）。

次に、制御部３９は、ユーザによる操作部４０の操作指示によって設定情報の入力を受け付けたか否かを判断する（ステップＳ３０４）。ステップＳ３０４で肯定判断すると（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０８へ進む。ステップＳ３０８では、第１の実施の形態の取得部３８Ｄと同様にして、取得部３９Ｄが設定情報を取得する（ステップＳ３０８）。そして、ステップＳ３１０へ進む。

一方、ステップＳ３０４で否定判断すると（ステップＳ３０４：Ｎｏ）、ステップＳ３０６へ進む。ステップＳ３０６では、第２の取得部３９Ｌが、ステップＳ３０２で特定部３９Ｋが特定したレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報（例えば、優先度情報６２）と、を設定情報として取得する（ステップＳ３０６）。

そして、取得部３９Ｄは、ステップＳ３０６またはステップＳ３０８で取得した設定情報を、会議で用いる設定情報として記憶部３４に記憶する（ステップＳ３１０）。

次に、受付部３８Ｅが、会議開始を示す会議開始指示を操作部４０から受け付けたか否かを判断する（ステップＳ３１２）。ユーザは、操作部４０を操作することで、会議開始指示を入力する。操作部４０は、入力された会議開始指示を制御部３９へ出力する。そして、受付部３８Ｅは、操作部４０から会議開始指示を受付けたか否かを判別することで、ステップＳ３１２の判断を行えばよい。

ステップＳ３１２で否定判断すると（ステップＳ３１２：Ｎｏ）、ステップＳ３１４へ進む。ステップＳ３１４では、制御部３９が、前回設定情報を取得してから所定時間経過したか否かを判断する（ステップＳ３１４）。

例えば、ステップＳ３０６またはステップＳ３０８で設定情報を取得してから、会議開始指示を受付けないまま所定時間経過することで、座席領域Ｐのレイアウトが変更される場合がある。このため、制御部３９は、ステップＳ３１４の判断を行うことが好ましい。

ステップＳ３１４で否定判断すると（ステップＳ３１４：Ｎｏ）、上記ステップＳ３０４へ戻る。ステップＳ３１４で肯定判断すると（ステップＳ３１４：Ｙｅｓ）、ステップＳ３００へ戻る。

一方、ステップＳ３１２で肯定判断すると（ステップＳ３１２：Ｙｅｓ）、制御部３９は、第１の実施の形態のステップＳ１０６〜ステップＳ１４６（図６参照）と同様にして、ステップＳ３１６〜ステップＳ３５６の処理を実行する。そして、ステップＳ３２６で肯定判断すると（ステップＳ３２６：Ｙｅｓ）、本ルーチンを終了する。

次に、図１０に示す情報処理の手順において実行される、割込処理を説明する。

図１１は、図１０に示す情報処理中に制御部３９が実行する割込処理の手順の一例を示すフローチャートである。

制御部３９の取得部３９Ｄは、図１０のステップＳ３１２で会議開始指示を受付けたと判断した後に（ステップＳ３１２：Ｙｅｓ）、図１１に示す割込処理を実行する。

まず、取得部３９Ｄが、前回設定情報を更新（後述するステップＳ４１０の処理）してから所定時間経過したか否かを判断する（ステップＳ４００）。ステップＳ４００で用いる所定時間とは、上記第２の閾値によって示される時間以上の時間であればよい。

ステップＳ４００で否定判断すると（ステップ４００：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ４００で肯定判断すると（ステップＳ４００：Ｙｅｓ）、ステップＳ４０２へ進む。

ステップＳ４０２では、判断部３９Ｍが、音声入力部３２に入力された音声の平均音量が第１の閾値以上変動した後に変動後の平均音量が第２の閾値以上の時間継続した座席領域Ｐがあるか否かを判断する（ステップＳ４０２）。

ステップＳ４０２で否定判断すると（ステップＳ４０２：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ４０２で肯定判断すると（ステップＳ４０２：Ｙｅｓ）、ステップＳ４０４へ進む。

ステップＳ４０４では、取得部３９Ｄは、撮影部３０から全方位の画像（すなわちパノラマ画像）を取得する（ステップＳ４０４）。

次に、特定部３９Ｋが、ステップＳ４０４で取得した画像（パノラマ画像）から、レイアウト情報を特定する（ステップＳ４０６）。次に、第２の取得部３９Ｌが、ステップＳ４０６で特定部３９Ｋが特定したレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する（ステップＳ４０８）。

そして、取得部３９Ｄは、ステップＳ４０８で取得した設定情報を、会議で用いる設定情報として記憶部３４に記憶することで、記憶部３４に既に記憶されている設定情報を更新する（ステップＳ４１０）。そして、本ルーチンを終了する。

ステップＳ４００〜ステップＳ４１０の処理が実行されることによって、会議中に会議参加者が移動した場合に、動的に、設定情報を変更することが可能となる。

以上説明したように、本実施の形態では、取得部３９Ｄが、特定部３９Ｋと、第２の取得部３９Ｌと、を含むことができる。特定部３９Ｋは、撮影部３０によって撮影された画像からレイアウト情報を特定する。第２の取得部３９Ｌは、特定部３９Ｋが特定したレイアウト情報と、記憶部３４から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する。

このように、本実施の形態の情報処理装置１１は、取得部３９Ｄが、レイアウト情報および優先度情報を、ユーザによる操作部４０の操作指示を介することなく自動で取得することができる。

このため、本実施の形態の情報処理装置１１は、第１の実施の形態の効果に加えて、ユーザの操作の手間の低減を図ることができる。

また、本実施の形態では、取得部３９Ｄは、判断部３９Ｍを含む。判断部３９Ｍは、音声入力部３２に入力された音声の平均音量が第１の閾値以上変動した後に変動後の平均音量が第２の閾値以上の時間継続した座席領域Ｐを判断する。そして、取得部３９Ｄは、判断部３９Ｍが座席領域Ｐを判断したときに、レイアウト情報の特定および設定情報の取得を行うことができる。

（ハードウェア構成）
次に、ハードウェア構成を説明する。図１２は、上記実施の形態における情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０のハードウェア構成図である。

情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０は、ハードウェア構成として、装置全体を制御するＣＰＵ５０１と、各種データや各種プログラムを記憶するＲＯＭ５０２と、ＲＡＭ５０３と、インターフェース部（Ｉ／Ｆ部）５０４と、がバス５０５を介して接続されており、通常のコンピュータを利用したハードウェア構成となっている。Ｉ／Ｆ部５０４には、公知の表示装置や、キーボードなどの操作部などが接続される。

上記実施の形態の情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、上記実施の形態の情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、上記実施の形態の情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上記実施の形態の情報処理装置１０、情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１１、情報処理装置１１Ａ、情報処理装置１１Ｂ、およびサーバ２０で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。また、種々の変形が可能である。

１、１Ａ 会議システム
１０、１０Ａ、１０Ｂ、１１、１１Ａ、１１Ｂ 情報処理装置
３０ 撮影部
３２ 音声入力部
３８ 制御部
３８Ａ 撮影制御部
３８Ｂ 切出部
３８Ｃ 送信部
３８Ｄ 取得部
３８Ｆ 切出制御部

特開２００７−２７４４６３号公報

Claims (12)

1. 撮影部と、
   音声の収音方向を切替え可能な音声入力部と、
   前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出部と、
   前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信部と、
   会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得部と、
   取得した前記設定情報に応じて、前記音声入力部による前記収音方向および前記切出部による前記切出領域を制御する切出制御部と、
   を備える情報処理装置。
2. 前記音声入力部は、
   互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する複数の入力部と、
   前記音声データとして用いる前記音声信号を出力した前記入力部の選択を切替えることによって、前記収音方向を切替える切替部と、
   を有する、
   請求項１に記載の情報処理装置。
3. 前記切出制御部は、
   取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部による前記収音方向を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出部による前記切出領域を制御する、第１の制御を行う、請求項２に記載の情報処理装置。
4. 前記切出制御部は、会議の始まる前の少なくとも第１のタイミングに前記第１の制御を行う、請求項３に記載の情報処理装置。
5. 前記切出制御部は、
   少なくとも２以上の複数の前記入力部に音声が入力されたときに、
   音声が入力された複数の前記入力部が有する指向性の方向の内、取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出部を制御する、第２の制御を行う、
   請求項２〜請求項４の何れか１項に記載の情報処理装置。
6. 前記切出制御部は、何れか１つの前記入力部に音声が入力されたときに、
   音声が入力された前記入力部が有する指向性の方向に応じた前記座席領域に対応する優先度が、取得した前記設定情報に含まれる前記優先度情報に登録されていない場合、前記第１の制御を行い、
   該優先度が取得した前記設定情報に含まれる前記優先度情報に登録されている場合、音声が入力された前記入力部が有する指向性の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部を制御すると共に、前記画像における該入力部が有する指向性の方向に応じた前記座席領域に対応する領域を前記切出画像として切出すように前記切出部を制御する、第３の制御を行う、
   請求項３に記載の情報処理装置。
7. 前記取得部は、
   ユーザによって操作される操作部から受け付けた前記レイアウト情報と、記憶部から読取った該レイアウト情報に対応する前記優先度情報と、を前記設定情報として取得する、
   請求項１〜請求項６の何れか１項に記載の情報処理装置。
8. 前記取得部は、
   前記撮影部によって撮影された画像から前記レイアウト情報を特定する特定部と、
   特定した前記レイアウト情報と、記憶部から読取った該レイアウト情報に対応する前記優先度情報と、を前記設定情報として取得する第２の取得部と、
   を有する、請求項１〜請求項６の何れか１項に記載の情報処理装置。
9. 前記取得部は、
   前記音声入力部に入力された音声の平均音量が第１の閾値以上変動した後に変動後の平均音量が第２の閾値以上の時間継続した前記座席領域を判断する判断部を含み、
   前記判断部が前記座席領域を判断したときに、前記レイアウト情報の特定および前記設定情報の取得を行う、請求項８に記載の情報処理装置。
10. 前記撮影部は、全方位を撮影し、全方位の前記画像を得る、請求項１〜請求項９の何れか１項に記載の情報処理装置。
11. 撮影部と、音声の収音方向を切替え可能な音声入力部と、を備えた情報処理装置で実行する情報処理方法であって、
    前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、
    前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信するステップと、
    会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、
    取得した前記設定情報に応じて、前記収音方向および前記切出領域を制御するステップと、
    を含む、情報処理方法。
12. 撮影部と、音声の収音方向を切替え可能な音声入力部と、を備えたコンピュータに、
    前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、
    前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信するステップと、
    会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、
    取得した前記設定情報に応じて、前記収音方向および前記切出領域を制御するステップと、
    を実行させる情報処理プログラム。

Images