JP2017022689A - 通信装置、会議システム、プログラムおよび表示制御方法 - Google Patents

Abstract

【課題】 ユーザが操作することなく、ユーザに最適な画像を表示させることができる装置等を提供する。
【解決手段】 この装置は、ネットワークを介して画像を受信する受信手段３０を含み、受信された受信画像の少なくとも一部を表示手段３１に表示させる通信装置であり、切り出し画像として表示手段３１に表示させる表示数と該切り出し画像の表示順序の種類とを受け付ける受付手段と、話者を含む切り出し画像を受信画像から取得する領域切出手段３３と、取得された上記表示数の切り出し画像を、受付手段が受け付けた表示順序の種類に従って表示させるように表示手段３１に対して指示する制御手段３４とを含む。
【選択図】 図３

Description

本発明は、ネットワークを介して画像を受信し、該画像の表示を制御する通信装置、複数の通信装置を使用して会議を行う会議システム、上記画像の表示を制御する処理をコンピュータに実行させるためのプログラムおよびその表示制御方法に関する。

インターネット等のネットワークを介して遠隔地との間で、遠隔会議を行うビデオ会議システムが普及している。ビデオ会議システムは、会議室に配置される通信装置を用い、会議の参加者であるユーザを含む会議室の画像を撮像し、音声を収集し、それらを相手方の通信装置へ送信し、表示および音声出力させる。これにより、実際に１つの会議室で会議を行う場合と同様の臨場感のある会議を遠隔地間で実現することができる。

このようなビデオ会議システムにおいて、撮像される物体の全方位の位置関係を容易に把握でき、操作の利便性を高める目的で、環状画像とパノラマ画像と切り出し画像を同時に表示する技術が提案されている（特許文献１参照）。この特許文献１に記載の技術では、切り出し画像の切り出し領域を選択し、その選択操作に応じて、環状画像、パノラマ画像、切り出し画像の表示形態を連動して切り替えるようになっている。

上記の技術では、タッチパネルをタッチし、切り出し領域を選択するタッチ操作や、切り出し領域をスクロールさせるフリック操作等を行って、ユーザに最適な画像を表示させる必要がある。このような操作は、会議中に会話しながら行わなければならず、ユーザにとって利便性に著しく欠けるという問題があった。

そこで、他の会議室にいる参加者全員を撮像した画像に対して、ユーザが操作することなく、ユーザに最適な画像を表示させることが可能な装置等の提供が望まれていた。

本発明は、上記課題に鑑み、ネットワークを介して画像を受信する受信手段を含み、受信された受信画像の少なくとも一部を表示手段に表示させる通信装置であって、切り出し画像として表示手段に表示させる表示数と該切り出し画像の表示順序の種類とを受け付ける受付手段と、話者を含む切り出し画像を受信画像から取得する領域切出手段と、取得された表示数の切り出し画像を、受付手段が受け付けた表示順序の種類に従って表示させるように表示手段に対して指示する制御手段とを含む、通信装置が提供される。

本発明によれば、ユーザが操作することなく、ユーザに最適な画像を表示させることができる。

本実施形態の会議システムの構成例を示した図。 会議システムを構成する通信装置のハードウェア構成を例示した図。 通信装置の機能構成を例示した機能ブロック図。 表示数と表示順序とを入力させるための入力画面を例示した図。 話者追従順に設定した場合に表示される表示画面を例示した図。 話者追従順に設定した場合に表示数以上のユーザによる会話があったときの表示画面を例示した図。 通信装置が行う処理の流れを例示したフローチャート。

図１は、本実施形態の会議システムの構成例を示した図である。会議システムは、互いに離れた場所にある会議室内に設置される通信装置１０〜１３と、画像や音声を転送する転送装置としてのサーバ装置１４とを含む。通信装置１０〜１３は、インターネット等のネットワーク１５に接続され、サーバ装置１４を介して通信を行うように構成されている。図１では、通信装置１０〜１３の４つが示されているが、４つに限定されるものではなく、２つや３つ、または５つ以上の装置であってもよい。ネットワーク１５は、有線ネットワークおよび無線ネットワークのいずれであってもよく、２以上のネットワークから構成されたものであってもよい。

サーバ装置１４は、各通信装置１０〜１３がサーバ装置１４に接続しているか否かの状態を監視し、会議を開始する際、通信装置の呼び出し制御を行い、会議中には画像や音声を転送する制御を行う。現実には、画像データや音声データが装置間を送受信され、転送されるが、ここでは、画像や音声を送受信、転送するものとして説明する。

各通信装置１０〜１３は、撮像手段、音声入力手段、音声出力手段、表示手段、送信手段、受信手段を備える。このため、各通信装置１０〜１３は、撮像対象である複数の会議参加者としてのユーザを撮像し、そのユーザが発した音声を取得し、得られた画像や音声をサーバ装置１４に送信することができる。また、各通信装置１０〜１３は、サーバ装置１４から、他の通信装置が送信した画像や音声を受信し、画像を表示し、音声を出力することができる。

会議システムは、会議を行うためにログイン等した通信装置間でのみ、画像および音声のやりとりを行う。例えば、通信装置１０〜１２でログインが行われた場合、通信装置１０〜１２間でのみ画像および音声が送受信される。すなわち、通信装置１０が画像および音声を送信すると、その画像および音声は、サーバ装置１４を介して会議に参加している他の通信装置１１、１２にのみ送信される。したがって、その画像および音声は、会議に参加していない通信装置１３には送信されない。同様に、通信装置１１が送信した画像および音声は、サーバ装置１４を介して通信装置１０、１２に送信され、通信装置１３には送信されない。

通信装置１０〜１２が設置された各会議室には、それぞれ複数のユーザが会議に参加しており、各通信装置１０〜１２は、各会議室内の複数のユーザ全員を撮像し、得られた映像を画像として他の通信装置に送信する。また、各会議室内の複数のユーザが発した音声を他の通信装置に送信する。そして、他の通信装置から画像および音声を受信し、画像を表示し、音声を出力する。

通信装置１０は、画像および音声を送信する際、通信装置１０を識別するための装置識別情報を、画像および音声に付加して送信することができる。サーバ装置１４は、付加された装置識別情報を抽出し、抽出した装置識別情報で識別される通信装置以外の通信装置に画像および音声を転送することができる。装置識別情報は、各装置を一意に識別できる情報であれば良く、通信装置の機器名、IPアドレス、MAC(Media Access Control)アドレス等とすることができる。画像は、上記の映像のほか、静止画の画像であってもよい。なお、静止画の画像の場合、一定時間間隔で撮像し、送信することができる。また、ユーザ全員の撮像は、前方から広角レンズを使用して行われる撮像であってもよいし、魚眼レンズを使用した全方位を撮像するものであってもよいし、中心軸を固定して左右水平方向へ旋回して行うパノラマ撮影であってもよい。

図２を参照して、通信装置１０のハードウェア構成について説明する。通信装置１１〜１３は、通信装置１０と同様の構成であるため、ここでは通信装置１０についてのみ説明する。通信装置１０は、ハードウェアとして、撮像手段としてのカメラ２０、表示手段としての表示装置２１、音声入力手段としてのマイク２２、音声出力手段としてのスピーカ２３を備える。また、通信装置１０は、CPU２４、記憶装置２５、メモリ２６、通信I/F２７、入力手段としてのキーボードや入力ボタン等の入力装置２８を備える。これらは、バス２９に接続され、バス２９を介してデータ等のやりとりを行う。

カメラ２０は、会議に参加するユーザを撮像した画像を取得し、その画像をCPU２４に送信する。表示装置２１は、CPU２４から受信した画像を、画面に表示する。表示装置２１としては、CRT(Cathode Ray Tube)、液晶ディスプレイ、有機ELディスプレイ等を挙げることができる。マイク２２は、会議に参加するユーザが発した音声を取得し、その音声をCPU２４に送信する。スピーカ２３は、CPU２４から受信した音声を出力する。

CPU２４は、通信装置１０全体の制御を行い、画像および音声の送受信を行い、画像の表示や音声の出力を指示する。記憶装置２５は、CPU２４が行う制御を実現するためのプログラムを格納する。記憶装置２５としては、不揮発性メモリやHDD等を挙げることができる。メモリ２６は、CPU２４が使用するプログラムの展開や演算データの一時保存を行う。通信I/F２７は、ネットワーク１５を介して他の通信装置と接続し、画像データや音声データの送受信を行う。通信I/F２７としては、10Base-T、100Base-TX、1000Base-Tに対応し、Ethernet（登録商標）に接続する有線LAN、802.11a/b/g/nに対応した無線LAN等を挙げることができる。入力装置２８は、会議の参加者が入力した情報を受け付け、その情報をCPU２４に送信する。入力装置２８としては、上記のキーボードや入力ボタンのほか、タッチパネル等であってもよい。

通信装置１０は、カメラ２０、表示装置２１、マイク２２、スピーカ２３を装置内に含むものであってもよいし、これらの一部または全部が装置とケーブル等により接続され、装置外にあるものであってもよい。また、ケーブル等の有線により接続されたものでなくてもよく、赤外線通信やBluetooth（登録商標）、無線LAN等により無線接続された形態であってもよい。

通信装置１０が画像および音声を送信する場合の動作は、次のようなものとなる。カメラ２０およびマイク２２は、会議に参加するユーザの画像および音声を取得し、CPU２４にそれらの画像および音声を送信する。CPU２４は、記憶装置２５からプログラムを読み出し実行して、画像に対して所定の補正を行い、補正後の画像および音声を通信I/F２７を介して、ネットワーク１５に接続されるサーバ装置１４に送信する。サーバ装置１４は、それらの画像および音声を他の通信装置に転送する。

通信装置１０が画像および音声を受信する場合の動作は、次のようなものとなる。通信I/F２７は、ネットワーク１５を介してサーバ装置１４から転送された画像および音声を受信する。CPU２４は、記憶装置２５からプログラムを読み出し実行して、通信I/F２７が受信した画像および音声を取得し、画像を表示装置２１に、音声をスピーカ２３に送信する。表示装置２１は、CPU２４から画像を受信し、画面にその画像を表示する。スピーカ２３は、CPU２４から音声を受信し、その音声を出力する。

次に、図３を参照して、通信装置１０が備える機能について詳細に説明する。通信装置１１〜１３も、通信装置１０と同様の機能を備えるため、ここでは通信装置１０についてのみ説明する。通信装置１０は、その機能を実現するための以下の機能手段を備える。これらの機能手段は、CPU２４が記憶装置２５に格納されたプログラムを読み出し実行することにより、また、カメラ２０、表示装置２１、マイク２２、スピーカ２３、記憶装置２５等により実現される。

通信装置１０は、受信手段３０、表示手段３１、受付手段３２、領域切出手段３３、制御手段３４を備える。図３では、通信装置１０が表示手段３１を備える構成としているが、表示手段３１は通信装置１０とケーブルや無線により接続された別の機器であってもよい。受信手段３０は、ネットワーク１５を介して他の会議室で撮像された画像を受信する。表示手段３１は、CRTや液晶ディスプレイ等であり、受信手段３０により受信された画像データを画面に表示する。

受付手段３２は、受信手段３０により受信された画像から１以上の領域を切り出し、切り出し画像として表示手段３１に表示させる表示数と、その切り出し画像の表示順序とを受け付ける。受付手段３２は、その受け付けた表示数の切り出し画像を取得するように領域切出手段３３に対して指示する。このとき、受付手段３２は、表示数等を、制御手段３４を介して受け付けるともに、上記の画像も受け付ける。そして、受付手段３２は、上記の指示とともに画像を渡す。

領域切出手段３３は、受付手段３２からの指示を受け、予め指定された条件に従って、画像から指示された表示数の領域を切り出し、切り出し画像として取得する。そして、領域切出手段３３は、取得した切り出し画像を制御手段３４に渡す。制御手段３４は、受付手段３２が受け付けた表示順序に従って、領域切出手段３３から取得した切り出し画像を並べて、上記の画像とともに表示するように表示手段３１に対して指示する。この制御手段３４は、この表示手段３１への指示を含む各種のI/F制御や演算を行うことができる。

受付手段３２は、表示数と表示順序とを入力させるための入力画面を表示するように制御手段３４に対して指示し、表示手段３１にその画面を表示させ、入力された表示数と表示順序との情報を取得することができる。この入力画面の詳細については後述する。上記の条件としては、切り出す位置、大きさ、形等を定義したもので、例えば、位置は、一人のユーザの顔全体を含む上半身が入る位置、大きさは、そのユーザの上半身が入る縦横の長さ、形は、矩形である。領域切出手段３３は、切り出した領域を切り出し画像とし、その切り出し画像を制御手段３４に渡す。

通信装置１０は、上記の機能手段のみであってもよいが、そのほか、表示制御手段３５、音声入力手段３６、感度調整手段３７、音声出力手段３８、音量調整手段３９を備えることができる。また、通信装置１０は、撮像手段４０、撮像I/F手段４１、歪曲補正処理手段４２、レンズ特性保持手段４３、拡大縮小処理手段４４を備えることができる。表示制御手段３５は、表示手段３１における表示を制御し、上記の入力画面の表示を制御する。したがって、制御手段３４は、表示制御手段３５を介して表示手段３１に対して上記の指示を行うことができる。

音声入力手段３６は、音声の入力を受け付けるマイク等であり、通信装置１０が設置される会議室内で発生した音を集音し、音声として制御手段３４に出力する。音声入力手段３６は、複数のマイクから構成されるマイクアレイが望ましい。これは、複数のマイクを、各方向に向けて配置し、各マイクに入力される音声の音量から会話をしているユーザがいる方向を検出することができるからである。感度調整手段３７は、音声入力手段３６として使用されるマイクの感度の設定値を受け付け、その設定値になるようにマイクの感度を調整する。

音声出力手段３８は、音声を出力するスピーカ等であり、他の通信装置から送信された音声を出力する。音量調整手段３９は、スピーカから出力する音量の設定値を受け付け、その設定値になるように音量を調整する。

撮像手段４０は、一方向のみを撮像可能なカメラであってもよいが、３６０°撮像可能な全方位カメラが望ましい。会議に参加するユーザ全員を一度に撮像することができるからである。撮像手段４０は、ユーザ全員を撮像し、光電変換して画像データを取得し、取得した画像データに対して各種の画像調整を行い、撮像I/F手段４１に出力する。撮像I/F手段４１は、V-by-One（登録商標）やHDMI（登録商標）等の高速シリアルI/Fで、画像データを歪曲補正処理手段４２に転送する。

歪曲補正処理手段４２は、３６０°の歪んだ画像を歪曲補正処理により歪みのない画像に補正する。歪曲補正としては、例えばテストチャート等の校正用対象物を撮像し、撮像した画像から歪曲係数を求め、その歪曲係数を用いて画像を補正する方法を採用することができる。これは一例であり、これまでに知られたいかなる方法でも採用することができる。

歪みには、歪曲収差と呼ばれる幾何学的歪みがあり、この歪曲収差は、レンズの焦点距離や絞りの大きさ等のレンズ特性によって決まる。このため、歪曲補正処理手段４２は、このレンズ特性を参照し、レンズ特性に合わせて歪曲補正処理を行うことができる。レンズ特性は、予めレンズ特性保持手段４３に保存することができる。

歪曲補正処理手段４２は、歪曲補正処理を行った後の画像を制御手段３４に渡し、制御手段３４が図示しない送信手段に指示し、音声入力手段３６から取得した音声とともに他の通信装置に送信させる。

制御手段３４は、受信手段３０により受信された音声から音量の大小を判断することができる。音量が大きい場合は他の通信装置が備える音声入力手段との距離が近く、小さい場合は距離が遠いと想定される。制御手段３４は、このように想定した情報を拡大縮小処理手段４４に通知し、拡大縮小処理手段４４は、領域切出手段３３が切り出し、出力した切り出し画像内のユーザの画像を拡大（ズームイン）または縮小（ズームアウト）する処理を行う。拡大縮小処理手段４４は、ズームドライバと呼ばれるソフトウェアを使用し、上記のズームイン処理またはズームアウト処理を行うことができる。

制御手段３４は、受信手段３０により受信された画像と、拡大縮小処理手段４４から受け取った切り出し画像と、受付手段３２が受け付けた表示数や表示順序といったモード設定情報とを取得する。制御手段３４は、表示制御手段３５にモード設定情報に含まれる表示数、表示順序に従って、表示手段３１に切り出し画像を表示させ、同時に歪曲補正処理された画像も表示させるように表示制御手段３５に対して指示する。表示制御手段３５は、その指示に従い、表示手段３１に切り出し画像、歪曲補正処理された画像を表示させる。

次に、受付手段３２が指示し、表示手段３１に表示させる入力画面について、図４を参照して説明する。入力画面は、上記のモード設定情報を設定するための画面で、表示数と、表示順序の種類とを選択することができる画面である。図４では、表示数が、全方位画像の中で切り取って表示する画像の数（ピックアップ表示数）として選択できるようになっており、表示順序の種類が、ピックアップ優先順として選択できるようになっている。ここでは、全方位画像としているが、画像は全方位画像でなくてもよい。例えば、カメラ２０から見て１００度から１７０度程度の角度幅の画像でもよい。図４では、ピックアップ優先順が、話者追従順または音量レベル順から選択するようになっており、話者追従順は、複数のユーザが会話を開始した順序であり、音量レベル順は、音量が大きいユーザの順序である。この例では、プルダウンメニューで選択できるようになっている。表示数や表示順序の種類は、プルダウンメニューに限られるものではなく、ラジオボタン、チェックボックス、コンボボックス等により選択できるようになっていてもよい。

全方位画像は、カメラ２０の全方位を連続する円形の画像で表したドーナツ型、もしくはカメラ２０の全方位を１つの横長の矩形の画像で表したパノラマ型とすることができ、この全方位画像からピックアップ表示数の領域を切り出すことができる。例えば、ピックアップ表示数が「３」に設定された場合、切り出し画像の表示数は３に限定される。また、ピックアップ優先順が「話者追従順」に設定された場合、ユーザが会話を開始した順に切り出された画像を、向かって左側から順に並べて表示する。

図５を参照して具体的に説明すると、他の通信装置の撮像手段が、全方位を撮像し、全方位画像を取得し、撮像I/F手段を介して歪曲補正処理手段に出力する。歪曲補正処理手段は、歪曲補正処理を行い、制御手段に歪曲補正処理された画像を出力する。制御手段は、送信手段に指示して通信装置１０へ画像を送信する。通信装置１０は、受信手段３０でその画像を受信すると、制御手段３４により表示制御手段３５に指示し、表示手段３１に表示させる。すなわち、図５に示す画面の下半分に示されるような会議に参加する全ユーザを撮像した画像を表示させる。図５では、全方位画像がドーナツ型とされている。画像は、一定時間間隔で取得される静止画像であってもよいし、連続して取得される映像であってもよい。これは、以下の切り出し画像も同様である。また、以下の説明は、カメラ２０が撮影する画像が全方位画像である例を説明するが、全方位画像に限らず、カメラ２０を中心として所定の角度幅の画像であってもよい。

その後、一人目のユーザ５０が会話を開始したら、他の通信装置の音声入力手段がその入力を受け付け、制御手段が送信手段に指示し、その音声を通信装置１０へ送信する。通信装置１０は、受信手段３０でその音声を受信すると、制御手段３４により音量レベルに基づきその方向を検出する。マイクアレイにおいて最も大きい音量の音声の入力を受け付けたマイクの位置を、その音声を発したユーザがいる方向として検出し、会話をするユーザを特定することができる。制御手段３４は、領域切出手段３３に通知し、領域切出手段３３が特定したユーザを含むその方向の領域を切り出し、切り出し画像を取得する。拡大縮小処理手段４４が必要に応じてズームイン処理またはズームアウト処理を実行した後、制御手段３４は、表示制御手段３５に指示してその切り出し画像を、全方位画像とともに表示させる。この際、全方位画像において人がいない領域は、画像処理で削除してから表示してもよい。また、全方位画像は、全く表示しないとしてもよい。

二人目のユーザ５１が会話を開始すると、同様にして切り出し画像を表示させる。三人目のユーザ５２が会話を開始すると、同様にして切り出し画像を表示させる。このようにして、会話を開始した順にその人物の画像を切り出し、その順序で表示させる。図５では、切り出し画像は、画面の上半分の左側から順に表示されている。なお、モード設定情報で表示数が「３」に設定されているので、３つの切り出し画像しか表示することができない。

四人目のユーザ５３が会話を開始すると、同様にして切り出し画像が取得される。しかしながら、モード設定情報で表示数が「３」に設定されているので、この４つ目の切り出し画像は表示することができない。そこで、図６に示すように、最も先に表示させた切り出し画像、すなわち１つ目の切り出し画像を削除し、全体を左側へ寄せた後、４つ目の切り出し画像を表示させる。これにより、所望する表示数の切り出し画像を、所望する表示順序で表示させることができる。

ここでは、表示数が「３」に設定した場合についてのみ説明したが、その他の表示数でも同様に、その表示数の切り出し画像を、所望する表示順序で表示させることができる。

ピックアップ優先順が「話者追従順」ではなく、「音量レベル順」に設定された場合の動作について詳細に説明する。会議に参加したユーザを撮像した画像を表示させることは、「話者追従順」と同様である。各ユーザの音量レベルは、他の通信装置の音声入力手段に入力される音声で判断され、一般に、音声入力手段との距離が近いほど大きく、遠いほど小さい。当該他の通信装置は、撮像手段や音声入力手段等が一体化されているのが一般的であるため、音量レベルに応じて撮像対象であるユーザが撮像手段から遠いか近いかを判断することができる。

通信装置１０の制御手段３４は、他の通信装置から受信した音声から一定時間の音声を抽出し、その音声の平均音声レベルを算出する。そして、制御手段３４は、平均音声レベルに応じて一時的にその音声を保存する。領域切出手段３３が切り出し画像を取得した後、制御手段３４は、平均音声レベルに応じて、切り出し画像に対してズームイン処理またはズームアウト処理を行うかを判断し、行う場合、拡大倍率または縮小倍率を拡大縮小処理手段４４に対して通知する。

拡大縮小処理手段４４は、制御手段３４から通知された倍率に従ってズームイン処理またはズームアウト処理を行う。そして、拡大縮小処理手段４４は、処理後の切り出し画像の画像データを制御手段３４に出力する。制御手段３４は、平均音量レベルの大きい順に、向かって左側から並べて表示するように表示制御手段３５に対して指示し、表示手段３１にその順に切り出し画像を表示させる。

例えば、３人の会話が確認された場合、３人の音声を取得し、上記のようにして３人の平均音量レベルを算出する。そして、平均音量レベルに応じてズームイン処理またはズームアウト処理を行い、平均音量レベルの大きい順に切り出し画像を並べて表示する。このようにして、所望する表示数の切り出し画像を、所望する表示順序で表示させることができる。

上記の倍率は、音量レベルと対応付けられたテーブルを参照し、そのテーブルから決定することができる。なお、テーブルに限られるものではなく、計算式で算出してもよいし、グラフ等から読み取った値であってもよい。

通信装置１０が行う処理を、図７にまとめる。ステップ７００から処理を開始し、通信装置１０は、ステップ７０５において、表示手段３１にモード設定を行うための入力画面を表示する。ステップ７１０では、制御手段３４が、ピックアップ表示数が選択されたかどうかを判断する。選択された場合は、ステップ７１５へ進み、選択されていない場合は、ステップ７２５に進む。ステップ７１５では、ピックアップ優先順が選択されたかどうかを判断する。選択された場合は、ステップ７２０へ進み、選択されていない場合は、ステップ７２５へ進む。ステップ７２０では、選択された表示数と優先順を設定する。

ステップ７２５では、受付手段３２が、モード設定情報を受け付け、そのモード設定情報を設定したかどうかにより、モード設定があるかどうかを判断する。モード設定がある場合、ステップ７３０へ進み、領域切出手段３３が、受付手段３２から通知されたモード設定情報に基づき、１以上の領域を切り出す。１以上の領域を切り出し、切り出し画像を取得したところで、ステップ７３５へ進み、受付手段３２が、音量レベル順の設定があるかどうかを判断する。音量レベル順の設定がある場合、ステップ７４０へ進み、拡大縮小処理手段４４が音量レベルに応じて、切り出し画像に対し、予め定められた設定や処理結果に基づいて、ズームイン処理またはズームアウト処理を行う。

ステップ７３５で音量レベル順の設定がない場合、またはステップ７４０でズームイン処理またはズームアウト処理が終了した場合、ステップ７４５へ進む。ステップ７４５では、制御手段３４が、表示制御手段３５に対して指示し、全方位画像と切り出し画像とを同時に表示するように表示手段３１に表示させる。

ステップ７２５でモード設定がない場合、ステップ７５０へ進み、制御手段３４は、切り出し画像を表示させる必要がないので、全方位画像のみを表示制御手段３５に対して表示するように指示する。表示制御手段３５は、その指示を受けて、表示手段３１に全方位画像のみを表示させる。会議が終了するまで、全方位画像と切り出し画像の両方、または全方位画像のみを表示し、会議が終了したところで、ステップ７５５でこの処理を終了する。

上記の例でいう四人目が会話を開始した場合、ステップ７３０に戻り、領域の切り出しを行い、一人目の切り出し画像を削除し、四人目の切り出し画像を全方位画像とともに表示させることができる。

以上のようにして、予め設定された表示数および表示順序で切り出した画像を表示させることで、全方位画像に対してユーザが操作することなく、ユーザに最適な画像を表示させることができる。

これまで本発明を、通信装置および会議システムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

したがって、通信装置が行う表示制御方法、その表示制御をコンピュータに実行させるためのプログラム、会議システムで実行される情報処理方法等も提供することができる。また、そのプログラムが記録された記録媒体も提供することができるものである。

１０〜１３…通信装置、１４…サーバ装置、１５…ネットワーク、２０…カメラ、２１…表示装置、２２…マイク、２３…スピーカ、２４…CPU、２５…記憶装置、２６…メモリ、２７…通信I/F、２８…入力装置、２９…バス、３０…受信手段、３１…表示手段、３２…モード設定変更手段、３３…領域切出手段、３４…制御手段、３５…表示制御手段、３６…音声入力手段、３７…感度設定手段、３８…音声出力手段、３９…音量設定手段、４０…撮像手段、４１…撮像I/F手段、４２…歪曲補正処理手段、４３…レンズ特性保持手段、４４…拡大縮小処理手段、５０〜５３…ユーザ

特許第５５８９６４４号公報

Claims (9)

1. ネットワークを介して画像を受信する受信手段を含み、前記受信手段により受信された受信画像の少なくとも一部を表示手段に表示させる通信装置であって、
   切り出し画像として前記表示手段に表示させる表示数と該切り出し画像の表示順序の種類とを受け付ける受付手段と、
   話者を含む前記切り出し画像を前記受信画像から取得する領域切出手段と、
   前記領域切出手段により取得された前記表示数の切り出し画像を、前記受付手段が受け付けた表示順序の種類に従って表示させるように前記表示手段に対して指示する制御手段とを含む、通信装置。
2. 前記画像は、複数のユーザを含む画像で、前記表示順序は、複数のユーザが会話を開始した順序であり、
   前記受信手段は、前記画像とともに音声も受信し、前記制御手段は、前記受信手段により受信された前記音声に基づき、会話を開始したユーザを特定し、特定した該ユーザを含む領域を切り出すように前記領域切出手段に対して指示し、前記切り出し画像を、前記会話を開始した順に並べて前記画像とともに表示させるように前記表示手段に対して指示する、請求項１に記載の通信装置。
3. 前記画像は、複数のユーザを含む画像で、前記表示順序は、音声の音量が大きいユーザの順序であり、
   前記受信手段は、前記画像とともに音声も受信し、前記制御手段は、前記受信手段により受信された前記音声に基づき、会話をしているユーザを特定し、特定した該ユーザを含む領域を切り出すように前記領域切出手段に対して指示し、前記切り出し画像を、前記音量が大きいユーザの順に並べて前記画像とともに表示させるように前記表示手段に対して指示する、請求項１に記載の通信装置。
4. 各ユーザの音量の大きさに応じて、前記切り出し画像内のユーザの画像を拡大または縮小させる処理を行う拡大縮小処理手段をさらに含む、請求項３に記載の通信装置。
5. 前記受付手段は、前記表示数と前記表示順序とを入力させるための入力画面を前記表示手段に表示させる、請求項１〜４のいずれか１項に記載の通信装置。
6. 撮像手段と、該撮像手段により撮像された画像を、ネットワークを介して送信する送信手段とを含む、請求項１〜５のいずれか１項に記載の通信装置を複数備えた、会議システム。
7. １つの通信装置から受信した画像を、他の全ての通信装置へ転送する転送装置をさらに含む、請求項６に記載の会議システム。
8. ネットワークを介して受信した受信画像の表示を制御する処理をコンピュータに実行させるためのプログラムであって、
   切り出し画像として表示手段に表示させる表示数と該切り出し画像の表示順序の種類とを受け付けるステップと、
   話者を含む前記切り出し画像を前記受信画像から取得するステップと、
   取得された前記表示数の切り出し画像を、受け付けた表示順序の種類に従って表示させるように前記表示手段に対して指示するステップとを実行させる、プログラム。
9. ネットワークを介して受信した受信画像の表示を制御する方法であって、
   切り出し画像として表示手段に表示させる表示数と該切り出し画像の表示順序の種類とを受け付けるステップと、
   話者を含む前記切り出し画像を前記受信画像から取得するステップと、
   取得された前記表示数の切り出し画像を、受け付けた表示順序の種類に従って表示させるように前記表示手段に対して指示するステップとを含む、表示制御方法。