以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1の内容に至る経緯)
例えば、会議室などにおいて、パーソナルコンピュータ(PC)等の端末における表示画面の画像を、大画面のディスプレイを備えた表示装置に出力して表示し、複数人で閲覧することが可能な画像表示システムが提案されている。この種の画像表示システムを用いて複数人で会議を行う場合を想定すると、従来のシステムでは、一つの端末からの画像を表示装置に表示し、会議に参加している複数のユーザで表示画像を共有することが一般的である。このため、複数の端末からの画像を切り替える処理が必要など、処理や操作が煩雑になる。また、従来のシステムでは、複数の端末からの画像を表示装置に多画面表示する場合、画面分割によって表示エリアを分割し、複数の画像を表示していた。このため、使用状況やユーザの要望などに応じて、複数の画像を適切に表示できないことがある。このように、複数の端末からの画像を表示して複数人で共有する画像表示システムにおいて、表示態様に関する更なる改善が望まれている。
以下、複数の端末にて取得した画像を表示装置に伝送し、表示装置の表示画面において複数の画像を状況に応じて適切に配置して表示する画像表示システム等の一例について説明する。
(実施の形態1)
図1は、実施の形態に係る画像表示システム5の構成例を示す図である。以下では、画像表示システム5をオフィスの会議室等の共用エリアに設けた構成例を説明する。
画像表示システム5は、無線制御装置10、複数の端末20、表示制御装置30、及び表示装置40を備える。
無線制御装置10は、端末20及び表示制御装置30の間での通信を制御する。無線制御装置10は、例えばルータとして機能する。無線制御装置10は、例えば、WiGig(登録商標)のAP(Access Point)の制御部として動作してよい。無線制御装置10は、所定のエリア(例えば居室や会議室)に配置され、例えばそのエリアの天井に設置される。所定のエリアには、端末20が存在し得る。無線制御装置10は、一般的な無線制御装置と同様に、通信部(例えば無線通信部)、制御部、記憶部、等を有してよい。
無線制御装置10は、無線装置11を備える。無線装置11は、無線制御装置10に内蔵又は外付けの通信デバイスとして設けられる。無線装置11は、例えば、所定の通信方式(例えばWiGig方式)に従う信号を送受信する信号送受信部と、信号送受信部による信号の送受信を制御する通信制御部と、を含む。無線装置11は、WiGig(登録商標)のAPの無線通信部としてよい。つまり、無線装置11は、無線制御装置10の通信部として動作してよい。
無線装置11は、例えば、WiGig方式の無線信号を送受信する。無線装置11は、端末20及び表示制御装置30との通信リンクの確立に関する信号を送受信してよい。無線装置11は、端末20に関する情報(例えば端末20の識別情報や位置情報)を端末20から受信し、無線装置11に関する情報(例えば無線制御装置10の識別情報や位置情報)を端末20へ送信してよい。無線装置11は、表示制御装置30に関する情報(例えば表示制御装置30の識別情報や位置情報)を表示制御装置30から受信し、無線装置11に関する情報(例えば無線制御装置10の識別情報や位置情報)を表示制御装置30へ送信してよい。無線装置11は、端末20に接続された無線装置21や表示制御装置30に接続された無線装置31と無線通信し、各種データ、情報、画像等を通信可能である。
無線装置11は、信号を送受信するための指向性(ビームフォーミング)を制御してよい。この場合、無線装置11は、複数の方向のビームの中で、端末20及び表示制御装置30に対して使用するビームを決定するためのBFT(Beam Forming Training)の制御を行ってよい。無線装置11は、BFTによって決定されたビームを使用して、端末20及び表示制御装置30との信号の送受信を制御してよい。
無線装置11は、指向性を制御する場合、無線装置21の位置、つまり無線装置21が接続された端末20の位置を検出してよい。無線装置11は、端末20に対して使用するビームの方向と、端末20から受信する信号に基づいて推定される端末20までの距離とから、端末20の位置を取得してよい。この場合、端末20から取得する端末情報には、端末20の位置の情報が含まれなくてよい。つまり、無線制御装置10は、無線装置21が接続された端末20の測位が可能である。また、無線装置11は、端末20と同様に、端末20のユーザの位置(例えば着席位置)、表示制御装置30の位置、等を検出してよい。
端末20は、PC、スマートフォン、タブレット端末等の情報処理装置により構成され、画像情報を表示する表示部を有し、ユーザの操作によって各種情報を表示可能である。端末20は、表示部を備え、表示部が表示画面(端末画面TM)を有する。端末20は、表示装置40の表示画面(共有画面KM)を用いた画面共有のためのクライアント用のアプリケーションを実行する。
端末20は、無線通信を行う無線装置21と接続される。無線装置21は、端末20に内蔵又は外付けの通信デバイスとして設けられる。無線装置21は、例えば、WiGig(登録商標)通信用のドングルでよい。無線装置21が有する構成や機能は、無線装置11が有する構成や機能と同様でよい。無線装置21は、端末20の通信部として動作してよい。
表示制御装置30は、表示装置40の表示部の表示画面(共有画面KM)の表示を制御する。表示制御装置30は、例えばHDMI(登録商標)コンバータでよい。表示制御装置30は、有線又は無線(例えばHDMIケーブル)を介して表示装置40に接続される。表示制御装置30は、表示装置40の表示画面(共有画面KM)を用いた画面共有のためのサーバ用のアプリケーションを実行する。
表示制御装置30は、無線通信を行う無線装置31と接続される。無線装置31は、表示制御装置30に内蔵又は外付けの通信デバイスとして設けられる。無線装置31は、例えば、HDMIコンバータに設けられたWiGigインタフェースでよい。無線装置31が有する構成や機能は、無線装置11が有する構成や機能と同様でよい。無線装置31は、表示制御装置30の通信部として動作してよい。
表示装置40は、例えば液晶ディスプレイ又は有機ELディスプレイを有する。表示装置40は、表示部を備え、表示部が表示画面(共有画面KM)を有する。表示装置40は、不図示であるが、一般的な表示装置と同様に、通信部、制御部、記憶部、等を有してよい。表示装置40は、会議室等に設置されてよい。
表示装置40は、表示制御装置30による表示制御に従って、複数の端末20からの複数の画像(例えばウィンドウ画像)を、共有画面KMに同時に表示する。
なお、無線制御装置10、端末20、及び表示制御装置30は、各無線装置11,21,31を介して無線通信(例えばWiGig方式の通信)を行うことを例示したが、これに限られない。例えばWiGig方式の通信以外の無線通信であってもよいし、有線通信であってもよい。
図2は、端末20の構成例を示すブロック図である。端末20は、制御部210、操作部220、記憶部230、及び表示部240を備える。
制御部210は、例えばプロセッサが記憶部230に保持されたプログラムを実行することで、各種機能を実現する。プロセッサは、MPU(Micro processing Unit)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphical Processing Unit)、等を含んでよい。制御部210は、端末20全体の動作を統括する。
操作部220は、タッチパネル、ポインティングデバイス、キーボード、マイクロホン等を含んでよい。操作部220は、端末20のユーザからの各種操作を受け付ける。
記憶部230は、一次記憶装置(例えばRAM(Random Access Memory)やROM(Read Only Memory))を含む。記憶部230は、二次記憶装置(例えばHDD(Hard Disk Drive)やSSD(Solid State Drive))や三次記憶装置(例えば光ディスク、SDカード)を含んでよい。また、記憶部230は、外部装置であってもよい。記憶部230は、各種データ、情報、プログラム、等を記憶する。
表示部240は、例えば液晶ディスプレイ又は有機ELディスプレイを有する。表示部240は、表示画面(端末画面TM)を有する。表示部240は、各種データや画像(例えばウィンドウ画像)を表示する。端末画面TMには、1つ以上のウィンドウの画像(ウィンドウ画像WG)が表示され得る。ウィンドウ画像WGには、アクティブなウィンドウの画像(アクティブウィンドウ画像AWG)が含まれ得る。
制御部210は、画像取得部201、画像付帯情報取得部202、及びエンコード部203を有する。
画像取得部201は、表示装置40に伝送して表示するための表示出力画像として、端末画面TMにおける少なくとも一部の領域に表示される画像(例えばウィンドウ画像WG)をキャプチャして取得する。キャプチャされるウィンドウは、任意のウィンドウでもよいし、操作部220を介してユーザが指定したウィンドウでもよいし、アクティブなウィンドウでもよい。本実施形態では、表示出力画像がウィンドウ画像WG(例えばアクティブウィンドウ画像AWG)であることを例示する。
なお、ウィンドウは、端末画面TM上で個々のソフトウェアに割り当てられた表示領域でよく、ダイアログ等も広く含む。また、ウィンドウには、画面に対して全面に表示(全画面表示)されるウィンドウや、画面の一部に表示されるウィンドウ、が含まれてよい。また、アクティブなウィンドウは、例えば選択中や処理対象のウィンドウである。アクティブなウィンドウは、端末画面TMにおいて最前面に配置されたウィンドウでなくてもよい。
画像付帯情報取得部202は、画像取得部201により取得した画像に関連する画像付帯情報を取得する。画像付帯情報は、少なくとも、端末画面TMにおけるウィンドウ画像WGの基準位置(例えばウィンドウ画像WGの左上の位置)を含む。ウィンドウ画像WGの基準位置は、ウィンドウ画像WGの基準となる画像位置(表示位置)でよい。画像付帯情報は、望ましくは、端末画面TMにおけるウィンドウ画像WGの画像サイズ(表示サイズ)及び端末画面TMの解像度を含む。なお、端末画面TMにおけるウィンドウ画像WGの基準位置と画像サイズとを含んで画像位置情報を構成する。また、画像付帯情報は、その他の情報として、ウィンドウ画像WGのアプリケーションの種別、アプリケーションの再生状態、端末20のユーザの役割(属性)、無線装置21から取得される無線通信状況(受信レベル、SNR)等、を含んでよい。アプリケーションの種別は、動画、静止画、等を含んでよい。アプリケーションの再生状態は、再生、一時停止、停止、等を含んでよい。ユーザの役割は、会議のオーナー、発表者、書記、等の役割を含んでよい。また、画像付帯情報は、端末画面TMのアスペクト比の情報を含んでよい。なお、端末画面TMのアスペクト比や解像度の情報は、画像付帯情報とは別に、表示制御装置30との通信接続時に、予め表示制御装置30へ送信されてもよい。
エンコード部203は、取得したウィンドウ画像WG及びウィンドウ画像WGに関する画像付帯情報を所定のデータ形式にエンコードして出力する。
また、端末20は、無線装置21を介して、各種データを通信する。例えば、端末20は、ウィンドウ画像WG及び画像付帯情報を、無線制御装置10を介して表示制御装置30へ送信する。端末20は、ウィンドウ画像WGを所定の頻度(フレームレート、例えば20fps、5fps、1fps)で、無線制御装置10を介して表示制御装置30へ伝送する。ウィンドウ画像WGを伝送する頻度が高い程、単位時間当たりに伝送されるウィンドウ画像WGが多くなり、滑らかな映像となる。
図3は、表示制御装置30の構成例を示すブロック図である。表示制御装置30は、制御部310及び記憶部330を備える。
制御部310は、例えばプロセッサが記憶部330に保持されたプログラムを実行することで、各種機能を実現する。プロセッサは、MPU、CPU、DSP、GPU、等を含んでよい。制御部310は、表示制御装置30全体の動作を統括する。
記憶部330は、一次記憶装置(例えばRAMやROM)を含む。記憶部330は、二次記憶装置(例えばHDDやSSD)や三次記憶装置(例えば光ディスク、SDカード)を含んでよい。また、記憶部330は、外部装置であってもよい。記憶部330は、各種データ、情報、プログラム、等を記憶する。記憶部330は、例えば、表示装置40の共有画面KMのアスペクト比や解像度の情報を保持してよい。
制御部310は、デコード部301及び表示制御部302を備える。デコード部301は、無線装置31を介して取得され、所定のデータ形式にエンコードされたウィンドウ画像WG及び画像付帯情報をデコードする。
表示制御部302は、各端末20からの画像付帯情報に基づいて、その端末20からのウィンドウ画像WGを表示するための描画情報を生成する。例えば、表示制御部302は、端末20A(図4等参照)からの画像付帯情報に基づいて、端末20Aからのウィンドウ画像WGを表示するための描画情報を生成し、端末20Bからの画像付帯情報に基づいて、端末20Bからのウィンドウ画像WGを表示するための描画情報を生成する。表示制御部302は、生成された各描画情報に従って共有画面KMに描画して各ウィンドウ画像WGを表示するよう、表示装置40へ指示する。
また、表示制御装置30は、無線装置31を介して、各種データを通信する。例えば、表示制御装置30は、無線制御装置10を介して複数の端末20から、ウィンドウ画像WGや画像付帯情報を受信する。
表示制御部302は、無線装置31を介して、ウィンドウ画像WGや画像付帯情報を取得する。表示制御部302は、各端末20から取得されたウィンドウ画像WG毎に、画像付帯情報に基づいて、共有画面KMにおける各ウィンドウ画像WGの各配置位置を決定する。表示制御部302は、共有画面KMにおいて決定された各配置位置に、各ウィンドウ画像WGを表示させる。
表示制御部302は、共有画面KMにおいて複数のウィンドウ画像WGの表示範囲が重複する場合、複数のアクティブウィンドウ画像AWGの共有開始の指示の順序や受信順序に従って、共有画面KMに垂直な方向(例えば図4の共有画面KMにおいて紙面の手前側と奥側とを結ぶ方向)に沿った表示順序(表示の階層)を決定してよい。つまり、表示制御部302は、複数の重複するウィンドウ画像WGのうち、どの画像を前面側に表示させ、どの画像を後面側に表示させるかを決定してよい。
また、制御部310は、表示装置40の共有画面KMにおける表示モードを設定してよい。表示モードは、共有画面KMにおいて複数の端末20からの複数のウィンドウ画像WGの表示が許可される共有モード、1つの端末20からの1つ以上のウィンドウ画像WGの表示が許可される単独モード、等を含んでよい。単独モードは、全画面表示モードを含んでよい。単独モードでは、1つの端末20のウィンドウ画像WGが表示されている場合には、他の端末20からのウィンドウ画像WGの表示が禁止される。制御部310は、無線装置31を介して、無線制御装置10や端末20のいずれかの装置から表示モードの変更指示を受けた場合、表示モードを変更してよい。
図4は、画像表示システム5の動作の概略を説明する図である。図4では、複数の端末20として、端末20A,20B,…が含まれる。
まず、無線制御装置10は、無線装置11と無線装置21とを介して無線制御装置10と端末20とが接続されたか否かを検出する。
無線制御装置10と端末20Aとが接続されたことが無線制御装置10により検出されると、端末20Aの制御部210は、操作部220(例えば共有ボタン)を介して、端末20Aの端末画面TMに表示されるアクティブウィンドウ画像AWGを、表示装置40によって画面を共有(画面共有)するか否かを指定する。画面共有が指定されると、端末20Aは、端末20Aに接続された無線装置21、無線装置11、無線装置31を介して、画面共有されるアクティブウィンドウ画像AWG及びその画像付帯情報を表示制御装置30へ送信する。
表示制御装置30の表示制御部302は、有線又は無線を介して、表示装置40の共有画面KMに端末20Aから送信されたアクティブウィンドウ画像AWGを投影させて表示させる。この際、表示制御部302は、端末画面TMにおけるアクティブウィンドウ画像AWGの位置やサイズに基づいて、共有画面KMにおける端末20Aのアクティブウィンドウ画像AWGの位置やサイズを決定してよい。よって、端末画面TM及び共有画面KMにおいて、画面に対するアクティブウィンドウ画像AWGの位置関係は保持される。なお、ここでは、端末20Aの端末画面TMにおいて複数のウィンドウが開いており、複数のウィンドウ画像WGが表示されている場合でも、アクティブウィンドウ画像AWGのみが画面共有されることを例示する。
続いて、無線制御装置10に、端末20A以外の端末20Bが接続されたことが無線制御装置10により検出されると、端末20Bの制御部210は、操作部220(例えば共有ボタン)を介して、端末20Bの端末画面TMに表示されるアクティブウィンドウ画像AWGを、表示装置40によって画面共有するか否かを指定する。画面共有が指定されると、端末20Bは、端末20Bに接続された無線装置21、無線装置11、無線装置31を介して、画面共有されるアクティブウィンドウ画像AWG及びその画像付帯情報を表示制御装置30へ送信する。
表示制御装置30の表示制御部302は、有線又は無線を介して、表示装置40の共有画面KMに端末20Bから送信されたアクティブウィンドウ画像AWGも投影させて表示させる。他の端末(例えば端末20C,20D,20E,20F)についても、画面共有が指定されると、同様に、表示装置40において各端末20からのアクティブウィンドウ画像AWGが画面共有される。これにより、複数人が扱う複数の端末20の画面が共有される。
なお、複数の端末20の画面共有は、異なるタイミングで開始されてよい。他の端末20と比較して、画面共有の開始のタイミングが遅い端末20から送信されたアクティブウィンドウ画像AWGは、表示装置40の共有画面において最前面に投影されて表示される。なお、共有画面KMにおける各端末20からのアクティブウィンドウ画像AWGの位置は、各端末20の端末画面TMにおけるアクティブなウィンドウの画像の位置に対応する。
なお、各端末20の操作部220は、アクティブウィンドウ画像に対する操作(例えば移動やサイズ変更や切り替え)を受けると、この操作情報を、無線装置21,11を介して表示制御装置30へ送信する。表示制御装置30の表示制御部302は、この操作情報を取得し、操作情報に基づいて、共有画面KMに表示された該当するアクティブウィンドウ画像の移動、サイズ変更、切り替え等を行ってよい。したがって、画像表示システム5は、各端末20の操作部220による操作を、共有画面KMにおいて表示されたアクティブウィンドウ画像の表示に反映可能である。
次に、画像表示システム5による画面共有例1について説明する。
図5は、画像表示システム5による画面共有例1を説明するための図である。画面共有例1では、複数の端末20A,20B,20Cがアクティブウィンドウ画像AWGを表示制御装置30に伝送し、表示装置40に同時に表示することを例示する。端末20Aの使用者はユーザUAであり、端末20Bの使用者はユーザUBであり、端末20Cの使用者はユーザUCである。
図5では、複数の端末20(20A,20B,20C)が、端末画面TMに1つ以上のウィンドウ画像WGを表示している。各端末20において、ウィンドウ画像WGのうちの1つが、アクティブウィンドウ画像AWGとなっている。
各端末20は、無線装置11の通信エリア(例えばWiGigの通信エリア)に接続されると、例えば画面共有するか否かを確認するための通知を受け、この通知を表示する。端末20の制御部210が、操作部220としての共有ボタンBT1の押下を検出すると、無線装置21及び無線装置11を介して、アクティブウィンドウ画像AWGとその画像付帯情報とを、表示制御装置30へ送信する。
表示制御装置30は、無線装置31を介して、各端末20から各アクティブウィンドウ画像と各画像付帯情報とを受信する。表示制御部302は、端末20毎に、端末20の画像付帯情報に基づいて、端末20のアクティブウィンドウ画像AWGを表示装置40の共有画面KMに表示させる。この場合、各端末20の端末画面TMにおける各端末20のアクティブウィンドウ画像AWGの位置に、表示装置40の共有画面KMにおける各端末20のアクティブウィンドウ画像AWGが表示されるので、画面に対するアクティブウィンドウ画像AWGの位置関係が維持される。
また、共有画面KMに各端末20のアクティブウィンドウ画像AWGが複数同時に表示される場合、複数のアクティブウィンドウ画像AWGの表示位置(画像位置)が重複し得る。この場合、表示制御部302は、共有開始のタイミングが後のアクティブウィンドウ画像AWGを、つまり表示制御装置30による受信時刻が遅いアクティブウィンドウ画像AWGを、共有画面KMの前面側に表示させてよい。
また、端末画面TMと共有画面KMとの解像度やアスペクト比が同一でない場合、表示制御部302は、共有画面KMにおけるアクティブウィンドウ画像AWGの表示位置や表示サイズを適宜調整してよい。
図6は、画面共有例1に関するシーケンス図である。
各端末20(20A,20B,20C,…)では、端末画面TMにおいて1つ以上のウィンドウ画像WGを表示している。各端末20の画像取得部201は、表示制御装置30と通信接続(例えばWiGigを用いた無線接続)され、共有開始を検出すると、端末画面TMに表示されたアクティブウィンドウ画像AWGをキャプチャして取得する。共有開始の検出は、例えば共有ボタンBT1の押下の検出に基づいてよい。端末20と表示制御装置30とが通信接続された際、端末20のクライアント用のアプリケーションと表示制御装置30のサーバ用のアプリケーションとが接続されてよい。
また、画像付帯情報取得部202は、端末画面TMにおけるアクティブウィンドウ画像AWGの表示位置(端末表示位置)や表示サイズ(端末表示サイズ)を含む画像位置情報(端末画像位置情報)を取得する。各端末20は、無線装置21を介して、所定の頻度でアクティブウィンドウ画像AWG(AWGA,AWGB,AWGC,…)を表示制御装置30へ送信する。なお、端末表示位置は、端末画面TMにおけるアクティブウィンドウ画像AWGの中心位置やその他の基準位置でよい。
図6では、端末20A,20B,20Cの順に表示制御装置30に通信接続され、共有開始され、順にアクティブウィンドウ画像AWGの送信を開始している。また、各端末20A,20B,20Cは、少なくとも表示制御装置30との通信接続時、共有開始時、各端末20の端末画面TM(TMA,TMB,TMC)でのアクティブウィンドウ画像AWGの変更時に、無線装置21を介して表示制御装置30へ画像付帯情報を送信する。アクティブウィンドウ画像AWGの変更とは、アクティブウィンドウの移動、アクティブウィンドウのサイズ変更、アクティブウィンドウの切り替え、等を含んでよい。アクティブウィンドウ画像AWGの変更は、自動的に行われてもよいし、手動(操作部220を介したユーザ操作)により行われてもよい。また、各端末20は、無線装置21を介して、アクティブウィンドウ画像AWGとともに、表示制御装置30へ画像付帯情報を毎回送信してもよい。
表示制御装置30は、無線装置31を介して、所定の頻度で各端末20からアクティブウィンドウ画像AWGを受信する。表示制御部302は、アクティブウィンドウ画像AWGを受信する毎に又は画像付帯情報を受信する毎に、画像付帯情報に基づいて、表示装置40の共有画面KMにおけるアクティブウィンドウ画像AWGの配置を決定してよい。例えば、表示制御部302は、画像付帯情報に含まれる画像位置情報に基づいて、共有画面KMにおけるアクティブウィンドウ画像AWGの表示位置(共有表示位置)や表示サイズ(共有表示サイズ)を含む画像位置情報(端末画像位置情報)を決定(例えば算出)してよい。表示制御部302は、決定された各アクティブウィンドウ画像AWGの配置位置に、アクティブウィンドウ画像AWGを表示させる。なお、共有表示位置は、共有画面KMにおけるアクティブウィンドウ画像AWGの中心位置やその他の基準位置でよい。
次に、図7〜図10を用いて、画面共有例1における表示例について説明する。図7、図8、図9、図10の順に時系列となっており、この順に表示が進む。ここでは、ウィンドウ画像を「AX」、「BX」、「CX」(Xは正の整数)で示している。
図7〜図9では、端末20Aの端末画面TMAと、端末20Bの端末画面TMBと、端末20Cの端末画面TMCと、が示されている。端末画面TMAでは、ウィンドウ画像A1がアクティブウィンドウ画像AWGAであって最前面に示されており、ウィンドウ画像A1の後面にウィンドウ画像A2が配置され、ウィンドウ画像A2の後面にウィンドウ画像A3が配置されている。端末画面TMBでは、ウィンドウ画像B1がアクティブウィンドウ画像AWGBであって最前面に示されており、ウィンドウ画像B1の後面にウィンドウ画像B2が配置されている。端末画面TMCでは、ウィンドウ画像C1がアクティブウィンドウ画像AWGCであって最前面に示されており、ウィンドウ画像C1の後面にウィンドウ画像C2が配置されている。
図7では、端末20Aが共有開始を指示され、表示装置40の共有画面KMに端末20Aのアクティブウィンドウ画像AWGAとしてのウィンドウ画像A1が、画像付帯情報に基づいて決定された表示位置(配置位置)に表示される。図7では、端末画面TMと共有画面KMの解像度、アスペクト比が同じであるため、端末画面TMAに対するウィンドウ画像A1の相対位置及び相対サイズと、共有画面KMに対するウィンドウ画像A1の相対位置及び相対サイズとが、同一になる。
図8では、端末20Aの次に端末20Bが共有開始を指示され、表示装置40の共有画面KMに端末20Bのアクティブウィンドウ画像AWGBとしてのウィンドウ画像B1が、画像付帯情報に基づいて決定された表示位置に表示される。アクティブウィンドウ画像AWGは、共有表示位置と共有表示サイズとに応じて、共有画面KMにおいて表示される表示範囲が定まる。表示制御部302は、共有画面KMにおいて複数の端末20からの複数のアクティブウィンドウ画像AWGの表示範囲が重複する場合、各端末20A,20Bへの共有開始の指示のタイミングに基づいて、つまりアクティブウィンドウ画像AWGA,AWGBの受信タイミングに基づいて、アクティブウィンドウ画像AWGA,AWGBの表示が前面側(紙面手前側)か後面側(紙面奥側)かを決定する。図8では、端末20Bに対する共有開始の指示のタイミングが、端末20Aに対する共有開始の指示のタイミングよりも後であるため、ウィンドウ画像B1がウィンドウ画像A1よりも前面側に表示される。
また、図8では、端末画面TMと共有画面KMの解像度、アスペクト比が同じであるため、端末画面TMBに対するウィンドウ画像B1の相対位置及び相対サイズと、共有画面KMに対するウィンドウ画像B1の相対位置及び相対サイズが、同一になる。つまり、端末20においても表示装置40においても、画面に対するアクティブウィンドウ画像AWGの位置関係が維持されている。
図9では、端末20Bの次に端末20Cが共有開始を指示され、表示装置40の共有画面KMに端末20Cのアクティブウィンドウ画像AWGCとしてのウィンドウ画像C1が、画像付帯情報に基づいて決定された表示位置に表示される。また、図9では、端末20A,20B,20Cの順に共有開始が指示されているので、端末20Cからのウィンドウ画像C1が最も前面側に表示され、端末20Bからのウィンドウ画像B1がその次に前面側に表示され、端末20Aからのウィンドウ画像A1が最も後面側に表示される。
また、図9では、端末画面TMと共有画面KMの解像度、アスペクト比が同じであるため、端末画面TMCに対するウィンドウ画像C1の相対位置及び相対サイズと、共有画面KMに対するウィンドウ画像C1の相対位置及び相対サイズが、同一になる。つまり、端末20においても表示装置40においても、画面に対するアクティブウィンドウ画像AWGの位置関係が維持されている。
図10では、端末20Aにおいて操作部220を介してユーザ操作が行われている。具体的には、端末20Aは、操作部220を介して、ウィンドウ画像A2をアクティブウィンドウ画像AWGBとして指定している。端末20Aは、無線装置21を介して、ウィンドウ画像A2を表示制御装置30へ送信し、ウィンドウ画像A1の送信を停止する。よって、共有画面KMに表示される端末20Aからのアクティブウィンドウ画像AWGAは、ウィンドウ画像A1からウィンドウ画像A2に変更される。
また、表示制御部302は、共有画面KMにおいて複数の端末20からの複数のアクティブウィンドウ画像AWGの表示範囲が重複する場合、各端末20A,20B,20Cへの共有開始の指示のタイミングとともに、アクティブウィンドウ画像AWGの変更指示のタイミングに基づいて、アクティブウィンドウ画像AWGA,AWGB,AWGCの表示が共有画面KMに垂直な方向に沿った表示順序を決定する。図10では、端末20Aに対するアクティブウィンドウ画像AWGAの変更指示のタイミングが、端末20Cに対する共有開始の指示のタイミングよりも後である。そのため、共有画面KMの前面側から、端末20Aからのウィンドウ画像A2、端末Cからのウィンドウ画像C1、端末20Bからのウィンドウ画像B1、の順に配置され表示される。なお、共有開始の指示のタイミングを加味せずに、アクティブウィンドウ画像AWGの変更指示のタイミングに基づいて、上記の表示順序が決定されてもよい。
このように、画像表示システム5は、図7において、初めに、端末20Aのウィンドウ画像A1を伝送し、共有画面KMにウィンドウ画像A1を表示している。続いて、画像表示システム5は、図8において、端末20Bのウィンドウ画像B1を伝送し、共有画面KMにウィンドウ画像B1を追加表示している。続いて、画像表示システム5は、図9において、端末20Cのウィンドウ画像C1を伝送し、共有画面KMにウィンドウ画像C1を追加表示している。続いて、画像表示システム5は、図10において、端末20Aにおいてアクティブウィンドウ画像AWGAをウィンドウ画像A1からウィンドウ画像A2に切り替え、ウィンドウ画像A2を伝送し、共有画面KMにウィンドウ画像A2を表示している。
次に、画面のアスペクト比や解像度が端末20と表示装置40とで異なる場合のウィンドウ画像の表示位置の調整例について説明する。
図11及び図12は、共有画面KMにおける各端末20からのウィンドウ画像WGの表示位置の調整例を示す図である。図11では、表示制御部302は、画面に対するウィンドウ画像WGの相対位置に基づき、ウィンドウ画像WGの表示位置を調整している。ウィンドウ画像WGは、アクティブウィンドウ画像AWGを含む。図12では、端末画面TMにおいて全画面表示される場合を示している。なお、図11及び図12では、画面における位置を、x方向の位置x1とy方向の位置y1とを加味して、(x1,y1)とも記載する。なお、図11及び図12では、(0,0)は、各画面の左上端となる。
表示制御部302は、無線装置31を介して、各端末20の端末画面TMのアスペクト比と解像度との少なくとも1つの情報を取得する。表示制御部302は、例えば記憶部330から、共有画面KMのアスペクト比と解像度との少なくとも1つの情報を取得する。表示制御部302は、無線装置31を介して、画像付帯情報を取得し、画像付帯情報に含まれる画像位置情報を取得する。画像位置情報は、例えば、ウィンドウ画像WG(WG11,WG12,…)の基準位置や画像サイズを含んでよい。
図11では、端末画面TMの解像度は、2160(x方向)×1440(y方向)である。このアスペクト比は、3:2である。また、共有画面KMの解像度は、1920(x方向)×1080(y方向)である。このアスペクト比は、16:9である。よって、共有画面KMは、端末画面TMよりも横長の画面となっている。
端末画面TMでは、(120,90)の位置が、ウィンドウ画像WG11の基準位置となっている。そして、基準位置(120,90)からx方向に+400、y方向に+320に至る範囲で、ウィンドウ画像WG11が存在している。この場合、端末画面TMに対するウィンドウ画像WG11の基準位置の相対位置は、x方向では、120/2160≒0.056であり、y方向では90×(1920/2160)/1080≒0.073である。
端末画面TMと共有画面KMとの解像度やアスペクト比が異なる場合でも、ウィンドウ画像WG11,WG12のアスペクト比(縦横の長さの比)は不変であることが望ましい。ウィンドウ画像WG11,WG12に描画される対象物の印象が変化するためである。よって、端末画面TMと共有画面KMとの解像度やアスペクト比が異なる場合、例えば、共有画面KMの幅方向(x方向)の長さを基準に、ウィンドウ画像WG11,WG12の表示範囲を調整することが望ましい。
また、共有画面KMにおけるx方向の長さに対するy方向の長さ(相対長さ)が、端末画面TMにおけるx方向の長さに対するy方向の長さ(相対長さ)よりも短い場合、端末画面TMの画面内で表示可能なウィンドウ画像WG12のy方向の端部(例えば下端部)が、共有画面KMの画面外となり得る。しかし、ウィンドウ画像WG12のy方向の端部が共有画面KMの画面外となることによる影響は、ウィンドウ画像WG12のx方向の端部が共有画面KMの画面外となる場合よりも小さい。ここで、端末画面TMの下端部では、実行中のアプリケーションのアイコン等が表示され、ウィンドウ画像WG12の下端部がアイコンの裏側となったり非表示となったりすることが多い。そのため、ウィンドウ画像WG12の下端部が表示対象外となっても、例えばウィンドウ画像WG12の左端部又は右端部(x方向端部)が表示対象外となる場合と比較すると、表示対象外となることに対する違和感は比較的小さい。また、共有画面KMにおいてy方向にスクロールすれば、表示対象外となったウィンドウ画像WG12の部分が視認可能となる。なお、共有画面KMにおけるスクロールは、例えばいずれかの端末20にスクロールのための制御権が与えられ、制御権が与えられた端末20によって行われてよい。
また、端末画面TMと共有画面KMとでは、幅方向(x方向)の長さの比率は、1920/2160≒0.89である。よって、表示制御部302は、ウィンドウ画像WG11,WG12のアスペクト比を固定にするため、x方向とy方向とで比率を同様に作用させ、端末画面TMのウィンドウ画像WG11,WG12よりも共有画面KMのウィンドウ画像WG11,WG12を89%に縮小する。この結果、例えば、ウィンドウ画像WG11のx方向の長さは、400×0.89=356となり、ウィンドウ画像のy方向の長さは、320×0.89=284となる。
表示制御装置30の表示制御部302は、上記の相対位置を基に、共有画面KMに表示されるウィンドウ画像WG11の表示位置(共有表示位置)及び表示サイズ(共有表示サイズ)を調整する。具体的には、共有画面KMにおけるウィンドウ画像WG11の表示位置としての基準位置のx方向の位置は、前述のx方向の相対位置を加味すると、120×(1920/2160)≒107である。ウィンドウ画像WG11の基準位置のy方向の位置は、前述のy方向の相対位置を加味すると、90×(1920/2160)≒80である。よって、ウィンドウ画像WG11の基準位置は、(107,80)となる。
このように、画像表示システム5は、端末20の端末画面TMに表示されているウィンドウ画像WGの端末画面TMに対する相対画像サイズ及び相対位置と同じ相対サイズ及び相対位置で、共有画面KMにウィンドウ画像を表示させることができる。
なお、端末画面TMに対する相対画像サイズ及び相対位置は、表示制御装置30において算出されてもよい。
図12では、端末20において1つのウィンドウ画像WG13が全画面表示していることを示している。ここでは、端末画面TMにおけるx方向に対するy方向の相対的な長さが、共有画面KMにおけるx方向に対するy方向の相対的な長さよりも長い。そのため、ウィンドウ画像WG13がアスペクト比を変更せずに、共有画面KMのx方向の長さを基準にウィンドウ画像WG13の表示位置やサイズが調整された場合、共有画面KMではウィンドウ画像WG13は全画面表示とならずに、x方向端部(左右方向端部)にウィンドウ画像WG13が不在の空きが生じる。これに対応して、表示制御部302は、共有画面KMにおいて調整後のウィンドウ画像WG13が不在である領域を明示する。この領域の明示は、例えば黒色の塗りつぶしでよい。この場合、表示装置40は、共有画面KMにおいても、全画面表示であることを強調して表示できる。なお、画面のアスペクト比によっては、y方向端部にウィンドウ画像13が不在の空きが生じてもよく、この場合も同様に、共有画面KMにおいて調整後のウィンドウ画像WG13が不在である領域を明示してもよい。
次に、画像表示システム5による画面共有例2について説明する。
図13は、画像表示システム5による画面共有例2を説明するための図である。画面共有例2では、画像表示システム5は、複数の端末20A,20B,20Cの位置を検出し、端末20の位置に応じて複数のアクティブウィンドウ画像AWGを配置して表示する。なお、図13では、図1や図5等に示した画像表示システム5の構成と同様の構成については、その説明を省略又は簡略化する。
図13では、机に複数の端末20(20A,20B,20C,20D,20E)が配置されている。ここでは、机は、無線装置11の通信エリアに一致している。無線制御装置10は、無線装置11を介して、端末20に接続された無線装置21を探索するための探索信号を通信エリアの所定方向にビームフォーミングして送信する。無線制御装置10は、ビームフォーミングの方向を順次変更しながら、通信エリアとしての机の領域をカバーするように、探索信号を送信する。
無線制御装置10は、無線装置11を介して、探索信号に対する無線装置21からの応答を受信した場合、その方向に端末20が存在すると判定する。なお、無線装置21からの応答には、応答を送信した端末20の識別情報や端末20のユーザの識別情報が含まれてよい。無線制御装置10は、端末20の探索の結果、通信エリアとしての机上に存在する複数の端末20(20A,20B,20C,20D,20E)の配置位置やユーザの位置(例えば着席位置)を検出する。無線制御装置10は、検出された各端末20の配置位置を、無線装置11を介して表示制御装置30へ送信する。
表示制御装置30は、無線装置31を介して、検出された各端末20の配置位置の情報を取得する。表示制御部302は、検出された複数の端末20の配置位置に基づいて、共有画面KMにおける各端末20からの各アクティブウィンドウ画像AWGを表示させる。
例えば、図13では、端末20Aは、机上の左上部に配置されているので、共有画面KMの左上部に端末20Aからのアクティブウィンドウ画像AWGAが表示される。端末20Bは、机上の左下部に配置されているので、共有画面KMの左下部に端末20Bからのアクティブウィンドウ画像AWGBが表示される。端末20Cは、机上の中央下部に配置されているので、共有画面KMの中央下部に端末20Cからのアクティブウィンドウ画像AWGCが表示される。端末20Dは、机上の右下部に配置されているので、共有画面KMの右下部に端末20Dからのアクティブウィンドウ画像AWGDが表示される。端末20Eは、机上の右上部に配置されているので、共有画面KMの右上部に端末20Eからのアクティブウィンドウ画像AWGEが表示される。
これにより、実空間における机上の端末20の配置位置やユーザの着席位置と、共有画面KMにおけるアクティブウィンドウ画像AWGの配置位置と、の位置関係が対応するので、共有画面KMに表示されたどのアクティブウィンドウ画像AWGが、どの端末20からのアクティブウィンドウ画像AWGであるかを直感的に認識し易くできる。また、ユーザの着席位置の近傍にそのユーザの端末20が配置される等、端末20の位置と端末20のユーザの着席位置とが対応付けされている場合、表示制御装置30は、各端末20のユーザの着席位置に応じた画面共有を行うことができる。
なお、表示制御部302は、アクティブウィンドウ画像AWGにおける任意の領域(例えば上部)に、端末20を使用するユーザの識別情報(例えば、ユーザ名、ユーザID、ユーザの写真やイラスト)を挿入してよい。共有画面KMには、ユーザの識別情報が示されたアクティブウィンドウ画像AWGが表示されてよい。これにより、表示された各アクティブウィンドウ画像AWGがどのユーザの端末20から送信されたものであるかを識別可能となる。なお、端末20が、端末20のユーザの識別情報を、画像付帯情報に含めて表示制御装置30へ送信してもよいし、予め表示制御装置30へ送信しておき、表示制御装置30の記憶部330に保持されていてもよい。
このように、画像表示システム5は、端末20を無線装置11に近づけるだけで、無線装置11に端末20が接続され、表示装置40により画像を共有画面KMに表示できる。そして、画像表示システム5は、各端末20のアクティブウィンドウのみ切り出して、複数の端末20で画面共有を行うことができる。また、画像表示システム5は、画面共有が会議の場で使用される場合、会議に参加する複数のユーザの端末20の端末画面TMの表示内容を、効率的に共有できる。例えば、画像表示システム5は、端末20Aのアクティブウィンドウ画像AWGAによって発表者の資料を提示し、端末20Bのアクティブウィンドウ画像AWGBによって書記の議事録を提示し、共有画面KMにおいて発表者の資料と書記の議事録とを同時に表示できる。また、画像表示システム5は、共有画面KMを用いた画面共有により、会議に参加するいずれかのユーザの1つの画面を見ながら会議をするのではなく、会議に参加する複数のユーザのそれぞれの画面を見ながら会議をすることを可能にできる。
本実施形態では、無線制御装置10を介して端末20と表示制御装置30とが通信することを例示したが、無線制御装置10を介さずに端末20と表示制御装置30とが通信してよい。例えば、各端末20と表示制御装置30とが直接に有線又は無線で通信経路を形成し、通信してもよい。
本実施形態では、無線制御装置10は、無線装置11を用いたビームフォーミングにより端末20やそのユーザの位置を検出することを例示したが、これに限られない。例えば、無線制御装置10は、無線レーダを備えてよい。無線レーダは、電波(例えばミリ波)の送信及び受信を行ってよい。無線制御装置10の制御部は、無線レーダによる電波の送信及び受信に基づいて、物体(例えば端末20やユーザ)の位置を検出してよい。また、無線レーダは、無線装置11の代わりに設けられてもよいし、無線装置11とともに設けられてもよい。無線レーダと無線装置11との双方が設けられる場合、無線レーダにより人を検出し、無線装置11により端末20の位置を検出するようにしてもよい。例えば、検出された人と端末20との位置が所定範囲内である場合、無線制御装置10の制御部は、端末20の近傍にその端末20のユーザが所在すると判定してよい。
本実施形態では、共有ボタンBT1の押下等により共有開始が指示されることを例示したが、共有開始の指示を省略してもよい。この場合、端末20と表示制御装置30とが通信接続された場合に、即時に端末20が端末20のアクティブウィンドウ画像AWGを表示制御装置30へ送信し、表示制御装置30が共有画面KMにアクティブウィンドウ画像AWGを表示させてよい。
なお、無線制御装置10の制御部は、端末20の探索において、表示装置40の近傍に位置する端末20を判別してもよい。この場合、無線制御装置10の制御部は、探索信号のビームフォーミングにより得られた通信エリアにおける端末20の位置と表示装置40の位置とに応じて、端末20と表示装置40との間の距離を算出してよい。無線制御装置10の制御部は、この距離が閾値th1以下である場合に、端末20が表示装置40の近傍に位置すると判定してよい。無線制御装置10の制御部は、端末20が表示制御装置30の近傍に位置すると判定した場合、無線装置11を介して、この端末20に共有開始の指示を送信してよい。端末20は、無線装置21を介して、無線制御装置10からの共有開始の指示を受けると、アクティブウィンドウ画像AWGを表示制御装置30へ送信してよい。これにより、ユーザにより共有開始の指示を行わなくても、端末20と表示装置40との位置関係に応じて自動的に共有画面KMを用いた画面共有を開始できる。また、無線制御装置10が取得した端末20又は表示制御装置30の位置情報を、端末20又は表示制御装置30に通知してよい。端末20は、端末20の位置情報を通知されると、画面共有を開始する指示(例えば共有ボタンBT1の押下の指示)を行ってよい。表示制御装置30は、表示制御装置30の位置情報を通知されると、画面共有を開始するか判断してもよい。
本実施形態では、共有開始の順序に従って共有画面KMに垂直な方向の表示順序(表示階層)を決定することを例示したが、これに限られない。例えば、アクティブウィンドウ画像AWGに係るアプリケーションの状態に応じて、表示階層が決定されてもよい。例えば、アプリケーションの再生状態として、一時停止が解除されたことを示す場合、表示制御部302は、このアプリケーションの確認の優先度が高いとして、共有画面KMにおいて他のアクティブウィンドウ画像よりも表示階層を前面側(例えば最前面)としてよい。
本実施形態では、主にアクティブウィンドウ画像AWGが端末20から表示制御装置30へ伝送され、共有画面KMに表示されることを例示したが、1つの端末20からアクティブウィンドウ画像AWGと他のウィンドウ画像(例えばアクティブウィンドウ画像の次に優先度の高いウィンドウの画像)が伝送され、共有画面KMに1つの端末20の複数のウィンドウ画像が表示されてもよい。
以上のように、本実施形態の画像表示システム5は、端末画面TM(第1の画面の一例)を備える複数の端末20と、共有画面(第2の画面の一例)を備える表示装置40を制御する表示制御装置30と、を備える。端末20は、端末画面TMにおけるアクティブウィンドウ画像AWG(アクティブなウィンドウの画像の一例)を取得してよい。端末20は、取得されたアクティブウィンドウ画像AWGと、端末画面TMにおけるアクティブウィンドウ画像AWGの画像位置及び画像サイズを含む画像付帯情報を、表示制御装置30に送信してよい。表示制御装置30は、複数の端末20のそれぞれから、アクティブウィンドウ画像AWGと画像付帯情報とを受信してよい。表示制御装置30は、アクティブウィンドウ画像AWG毎に、アクティブウィンドウ画像AWGに対応する画像付帯情報に基づいて、共有画面KMにおけるアクティブウィンドウ画像AWGの配置位置を決定してよい。表示制御装置30は、共有画面KMにおいて決定された複数の配置位置に、複数のアクティブウィンドウ画像AWGを表示させてよい。
これにより、画像表示システム5は、各端末20からのアクティブウィンドウ画像AWGを共有画面KMに表示させることで、画像表示システム5を使用する複数のユーザの端末画面TMに表示される画像の情報を共有することができる。よって、画像表示システム5は、複数の端末20からのウィンドウ画像を切り替えて表示させる対応を行うことが不要であり、ユーザの操作の煩雑性を低減できる。また、各ユーザは、自端末の端末画面TMにおいて表示されているアクティブウィンドウ画像AWGの位置に対応して、共有画面KMにアクティブウィンドウ画像AWGを表示させることができるので、直感的に理解し易い。このように、画像表示システム5は、複数の端末20において取得した各画像を共有画面KMにおいて適切に表示可能にできる。
また、表示制御装置30は、アクティブウィンドウ画像AWG毎に、アクティブウィンドウ画像AWGに対応する画像付帯情報に基づいて、共有画面KMにおけるアクティブウィンドウ画像AWGの表示範囲を決定してよい。表示制御装置30は、共有画面KMにおける複数のアクティブウィンドウ画像AWGの表示範囲が重複する場合、複数のアクティブウィンドウ画像AWGの受信順序に従って、共有画面KMに垂直な方向に沿う複数のアクティブウィンドウ画像AWGの表示順序を決定してよい。
これにより、画像表示システム5は、例えば複数の端末20からの複数のアクティブウィンドウ画像AWGの受信時刻に従って、共有画面KMにおける表示の階層を決定できる。例えば、3つのアクティブウィンドウ画像AWGが受信される場合、最後に受信されたアクティブウィンドウ画像AWGは最前面に表示され、最後の前に受信されたアクティブウィンドウ画像AWGはその次に前面に表示され、最初に受信されたアクティブウィンドウ画像AWGは最後面に表示される。
また、複数のアクティブウィンドウ画像AWGは、アクティブウィンドウ画像AWGA(第1の画像の一例)とアクティブウィンドウ画像AWGB(第2の画像の一例)とを含んでよい。表示制御装置30は、アクティブウィンドウ画像AWGAの表示範囲とアクティブウィンドウ画像AWGBの表示範囲とが重複し、アクティブウィンドウ画像AWGAがアクティブウィンドウ画像AWGBよりも先に受信された場合、共有画面KMにおいてアクティブウィンドウ画像AWGAよりもアクティブウィンドウ画像AWGBを前面に表示させてよい。
これにより、新たなに受信されたアクティブウィンドウ画像AWGBが前面側に配置され、以前に受信されたアクティブウィンドウ画像AWGAが後面側に配置される。よって、画像表示システム5は、新たなに受信された画像をユーザにとって確認し易くできる。
また、複数のアクティブウィンドウ画像AWGは、再生可能なアプリケーションのウィンドウの画像である第3の画像を含んでよい。画像付帯情報は、アプリケーションの再生状態を示す情報を含んでよい。表示制御装置30は、アクティブウィンドウ画像AWG毎に、アクティブウィンドウ画像AWGに対応する画像付帯情報に基づいて、共有画面KMにおけるアクティブウィンドウ画像AWGの表示範囲を決定してよい。表示制御装置30は、画像付帯情報にアプリケーションの再生状態として一時停止を解除したことを示す情報が含まれ、第3の画像の表示範囲と他の画像の表示範囲とが重複する場合、共有画面KMにおいて第3の画像を他の画像よりも前面に表示させてよい。
これにより、再生を一時停止していたアプリケーションのアクティブウィンドウ画像AWGは、ユーザによる視認の重要性が低いので、表示優先度が低いとして後面側に表示され得る。一方、一時停止を解除して再生を開始したアプリケーションのアクティブウィンドウ画像AWGは、ユーザによる視認の重要性が高いので、画像表示システム5は、このアクティブウィンドウ画像AWGの表示優先度が高いとして、共有画面KMの前面側に表示できる。よって、ユーザは、共有画面KMにおいて複数のアクティブウィンドウ画像AWGが存在する状況でも、再生を再開したアプリケーションに係るアクティブウィンドウ画像AWGを容易に確認できる。
また、複数のアクティブウィンドウ画像AWGは、第4の画像を含んでよい。端末20は、端末画面TMにおける第4の画像に対する変更操作を取得してよい。端末20は、変更操作の情報を表示制御装置30へ送信してよい。表示制御装置30は、アクティブウィンドウ画像AWG毎に、アクティブウィンドウ画像AWGに対応する画像付帯情報に基づいて、共有画面KMにおけるアクティブウィンドウ画像AWGの表示範囲を決定してよい。表示制御装置30は、共有画面KMにおける複数のアクティブウィンドウ画像AWGの表示範囲が重複する場合、第4の画像に対する変更操作の情報の受信タイミングに従って、共有画面KMに垂直な方向に沿う複数のアクティブウィンドウ画像AWGの表示順序を決定してよい。
これにより、画像表示システム5は、ユーザが端末画面TMにおいて移動やサイズ変更や切り替え等の変更操作を行ったアクティブウィンドウ画像AWGを、表示優先度が高いものとして扱い、共有画面KMの前面側に表示できる。よって、ユーザは、共有画面KMにおいて複数のアクティブウィンドウ画像AWGが存在する状況でも、変更操作を行ったアクティブウィンドウ画像AWGを容易に確認できる。
また、表示制御装置30は、端末画面TMのアスペクト比と解像度との少なくとも1つの情報を取得してよい。表示制御装置30は、共有画面KMのアスペクト比と解像度との少なくとも1つの情報を取得してよい。表示制御装置30は、端末画面TMのアスペクト比と解像度との少なくとも1つと共有画面KMのアスペクト比と解像度との少なくとも1つとに基づいて、端末画面TMにおけるウィンドウ画像WG(例えばアクティブウィンドウ画像AWG)のアスペクト比を固定して、共有画面KMにおけるウィンドウ画像WGの表示範囲を調整してよい。
これにより、画像表示システム5は、端末画面TM及び共有画面KMの間で解像度やアスペクト比が異なる場合でも、画面に対するウィンドウ画像WGの相対的な表示範囲(位置やサイズ)を維持して、複数のユーザで画面共有できる。
また、表示制御装置30は、端末画面TM及び共有画面KMにおけるx方向(第1の方向の一例)の長さに基づいて、共有画面KMにおけるウィンドウ画像WGの表示範囲を調整してよい。表示制御装置30は、表示範囲が調整されたウィンドウ画像WGの一部(例えば下端部)が共有画面KM内に含まれない場合、ウィンドウ画像WGの一部を表示対象外としてよい。
端末画面TM及び共有画面KMの間でアスペクト比や解像度が異なる場合でも、端末画面TMにおいて例えば端部付近に配置されたウィンドウ画像WGは、共有画面KMでは表示領域の外側に配置され得る。例えば、横長の(y方向よりもx方向の長い)共有画面KMでは、y方向の端部(例えば下端部)の一部が表示領域外となることがある。この場合でも、一部が表示領域外となった状態を維持して、ウィンドウ画像WGの表示対象の部分が表示される。この場合でも、例えばy方向に沿ってスクロールすることで、表示対象外となったウィンドウ画像WGの部分を確認可能である。
また、本実施形態の表示制御装置30は、表示装置40を制御する表示制御部302を備える。表示制御部302は、無線装置31を介して、複数の端末20が備える端末画面TMにおけるアクティブウィンドウ画像AWGを、複数の端末20のそれぞれから取得してよい。表示制御部302は、無線装置31を介して、端末画面TMにおけるアクティブウィンドウ画像AWGの画像位置及び画像サイズを含む画像付帯情報を、複数の端末20のそれぞれから取得してよい。表示制御部302は、アクティブウィンドウ画像AWG毎に、アクティブウィンドウ画像AWGに対応する画像付帯情報に基づいて、表示装置40が備える共有画面KMにおけるアクティブウィンドウ画像AWGの配置位置を決定してよい。表示制御部302は、共有画面KMにおいて決定された複数の配置位置に、複数のアクティブウィンドウ画像AWGを表示させてよい。
これにより、表示制御装置30は、各端末20からのアクティブウィンドウ画像AWGを共有画面KMに表示させることで、共有画面KMを確認するユーザ間で、他のユーザの端末画面TMに表示される画像の情報を共有することができる。また、各ユーザは、自端末の端末画面TMにおいて表示されているアクティブウィンドウ画像AWGの位置に対応して、共有画面KMにアクティブウィンドウ画像AWGを表示させることができるので、直感的に理解し易い。このように、表示制御装置30は、複数の端末20において取得した各画像を共有画面KMにおいて適切に表示可能にできる。
(実施の形態2の内容に至る経緯)
画像表示システムにおいて、複数の端末から表示装置へ画像を伝送して表示する際、伝送経路の帯域は有限であるため、例えば多数の端末が表示装置に接続された場合などに、通信実効速度の低下が起こり得る。また、表示制御装置のCPU性能などの制約により、大量の画像が処理できない場合がある。この場合、表示装置の表示画面において画像のフリーズ、コマ落ち等が生じ得る。特許文献1では、この点が考慮されていない。
以下、複数の端末にて取得した画像をそれぞれ好適な伝送レートで表示装置に伝送し、複数の端末からの各画像を表示装置の表示画面において適切に表示する画像表示システム等の一例について説明する。
(実施の形態2)
実施の形態2では、複数の端末から表示制御装置へ、表示装置の共有画面に表示される複数の端末の端末画面のそれぞれにおけるウィンドウ画像を伝送することについて説明する。なお、本実施形態では、実施の形態1と同様に、画像表示システムは、各端末からの各画像付帯情報に基づいて、共有画面における各ウィンドウ画像の配置位置を決定し、決定された各配置位置に各ウィンドウ画像を表示する。本実施形態では、ウィンドウ画像の配置や表示順序については、その説明を省略又は簡略化する。また、実施の形態1で説明した事項と同様の事項については、実施の形態2ではその説明を省略又は簡略化する。
実施の形態2に係る画像表示システム5Aの構成は、図1で示した画像表示システム5の構成とほぼ同様であり、同様の構成については、その説明を省略又は簡略化する。本実施形態の画像表示システム5Aと実施の形態1の画像表示システム5とを比較すると、伝送レート制御を実現するための構成が異なり、表示制御装置の構成が異なる。
なお、実施の形態1では、端末20から表示制御装置30へアクティブウィンドウ画像AWGが伝送され、共有画面KMにおいてアクティブウィンドウ画像AWGが表示されることを主に例示した。実施の形態2では、アクティブウィンドウ画像AWG以外のウィンドウ画像WGが伝送され、共有画面KMにおいて表示されてよい。端末20が表示制御装置へ送信するウィンドウ画像WGは、任意のウィンドウ画像WGでよく、操作部220を介してユーザが指定したウィンドウ画像WGでもよいし、アクティブウィンドウ画像AWGでもよい。また、複数のウィンドウ画像WGが伝送され、共有画面KMで表示されてよい。
図14は、表示制御装置30Aの構成例を示すブロック図である。画像表示システム5Aは、表示制御装置30Aを備える。表示制御装置30Aは、制御部310Aを備える。制御部310Aは、デコード部301、表示制御部302、及び通信制御部303を備える。なお、図14の表示制御装置30Aにおいて、図3に示した表示制御装置30と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
表示制御装置30Aでは、通信制御部303は、無線装置31及びデコード部301を介して、各端末20から各ウィンドウ画像WG及び各画像付帯情報を取得する。
通信制御部303は、画像付帯情報に基づいて、各端末20から各ウィンドウ画像WGを伝送するための伝送レートを決定する。通信制御部303は、伝送レートの決定では、各ウィンドウ画像WGを伝送するための伝送レートの順位を決定し、伝送レートの順位に基づいて、伝送レートを決定する。この場合、通信制御部303は、画像付帯情報に基づいて、画面占有率を算出してよい。画面占有率は、共有画面KMにおいてウィンドウ画像WGが表示される領域が占める割合を示す。
例えば、通信制御部303は、画像付帯情報に含まれる画像位置情報に基づいて、共有画面KMにおいてウィンドウ画像WGが表示される表示範囲を算出する。共有画面KMにおいて複数の端末20からの複数のウィンドウ画像WGの表示範囲が重複しない場合、共有画面KMに対する表示範囲の割合が、画面占有率となる。ウィンドウ画像WGの全域が、共有画面KMの表面(最前面)に現れるためである。一方、共有画面KMにおいて複数の端末20からの複数のウィンドウ画像WGの表示範囲が重複する場合、共有画面KMに対する、ウィンドウ画像WGの表示範囲のうち最前面となる範囲(他のウィンドウ画像に隠れずに見える範囲)の割合が、画面占有率となる。
通信制御部303は、各ウィンドウ画像WG(WGA,WGB,WGC,…)の画面占有率に基づいて、各端末20から各ウィンドウ画像WGを伝送するための伝送レートを決定する。例えば、ウィンドウ画像WGAの画面占有率がウィンドウ画像WGBの画面占有率の2倍である場合、伝送レートを2倍にしてよいし、その他の調整を加味して2倍を基に伝送レートを決定してもよい。通信制御部303は、無線装置31,11,21を介して、決定された伝送レートを各端末20へ通知する。また、複数の異なる伝送レートを予め決めておき、記憶部330に保持しておいてもよい。例えば、伝送レートとして、20fps、5fps、1fps、等を記憶部330が有するテーブルに保持しておき、ウィンドウ画像WGの画面占有率が大きい程、高い伝送レートの値が割り当てられてよい。また、伝送レートは、単位時間当たりの画像の送信の頻度(フレームレート)であってよい。通信制御部303は、伝送レートの制御において、画像の送信頻度を制御し、画像の画質(例えば圧縮率)は制御しなくてよい。
各端末20は、無線装置21を介して、決定された伝送レートの通知を表示制御装置30Aから受信する。各端末20は、伝送レートの通知を受けた後には、通知された伝送レートに従った送信頻度で、無線装置21を介してウィンドウ画像WGを表示制御装置30Aへ送信する。
なお、通信制御部303は、共有画面KMによる表示モードが共有モードに設定されている場合、伝送レートの制御が行われる。一方、通信制御部303は、共有画面KMによる表示モードが単独モード(例えば全画面表示モード)に設定されている場合、伝送レートの制御を行わなくてよい。単独モードの設定期間中に伝送されるウィンドウ画像WGは、1つの端末20からのウィンドウ画像WGのみとなり、他の端末20からのウィンドウ画像WGの伝送を考慮しなくてよいためである。
図15及び図16は、本実施形態の画像伝送例及び画面共有例を示す図である。図15及び図16では、図6と同じ処理については、その説明を省略又は簡略化する。図15及び図16では、端末20Aからウィンドウ画像WGA(図中では単に「A」とも記載する)が伝送されて共有画面KMに表示される。端末20Bからウィンドウ画像WGB(図中では単に「B」とも記載する)が伝送されて共有画面KMに表示される。端末20Cからウィンドウ画像WGC(図中では単に「C」とも記載する)が伝送されて共有画面KMに表示される。ウィンドウ画像WGA,WGB,WGBについて、元の画像の大きさは、ウィンドウ画像WGB>ウィンドウ画像WGC>ウィンドウ画像WGA、の順である。ここでは、端末20A,20B,20Cの順に表示制御装置30Aに通信接続され、共有開始され、順にウィンドウ画像WGの送信を開始する。
まず、端末20Aは、共有開始を検出すると、無線装置21を介して、ウィンドウ画像WGA及びその画像付帯情報を表示制御装置30Aへ送信する。表示制御装置30Aは、無線装置31を介して、端末20Aからウィンドウ画像WGA及びその画像付帯情報を受信する。通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGAの配置位置を決定し、この配置位置にウィンドウ画像WGAを表示させる。
通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGAの表示範囲を算出し、画像占有率を算出する。ここでは、共有画面KMにおいてウィンドウ画像WGA以外のウィンドウ画像WGは表示されないので、ウィンドウ画像WGAの画面占有率は最も高い。通信制御部303は、算出された画像占有率に基づいて、伝送レート(例えば伝送可能な最大伝送レート、例えば20fps)を決定する。表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGAを伝送するための伝送レートの情報を含む応答情報(画像伝送応答)を、端末20Aへ送信する。よって、応答情報は、伝送レートの変更指示を含み得る。
端末20Aは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば20fps)に従って、ウィンドウ画像WGAの送信を繰り返す。
続いて、端末20Bが、無線装置21を介して、ウィンドウ画像WGB及びその画像付帯情報を表示制御装置30Aへ送信する。表示制御装置30Aは、無線装置31を介して、端末20Bからウィンドウ画像WGB及びその画像付帯情報を受信する。通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGBの配置位置を決定し、この配置位置にウィンドウ画像WGBを表示させる。なお、ウィンドウ画像WGBの共有開始がウィンドウ画像WGAの共有開始よりも後なので、ウィンドウ画像WGBの表示範囲とウィンドウ画像WGAの表示範囲とが重複する場合、ウィンドウ画像WGBがウィンドウ画像WGAよりも前面に配置され表示される。
また、通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGBの表示範囲を算出し、画像占有率を算出する。ここで、共有画面KMにおけるウィンドウ画像WGBの表示範囲とウィンドウ画像WGAの表示範囲とが重複する場合、後面側のウィンドウ画像WGAの表示範囲は、両画像の重複する範囲の分、小さくなる。この結果、図15では、ウィンドウ画像WGAの画面占有率は、ウィンドウ画像WGBの画面占有率よりも、かなり小さくなる。
通信制御部303は、算出された画像占有率に基づいて、ウィンドウ画像WGBを伝送するための伝送レート(例えば20fps)と、ウィンドウ画像WGAを伝送するための伝送レート(例えば5fps)と、を決定する。つまり、ウィンドウ画像WGBを伝送するための伝送レートは、ウィンドウ画像WGAを伝送するための伝送レートより高くなる。表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGBを伝送するための伝送レートの情報を含む応答情報を、端末20Bへ送信する。表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGAを伝送するための伝送レートの情報を含む応答情報を、端末20Aへ送信する。
端末20Bは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば20fps)に従って、ウィンドウ画像WGBの送信を繰り返す。端末20Aは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば5fps)に従って、ウィンドウ画像WGAの送信を繰り返す。
続いて、端末20Cが、無線装置21を介して、ウィンドウ画像WGC及びその画像付帯情報を表示制御装置30Aへ送信する。表示制御装置30Aは、無線装置31を介して、端末20Cからウィンドウ画像WGC及びその画像付帯情報を受信する。通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGCの配置位置を決定し、この配置位置にウィンドウ画像WGCを表示させる。なお、ウィンドウ画像WGCの共有開始がウィンドウ画像WGBの共有開始よりも後なので、ウィンドウ画像WGCの表示範囲とウィンドウ画像WGB,WGAの表示範囲とが重複する場合、ウィンドウ画像WGCがウィンドウ画像WGB,WGAよりも前面に配置され表示される。また、前述したとおり、ウィンドウ画像WGBがウィンドウ画像WGAよりも前面に配置され表示される。
通信制御部303は、画像付帯情報に含まれる画像位置情報を基に、共有画面KMにおけるウィンドウ画像WGCの表示範囲を算出し、画像占有率を算出する。ここで、共有画面KMにおけるウィンドウ画像WGCの表示範囲とウィンドウ画像WGB,WGAの表示範囲とが重複する場合、後面側のウィンドウ画像WGB,WGAの表示範囲は、ウィンドウ画像WGCと重複する範囲の分、小さくなる。また、前述したとおり、共有画面KMにおけるウィンドウ画像WGBの表示範囲とウィンドウ画像WGAの表示範囲とが重複する場合、後面側のウィンドウ画像WGAの表示範囲は、ウィンドウ画像WGBと重複する範囲の分、小さくなる。この結果、ウィンドウ画像WGBの画面占有率は、図16では、ウィンドウ画像WGB,WGC,WGAの順に大きくなる。
通信制御部303は、算出された画像占有率に基づいて、ウィンドウ画像WGCを伝送するための伝送レート(例えば5fps)と、ウィンドウ画像WGBを伝送するための伝送レート(例えば20fps)と、ウィンドウ画像WGAを伝送するための伝送レート(例えば1fps)と、を決定する。つまり、各ウィンドウ画像を伝送するための伝送レート(伝送レートの順位)は、ウィンドウ画像WGB,WGC,WGAの順に高くなる。
表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGCを伝送するための伝送レートの情報を含む応答情報を、端末20Cへ送信する。表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGBを伝送するための伝送レートの情報を含む応答情報を、端末20Bへ送信する。表示制御装置30Aは、無線装置31を介して、決定されたウィンドウ画像WGAを伝送するための伝送レートの情報を含む応答情報を、端末20Aへ送信する。
端末20Cは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば5fps)に従って、ウィンドウ画像WGCの送信を繰り返す。端末20Bは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば20fps)に従って、ウィンドウ画像WGBの送信を繰り返す。端末20Aは、無線装置21を介して、表示制御装置30Aから応答情報を受信し、応答情報に含まれる伝送レート(例えば1fps)に従って、ウィンドウ画像WGAの送信を繰り返す。
このように、画像表示システム5Aでは、初めに、端末20Aが、表示制御装置30Aと通信接続され、共有開始され、ウィンドウ画像WGAを例えば20fpsで伝送し、表示制御装置30Aが共有画面KMに表示する。続いて、表示制御装置30Aと通信接続され、共有開始される。この際の画面占有率は、ウィンドウ画像WGBの方がウィンドウ画像WGAよりも大きい。一例として、表示制御装置30Aは、ウィンドウ画像WGBを例えば20fpsで伝送させ、共有画面KMに表示させる。また、表示制御装置30Aは、ウィンドウ画像WGAを例えば5fpsで伝送させ、共有画面KMに表示させる。
続いて、端末20Cが、表示制御装置30Aと通信接続され、共有開始される。この際の画面占有率は、ウィンドウ画像WGB、ウィンドウ画像WGC、ウィンドウ画像WGA、の順に大きい。一例として、ウィンドウ画像WGCを例えば5fpsで伝送し、表示制御装置30Aが共有画面KMに表示させる。また、表示制御装置30Aは、ウィンドウ画像WGBを例えば20fpsで伝送させ、共有画面KMに表示させる。また、表示制御装置30Aは、ウィンドウ画像WGAを例えば1fpsで伝送させ、共有画面KMに表示させる。
このように、各端末20は、自装置の端末画面TMにおけるウィンドウ画像WGを取得し、ウィンドウ画像WGのデータを表示制御装置30Aに伝送する。表示制御装置30Aは、各端末20からの各ウィンドウ画像WGを受信し、共有画面KMに表示させる。各端末20及び表示制御装置30Aは、共有画面KMにおけるそれぞれのウィンドウ画像WGの画面占有率を含む伝送条件に応じて、端末20から表示制御装置30Aへウィンドウ画像WGを伝送するための伝送レートを設定する。
なお、各端末20A,20B,20Cは、共有開始後の初回の画像伝送時(つまり共有開始時)に限らずに、画像付帯情報を送信してもよい。例えば、表示制御装置30Aとの通信接続時や、各端末20の端末画面TMでのウィンドウ画像WGの変更時に、無線装置21を介して表示制御装置30Aへ画像付帯情報を送信する。ウィンドウ画像WGの変更とは、ウィンドウの移動、ウィンドウのサイズ変更、アクティブウィンドウの切り替え、等を含んでよい。ウィンドウ画像WGの変更は、自動的に行われてもよいし、手動(操作部220を介したユーザ操作)により行われてもよい。また、各端末20は、無線装置21を介して、ウィンドウ画像WGとともに、表示制御装置30Aへ画像付帯情報を毎回送信してもよい。表示制御装置30Aの通信制御部303は、無線装置31を介して各端末20からの画像付帯情報を取得する。
通信制御部303は、画像付帯情報を取得した際に、画像付帯情報に基づいて、画像付帯情報に対応するウィンドウ画像WGの共有画面KMにおける画面占有率を算出してよい。したがって、表示制御装置30Aは、画像付帯情報を送信する頻度が高い程、画面占有率が高頻度で算出され、伝送レートの調整を頻繁に行うことができる。この場合、表示制御装置30Aは、共有画面KMにおける複数のウィンドウ画像WGの表示態様が頻繁に変化する場合でも、好適な伝送レートを導出できる。
このように、画像表示システム5Aは、共有画面KMにおける各ウィンドウ画像WGの画面占有率に基づいて、各ウィンドウ画像WGを伝送するための伝送レートを制御可能である。これにより、画像表示システム5Aは、多数の端末20が表示制御装置30Aに接続された場合でも、各端末20と表示制御装置30Aの間での通信実効速度が低下して、共有画面KMのフリーズやコマ落ち(画像フレームの欠落)が発生することを抑制できる。特に、画面占有率に応じて伝送レートが決定されることで、画像表示システム5Aは、例えば重要なウィンドウ画像WGを伝送するための通信速度やフレームレートを他のウィンドウ画像WGを伝送するための通信速度やフレームレートより高くでき、共有画面KMのフリーズやコマ落ちが発生することを抑制できる。つまり、画面占有率を用いることで、複数のウィンドウ画像WGのうち、共有画面KMの表面にウィンドウ画像WGの出現している面積が大きい程、重要な情報であるとして、画像表示システム5Aは、伝送レートを大きくし、ウィンドウ画像の伝送量を多くできる。
よって、画像表示システム5Aは、例えば端末20と無線制御装置10と表示制御装置30Aとの間の伝送経路において、重要度の高い(例えば画面占有率の高い)ウィンドウ画像WGを伝送するためのリソースが不足したり、複数のウィンドウ画像WGが一律に過大な伝送量で伝送されることで伝送路特性が劣化したりすることを抑制できる。
本実施形態では、表示制御装置30Aは、画像付帯情報に含まれる無線通信状況を基に、伝送レートを再調整してもよい。例えば、通信制御部303は、画面占有率等を基に伝送レートを決定した後、伝送レートが高く決定された端末20の無線通信状況が劣悪である場合(例えば所定品質以下の場合)、伝送レートを低くしてよい。これにより、表示制御装置30Aは、予期しないフリーズやコマ落ちを抑制可能である。さらに、所定の端末20の伝送レートを低下させた分、表示装置40のリソースに余裕がでるため、そのリソースを他の端末20の通信に割り当てることで、画像表示システム5A全体の通信品質を向上させることもできる。
本実施形態では、画面占有率に基づいて伝送レートを決定する(伝送レートの順位の決定を含む)ことを主に例示したが、これに限られない。例えば、表示制御装置30Aの通信制御部303は、画面占有率以外の画像付帯情報又は端末20に関する端末情報を取得し、画像付帯情報又は端末情報に基づいて、伝送レートが決定されてよい。また画面占有率と画像付帯情報又は端末情報との双方に基づいて、伝送レートが決定されてもよい。なお、複数のウィンドウ画像WGについて画面占有率又は画像付帯情報が一致する場合には、同じ伝送レートに設定されてよい。
例えば、通信制御部303は、表示制御装置30Aに同時に接続されている端末20の数に応じて、伝送レートを決定してよい。例えば、端末20の数が多い程、各端末20から伝送するための伝送レートが低く設定され、端末20の数が少ない程、各端末20から伝送するための伝送レートが高く設定されてよい。なお、端末20の数は、例えば無線装置31が端末接続数を管理しており、無線装置31から取得されてよい。この端末の数は、端末情報に含まれてよい。
また、通信制御部303は、端末20で伝送対象のウィンドウ(例えばアクティブウィンドウ)となっているアプリケーションの種別に応じて、伝送レートを決定してよい。例えば、伝送対象のウィンドウとなっているアプリケーションが動画アプリケーションである場合、この伝送対象のウィンドウ画像WGを伝送するための伝送レートが高く設定され、伝送対象のウィンドウとなっているアプリケーションが動画以外(例えば静止画やテキスト編集)のアプリケーションである場合、この伝送対象のウィンドウ画像WGを伝送するための伝送レートが低く設定されてよい。アプリケーションの種別の情報は、画像付帯情報に含められ、端末20から表示制御装置30Aへ通知されていてよい。
また、通信制御部303は、端末20を使用するユーザの役割(例えば、会議のオーナー、発表者、書記)に応じて、伝送レートを決定してよい。例えば、端末20のユーザが発表者の場合、この端末20からウィンドウ画像WGを伝送するための伝送レートが高く設定され、端末20のユーザが書記の場合、この端末20からウィンドウ画像を伝送するための伝送レートが低く設定されてよい。ユーザの役割の情報は、画像付帯情報に含められ、端末20から表示制御装置30Aへ通知されていてよい。
また、通信制御部303は、複数の端末20から送信される複数のウィンドウ画像WGの共有開始の指示の順序や受信順序に従って、伝送レートを決定してよい。例えば、共有開始の指示の順序や受信順序が時間的に後である程、伝送レートが高く設定され、共有開始の指示の順序や受信順序が時間的に前である程、伝送レートが低く設定されてよい。これにより、注目度が高いことが想定される、新しい画像の伝送レートが高くなる。
図17は、実施の形態2に係る画像表示システム5Aによる画像伝送を補足する図である。
図17では、端末20AのユーザUAの種別は発表者であり、端末20Bのユーザの種別は書記である。したがって、通信制御部303は、端末20A,20Bからの画像付帯情報に含まれるユーザの種別に基づいて、伝送レートを決定してよい。ここでは、通信制御部303は、端末20Aから伝送されるウィンドウ画像WGAの伝送レートを高く設定し、端末20Bから伝送されるウィンドウ画像WGBの伝送レートを低く設定してよい。
また、端末20Aでは、伝送対象のウィンドウ(例えばアクティブウィンドウ)として動画アプリケーションのウィンドウが選択されている。したがって、通信制御部303は、端末20Cからの画像付帯情報に含まれるアプリケーションの種別に基づいて、伝送レートを決定してよい。ここでは、通信制御部303は、端末20Cから伝送されるウィンドウ画像WGCの伝送レートを、例えば静止画のアプリケーションのウィンドウ画像の伝送レートよりも高く設定してよい。
また、本実施形態では、伝送レートを制御し、伝送されるウィンドウ画像WGの画質を制御しないことを主に説明したが、これに限られない。通信制御部303は、伝送されるウィンドウ画像WGの画質を制御してもよい。ここでの画質は、ウィンドウ画像WGの圧縮方式の1つであるJPEGの圧縮率であってよい。また、端末20から表示制御装置30へ伝送するための伝送レートの制御の代わりに、端末20に割り当てられる通信レートが制御されてもよい。なお、画質とフレームレートの情報は、表示制御装置30Aから端末20へ通知されてよい。
また、端末20によるアプリケーション(例えば動画アプリケーション)の再生開始や停止や一時停止、画面共有の停止、等により、伝送レートの順位が変化してよい。このような伝送レートの順位が変化するトリガが発生した場合には、通信制御部303は、伝送レートの設定を行ってよい。例えば、ウィンドウ画像WGとして動画の画像を送信している間には、他の端末20からのウィンドウ画像WGが画面共有に追加されると、この動画のウィンドウ画像WGは、共有画面KMにおける後面側に次々と移動していくことになる。この場合、画像表示システム5Aは、動画の画像を表示する端末画面TMにおいて、例えば操作部220を介して動画アプリケーションの操作を行うことで、伝送レートの順位が高くなり、このウィンドウ画像WGを伝送するための伝送性能を向上できる。
以上のように、本実施形態の画像表示システム5A(画像伝送システムの一例)は、端末画面TM(第1の画面の一例)を備える複数の端末20と、共有画面KM(第2の画面の一例)を備える表示装置40に表示される画像の伝送を制御する表示制御装置30A(伝送制御装置の一例)と、を備える。端末20は、端末画面TMにおけるウィンドウ画像WG(ウィンドウの画像の一例)を取得し、取得されたウィンドウ画像WGを表示制御装置30Aに送信してよい。表示制御装置30Aは、複数の端末20から複数のウィンドウ画像WGを受信してよい。表示制御装置30Aは、ウィンドウ画像WGに関する画像付帯情報又は端末20に関する端末情報を取得し、画像付帯情報又は端末情報に基づいて、複数の端末20から表示制御装置30Aへの複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
これにより、画像表示システム5Aは、ウィンドウ画像WGに関する画像付帯情報又は端末20に関する端末情報に基づいて、各ウィンドウ画像WGを伝送するための伝送レートの順位を決定可能であり、伝送レートを制御可能である。よって、画像表示システム5Aは、各端末20と表示制御装置30Aの間での通信実効速度が低下して、共有画面KMのフリーズやコマ落ち(画像フレームの欠落)が発生することを抑制できる。
また、端末20は、端末画面TMにおけるウィンドウ画像WGの画像位置及び画像サイズを含む画像付帯情報を表示制御装置30Aに送信してよい。表示制御装置30Aは、複数の端末20から複数の画像付帯情報を受信してよい。表示制御装置30Aは、ウィンドウ画像WG毎に、ウィンドウ画像WGに対応する画像付帯情報に基づいて、共有画面KMに対するウィンドウ画像WGの画面占有率を導出(例えば算出)し、ウィンドウ画像WG毎の画面占有率に基づいて、複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
画像表示システム5Aは、画面占有率を用いることで、複数のウィンドウ画像WGのうち、共有画面KMの表面にウィンドウ画像WGの出現している面積が大きい程、重要な情報であるとして、画像表示システム5Aは、伝送レートを大きくし、ウィンドウ画像の伝送量を多くできる。また、多数の端末20が表示制御装置30Aに接続された場合には、共有画面KMに多数のウィンドウ画像WGが表示されることとなり、1つのウィンドウ画像WGあたりの画面占有率が小さくなる。よって、画像表示システム5Aは、各端末20と表示制御装置30Aの間での通信実効速度が低下して、共有画面KMのフリーズやコマ落ち(画像フレームの欠落)が発生することを抑制できる。また、画像表示システム5Aは、端末画面TMにおけるウィンドウ画像WGの画像位置及び画像サイズに基づいて、共有画面KMにおけるウィンドウ画像WGの画像位置及び画像サイズを決定でき、各画面でウィンドウ画像WGの表示の位置関係を維持できる。よって、表示制御装置30Aは、端末画面TMにおける画像位置情報を把握することで、共有画面KMにおける画面占有率を導出可能である。
また、端末20は、端末20のユーザの役割の情報を含む画像付帯情報を表示制御装置30Aに送信してよい。表示制御装置30Aは、複数の端末20から複数の画像付帯情報を受信してよい。表示制御装置30Aは、画像付帯情報に含まれるユーザの役割に基づいて、複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
これにより、画像表示システム5Aは、例えば発表のために多くの資料や動画を必要とする発表者に対しては伝送レートを高くし、主にテキスト編集等を行う書記に対しては伝送レートを小さくすることができ、各役割に合せて各端末20から画像伝送できる。
また、端末情報は、表示制御装置30Aに接続された端末20の数の情報を含んでよい。表示制御装置30Aは、端末20の数に基づいて、複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
これにより、画像表示システム5Aは、例えば多数の端末20が表示制御装置30Aに接続され画面共有する場合には、例えば各端末20に対して一律に伝送レートを小さくするなどの調整を行うことができる。よって、画像表示システム5Aは、端末20の台数に起因して画像伝送性能が劣化することを抑制できる。
また、端末20は、ウィンドウ画像WGに対応するアプリケーションの種別の情報を含む画像付帯情報を表示制御装置30Aに送信してよい。表示制御装置30Aは、複数の端末20から複数の画像付帯情報を受信してよい。表示制御装置30Aは、画像付帯情報に含まれるアプリケーションの種別に基づいて、複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
これにより、画像表示システム5Aは、データ量の大きくなることが想定されるアプリケーション(例えば動画アプリケーション)のウィンドウ画像WGの伝送に対しては、伝送レートを高くでき、データ量の小さくなることが想定されるアプリケーション(例えばテキスト編集のアプリケーション)のウィンドウ画像WGの伝送に対しては、伝送レートを低くできる。よって、画像表示システム5Aは、ウィンドウ画像WGに対応するアプリケーションの種別に起因して画像伝送性能が劣化することを抑制できる。
また、ウィンドウは、アクティブなウィンドウでよい。つまり、ウィンドウ画像WGは、アクティブウィンドウ画像AWGでよい。
これにより、画像表示システム5Aは、各端末20のユーザが端末画面TMにおいて注目する重要なウィンドウ画像WGの画像伝送性能を向上でき、アクティブウィンドウ画像AWGをスムーズに画面共有できる。
また、伝送レートの制御は、ウィンドウ画像WGの送信頻度の制御を含んでよい。
これにより、画像表示システム5Aは、1つ1つのウィンドウ画像WGの画質を変えずに単位時間当たりの伝送量を調整し、画像伝送できる。
また、伝送レートの制御は、ウィンドウ画像WGの画質の制御を含んでよい。
これにより、画像表示システム5Aは、送信頻度を変えずに単位時間当たりの伝送量を調整し、画像伝送できる。
また、表示制御装置30Aは、共有画面KMにおいて複数のウィンドウ画像WGのいずれかを全画面表示可能でよい。表示制御装置30Aは、全画面表示を不実施の期間に、複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
全画面表示を行う場合には、全画面表示を行う画像以外の画像は共有画面KMに表示されないので、端末20から表示制御装置30Aへ画像伝送することが不要である。よって、画像表示システム5Aは、共有画面KMにおける表示品質を維持しながら、伝送経路のリソース削減を実現できる。
また、表示制御装置30Aは、受信された複数のウィンドウ画像WGを共有画面KMに表示させてよい。
これにより、表示制御装置30Aは、伝送レートの制御(伝送レートの順位の決定)と、共有画面KMの表示制御とを、1つの装置で実施できる。
また、本実施形態の表示制御装置30Aは、表示装置40に表示されるウィンドウ画像WGの伝送を制御する通信制御部303(伝送制御部の一例)を備える。通信制御部303は、複数の端末20が備える端末画面TMにおけるウィンドウ画像WGを、複数の端末20のそれぞれから取得してよい。通信制御部303は、ウィンドウ画像WGに関する画像付帯情報又は端末20に関する端末情報を取得し、画像付帯情報又は端末情報に基づいて、複数の端末20から表示制御装置30Aへの複数のウィンドウ画像WGの伝送レートの順位を決定してよい。
これにより、表示制御装置30Aは、ウィンドウ画像WGに関する画像付帯情報又は端末20に関する端末情報に基づいて、各ウィンドウ画像WGを伝送するための伝送レートの順位を決定可能であり、伝送レートを制御可能である。よって、表示制御装置30Aは、各端末20と表示制御装置30Aの間での通信実効速度が低下して、共有画面KMのフリーズやコマ落ち(画像フレームの欠落)が発生することを抑制できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
また、本開示は、上述した実施の形態に係る伝送制御方法の機能を実現するプログラムを、ネットワーク或いは各種記憶媒体を介してコンピュータである情報処理装置(伝送制御装置)に供給し、この情報処理装置のプロセッサが読み出して実行するプログラム、及びこのプログラムが記憶された記録媒体も適用範囲としてよい。
また、上記実施形態では、プロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、上記実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。また、複数のプロセッサが1つのプロセッサで構成されてもよい。
また、上記実施形態では、表示制御装置30,30Aと表示装置40とが別体であることを例示したが、表示制御装置30,30Aと表示装置40とが一体に構成されてもよい。