JP2006201709A - 映像表示装置、映像合成配信装置、プログラム、システム及び方法 - Google Patents

映像表示装置、映像合成配信装置、プログラム、システム及び方法 Download PDF

Info

Publication number
JP2006201709A
JP2006201709A JP2005015929A JP2005015929A JP2006201709A JP 2006201709 A JP2006201709 A JP 2006201709A JP 2005015929 A JP2005015929 A JP 2005015929A JP 2005015929 A JP2005015929 A JP 2005015929A JP 2006201709 A JP2006201709 A JP 2006201709A
Authority
JP
Japan
Prior art keywords
video
area
information
control signal
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005015929A
Other languages
English (en)
Other versions
JP4434973B2 (ja
Inventor
Takuya Kawamura
村 卓 也 川
Naohisa Shibuya
谷 尚 久 渋
Nobuhiko Sugasawa
沢 延 彦 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005015929A priority Critical patent/JP4434973B2/ja
Priority to US11/335,823 priority patent/US7559031B2/en
Publication of JP2006201709A publication Critical patent/JP2006201709A/ja
Application granted granted Critical
Publication of JP4434973B2 publication Critical patent/JP4434973B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 合成映像における映像ソースの配置を端末側からの操作によって簡易に且つ自由に変更する。
【解決手段】 本発明の一態様としての映像表示装置は、複数の映像ソースから生成された合成映像を受信及び表示し、前記合成映像上の位置を指定し、前記合成映像上における所定の領域の位置情報とサイズ情報報と識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する。
【選択図】 図５

Description

本発明は、ネットワーク接続された映像合成配信装置と映像表示装置間において、表示装置側から映像合成配信装置に対して合成映像の制御を行う技術に関するものであり、例えば、画像合成（映像合成）サーバを利用する多地点テレビ会議システムにおいて用いられる。
ネットワークを介してデータの送受信が可能な情報機器同士が、映像や音声を交換することで多地点テレビ会議システム（あるいは、多地点ビデオ会議システム）を構築することが可能である。
複数の会議端末から構成される多地点テレビ会議システムを構築する際、各会議端末同士が映像をお互いに交換する方法と、会議サーバを利用し、各会議端末は映像を会議サーバに送信し、会議サーバでは複数の会議端末から受信した映像を１つの映像に合成（ミキシング）した後に、各端末へと配信する方法がある。特に後者では、単一の会議サーバから映像を受信するだけでよいため、前者に比べてネットワーク負荷を低減することが可能である。前者は分散型多地点会議と呼ばれ、後者は集中型多地点会議と呼ばれることもある。
また、ここで言う会議サーバは、ＭＣＵ（Multipoint Control Unit）と呼ばれることもある。
各端末から受信した映像をそれぞれ映像ソースと呼ぶと、合成映像において各映像ソースを配置する位置については、会議サーバ側が自動的に決めてしまう方法と、各端末から制御する方法がある。例えば、映像ソース数が４の場合、映像ソースの配置位置については、合成画像を４分割するように配置する場合や、１つの映像に対して残りの３つをピクチャーインピクチャーのように配置する場合など、いろいろな合成パターンが存在する。各端末から制御する場合は、予め決められているパターンの中から１つ選択し、それを会議サーバへ通知することで合成映像を変更する方法がある。また、パターンを指示することで映像の配置を変更する方法以外に、映像ソースの配置位置を端末側から指定する方法も考えられる。
一方、多地点テレビ会議システムとは異なるが、遠隔の機器から画面情報を受け取り、また、その遠隔の機器に画面情報を更新するための制御信号を送るというシステムは、パーソナルコンピュータ（ＰＣ）の遠隔制御においても利用されている。
例えば、遠隔のＰＣを操作する方法として「リモートデスクトップ」という概念が提案されており、マイクロソフト社のＯＳであるＷｉｎｄｏｗｓＸＰを搭載したＰＣには、このリモートデスクトップ機能が標準で搭載されている。「リモートデスクトップ」では、手元の機器で発生するマウスクリック等の操作情報を遠隔の機器へ送信し、操作情報を受け取った遠隔の機器側で処理を行った結果の画面情報を作成し、それ手元の機器へと送信することで、ネットワークで接続されている遠隔にあるＰＣをあたかも手元にあるように操作することが可能となる。画面情報の送信の際には、画面の差分情報のみの送信や、送信する画像情報の圧縮等により、ネットワーク負荷を下げる工夫がなされている。
また、上記の「リモートデスクトップ」では、画面情報を構築する遠隔の機器から、手元の機器へは画面情報、すなわち、画像データ自体を送信するとしているが、描画命令だけを送信し、描画命令を受信した機器側で描画命令にもとづいて表示処理を行うという方法（特開平８−２９７６１７号公報）も提案されている。同種の概念として、ＶＮＣ（Virtual Networks Computing）呼ばれて実現されているものもある。
以下、説明にあたり、会議サーバを利用し１つの合成映像を会議サーバから端末へ送信する多地点テレビ会議システムにおいて、合成映像を提供する側の装置である会議サーバを単に「サーバ」、合成映像を受信し表示する側の装置である端末を「クライアント」と表現する。また、リモートデスクトップにおいても、一般にはターミナルと呼ばれる画面を作成し提供する装置を「サーバ」、ビューワーとも呼ばれる画面を表示する側の装置を「クライアント」と表現する。また、サーバからクライアントへ送信する映像あるいは画面は、動画系（ＭＰＥＧ４，ＭＰＥＧ２，Ｈ．２６３，Ｈ．２６４等）であることや、静止画系（Ｍｏｔｉｏｎ ＪＰＥＧ，ＪＥＰＧ画像の連続送信、その他静止画で変更のあった差分情報のみを送信等々）があるが、以下説明では単に「合成映像」と表現する。
例えば、多地点テレビ会議システムにおいて、サーバが端末Ｂ，Ｃ，Ｄ，Ｅそれぞれから受信した参加者Ｂ，Ｃ，Ｄ，Ｅの映像を１つに合成し、端末Ａであるクライアントへ合成映像を送信する場合を考える。この場合において、クライアント自体は４つの映像を個別には認識しておらず、４つの映像を個別に認識しているのはサーバ側のみである。
一方、例えば、ＷｉｎｄｏｗｓＸＰを搭載したＰＣにおけるリモートデスクトップにおいて、クライアントが受信する合成映像には、ウィンドウなどが表示されている。クライアントを操作するユーザは、ウィンドウをそのクライアントの表示画面内において自由に移動させたり、大きさを変えたりすることができる。また、描画アプリケーションが起動しているウィンドウであれば、そのウィンドウに例えば矩形図形が描かれていた場合に、その矩形図形の位置を移動させたり、大きさを変えたりすることも可能である。クライアント側でウィンドウや矩形図形をマウスでクリックすると、それが選択されたことを示す表示に変化し、変化した図形を更にマウス操作によって位置の変更や大きさの変更が可能となる。但し、これらの操作において、クライアントではウィンドウや矩形図形自体を認識しているのではなく、ウィンドウや矩形図形を認識しているのはあくまでサーバ側であり、ウィンドウや矩形図形の表示が変化することについても、マウスクリック時にクライアントからマウスの位置情報のみをサーバに伝え、サーバ側でマウス操作の処理を判断しウィンドウや矩形図形を変化させた合成映像を作成し、クライアントはサーバから受信した合成映像を表示しているに過ぎない。
特開平５−１０３３２４号公報 特開平９−１４９３９６号公報
サーバ側が作成した合成映像を受信して単に表示する機能を備えたクライアントにおいては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明である。
多地点テレビ会議システムにおいて、先に示したパターン切り替えの方法は、各オブジェクトが合成映像内のどこの部分に配置されているかという詳細な配置情報に関しては管理していない。一方、特開平５−１０３３２４号公報（特許文献１）、特開平９−１４９３９６号公報（特許文献２）では、オブジェクトの配置情報をサーバへ送信することで合成画像を変更させるという概念は示されていることから、クライアント側でオブジェクトの配置情報を管理しているものと想像される。但し、特開平５−１０３３２４号公報（特許文献１）、特開平９−１４９３９６号公報（特許文献２）ではサーバ側の構成が示されているのみであり、クライアント側でオブジェクトの配置情報をどのようにして知るのかは全く述べられていない。オブジェクトの配置情報を知る方法として、例えば、サーバからオブジェクトの配置情報を通知する方法も考えられるが、制御信号のためにクライアントとサーバ間で双方向の情報を交換可能な仕組みが必要となる。なお、サーバ側での合成画像の変更は、会議参加者の増減等により自動的に変更される可能性があり、変更の度にサーバ側からクライアントへ通知する仕組みや、あるいは、クライアントから随時確認する仕組みが必要である。更に、クライアントからの制御信号を送信するタイミングと、サーバからの配置情報を通知するタイミングが重なった場合の処理などを考慮する必要があり、処理が複雑化する。
本発明は、クライアントが、サーバ側から合成映像における各映像ソースの配置情報を取得することなく合成映像に含まれている複数の映像ソースの境界検出を可能とするものであり、合成映像における映像ソースの配置をクライアント側からの操作によって簡易に且つ自由に変更できる映像表示装置、映像合成配信装置、映像表示プログラム、映像合成配信プログラム、映像配信システムおよび映像配信方法を提供する。
本発明の一態様としての映像表示装置は、複数の映像ソースから生成された合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、を備える。
本発明の一態様としての映像合成配信装置は、複数の映像ソースから合成映像を生成し、前記合成映像を配信する機能を備えた映像合成配信装置であって、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、を備える。
本発明の一態様としての映像表示プログラムは、コンピュータに実行させるための映像表示プログラムであって、複数の映像ソースから生成された合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、して前記コンピュータを機能させることを特徴とする。
本発明の一態様としての映像合成配信プログラムは、複数の映像ソースから合成映像を生成し、前記合成映像を配信する手段としてコンピュータを機能させる映像合成配信プログラムであって、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、して前記コンピュータを機能させることを特徴とする。
本発明の一態様としての映像配信システムは、複数の映像ソースから合成映像を生成し前記合成映像を配信する映像合成配信装置と、前記映像合成配信装置から前記合成映像を受信して表示する映像表示装置とを備えた映像配信システムであって、前記映像表示装置は、前記合成映像を受信する受信手段と、前記合成映像を表示する表示手段と、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置へ送信する制御信号送信手段と、前記映像合成配信装置は、前記映像ソースを受信する映像ソース受信手段と、各前記映像ソースの配置情報を管理する配置情報管理手段と、前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、前記映像表示装置から前記更新制御信号を受信する制御信号受信手段と、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、を備える。
本発明の一態様としての映像配信方法は、複数の映像ソースから合成映像を生成する映像合成配信装置が、生成した前記合成映像を、前記合成映像を表示する映像表示装置に配信する映像配信方法であって、前記映像表示装置が、前記合成映像を受信し、前記合成映像を表示し、前記表示手段によって表示された前記合成映像上の位置の指定を受け付け、前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置に送信し、前記映像合成配信装置が、各前記映像ソースを受信し、各前記映像ソースの配置情報に基づいて、前記複数の映像ソースから前記合成映像を生成し、前記合成映像の配信先から前記更新制御信号を受信し、前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段に基づき、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、ことを特徴とする。
本発明により、合成映像における映像ソースの配置を端末側からの操作によって簡易に且つ自由に変更できる。
まず、本発明の実施の形態に対する理解を容易にするため、本発明者らが本発明をなす以前から知っていた、会議サーバを利用する多地点テレビ会議システムについて簡単に説明しておく。なお、本発明の実施の形態では、会議サーバの利用を前提としており、以後、単に多地点テレビ会議システムと表現する。
図１は、多地点テレビ会議システムの概略図である。会議サーバｓは複数のテレビ会議端末装置と同時に接続し、それぞれの会議端末から受信した映像を一つの映像に合成し、合成した映像を各会議端末へ送信する機能を備えている。図１においては、会議サーバｓは、５台のテレビ会議端末装置a、b、c、d、eと接続している様子を示している。
図２は、会議サーバｓの構成の一部を示す図である。図２において、映像合成処理部５０は、多地点から受信した映像データを利用して一つの合成映像データを作成する機能を備える。また、制御情報処理部７０は、テレビ会議端末装置から受信した制御信号を解析し、その解析結果から、映像合成処理部５０に多地点から受信した映像データの合成画像における配置を指定する制御信号を入力する機能を備える。図２の映像合成処理部５０の内部構成についてはいくつかの構成例があるが、その一例として、各映像のサイズを変換するサイズ変更回路３１，３２，３３，３４とサイズ変換された各映像を合成する合成回路４０とから構成されている場合を示している。なお、全ての多地点テレビ会議システムの会議サーバが制御情報処理部７０を備えているとは限らないが、本発明の実施の形態が対象とする会議サーバｓは制御情報処理部７０を構成要素を備えているものとする。
図１に示した多地点テレビ会議システムが動作している状況において、映像合成処理部５０は、テレビ会議端末装置b、c、d、eから受信した映像データ２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅが入力されると、それぞれの映像の縦横比を1/2にしたものを、右上、左上、右下、左下の４箇所に、それぞれが重ならないように配置した合成映像６０Ａを作成し、テレビ会議端末装置aに送信するために出力している。
制御情報処理部７０については、例えば、各テレビ端末装置から自身の端末装置に表示する縮小拡大率と表示位置等の指定を行う指定信号が入力されると、それを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力する。
なお、図２の会議サーバｓの構成において、本発明の実施の形態の特徴を説明する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ、メモリ、ネットワークデバイス等）は省略している。
以下、図面を参照して本発明の実施の形態について更に詳細に説明する。
（第１の実施の形態）
以下、本発明の第１の実施の形態を図３から図２６を参照して説明する。
図３に、本発明を適用した多地点テレビ会議システムのシステム構成を示す。図３では、多地点テレビ会議システムでは５地点でテレビ会議を行う場合を例としており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと、会議サーバ２とから構成されており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅそれぞれは、ネットワーク３を介して会議サーバ２と接続された状態である。
本実施の形態では、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅについては、会議サーバ２との間のそれぞれの通信路３−１Ｂ、３−１Ｃ、３−１Ｄ、３−１Ｅを利用して、映像データを会議サーバ２に送信する機能を備えているものとする。また、会議サーバ２は、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと同時に接続している状態において、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅから受信した映像を一つの映像に合成した後、合成映像をテレビ会議端末装置１へ送信する機能を備えているものとする。ここで、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが送信する映像データは、それぞれのカメラ装置４Ｂ、４Ｃ、４Ｄ、４Ｅを利用して作成された映像データであってもよく、また、各テレビ会議端末装置内に保存されている映像データであってもよい。一方、テレビ会議端末装置１は、会議サーバ２との間の通信路３−１１を利用して、会議サーバ２が送信する映像データを受信する機能、および、通信路３−１２を利用して、会議サーバ２に制御信号を送信する機能を備えているものとする。なお、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅと同様にテレビ会議端末装置１が映像データを会議サーバ２に送信する機能を備えていてもよく、また、テレビ会議端末装置１と同様にテレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが映像データを会議サーバ２から受信する機能を備えていてもよい。また、本実施の形態では映像データについてのみ説明を行うため、本来、多地点テレビ会議システムにとって必須の機能である音声データの送受信についての説明は省略する。
テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅの例としては、ネットワークを介して通信を行う機能を備えたパーソナルコンピュータ（以後、ＰＣと呼ぶ）や、ＰＤＡ（Personal Digital Assistant）等であり、会議サーバ２から受信した映像データを表示する機能をそなえているとする。本実施の形態では、テレビ会議端末装置１をマイクロソフト社のＷｉｎｄｏｗｓＯＳが搭載されたノートブックタイプのＰＣとして説明する。
図４はテレビ会議端末装置１のディスプレイユニットを開いた状態における外観斜視図である。本テレビ会議端末装置１は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には表示パネルを構成するＬＣＤ（Liquid Crystal Display）１３が組み込まれており、そのＬＣＤ１３はディスプレイユニット１２のほぼ中央に位置されている。
このディスプレイユニット１２の画面表示部（ＬＣＤ１３の表示画面上）にデスクトップ画面１００が表示され、そのデスクトップ画面（以下単に表示画面と称す）１００上に、会議サーバ２から受信した映像データを表示領域１０００に表示する機能を備えたアプリケーションのウィンドウ１０１、ポインタ２００等が表示される。なお、ウィンドウ１０１の表示機能や、ポインタ２００の表示機能並びに操作機能については通常のＰＣに既に実装されているため、ここではその説明を省略する。
コンピュータ本体１１は薄い箱形の筐体を有しており、その上面には上述したポインタ２００に関する操作を行うためのポインティングデバイス１４が配置されている。さらに、コンピュータ本体１１にはネットワーク通信デバイス１５が内蔵されている。なお、ポインティングデバイス１４はコンピュータ本体１１上に配置されているとしたが、例えば、外付けのマウスを利用するＰＣにおいては、マウスがポインティングデバイス１４に相当する。ネットワーク通信デバイス１５は、ネットワーク通信を実行するデバイスであり、例えば、ネットワークへ接続するための物理的なコネクタを備え、コンピュータ本体１１内のＣＰＵ等から入力されるコマンドに応じて、データの転送等を実行し、その制御は、コンピュータ本体１１内のメモリに格納されている通信プロトコルに従って行われる。
図５に、図４に示したテレビ会議端末装置１において本発明に関わる内部構成要素を示す。なお、図４、および、図５では、本発明による機能改善を実現する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ等）の表記は省略している。図５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
テレビ会議端末装置１は、その構成要素として会議映像表示処理部４００と、本実施の形態の大きな特徴の１つとなる合成映像制御命令生成部３００とを備える。テレビ会議端末装置１はＰＣを想定しており、会議映像表示処理部４００と合成映像制御命令生成部３００とは、ＰＣに実装されている描画機能を利用し、それぞれの内部で作成した描画データを図４でも示した表示画面１００に表示させることが可能である。また、会議映像表示処理部４００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１１を利用しての映像データの受信が可能であり、一方、合成映像制御命令生成部３００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１２を利用して制御データの送信が可能である。
会議映像表示処理部４００は、映像表示部４０１、映像データ解析処理部４０２、データ受信制御部４０３とから構成されている。データ受信制御部４０３は、ネットワーク通信処理部５００から受信データを取得し、ネットワークを介して送受信されるエンコードされた状態の映像データを構築し、それを映像データ解析処理部４０２へ出力する。映像データ解析処理部４０２は、入力されたエンコードされた状態の映像データをデコードすることで、表示可能な映像データを構築し、それを映像表示部４０１へ出力する。映像表示部４０１は、アプリケーションとしてのウィンドウ１０１を作成し表示する機能を備えており、表示可能な映像データが入力されると、ウィンドウ１０１内の表示領域１０００に映像データを「映像」として表示する。
ネットワーク通信処理部５００は、通信路３−１１を利用しリアルタイム転送、あるいは、ストリーミング対応のデータの転送が可能であり、通信プロトコルとして、例えば、ＵＤＰ／ＩＰ，ＲＴＰ等をサポートしているものとする。ネットワーク通信処理部５００を介し、会議映像表示処理部４００は会議サーバ２から受信した映像データを受信することが可能である。
一方、本実施の形態の特徴となる合成映像制御命令生成部３００は、ポインタ検出部３０１、領域検出部３０２、枠表示部３０３、テーブル管理部３０４、制御データ生成部３０５、制御データ送信処理部３０６とから構成されている。
ポインタ検出部３０１は、ポインタ２００が表示画面１００におけるウィンドウ１０１内の表示領域１０００上にあることを検出し、さらに、その位置にて操作イベントが発生した場合にそのイベントを検出する。操作イベントは、マウス操作によるクリックや、ダブルクリック、ドラッグアンドドロップ等により発生する。なお、図５に示すように、表示画面１００をX’Y’座標で管理することで、ポインタ検出部３０１は表示画面１００上におけるポインタ２００の位置およびウィンドウ１０１位置を管理することができる。ポインタ検出部３０１は、表示領域１０００上にて操作イベントが発生したことを検出すると、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。
領域検出部３０２は、図５に示すように、ウィンドウ１０１内の表示領域１０００についてXY座標で管理し、ポインタ検出部３０１から入力されたポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換し、変換した値をポインタ２００の位置情報として一時的に記憶する。また、領域検出部３０２は、ポインタ検出部３０１から入力された操作イベント情報についても、ポインタ２００の位置情報と関連づけて一時的に記憶する。なお、領域検出部３０２は、自身の動作に関係ない操作イベントの場合には、ポインタ２００の位置情報および操作イベントを一時的に記憶せずに破棄する。例えば、操作イベントとして左クリックのＯＮと左クリックのＯＦＦのみを有効とすると、左クリックのＯＮと左クリックのＯＦＦの場合にのみ、ポインタ２００の位置情報と関連づけて一時的に記憶する。図６を用いて、領域検出部３０２が管理するXY座標と表示領域１０００の関係を説明する。XY座標の点を(x,ｙ)として表現すると、領域検出部３０２は、表示領域１０００の左上の頂点を(0,0)、右上の頂点を(100,0)、左下の頂点を(0,100)、右下の頂点を(100,100)というように管理している。つまり、領域検出部３０２は、表示領域１０００の横方向、縦方向を１００という値に正規化して表示領域１０００上における位置を管理する。例えば、図６（a）に示す、(x1,y1)の位置で左クリックのＯＮが発生した場合に、領域検出部３０２は{x1,y1,イベントＡ}という情報を一時的に記憶する。ここで、イベントＡは、左クリックのＯＮ操作が行われたこと示し、内部処理として{x1,y1,イベントＡ}という情報を「位置確認」信号と定義する。領域検出部３０２は位置確認信号{x1,y1,イベントＡ}を一時的に記憶した後、位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力する。位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後、テーブル管理部３０４から関連した結果が入力されると、その結果に応じて、領域検出部３０２は枠表示部３０３、および、制御データ生成部３０５に対して制御信号を作成し、それぞれに出力する。領域検出部３０２が位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後の動作については、テーブル管理部３０４
の機能を説明した後に改めて説明する。
テーブル管理部３０４は、図７に示す領域管理テーブルを内部に作成し保持している。図７(a)は初期化時の領域管理テーブルであり、値はなにも記載されていないが、項目として、ＩＤ番号と、XY座標における矩形領域を示すパラメータx、y、w、h、Layerが記載できる。ＩＤ番号は矩形領域を識別するための番号である。x、y、w、hについては、図６(b)に示した矩形領域を例として説明すると、x = x1、y = y1、w = w1、h = h1となる。また、Layerは、領域管理テーブルにて複数の矩形領域を管理する場合に、それぞれの矩形領域の階層位置を表すために用いており、例えば、第ｋ層に位置する場合は、Layer = kである。なお、第ｋ層の矩形領域は、第ｋ＋１層の矩形領域より上位に位置するとする。図７(b)は、ID1からIDkまで、ｋ個の矩形領域が登録されている状態を示している。テーブル管理部３０４は、領域検出部３０２から位置確認信号{x1,y1,イベントＡ}が入力されると、これを「位置確認」信号と認識して、領域管理テーブルの登録情報を確認する。x1,y1という位置情報が、領域管理テーブルが管理するいずれの矩形領域にも属さない点である場合には、テーブル管理部３０４は領域検出部３０２に「未登録」という情報と、そのパラメータとして領域管理テーブルで未使用のＩＤ番号を出力する。一方、x1,y1という位置情報が、領域管理テーブルが管理する複数の矩形領域に属する点である場合には、Layerを確認し、テーブル管理部３０４は領域検出部３０２に、最上位に位置する矩形領域のID番号と、それに関連する情報（x 、y 、w 、h 、Layer）を矩形領域情報{ID,x,y,w,h,Layer}として出力する。
領域検出部３０２は、位置確認信号{x1,y1,イベントＡ}をテーブル管理部３０４へ出力した後、テーブル管理部３０４から結果が入力されるのを待つ。結果として、「未登録」という情報とそのパラメータが入力されると、領域検出部３０２は矩形領域の登録処理を開始する。登録処理として、領域検出部３０２は、{ID, x, y, w, h, Layer, イベントＢ}のフォーマットで表現される「矩形登録」信号を作成しテーブル管理部３０４と、制御データ生成部３０５へ出力する。ここで、ＩＤは、「未登録」という情報に付随するパラメータである。例えば、領域管理テーブルが初期化状態であり、パラメータがＩＤ＝１であった場合に、領域検出部３０２が矩形登録信号{1,0,0,100,100,1, イベントＢ}を作成しテーブル管理部３０４と、制御データ生成部３０５へ出力する。なお、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、位置確認信号{x1,y1,イベントＡ}も一緒に出力するものとする。
テーブル管理部３０４は、領域検出部３０２から矩形登録信号が入力されると、矩形登録信号に含まれる情報を領域管理テーブルに新規登録を行う。図８(a)は、領域管理テーブルが初期化状態時に、矩形登録信号{1,0,0,100,100,1, イベントＢ}が入力された場合に、テーブル管理部３０４が領域管理テーブルに新規登録作業を行った結果を示している。テーブル管理部３０４は新規登録作業が完了すると、矩形領域情報{ID,x,y,w,h,Layer}を領域検出部３０２へ出力する。図８(a)の場合は、テーブル管理部３０４は矩形領域情報{ ID = 1,x = 0,y = 0,w = 100,h = 100,Layer = 1 }を領域検出部３０２へ出力する。また、図８(b)は、領域管理テーブルが初期化状態でない時に、矩形登録信号{2,0,0,100,100,1, イベントＢ}が入力された場合に、テーブル管理部３０４が領域管理テーブルに新規登録作業を行った結果を示している。本実施例では、テーブル管理部３０４は、領域管理テーブルへの新規登録作業を行う際、階層情報を確認し、領域管理テーブルの登録済みの情報にその階層が存在した場合には、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。すなわち、新規登録する情報の階層の値を優先し、登録済みの階層の値を他と重ならないように変更する。図８(b)では、図８(a)の領域管理テーブルに矩形登録信号{2,0,0,100,100,1, イベントＢ}の情報を新規登録した結果を示しており、ＩＤ=１のＬａｙｅｒ値が１から２へ変更されたことを示している。
領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}がテーブル管理部３０４から入力されると、入力された矩形領域情報{ID,x,y,w,h,Layer}を記憶した後、枠表示部３０３へ出力する。
枠表示部３０３は、領域検出部３０２から矩形領域情報{ID,x,y,w,h,Layer}が入力されると、x,y,w,hの値を利用し、ＸＹ座標で管理される表示画面１００におけるウィンドウ１０１内の表示領域１０００上に矩形の枠２０００を表示させる。図９は、矩形領域情報{ ID = ID1,x = x1,y = y1,w = w1,h = h1,Layer = l1 }が入力された場合に、それに対応した矩形の枠２０００が表示領域１０００上に表示されている様子を示している。なお、矩形の枠２０００は、図９に示した破線や点線以外にも、実線であってもよく、また、枠の表示色をＩＤ番号に応じて変化させても良い。なお、先に領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を記憶するとしたが、領域検出部３０２は、記憶している矩形領域情報を削除した際には、矩形領域情報{ID,x,y,w,h,Layer}の削除命令を枠表示部３０３へ出力する。枠表示部３０３は削除命令が入力されると、指定された矩形の枠の表示を行わないように処理を実行する。領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、その値が、所定の時間変更されなかった場合に記憶している矩形領域情報を削除するものとする。なお、領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、次に示す「矩形の枠の変更処理」によって、その値を変更することができる。
ここで、ユーザが、ポインタ２００の表示位置を移動させ、枠表示部３０３が表示した矩形の枠の大きさや位置を変化させる方法について述べる。ポインタ２００の位置については、先に示したとおり、ポインタ検出部３０１が検出し、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。領域検出部３０２は、入力された操作イベント情報が有効であれば、ポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換したものと、操作イベント情報を一時的に記憶する。このとき、領域検出部３０２は検出したXY座標の位置が、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}の領域に属する点か否かを検出し、領域に属さない場合は、先に示した「位置確認」信号に関する処理を行うが、領域に属すること検出した場合には、次に示す、「矩形の枠の変更処理」を実行する。なお、先に示した「位置確認」信号に関する処理の説明は、領域検出部３０２内部に矩形領域情報が記憶されていない場合の説明である。
以下、「矩形の枠の変更処理」について図９を用いて説明する。
まず、矩形の枠２０００の頂点にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を必要に応じて変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、左クリックした頂点の位置を変更することで枠の大きさを変更する処理においては、クリックした頂点の対角の位置が固定されるようにx,y,w,hの値を適宜変更する。また、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を「矩形領域」信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力する。矩形の枠２０００の大きさを変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行う。なお、本実施の形態において矩形の枠は縦横のアスペクト比一定を保つものとし、「矩形の枠の変更処理」の終了を認識した際のポインタの位置がアスペクト比一定を満たさない場合は、ポインタ検出部３０１においてポインタの位置がアスペクト比一定を満たす点に自動的に補正されるものとする。
次に、矩形の枠２０００内の領域ではあるが頂点以外の位置にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点以外を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,の値を変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、位置を変更する処理においては、枠の大きさは変化しないとすると、「矩形の枠の変更処理」の開始時に認識したポインタの位置と移動中のポインタの位置との差分値を利用してx,y,の値を適宜変更する。また、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を「矩形領域」信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力する。矩形の枠２０００の位置を変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行う。
「矩形の枠の変更処理」が完了した際に、領域検出部３０２からテーブル管理部３０４へ上述のとおり「矩形領域」信号が出力される。矩形領域信号は、矩形領域信号{ID,x,y,w,h,Layer,イベントＣ}として表す。テーブル管理部３０４は、矩形領域信号{ID,x,y,w,h,Layer,イベントＣ}が入力されると、領域管理テーブルにおいて、ＩＤ番号を利用し対応する登録内容を更新する。図１０に、矩形の枠の大きさや位置を変更させる「矩形の枠の変更処理」を行う前の状態と、行った後の状態（枠の大きさの変更と枠の位置の移動との両方を行った後の状態）を示し、図１１に図１０の処理の結果、領域管理テーブルの内容が更新された様子を示す。
さて、制御データ生成部３０５は、領域検出部３０２から矩形登録信号{ID, x, y, w, h, Layer, イベントＢ}と一緒に位置確認信号{x1,y1,イベントＡ}が入力されると、その矩形登録に関する情報を会議サーバ２へ伝えるための矩形登録パケットのペイロード部分を構築する。図１２に矩形登録信号{ID = 1, x = 0, y = 0, w = 100, h = 100, Layer =1, イベントＢ}と位置確認信号{x1 = 15,y1 = 20,イベントＡ}が入力された場合に、制御データ生成部３０５が作成する矩形登録パケットのペイロード部分の一例を示す。また、制御データ生成部３０５は、領域検出部３０２から矩形領域信号{ID, x, y, w, h, Layer, イベントＣ}が入力されると、その矩形領域に関する情報を会議サーバへ伝えるための矩形領域パケットを構築する。図１３に矩形領域信号{ID = 2, x = 10, y = 20, w = 50, h = 50, Layer =3, イベントＣ}が入力された場合に、制御データ生成部３０５が作成する矩形領域パケットのペイロード部分の一例を示す。制御データ生成部３０５は、矩形登録パケット、あるいは、矩形領域パケットを作成すると、制御データ送信処理部３０６へ出力する。
制御データ送信処理部３０６は、制御データ生成部３０５から矩形登録パケット、あるいは、矩形領域パケットが入力されると、この制御パケットを会議サーバ２へ送信するために必要となるネットワークのあて先アドレス情報などの付加情報と共にネットワーク通信処理部５００へ出力する。ネットワーク通信処理部５００は、制御データ送信処理部３０６から付加情報が付された制御パケット（以下単に制御パケットと称する）が入力されると、通信路３−１２を介してこの制御パケットを会議サーバ２へ送信する。
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から制御パケットを受信し、矩形登録パケット、あるいは、矩形領域パケットであることを認識すると、会議サーバ２における制御情報処理部７０が、それらを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、合成映像の変更を行う。なお、ここでは会議サーバ２側で管理している各受信映像２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅと、矩形登録パケットおよび矩形領域パケットに含まれるＩＤ番号が１対１に対応づけられるものとする。また、会議サーバ２においても合成映像６０Ａ内における位置を、テレビ会議端末装置１におけるウィンドウ１０１内の表示領域１０００と同様に、横方向、縦方向を１００という値に正規化したXY座標で管理するものとし、ＩＤ番号に対応する各受信信号を、矩形登録パケットおよび矩形領域パケットで指定した位置、大きさ、階層に配置できるものとする。会議サーバ２についての詳細は後述する。
以下、会議サーバ２から受信した映像を会議映像表示処理部４００が表示画面１００に表示させている状態で、本実施の形態の特徴となる合成映像制御命令生成部３００が動作する様子をいくつか例として示す。
（例１）
会議サーバ2から受信し、表示領域１０００に表示されている合成映像が図１４(a)である場合を考える。このとき、テーブル管理部３０４の管理する領域管理テーブルは初期化状態であるとする。ここで、ポインタ２００を表示領域１０００の(15,20)の位置に移動させ、左クリック操作を行う。結果、合成映像制御命令生成部３００内にて例えば矩形登録信号{1,0,0,100,100,1, イベントＢ}が発生し、領域管理テーブルは図１４(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図１４(b)に示している矩形の枠２０００を表示させると共に、図１４(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図１４(a)の(15,20)の位置に表示されていた映像をx = 0, y = 0を基準とし、 w = 100, h = 100の大きさで階層を１として合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１４(b)に示すとおり、図１４(a)において合成画像の一部1001として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
例１では、合成映像が表示されている表示領域１０００において、本発明の合成映像制御命令生成部３００が矩形領域を登録し、登録した矩形領域と表示領域１０００上で指定した点に配置されていた映像の表示位置を一致させる方法について示した。
（例２）
図１５(a)は、例１の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ここで、図１５(b)に示すように、ポインタ２００を表示領域表示領域１０００内のある点に移動させ、左クリック操作を行うと、領域管理テーブルは図１４(d)であることから、合成映像制御命令生成部３００の内で矩形領域情報が発生する。矩形領域情報が発生した結果、合成映像制御命令生成部３００は図１５(b)に示すとおり、表示領域１０００に矩形の枠２０００を表示する。次に、図１５(b)の矩形の枠２０００の右下の頂点へポインタ２００を移動させ、その位置で左クリックを行い、図１５(c)に示す位置までポインタを移動させると、合成映像制御命令生成部３００にて「矩形の枠の変更処理」が実行される。「矩形の枠の変更処理」の結果、領域管理テーブルが図１６(a)のとおりに更新され、合成映像制御命令生成部３００は、図１５(d)に示す矩形領域パケットを作成し会議サーバ２へと送信する。会議サーバ２は、ＩＤ番号１に対応する映像をx = 0, y = 0を基準とし、w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１６(b)に示すとおり、合成画像の一部として表示されているＩＤ番号１に対応する映像と矩形の枠２０００とが一致して表示領域１０００上に表示される。
例２では、登録した矩形領域と表示領域１０００上で指定した点に配置されていた映像の表示位置を一致させた後に、表示領域１０００上に表示される登録されている矩形領域を示す矩形の枠を変化させることで、合成映像も変化することを示した。
（例３）
例１において、矩形登録信号{1,0,0,100,100,1, イベントＢ}から図１７(a)に示す矩形登録パケットを生成し、会議サーバ２へ送信するとしているため、結果として図１４(b)に示すとおり領域管理テーブルに登録した情報に対応する映像が最大化されて表示領域１０００上に表示される。ここで、矩形登録信号は、例えば、{1,25,25,50,50,1, イベントＢ}、あるいは、{1,15,20,50,50,1, イベントＢ}等でもよく、その場合の矩形登録パケットは図１７(b)、あるいは、図１７(c)に示す矩形登録パケットとなる。結果として図１４(b)とは異なり、図１７(b)の場合は、領域管理テーブルに登録した情報に対応する映像は表示領域１０００上の中央部分に表示され、図１７(c)の場合は、領域管理テーブルに登録した情報に対応する映像は表示領域１０００上で、ポインタ２００で示した点を基準として表示される。
（例４）
例１では、テーブル管理部３０４の管理する領域管理テーブルが初期化状態の際、表示領域１０００に表示されている合成映像が図１４(a)であり、また、矩形登録信号は最大化を指示するものであった。例４では、領域管理テーブルが初期化状態の際の合成映像が図１８ (a)であり、矩形登録信号が「中央部分に表示」を指示する場合について説明する。まず、ポインタ２００を表示領域１０００の(90,70)の位置に移動させ、左クリック操作を行う。結果、合成映像制御命令生成部３００内にて矩形登録信号{1,25,25,50,50,1, イベントＢ}が発生し、領域管理テーブルは図１８(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図１８(b)に示している矩形の枠２０００を表示させると共に、図１８(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図１８(a)の(90,70)の位置に表示されていた映像をx = 25, y = 25を基準とし、 w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図１８(b)に示すとおり、図１８(a)において合成画像の一部1003として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
（例５）
図１９(a)は、例４の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ここで、図１９(b)に示すように、ポインタ２００を表示領域表示領域１００３内のある点に移動させ、左クリック操作を行うと、領域管理テーブルは図１８(d)であることから、合成映像制御命令生成部３００の内で矩形領域情報が発生する。矩形領域情報が発生した結果、合成映像制御命令生成部３００は図１９(b)に示すとおり、表示領域１０００に矩形の枠２０００を表示する。一方、図１９(a)に示すように、ポインタ２００を表示領域表示領域１００４内のある点に移動させ、左クリック操作を行った場合については例６に示す。
（例６）
図２０(a)は、例４の操作後、所定の時間が経過し、矩形の枠２０００の表示が消えた状態である。ポインタ２００を表示領域１０００の(90,45)の位置に移動させ、左クリック操作を行う。結果、領域管理テーブルは図１８(d)であることから、合成映像制御命令生成部３００内にて矩形登録信号{2,25,25,50,50,1, イベントＢ}が発生し、領域管理テーブルは図２０(d)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図２０(b)に示している矩形の枠２０００を表示させると共に、図２０(c)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。会議サーバ２は、図２０(a)の(90,45)の位置に表示されていた映像をx = 25, y = 25を基準とし、 w = 50, y = 50の大きさで階層を１とした合成映像を作成し、テレビ会議端末装置１へ送信する。結果、図２０(b)に示すとおり、図２０(a)において合成画像の一部1004として表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上に表示しても良い。
（例７）
例７では、４つの領域の登録が完了し、それぞれの領域に対し合成映像制御命令生成部３００において、ＩＤ１、ＩＤ２，ＩＤ３，ＩＤ４が割り当てられた状態で、合成映像の配置を変更していく様子を示す。図２１(a)の状態において、領域管理テーブルの登録内容が図２３(a)であるとする。図２１(b)は、図２１(a)の状態から「矩形の枠の変更処理」が実行された結果である。この際、図２２(a)に示す矩形領域パケットが作成され、領域管理テーブルの登録内容が図２３(b)となる。更に、図２１(c)は、図２１(b)の状態から「矩形の枠の変更処理」が実行された結果である。この際、図２２(b)に示す矩形領域パケットが作成され、領域管理テーブルの登録内容が図２３(c)となる。
（例８）
先に説明を行った「矩形の枠の変更処理」では、領域検出部３０２は、「矩形の枠の変更処理」の終了を認識すると、その際に内部に記憶している矩形領域情報を矩形領域信号としてテーブル管理部３０４と、制御データ生成部３０５へ出力するとした。一方、矩形の枠２０００の大きさ、あるいは、位置を変更する処理の途中においては、枠表示部３０３は、矩形領域情報が随時領域検出部３０２から入力され、表示領域１０００上における矩形の枠の表示の変更処理を行うとした。しかし、領域検出部３０２が矩形領域信号をテーブル管理部３０４と、制御データ生成部３０５へ出力するのを「矩形の枠の変更処理」の終了を認識した時に限らず、枠表示部３０３への矩形領域情報の出力と同様に随時出力するものとしても良い。例えば、図２４(a)の状態から図２４(b)になるようにポインタ２００を移動させ、矩形の枠２０００の大きさを変更する場合に、図２４(c)から図２４(g)に示す矩形領域パケットを作成し会議サーバ２へと送信しても良い。このように随時矩形領域パケットを送信することで、「矩形の枠の変更処理」を行っている最中にも合成映像における映像の配置が変更され続け、矩形の枠２０００の変更操作に追従しての合成映像の変更が期待できる。
なお、以上の本実施の形態において、合成映像制御命令生成部３００のポインタ検出部３０１が検出する操作イベント情報として左クリックを例に説明を行ってきたが、必ずしもそれに限るものではない。例えば、合成映像が表示されている表示領域１０００において、合成映像制御命令生成部３００が矩形領域を登録するように動作させる際の操作イベント情報はダブルクリックを有効とし、登録された状態で「矩形の枠の変更処理」を行う場合には左クリックを有効とするというように、別々の操作イベント情報で実行できるようにしても良い。また、テレビ会議端末装置１がキーボードを備えるのであれば、キー操作により発生する操作イベント情報を利用しても良い。操作イベントを別々にすることで、ユーザが意図しない誤動作を防ぐことができる。また、以上の本実施の形態では、矩形の枠２０００を表示させた状態での操作については「矩形の枠の変更処理」しか説明していないが、例えば、右クリックでメニューを表示させ、メニューから「削除」という項目を選択すると、現在表示されている矩形の枠２０００の表示を消すと共に、領域管理テーブルに登録されているその矩形領域に対する登録情報を削除するような処理を追加することも可能である。また、登録情報を削除した際には、会議サーバ２へ対しても、登録情報を削除することを指示する制御パケットを送信する必要がある。登録情報を削除する制御パケットを矩形登録削除パケットと呼び、別途定義を行っても良いが、例えば、先に示した矩形登録パケットを利用し、図１２に示したペイロード部分にて、x,y,w,h,IDの値は０とし、ID番号とx1,y1のみを有効としたものを矩形登録削除パケットとして利用しても良い。ここで、ID番号とx1,y1は、削除を指定した際にポインタ検出部３０１、および、領域検出部３０２が検出した位置の情報を利用し、領域管理テーブルに登録されている情報から検出可能である。
なお、上述のとおり、矩形領域を登録するように動作させる際の操作イベント情報と、登録された状態で「矩形の枠の変更処理」を行う際の操作イベント情報を別々とした場合には、例えば、既に登録済みの矩形領域に対して、再登録を行うという操作も可能となる。例えば、矩形領域を登録した際に表示画面にて最大化されるとする。その後、「矩形の枠の変更処理」により、矩形領域を小さく変更した後に、その矩形領域上にて再度登録のための操作イベント情報を発生させることにより、その矩形領域に対する再登録処理が行われ表示画面にて最大化されることになる。
また、以上の本実施の形態において、テレビ会議端末装置１から会議サーバ２への制御信号を送信する通信路として通信路３−１２を利用して説明を行ったが、もし、テレビ会議端末装置１および会議サーバ２間において、別途呼制御を行うための通信路が設定されている場合には、その既存の通信路を利用してテレビ会議端末装置１から会議サーバ２へ制御信号を送信するようにしてもよい。
以下、会議サーバ２の構成および動作について説明する。
図２５に本発明の実施の形態に従った会議サーバ２の構成を示す。会議サーバ２は、図２で示した会議サーバｓにおける映像合成処理部５０と制御情報処理部７０といった構成要素に加え、配置情報記憶部８０と登録映像管理部９０を備える。また、制御情報処理部７０については、本実施の形態で機能拡張を行っている。図２５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
図２５では、４つの映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）から一つの合成映像６０Ａを作成する構成を示しているが、映像合成処理部５０は５つ以上の映像ソースの合成も可能な構成であってもよい。また、図２５では、合成画像を１つしか作成しない場合の構成を示しているが、複数の合成画像を作成し、それぞれの合成画像を異なるテレビ会議端末装置に配信できる構成であってもよい。
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から制御パケットを受信すると、受信した制御パケットが制御信号として制御情報処理部７０に入力される。制御情報処理部７０は、入力された制御信号を解析し、矩形登録パケット、あるいは、矩形領域パケットであることを認識すると、それらを解析し、映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、合成映像の変更を行う。なお、本実施の形態において、映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）と合成映像６０Ａの大きさおよびアスペクト比は等しいと仮定する。
配置情報記憶部８０は、合成映像における各映像ソースの配置位置を管理している。配置位置は、図２６に示すように合成映像の横方向、縦方向を１００という値に正規化したＸＹ座標を利用して管理する。また、配置情報記憶部８０は、例えば、図２７に示す配置情報管理テーブルを保持しており、図２６のＸＹ座標を利用して各映像ソースの配置位置を管理する。本実施の形態の配置情報管理テーブルでは、各映像ソースのＩＤを映像合成処理部５０の構成要素であるサイズ変更回路（３１，３２，３３，３４）の番号としており、サイズ変更回路による一辺の長さに対する縮小情報（1 / n）と、縮小した映像ソースの左上を基準とした配置位置(x,y)と大きさ（w,h）と階層(Layer)が記載されている。
配置情報記憶部８０が記憶管理する各映像ソースの配置位置は、制御情報処理部７０が制御信号を受けた結果、制御情報処理部７０からの指示で更新されるものとするが、配置情報記憶部８０は各映像ソースの配置に関するデフォルト値を管理しており、初期化時等に制御情報処理部７０が配置情報記憶部８０からデフォルトの配置情報を取得して、映像合成処理部５０へ合成方法を指示する。なお、図２７はデフォルトの配置情報の例でもあり、４つの映像ソースの配置に重なりがないように配置されており、各映像ソースの階層はデフォルト値として決まっているものとする。
制御情報処理部７０は、テレビ会議端末装置１から制御パケットである制御信号が入力されると、フォーマット解析を行い、図１２のフォーマットであれば矩形登録パケット、図１３のフォーマットであれば矩形領域パケットであることを認識する。矩形登録パケットであると認識した場合、制御情報処理部７０はフォーマット解析結果として矩形登録パケットに含まれている{ID, x, y, w, h, layer, x1, y1}の情報を矩形登録情報として登録映像管理部９０へ出力する。また、矩形領域パケットであると認識した場合、制御情報処理部７０はフォーマット解析結果として矩形領域パケットに含まれている{ID, x, y, w, h, layer }の情報を矩形領域情報として登録映像管理部９０へ出力する。
登録映像管理部９０は、矩形登録情報{ID, x, y, w, h, layer, x1, y1}が入力されると、配置情報記憶部８０が管理する配置情報管理テーブルを参照し、x1, y1が含まれる領域にある映像ソースのＩＤ番号（図２６では３１，３２，３３，３４）を１つ検出する。なお、x1, y1が複数の映像領域に含まれる場合は、階層の一番上であるもの（本実施の形態ではLayerの番号が一番小さいもの）のＩＤ番号を選択するものとする。登録映像管理部９０は矩形登録情報の入力に対して、映像ソースのＩＤ番号の検出に成功すると、登録情報に含まれていたＩＤの値と、選択した映像ソースのＩＤ番号とを対にして記憶した後、選択した映像ソースのＩＤ番号を制御情報処理部７０へ出力する。一方、登録映像管理部９０は、矩形領域情報{ID, x, y, w, h, layer}が入力されると、矩形領域情報に含まれるＩＤの値に対応して記憶している映像ソースのＩＤ番号を制御情報処理部７０へ出力する。
制御情報処理部７０は、矩形登録情報、あるいは、矩形領域情報を登録映像管理部９０へ出力した結果、映像ソースのＩＤ番号が登録映像管理部９０から入力される。更に、制御情報処理部７０は、矩形登録情報、あるいは、矩形領域情報に含まれる｛x, y, w, h｝の値を解析し、映像ソースの縮小率(1/n)の値を計算する。これらの処理の結果、制御情報処理部７０は、入力された制御信号であるテレビ会議端末装置１からの制御パケットに含まれている情報から、配置情報管理テーブルの登録に必要な情報{ID, n, x, y, w, h, Layer}を作成し、配置情報記憶部８０が管理する配置情報管理テーブルの内容を更新する。配置情報管理テーブルの内容を更新の際、対応する映像ソースのＩＤ番号の階層(Layer)の値を変更した場合に、配置情報管理テーブルの登録済みの情報にその階層が存在した場合には、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。制御情報処理部７０は配置情報管理テーブルの更新が完了すると、配置情報管理テーブルに記載された内容で映像合成処理部５０へ指示を与え、合成映像の配置を変更させる。
以上、本発明の第１の実施の形態として、テレビ会議端末装置１および会議サーバ２の詳細構成と動作について示した。
会議サーバ２から受信した合成映像を単に表示する機能を備えたテレビ会議端末装置においては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明であるが、本実施の形態の大きな特徴の１つである合成映像制御命令生成部３００を組み込むことにより、合成映像に含まれている複数の映像ソースの境界検出が可能となる。
例えば、合成映像内の一点にポインタを合わせクリック等の単純な操作を行うだけで、そこに表示されていた映像に対して矩形の枠を重ねて表示させることが可能である。この矩形の枠が、合成映像内における映像ソースの境界を表す。そして、矩形の枠が表示された後は、矩形の枠の大きさや位置をポインタとクリックの操作の組み合わせにより変更することで、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更することが可能となる。
画像解析等の複雑な処理を行うことなく合成映像における複数の映像ソースの境界を検出する方法として、会議サーバ２側から合成情報を別途通知する方法、あるいは、テレビ会議端末装置が会議サーバ２へ合成情報の取得要求を行って合成情報を取得する方法が考えられるが、合成映像制御命令生成部３００を組み込んだテレビ会議端末装置１においては、テレビ会議端末装置１から会議サーバ２に対して制御信号を送信するだけの片方向通信路にて、複数の映像ソースの境界検出と、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更が実現できる。すなわち、合成情報を受信するための処理を実装しなくても良い。
また、合成映像制御命令生成部３００を組み込んだテレビ会議端末装置１においては、テレビ会議端末装置１側で映像ソースの境界を示す矩形の枠を生成していることから、その矩形の枠自体の大きさや位置の変更はリアルタイムにて実現でき、それを操作するユーザに遅延等を感じさせない操作感を提供することが可能である。
（第２の実施の形態）
以下、本発明の第２の実施の形態を図２８から図３４を参照して説明する。
第１の実施の形態では、合成映像が表示されている表示領域１０００において、点を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について示したが、本実施の形態では、表示領域１０００において領域を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について説明する。本実施の形態においては、テレビ会議端末装置１および会議サーバ２の構成は第１の実施の形態と同じであるが、領域検出部３０２の動作が異なる。
図２８に領域指定を行っている様子を示す。図２８は、ポインタ２００で最初に指定した点が表示領域１０００のＸＹ座標における(xa,ya)であり、そこから、横方向にwa分、縦方向にha分、ポインタ２００を移動させた場合であり、この操作により指定された領域が指定領域４０００となる。
領域指定操作を行った場合に、その後、矩形の枠を表示させる位置に制限を加える。本実施の形態では、矩形の枠を表示させる位置を図２９において、矩形の枠の中心の位置が▲印をつけた点のみになるようにする。ここで、図２９の▲は、X軸、Ｙ軸の０から１００をそれぞれ８等分する線の交点であり、４９箇所ある。例えば、▲1011は(12.5, 125)、▲1077は(87.5, 87.5)、▲1036は（37.5, 75.0）に位置する。
また、領域指定操作を行った場合に、その後、表示させる矩形の大きさに制限を加える。本実施の形態では、矩形の枠の大きさを図３０に示す４つとする。例えば、図３０(a)は正規化されたXY座標において、w = 25, h = 25の大きさである。
ポインタ検出部３０１は、例えば、図２８に示したようなポインタ２００の移動と操作イベントを検出すると、随時、その情報を領域検出部３０２へ出力する。領域検出部３０２は、ポインタ検出部３０１から最初に入力されたポインタの位置情報に対して、テーブル管理部３０４に登録されているか否かを確認する。登録済みであれば、領域検出部３０２は第１の実施の形態で説明したとおりの動作を行う。一方、テーブル管理部３０４から「未登録」との情報が通知された場合、第１の実施の形態ではすぐに矩形領域の登録処理を開始したが、本実施の形態では、引き続きポインタ検出部３０１から入力される情報を利用することで、領域検出部３０２は領域指定操作か否かを検出する。ここで、領域指定操作でないと判断した場合は、第１の実施の形態で示した矩形領域の登録処理を実行しても良い。一方、領域指定操作であると判断した場合、ポインタ検出部３０１から入力された情報を解析し、指定領域４０００{xa, ya, wa, ha}の情報を認識する。但し、指定領域４０００は表示領域１０００内においてのみ有効であるとするため、ポインタ２００の位置が表示領域１０００以外になれば指定領域４０００は無効とする。
領域検出部３０２は指定領域４０００{xa, ya, wa, ha}の情報を認識すると、以下の条件式にしたがって、{xa, ya, wa, ha}を{xb, yb, wb, hb}へ変換する。
・waからwbへの変換
0 ＜ wa ≦ 25.0ならwb = 25.0とする。
25.0 ＜ wa ≦ 50.0ならwb = 50.0とする。
50.0 ＜ wa ≦ 75.0ならwb = 75.0とする。
75.0 ＜ wa ≦ 100.0ならwb = 100.0とする。
・haからhbへの変換
0 ＜ ha ≦ 25.0ならhb = 25.0とする。
25.0 ＜ ha ≦ 50.0ならhb = 50.0とする。
50.0 ＜ ha ≦ 75.0ならhb = 75.0とする。
75.0 ＜ ha ≦ 100.0ならhb = 100.0とする。
但し、本実施の形態では、wbとhbの値が異なる場合には、ha = waとする。
・xaからxbへの変換
0 ≦ xa < 12.5ならxtmp = 0
12.5 ≦xa < 25.0ならxtmp = 12.5
25.0 ≦xa < 37.5ならxtmp = 25
37.5 ≦xa < 50.0ならxtmp = 37.5
50.0 ≦xa < 62.5ならxtmp = 50
62.5 ≦xa < 75.0ならxtmp = 62.5
75.0 ≦xa < 87.5ならxtmp = 75
87.5 ≦xa ≦ 100ならxtmp = 87.5

0 ＜ xtmp+wb/2 ≦ 18.75ならx c= 12.5
18.75＜ xtmp+wb/2 ≦ 31.25ならxc = 25.0
31.25 ＜ xtmp+wb/2 ≦ 43.75ならxc= 37.5
43.75 ＜ xtmp+wb/2 ≦ 56.25ならxc = 50.0
56.25 ＜ xtmp+wb/2 ≦ 68.75ならxc = 62.5
68.75 ＜ xtmp+wb/2 ≦ 81.25ならxc = 75.0
81.25 ＜ xtmp+wb/2 ≦ 100.0ならxc = 87.5

xb = xc - wb/2
・yaからybへの変換
0 ≦ ya < 12.5ならytmp = 0
12.5 ≦ya < 25.0ならytmp = 12.5
25.0 ≦ya < 37.5ならytmp = 25
37.5 ≦ya < 50.0ならytmp = 37.5
50.0 ≦ya < 62.5ならytmp = 50
62.5 ≦ya < 75.0ならytmp = 62.5
75.0 ≦ya < 87.5ならytmp = 75
87.5 ≦ya ≦ 100ならytmp = 87.5

0 ＜ ytmp+hb/2 ≦ 18.75ならy c= 12.5
18.75＜ ytm+hb/2 ≦ 31.25ならyc = 25.0
31.25 ＜ ytm+hb/2 ≦ 43.75ならyc= 37.5
43.75 ＜ ytm+hb/2 ≦ 56.25ならyc = 50.0
56.25 ＜ ytm+hb/2 ≦ 68.75ならyc = 62.5
68.75 ＜ ytm+hb/2 ≦ 81.25ならyc = 75.0
81.25 ＜ ytm+hb/2 ≦ 100.0ならyc = 87.5

yb = yc - hb/2
領域検出部３０２は{xb, yb, wb, hb}へ変換処理が完了すると、矩形登録信号{IDa, xb, yb, wb, hb, 1, イベントＢ}を作成し、テーブル管理部３０４と、制御データ生成部３０５へ出力する。ここで、IDaは、先に(xa,ya)に対しテーブル管理部３０４から入力された「未登録」という情報のパラメータであり、領域管理テーブルで未使用のＩＤ番号である。また、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、位置確認信号{xc,yc,イベントＡ}を一緒に出力する。ここで、xc,ycは、{xb, yb, wb, hb}で表される領域の中心の位置の値である。また、領域検出部３０２が矩形登録信号を制御データ生成部３０５へ出力する際には、{xc',yc',イベントＡ}を一緒に出力してもよい。xc',yc'は、{xa, ya, wa, ha}で表される領域の中心の位置の値である。なお、領域検出部３０２が矩形登録信号をテーブル管理部３０４と、制御データ生成部３０５へ出力した後の動作は第１の実施の形態で示したとおりである。
図３１(a)は、領域管理テーブルが初期化状態において、領域指定xa = 6、ya = 9、wa = 38、ha = 37を行った場合の様子を示している。この場合、xb = 0、yb = 0、wb = 50、hb = 50、 xc = 25、yc = 25となる。すなわち、合成映像制御命令生成部３００内にて矩形登録信号{1,0,0,50,50,1, イベントＢ}が発生し、領域管理テーブルは図３１(c)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図３２に示している矩形の枠２０００を表示させると共に、図３１(b)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。結果、図３２に示すとおり、図３１(a)において領域指定した位置に表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上の(xc、yc)の位置を中心として表示しても良い。
図３３(a)は、領域管理テーブルが初期化状態において、領域指定xa = 16、ya = 16、wa = 31、ha = 31を行った場合の様子を示している。この場合、xb = 12.5、yb = 12.5、wb = 50、hb = 50、 xc = 37.5、yc = 37.5となる。すなわち、合成映像制御命令生成部３００内にて矩形登録信号{1,12.5,12.5,50,50,1, イベントＢ}が発生し、領域管理テーブルは図３３(c)のように更新される。また、合成映像制御命令生成部３００は、表示領域１０００において、図３４に示している矩形の枠２０００を表示させると共に、図３３(b)に示す矩形登録パケットを生成し、会議サーバ２へ送信する。結果、図３４に示すとおり、図３３(a)において領域指定した位置に表示されていた部分と矩形の枠２０００とが一致して表示領域１０００上に表示される。なお、このとき、登録作業が完了したことを通知するようなダイアログ３０００を合成映像制御命令生成部３００が作成し表示領域１０００上の(xc、yc)の位置を中心として表示しても良い。
第１の実施の形態では、表示領域１０００において、点を指定することで、そこに表示されていた映像に対して矩形の枠を重ねて表示する方法について示したが、その場合に、矩形の枠と映像は一致するものの、表示される位置が、表示領域１０００に対して全画面表示、表示領域１０００における中央付近等、点を指定する前に表示されていた位置から大きくずれてしまっていた。これに対し、第２の実施の形態で示したように点を指定する代わりに領域指定をすることで、領域指定をする前に表示されていた位置から大きくずれることなく矩形の枠を表示した上で、映像を一致させることができる。
（第３の実施の形態）
以下、本発明の第３の実施の形態を図３５から図３７を参照して説明する。
第１の実施の形態、および第２の実施の形態において、会議サーバ２は４つの映像を受信してそれらを合成する場合を例に説明を行った。但し、第１の実施の形態でも述べたとおり、映像合成処理部５０は５つ以上の映像ソースの合成も可能な構成であってもよい。図３５に９個の映像ソースを合成可能な会議サーバ２の構成を示す。なお、本実施の形態では、第１の実施の形態、および第２の実施の形態で説明した会議サーバ２の構成との差分のみを説明する。
本実施の形態の会議サーバ２は、入力映像検出部１０を備える。入力画像検出部１０は、複数の入力ソースを映像合成処理部５０へ出力する機能に加え、入力映像ソースの有無を検知し、その情報を利用して、制御情報処理部７０に対して制御信号を作成し出力する機能を備えるものとする。例えば、入力映像検出部１０は、図３５に示すように入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断すると、図３６(a)に示すようなB,C,D,Eより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。ここで制御信号は、{映像ソース番号,x,y,w,h,layer}という情報であり、図３６(a)の場合は、{31,0,0,50,50,1}、{32,50,0,50,50,2}、{31,50,0,50,50,3}、{34,50,50,50,50,4}の４つの情報より構成される。また、例えば、入力映像ソースとして２０B、２０C、２０D、２０E、２０F、２０G、２０H、２０I、２０Jの９個が有効と判断すると、図３６(b)に示すようなB,C,D,E,F,G,H,I,Jより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。入力画像検出部１０が作成し制御情報処理部７０へ出力した制御信号は、制御情報処理部７０によって解析された結果、配置情報記憶部８０が合成映像における各映像ソースの配置位置を管理するために利用する配置情報管理テーブルの内容が更新されるものとする。制御情報処理部７０は配置情報管理テーブルの更新が完了すると、配置情報管理テーブルに記載された内容で映像合成処理部５０へ指示を与え、合成映像の配置を変更させる。
ここで、最初は、入力映像検出部１０が、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況において、途中で２０Fが追加で有効になった場合を考える。その場合、例えば、入力映像検出部１０は、図３６(c)に示すようなB,C,D,E,Fより成る合成映像６０Ａを作成するような制御信号を作成し制御情報処理部７０へ出力するとする。このような制御を行うことで、合成画像６０Aを受信し表示しているテレビ会議端末装置１のユーザは、入力映像ソース２０Fが増えたこと、すなわち、多地点テレビ会議システムにおいては、会議へ新規参加者が加わったことを映像として知ることができる。
但し、本実施の形態では、入力映像検出部１０からの制御信号が入力された際に、制御情報処理部７０は、制御信号に含まれている内容を解析した結果をすぐに配置情報記憶部８０へ出力し配置情報管理テーブルを更新するのではなく、登録映像管理部９０に対して、登録映像ソースＩＤ番号確認信号を出力する。登録映像管理部９０は、登録映像ソースＩＤ番号確認信号が入力されると、第１の実施の形態で示したように矩形登録情報に含まれるＩＤ値と映像ソースのＩＤ番号とを対にして記憶している情報を確認し、ここに対として記憶されている全映像ソース番号を登録済みの映像ソース番号として制御情報処理部７０へ出力する。制御情報処理部７０は登録済みの映像ソース番号が入力されると、それらの映像ソースはテレビ会議端末装置１により既に登録されていると判断する。一方、登録映像ソースＩＤ番号確認信号を出力した結果として、登録映像管理部９０から登録済みの映像ソース番号が存在しない旨が通知された場合、制御情報処理部７０はテレビ会議端末装置１により登録されている映像ソースは存在しないと判断する。例えば、図３７(a)は、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況においての合成画像６０Aを示しているが、このうち、２０Bと２０Eに対応する映像B,Eについてはその配置位置が登録されているとする。この場合、制御情報処理部７０は、登録映像管理部９０から２０B、２０Eに対する映像ソース番号３１と映像ソース番号３４が登録済みの映像ソース番号としてとして通知され、それらの映像ソースがテレビ会議端末装置１により現在登録されていると判断する。
制御情報処理部７０は、入力映像検出部１０からの制御信号に対して解析を行い、登録映像管理部９０を利用し、それぞれの映像ソースがテレビ会議端末装置１により登録済みか否かを判断した後、登録済みの映像ソースに対しては、配置情報記憶部８０が管理する配置情報管理テーブルのうち対応する内容については更新しない。一方、制御情報処理部７０は登録されていない映像ソースに対しては、配置情報記憶部８０が管理する配置情報管理テーブルのうち対応する内容を更新するものとするが、その際に、それらを配置する位置を御情報処理部７０で変更しても良い。例えば、本実施の形態にて示した様に映像ソースが登録済みか否かを検出しない場合は、図３６(c)に示した通りの合成画像となるが、図３７(b)は、映像ソース２０Bと２０Eが登録済みと判定したため、２０C、２０D、２０Fを合成画像６０Aの左上から右上に詰めて配置した場合を示している。また、図３４(c)は、映像ソース２０Bと２０Eが登録済みと判定したため、２０C、２０D、２０Fについては、入力映像検出部１０から指示された配置位置にしようとした場合である。但し、図３７(c)では、２０Fを本来の位置、すなわち、図３６(b)のFの位置に配置したのでは登録済みのBの裏に隠れる可能性があり、また、その右横のGの位置においても、登録済みのEの裏に隠れる可能性があるため、Hの位置に配置するというように、登録済みの映像ソースとの「重なり度」を検知して配置位置を自動修正するアルゴリズムを制御情報処理部７０あるいは配置情報記憶部８０に実装した場合を示している。「重なり度」を検知して配置位置を自動修正するアルゴリズムとして、例えば、まずは、登録済みの映像ソースとの重なりが面積比で３０％以下となる配置位置が検出可能であればそこに配置し、不可能であれば、次に５０％以下となる配置位置を検出していくというように、「重なり度」を考慮して配置位置を探す方法が考えられる。
以上では、入力映像ソースが増加した場合を説明したが、入力映像ソースが減少した場合も処理はほぼ同様である。例えば、入力映像検出部１０が、入力映像ソースとして２０B、２０C、２０D、２０Eの４つのみが有効と判断している状況において、途中で２０Ｅが無効になった場合を考える。この場合、入力映像検出部１０は、B,C,Dより成る合成映像を作成するような制御信号を作成し制御情報処理部７０へ出力する。入力映像ソースが減少した場合において、以降の処理は、入力映像ソースが増加した場合で説明したものと同じである。なお、制御情報処理部７０に有効な映像ソース番号と無効な映像ソース番号を管理する機能を持たせることで入力映像ソースが減少した場合、配置情報管理テーブルに対し、減少した入力映像ソースに対応する情報を無効に設定する処理を行うことが可能となる。
以上、本実施の形態で示した会議サーバ２を利用した多地点テレビ会議システムにおいては、会議への新規ユーザが追加された場合等、会議サーバ２内部で発生した制御信号により合成映像における各映像ソースの配置が自動で変更される場合においても、テレビ会議端末装置１側から登録されている映像ソースについてはその配置を固定としたままにすることができる。すなわち、テレビ会議端末装置１側のユーザは登録操作により映像の位置を固定し、予期せぬ配置位置の変更を防ぐことができる。
（第４の実施の形態）
以下、本発明の第４の実施の形態を図２から図６と、図９、図２６、および図３８から図４２を参照して説明する。
本実施の形態においては、テレビ会議端末装置および会議サーバの構成は第１の実施の形態と同じである（但し後述するように本実施の形態における会議サーバは第１の実施の形態と異なり登録映像管理部は備えない）が、各構成要素の挙動が異なる。第１の実施形態にての説明の繰り返しになる部分もあるが、再度説明する。
図３に、本発明を適用した多地点テレビ会議システムのシステム構成を示す。図３では、多地点テレビ会議システムでは５地点でテレビ会議を行う場合を例としており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと、会議サーバ２とから構成されており、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅそれぞれは、ネットワーク３を介して会議サーバ２と接続された状態である。
本実施の形態では、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅについては、会議サーバ２との間のそれぞれの通信路３−１Ｂ、３−１Ｃ、３−１Ｄ、３−１Ｅを利用して、映像データを会議サーバ２に送信する機能を備えているものとする。また、会議サーバ２は、テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅと同時に接続している状態において、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅから受信した映像を一つの映像に合成した後、合成映像をテレビ会議端末装置１へ送信する機能を備えているものとする。ここで、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが送信する映像データは、それぞれのカメラ装置４Ｂ、４Ｃ、４Ｄ、４Ｅを利用して作成された映像データであってもよく、また、各テレビ会議端末装置内に保存されている映像データであってもよい。一方、テレビ会議端末装置１は、会議サーバ２との間の通信路３−１１を利用して、会議サーバ２が送信する映像データを受信する機能、および、通信路３−１２を利用して、会議サーバ２に制御信号を送信する機能を備えているものとする。なお、テレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅと同様にテレビ会議端末装置１が映像データを会議サーバ２に送信する機能を備えていてもよく、また、テレビ会議端末装置１と同様にテレビ会議端末装置１Ｂ、１Ｃ、１Ｄ、１Ｅが映像データを会議サーバ２から受信する機能を備えていてもよい。また、本実施の形態では映像データについてのみ説明を行うため、本来、多地点テレビ会議システムにとって必須の機能である音声データの送受信についての説明は省略する。
テレビ会議端末装置１、１Ｂ、１Ｃ、１Ｄ、１Ｅの例としては、ネットワークを介して通信を行う機能を備えたパーソナルコンピュータ（以後、ＰＣと呼ぶ）や、ＰＤＡ（Personal Digital Assistant）等であり、会議サーバ２から受信した映像データを表示する機能をそなえているとする。本実施の形態では、テレビ会議端末装置１をマイクロソフト社のＷｉｎｄｏｗｓＯＳが搭載されたノートブックタイプのＰＣとして説明する。
なお、本実施の形態では、会議サーバ２は最大８個の映像データをテレビ会議端末装置から受信し、８個の映像データから合成映像を作成する機能を有するとする。
図４はテレビ会議端末装置１のディスプレイユニットを開いた状態における外観斜視図である。本テレビ会議端末装置１は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には表示パネルを構成するＬＣＤ（Liquid Crystal Display）１３が組み込まれており、そのＬＣＤ１３はディスプレイユニット１２のほぼ中央に位置されている。
このディスプレイユニット１２の画面表示部（ＬＣＤ１３の表示画面上）にデスクトップ画面１００が表示され、そのデスクトップ画面（以下単に表示画面と称す）１００上に、会議サーバ２から受信した映像データを表示領域１０００に表示する機能を備えたアプリケーションのウィンドウ１０１、ポインタ２００等が表示される。なお、ウィンドウ１０１の表示機能や、ポインタ２００の表示機能並びに操作機能については通常のＰＣに既に実装されているため、ここではその説明を省略する。
コンピュータ本体１１は薄い箱形の筐体を有しており、その上面には上述したポインタ２００に関する操作を行うためのポインティングデバイス１４が配置されている。さらに、コンピュータ本体１１にはネットワーク通信デバイス１５が内蔵されている。なお、ポインティングデバイス１４はコンピュータ本体１１上に配置されているとしたが、例えば、外付けのマウスを利用するＰＣにおいては、マウスがポインティングデバイス１４に相当する。ネットワーク通信デバイス１５は、ネットワーク通信を実行するデバイスであり、例えば、ネットワークへ接続するための物理的なコネクタを備え、コンピュータ本体１１内のＣＰＵ等から入力されるコマンドに応じて、データの転送等を実行し、その制御は、コンピュータ本体１１内のメモリに格納されている通信プロトコルに従って行われる。
図５に、図４に示したテレビ会議端末装置１において本発明に関わる内部構成要素を示す。なお、図４、および、図５では、本発明による機能改善を実現する上で直接影響を及ぼすことがない構成要素（例えばＣＰＵ等）の表記は省略している。図５に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
テレビ会議端末装置１は、その構成要素として会議映像表示処理部４００と、本実施の形態の大きな特徴の１つとなる合成映像制御命令生成部３００とを備える。テレビ会議端末装置１はＰＣを想定しており、会議映像表示処理部４００と合成映像制御命令生成部３００とは、ＰＣに実装されている描画機能を利用し、それぞれの内部で作成した描画データを図４でも示した表示画面１００に表示させることが可能である。また、会議映像表示処理部４００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１１を利用しての映像データの受信が可能であり、一方、合成映像制御命令生成部３００は、ネットワーク通信処理部５００の機能を利用し、図３で示した通信路３−１２を利用して制御データの送信が可能である。
会議映像表示処理部４００は、映像表示部４０１、映像データ解析処理部４０２、データ受信制御部４０３とから構成されている。データ受信制御部４０３は、ネットワーク通信処理部５００から受信データを取得し、ネットワークを介して送受信されるエンコードされた状態の映像データを構築し、それを映像データ解析処理部４０２へ出力する。映像データ解析処理部４０２は、入力されたエンコードされた状態の映像データをデコードすることで、表示可能な映像データを構築し、それを映像表示部４０１へ出力する。映像表示部４０１は、アプリケーションとしてのウィンドウ１０１を作成し表示する機能を備えており、表示可能な映像データが入力されると、ウィンドウ１０１内の表示領域１０００に映像データを「映像」として表示する。
ネットワーク通信処理部５００は、通信路３−１１を利用しリアルタイム転送、あるいは、ストリーミング対応のデータの転送が可能であり、通信プロトコルとして、例えば、ＵＤＰ／ＩＰ，ＲＴＰ等をサポートしているものとする。ネットワーク通信処理部５００を介し、会議映像表示処理部４００は会議サーバ２から受信した映像データを受信することが可能である。
一方、本実施の形態の特徴となる合成映像制御命令生成部３００は、ポインタ検出部３０１、領域検出部３０２、枠表示部３０３、テーブル管理部３０４、制御データ生成部３０５、制御データ送信処理部３０６とから構成されている。
まず、合成映像制御命令生成部３００が起動、あるいは、初期化された場合の動作について説明する。
テーブル管理部３０４は、図３８に示す領域管理テーブルを内部に作成し保持している。図３８は初期化時の領域管理テーブルであり、会議サーバ２が合成可能な８種類の映像ソースに対しそれらを識別するＩＤ（１，２，３，４，５，６，７，８）を独自で割り当て、それぞれの配置位置を示すパラメータ情報x、y、w、h、Layerを含んでいる。x、y、w、hは、ＩＤで識別する映像ソースを合成画像内に配置する位置と、映像ソースを矩形とした場合のサイズを示すものであり、位置矩形領域図６(b)に示した矩形領域を例として説明すると、x = x1、y = y1、w = w1、h = h1となる。また、Layerは、会議サーバが合成映像を作成する際に各映像ソースの上下関係を識別するための階層情報を示すものであり、例えば、第ｋ層に位置する場合は、Layer = kであり、ｋ層の映像ソースは、k-1層の映像ソースより１つ背面に位置し、もしk層とk-1層の映像ソースが重なった合成映像が作成さえた場合には、k層の映像ソースはk-1層の映像ソースによって隠れる部分が存在することになる。合成映像制御命令生成部３００が起動、あるいは、初期化された場合には、テーブル管理部３０４の管理する領域管理テーブルは図３８の初期化時の状態になるものとする。
合成映像制御命令生成部３００が起動、あるいは、初期化された場合は、領域検出部３０２はテーブル管理部３０４から初期化状態の領域管理テーブル情報を取得し、領域管理テーブル情報を制御データ生成部３０５へ出力する。
制御データ生成部３０５は、領域検出部３０２から領域管理テーブル情報が入力されると、領域管理テーブル情報を会議サーバ２へ伝えるための合成映像制御パケットのペイロード部分を構築する。図３９に領域管理テーブル情報が初期化時の場合の合成映像制御パケットのペイロード部の例を示す。図３９では、それぞれのブロックを８ビットで構成しており、ビット列を１０進数で表現している。制御データ生成部３０５は、合成映像制御パケットを作成すると、制御データ送信処理部３０６へ出力する。
制御データ送信処理部３０６は、制御データ生成部３０５から合成映像制御パケットが入力されると、この制御パケットを会議サーバ２へ送信するために必要となるネットワークのあて先アドレス情報などの付加情報と共にネットワーク通信処理部５００へ出力する。ネットワーク通信処理部５００は、制御データ送信処理部３０６から付加情報が付された合成映像制御パケットが入力されると、通信路３−１２を介してこの合成映像制御パケットを会議サーバ２へ送信する。
図４０に構成を示す会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から合成映像制御パケットを受信すると、会議サーバ２における制御情報処理部７０が、合成映像制御パケットから領域管理テーブル情報を解析する。制御情報処理部７０は解析した領域管理テーブル情報に従い映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、領域管理テーブル情報に記述された合成映像となるように合成映像の変更を行う。この際、会議サーバ２側で管理している各受信映像（図４０では２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ）と、領域管理テーブル情報に含まれるＩＤ番号が１対１に対応づけられるものとする。具体的には、映像合成処理部５０内の映像処理ブロックの識別子(３１,３２,３３,３４,３５,３６,３７,３８)を受信映像の識別子として用い、領域管理テーブル情報のＩＤ１と受信映像の識別子３１、領域管理テーブル情報のＩＤ２と受信映像の識別子３２、領域管理テーブル情報のＩＤ３と受信映像の識別子３３、領域管理テーブル情報のＩＤ４と受信映像の識別子３４、領域管理テーブル情報のＩＤ５と受信映像の識別子３５、領域管理テーブル情報のＩＤ６と受信映像の識別子３６、領域管理テーブル情報のＩＤ７と受信映像の識別子３７、領域管理テーブル情報のＩＤ８と受信映像の識別子３８を制御情報処理部７０は対応づけて、映像合成処理部５０に対する制御命令を行う。なお、会議サーバ２においても合成映像６０Ａ内における位置を、テレビ会議端末装置１におけるウィンドウ１０１内の表示領域１０００と同様に、横方向、縦方向を１００という値に正規化したXY座標で管理するものとし、ＩＤ番号に対応する各受信信号を、領域管理テーブル情報で指定した位置、大きさ、階層に配置できるものとする。会議サーバ２についての詳細は後述する。
次に、合成映像制御命令生成部３００が起動後、あるいは、初期化後にユーザによる操作が伴った場合の動作について説明する。
ポインタ検出部３０１は、ポインタ２００が表示画面１００におけるウィンドウ１０１内の表示領域１０００上にあることを検出し、さらに、その位置にて操作イベントが発生した場合にそのイベントを検出する。操作イベントは、マウス操作によるクリックや、ダブルクリック、ドラッグアンドドロップ等により発生する。なお、図５に示すように、表示画面１００をX’Y’座標で管理することで、ポインタ検出部３０１は表示画面１００上におけるポインタ２００の位置およびウィンドウ１０１位置を管理することができる。ポインタ検出部３０１は、表示領域１０００上にて操作イベントが発生したことを検出すると、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。
領域検出部３０２は、図５に示すように、ウィンドウ１０１内の表示領域１０００についてXY座標で管理している。領域検出部３０２は、有効な操作イベントの場合には、ポインタ検出部３０１から入力されたポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換し、変換した値をポインタ２００の位置情報として認識する。一方、領域検出部３０２は、無効な操作イベントの場合には、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報は無視する。例えば、操作イベントとして左クリックのＯＮと左クリックのＯＦＦのみを有効とすると、左クリックのＯＮと左クリックのＯＦＦの場合にのみ、ポインタ２００の位置情報解析を行う。図６を用いて、領域検出部３０２が管理するXY座標と表示領域１０００の関係を説明する。XY座標の点を(x,ｙ)として表現すると、領域検出部３０２は、表示領域１０００の左上の頂点を(0,0)、右上の頂点を(100,0)、左下の頂点を(0,100)、右下の頂点を(100,100)というように管理している。つまり、領域検出部３０２は、表示領域１０００の横方向、縦方向を１００という値に正規化して表示領域１０００上における位置を管理する。例えば、図６（a）に示す、(x1,y1)の位置で左クリックのＯＮが発生した場合に、領域検出部３０２は{x1,y1,イベントＡ}という情報を認識する。ここで、イベントＡは、左クリックのＯＮ操作が行われたこと示しており、内部処理として{x1,y1,イベントＡ}という情報を「位置確認信号」と定義する。領域検出部３０２は位置確認信号{x1,y1,イベントＡ}を認識すると、テーブル管理部３０４から領域管理テーブル情報を取得し、領域管理テーブルの登録情報を確認する。x1,y1という位置情報が、領域管理テーブルで管理するいずれの矩形領域にも属さない点である場合には、領域検出部３０２は位置確認信号{x1,y1,イベントＡ}に関する処理を終了する。一方、x1,y1という位置情報が、領域管理テーブルが管理する複数の矩形領域に属する点である場合には、領域検出部３０２はLayerを確認し、最上位に位置する矩形領域のID番号と、それに関連する情報（x 、y 、w 、h 、Layer）を矩形領域情報{ID,x,y,w,h,Layer}として認識する。領域検出
部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を認識するとその情報を内部に記憶すると共に、枠表示部３０３へ出力する。
枠表示部３０３は、領域検出部３０２から矩形領域情報{ID,x,y,w,h,Layer}が入力されると、x,y,w,hの値を利用し、ＸＹ座標で管理される表示画面１００におけるウィンドウ１０１内の表示領域１０００上に矩形の枠２０００を表示させる。図９は、矩形領域情報{ ID = ID1,x = x1,y = y1,w = w1,h = h1,Layer = l1 }が入力された場合に、それに対応した矩形の枠２０００が表示領域１０００上に表示されている様子を示している。なお、矩形の枠２０００は、図９に示した破線や点線以外にも、実線であってもよく、また、枠の表示色をＩＤ番号に応じて変化させても良い。なお、先に領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}を記憶するとしたが、領域検出部３０２は、記憶している矩形領域情報を削除した際には、矩形領域情報{ID,x,y,w,h,Layer}の削除命令を枠表示部３０３へ出力する。枠表示部３０３は削除命令が入力されると、指定された矩形の枠の表示を行わないように処理を実行する。領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、その値が、所定の時間変更されなかった場合に記憶している矩形領域情報を削除するものとする。領域検出部３０２は、内部に複数の矩形領域情報を記憶できるものとしてもよいが、内部には一つのみ記憶可能とし新たな矩形領域情報を記憶する際に古い矩形領域情報を削除するものとしてもよい。なお、領域検出部３０２は、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}については、後述の「矩形の枠の変更処理」によって、その値を変更することができる。
ここで、ユーザが、ポインタ２００の表示位置を移動させ、枠表示部３０３が表示した矩形の枠の大きさや位置を変化させる方法について述べる。ポインタ２００の位置については、先に示したとおり、ポインタ検出部３０１が検出し、ポインタ２００の位置情報（X’Y’座標を利用して表現）と操作イベント情報（左クリックのＯＮ、左クリックのＯＦＦや、右クリックのＯＮ等）を領域検出部３０２へ出力する。領域検出部３０２は、入力された操作イベント情報が有効であれば、ポインタ２００の位置情報（X’Y’座標を利用して表現）をXY座標に変換したものと、操作イベント情報を一時的に記憶する。このとき、領域検出部３０２は検出したXY座標の位置が、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}の領域に属する点か否かを検出し、領域に属さない場合は、先に示した「位置確認信号」に関する処理を行うが、領域に属すること検出した場合には、「矩形の枠の変更処理」を実行する。なお、先に示した「位置確認信号」に関する処理の説明は、領域検出部３０２内部に矩形領域情報が記憶されていない場合の説明である。
以下、「矩形の枠の変更処理」について図９を用いて説明する。
まず、矩形の枠２０００の頂点にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点が指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の大きさを変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の大きさを変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を必要に応じて変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、左クリックした頂点の位置を変更することで枠の大きさを変更する処理においては、クリックした頂点の対角の位置が固定されるようにx,y,w,hの値を適宜変更する。更に、領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を変更する際には、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を随時、制御データ生成部３０５へ出力する。あるいは、矩形の枠２０００の大きさを変更する処理の途中においては、領域検出部３０２は枠表示部３０３に対してのみ随時矩形領域情報を出力することで表示領域１０００上における矩形の枠の表示の変更処理が行われるようにし、「矩形の枠の変更処理」の終了を認識した時点で、領域検出部３０２は、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を制御データ生成部３０５へ出力するものとしてもよい。なお、本実施の形態において矩形の枠は縦横のアスペクト比一定を保つものとし、「矩形の枠の変更処理」の終了を認識した際のポインタの位置がアスペクト比一定を満たさない場合は、ポインタ検出部３０１においてポインタの位置がアスペクト比一定を満たす点に自動的に補正されるものとする。
次に、矩形の枠２０００内の領域ではあるが頂点以外の位置にポインタ２００を移動させ、そこで左クリックし、左クリックした状態のままポインタ２００を移動させ、移動後に左クリックを離した場合を考える。この場合、最初の左クリックをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２にて、矩形の枠２０００の頂点以外を指定された「矩形の枠の変更処理」の開始と認識する。次に、ポインタの移動を、ポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識することができる。また、左クリックが解除されたことをポインタ検出部２００が検出し、その情報を領域検出部３０２へ入力することで、領域検出部３０２は、矩形の枠２０００の位置を変更する処理が確定したこと、すわなち、「矩形の枠の変更処理」の終了を認識することができる。領域検出部３０２は、矩形の枠２０００の位置を変更する処理と認識した場合には、内部に記憶している矩形領域情報{ID,x,y,w,h,Layer}のx,y,の値を変更し、変更した矩形領域情報を枠表示部３０３へ出力する。例えば、位置を変更する処理においては、枠の大きさは変化しないとすると、「矩形の枠の変更処理」の開始時に認識したポインタの位置と移動中のポインタの位置との差分値を利用してx,y,の値を適宜変更する。また、領域検出部３０２は、矩形領域情報{ID,x,y,w,h,Layer}のx,y,w,hの値を変更する際には、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を随時、制御データ生成部３０５へ出力する。あるいは、矩形の枠２０００の位置を変更する処理の途中においては、領域検出部３０２は枠表示部３０３に対してのみ随時矩形領域情報を出力することで表示領域１０００上における矩形の枠の表示の変更処理が行われるようにし、「矩形の枠の変更処理」の終了を認識した時点で、領域検出部３０２は、テーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更すると共に、変更した領域管理テーブル情報を制御データ生成部３０５へ出力するものとしてもよい。
矩形の枠２０００の大きさ、あるいは、位置を変更する処理の際、領域検出部３０２はテーブル管理部３０４が管理する領域管理テーブルにおいて対応するＩＤのx,y,w,h,Layerの情報を変更するが、対応するＩＤのLayerを１に設定し、対応する映像ソースが最上位に配置されるような制御を行ってもよい。この場合、領域管理テーブルにおいて先に１であったものは、その階層の値を１大きくする。この結果、更に別の登録済みの情報と重なった場合には、その別の登録済みの階層の値を１大きくする。図４１に初期化状態から矩形の枠２０００の大きさが変更された場合の領域管理テーブルを示すが、この例では、ＩＤ＝３に対応する情報が変更され、更に、階層については、ＩＤ=３のＬａｙｅｒ値が１に、ＩＤ=１とＩＤ=２のＬａｙｅｒ値がそれぞれ２と３に変更された様子を示している。
領域管理テーブル情報が入力された場合の制御データ生成部３０５と制御データ送信処理部３０６の処理は、先に合成映像制御命令生成部３００が起動、あるいは、初期化された場合の動作として説明したとおりである。
以下、会議サーバ２の構成および動作について説明する。
図４０に本発明の実施の形態に従った会議サーバ２の構成を示す。会議サーバ２は、図２で示した会議サーバｓにおける映像合成処理部５０と制御情報処理部７０といった構成要素に加え、配置情報記憶部８０を備える。また、制御情報処理部７０については、本実施の形態で機能拡張を行っている。図４０に示す構成により表される機能は、通常のプログラミング技法を用いて生成したプログラムをコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。
図４０では、４つの映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ）から一つの合成映像６０Ａを作成する構成を示しているが、本実施の形態では映像合成処理部５０は８個の映像ソースの合成が可能である。また、図４０では、合成画像を１つしか作成しない場合の構成を示しているが、複数の合成画像を作成し、それぞれの合成画像を異なるテレビ会議端末装置に配信できる構成であってもよい。
会議サーバ２は、通信路３−１２を介してテレビ会議端末装置１から合成映像制御パケットを受信すると、受信した合成映像制御パケットは制御情報処理部７０に入力される。制御情報処理部７０は、入力された合成映像制御パケットから、領域管理テーブル情報を解析する。制御情報処理部７０は解析した領域管理テーブル情報に従い映像合成処理部５０に対する制御信号を作成し、映像合成処理部５０へ出力することで、領域管理テーブル情報に記述された合成映像となるように、例えば、領域管理テーブル情報に含まれる｛x, y, w, h｝の値を解析し、映像ソースの縮小率(1/n)の値を計算するなどして、合成映像の変更を行う。
制御情報処理部７０が映像合成処理部５０へ出力する制御信号情報は、配置情報記憶部８０にて記憶管理させるものとする。配置情報記憶部８０は、合成映像における各映像ソースの配置位置を管理している。配置位置は、図２６に示すように合成映像の横方向、縦方向を１００という値に正規化したＸＹ座標を利用して管理する。また、配置情報記憶部８０は、例えば、図４２に示す配置情報管理テーブルを保持しており、図２６のＸＹ座標を利用して各映像ソースの配置位置を管理する。本実施の形態の配置情報管理テーブルでは、各映像ソースのＩＤを映像合成処理部５０の構成要素であるサイズ変更回路（３１，３２，３３，３４，３５，３６，３７，３８）の番号としており、サイズ変更回路による一辺の長さに対する縮小情報（1 / n）と、縮小した映像ソースの左上を基準とした配置位置(x,y)と大きさ（w,h）と階層(Layer)が記載されている。なお、本実施の形態において、映像ソース（２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ等）と合成映像６０Ａの大きさおよびアスペクト比は等しいと仮定する。
配置情報記憶部８０が記憶管理する各映像ソースの配置位置は、制御情報処理部７０が合成映像制御パケットを受けた結果、制御情報処理部７０からの指示で更新されるものとするが、配置情報記憶部８０は各映像ソースの配置に関するデフォルト値を管理しており、初期化時等に制御情報処理部７０が配置情報記憶部８０からデフォルトの配置情報を取得して、映像合成処理部５０へ合成方法を指示する。なお、図４２はデフォルトの配置情報の例でもあり、それぞれの映像ソースが重ならないように配置され、各映像ソースの階層はデフォルト値として決まっているものとする。
以上、本発明の第４の実施の形態として、第１の実施の形態とは異なるテレビ会議端末装置１および会議サーバ２の詳細構成と動作について示した。第４の実施の形態では、内部制御信号を簡略化することで、第１の実施の形態と同じ効果がより簡易に実現することが可能となる。
以上に説明した本発明の第１乃至第４の実施の形態による効果について説明すると以下のようになる。
会議サーバから受信した合成映像を単に表示する機能を備えたテレビ会議端末装置においては、合成映像はあくまで一つの映像に過ぎず、その合成映像が複数の映像ソースから成り立っていることも、また、各映像ソースの境界も不明であるが、本発明によれば、合成映像に含まれている複数の映像ソースの境界検出が可能となる。例えば、合成映像内の一点にポインタを合わせクリック等の単純な操作を行うだけで、そこに表示されていた映像に対して矩形の枠を重ねて表示させることが可能である。この矩形の枠が、合成映像内における映像ソースの境界を表す。そして、矩形の枠が表示された後は、矩形の枠の大きさや位置をポインタとクリックの操作の組み合わせにより変更することで、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更することが可能となる。
また、テレビ会議端末装置から会議サーバに対して制御信号を送信するだけの片方向通信路にて、複数の映像ソースの境界検出と、合成映像内における境界検出した映像ソースの大きさや位置を自由に変更が実現できる。すなわち、合成情報を受信するための処理を実装しなくても良い。
また、テレビ会議端末装置側で映像ソースの境界を示す矩形の枠を生成していることから、その矩形の枠自体の大きさや位置の変更はリアルタイムにて実現でき、それを操作するユーザに遅延等を感じさせない操作感を提供することが可能である。
一般的な多地点テレビ会議システムの構成を示す概略図。 本発明らが本発明をなす以前から知っていた会議サーバの構成を示すブロック図。 本発明の第１の実施の形態に係る多地点テレビ会議システムのシステム構成図。 本発明の第１の実施の形態に係るテレビ会議端末装置の外観を示す図。 本発明の第１の実施の形態に係るテレビ会議端末装置の構成を示すブロック図。 本発明の第１の実施の形態に係るテレビ会議端末装置において表示領域の座標軸を説明する図。 本発明の第１の実施の形態に係る領域管理テーブルの記入例１を示す図。 本発明の第１の実施の形態に係る領域管理テーブルの記入例２を示す図。 本発明の第１の実施の形態に係る矩形の枠の変更処理を説明するための図。 本発明の第１の実施の形態に係る矩形の枠の変更処理例を示す図。 本発明の第１の実施の形態に係る矩形の枠の変更処理による領域管理テーブルの変更例を示す図。 本発明の第１の実施の形態に係る矩形登録パケットのペイロード部分を示す図。 本発明の第１の実施の形態に係る矩形領域パケットのペイロード部分を示す図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例１を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例２を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例２を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例３を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例４を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例５を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例６を説明するための図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第一の図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第二の図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例７を説明するための第三の図。 本発明の第１の実施の形態に係る合成映像制御命令部が動作する様子の例８を説明するための図。 本発明の第１の実施の形態に係る会議サーバの構成を示すブロック図。 本発明の第１の実施の形態に係る会議サーバにおいて合成映像の座標軸を説明する図。 本発明の第１の実施の形態に係る配置情報管理テーブルの例を示す図。 本発明の第２の実施の形態に係る領域指定を行う様子を示す図。 本発明の第２の実施の形態に係る矩形の枠を表示させる位置の制限を説明する図。 本発明の第２の実施の形態に係る矩形の枠の大きさの制限を説明する図。 本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第一の例を説明するための図。 本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第一の例を説明するための図。 本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第二の例を説明するための図。 本発明の第２の実施の形態に係る合成映像制御命令部が動作する様子の第二の例を説明するための図。 本発明の第３の実施の形態に係る会議サーバの構成を示すブロック図。 本発明の第３の実施の形態に係る有効な入力映像ソースと合成画像の関係を示す図。 本発明の第３の実施の形態に係る登録済み映像と入力映像ソースと合成画像の関係の様子を示す図。 本発明の第４の実施の形態に係る領域管理テーブルの初期状態を示す図。 本発明の第４の実施の形態に係る合成映像制御パケットのペイロード部分を示す図。 本発明の第４の実施の形態に係る会議サーバの構成を示すブロック図。 本発明の第４の実施の形態に係る領域管理テーブルの変更状態を示す図。 本発明の第４の実施の形態に係る配置情報管理テーブルの例を示す図。
符号の説明
１、１B、１C、１D、１D、１E 通信機器
２ 会議サーバ
３ ネットワーク
３−１１、３−１２、３−１B、３−１C、３−１D、３−１E 通信路
１１ コンピュータ本体
１２ ディスプレイユニット
１３ LCD
１４ ポインティングデバイス
１５ ネットワーク通信デバイス
１００ 表示画面
１０１ ウィンドウ
２００ ポインタ
３００ 合成映像制御命令生成部
４００ 会議映像表示処理部
５００ ネットワーク通信処理部
３０１ ポインタ検出部
３０２ 領域検出部
３０３ 枠表示部
３０４ テーブル管理部
３０５ 制御データ生成部
３０６ 制御データ送信処理部
４０１ 受信映像表示部
４０２ 映像データ解析処理部
４０３ データ受信制御部
１０００ 表示領域
２０００ 矩形の枠
３０００ ダイアログ
４０００ 指定領域
１０ 入力映像検出部
５０ 映像合成処理部
７０ 制御情報処理部
８０ 配置情報記憶部
９０ 登録映像管理部
２０B、２０C、２０D、２０E 入力映像ソース
６０A 合成映像

Claims (17)

  1. 複数の映像ソースから生成された合成映像を受信する受信手段と、
    前記合成映像を表示する表示手段と、
    前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
    前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
    前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
    前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
    変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
    前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、
    を備えた映像表示装置。
  2. 前記制御信号送信手段は、初期化時に、予め与えられた、合成映像上の所定の領域を示す識別子と、前記所定の領域の位置情報又はサイズ情報又はこれらの両方とを含む初期化制御信号を前記合成映像の生成元へ送信する、
    ことを特徴とする請求項１に記載の映像表示装置。
  3. 前記領域生成表示手段は、前記指定された位置を含む所定の領域が前記領域管理手段に記憶されていない場合、前記表示された合成映像上に、予め指定されたデフォルト領域を示す情報を重ねて表示し、
    前記領域管理手段は、前記合成映像上における前記デフォルト領域の位置を示す位置情報と、前記デフォルト領域のサイズ情報と、前記デフォルト領域を識別する識別子とを関連づけて記憶し、
    前記制御信号送信手段は、前記領域管理手段によって記憶された前記デフォルト領域の位置情報、前記デフォルト領域のサイズ情報および前記デフォルト領域の識別子と、前記位置指定手段によって指定された位置を示す指定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信する、
    ことを特徴とする請求項１又は２に記載の映像表示装置。
  4. 前記表示手段によって表示された前記合成映像上の領域を指定する領域指定手段と、
    前記領域指定手段によって指定された領域における第１の既定位置を含む所定の領域が前記領域管理手段に記憶されていない場合は、前記指定された領域の位置およびサイズに基づき、予め与えられた複数の位置および複数のサイズのうちいずれかの位置およびサイズを選択する既定領域選択手段と、を備え、
    前記領域生成表示手段は、前記選択された位置およびサイズによる選択領域を示す情報を前記合成映像上に重ねて表示し、
    前記領域管理手段は、前記選択領域の位置情報とサイズ情報と当該選択領域を識別する識別子とを関連づけて記憶し、
    前記制御信号送信手段は、前記領域管理手段によって記憶された前記選択領域の位置情報、サイズ情報および識別子と、前記指定された領域又は前記選択領域における第２の既定位置を示す既定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信する、
    ことを特徴とする請求項１乃至３のいずれかに記載の映像表示装置。
  5. 前記領域指定手段は、ポインタをドラッグすることにより前記合成映像上の領域を指定し、
    前記第１の既定位置は、前記領域を指定する際の始点であることを特徴とする請求項４に記載の映像表示装置。
  6. 前記第２の既定位置は、前記指定された領域又は前記選択領域における中心位置であることを特徴とする請求項４又は５に記載の映像表示装置。
  7. 複数の映像ソースから合成映像を生成し、前記合成映像を配信する機能を備えた映像合成配信装置であって、
    前記映像ソースを受信する映像ソース受信手段と、
    各前記映像ソースの配置情報を管理する配置情報管理手段と、
    前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
    前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、
    前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
    前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
    を備えた映像合成配信装置。
  8. 前記制御信号受信手段は、前記合成映像の配信先から、前記合成映像上の位置を示す位置情報と、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む登録制御信号を受信し、
    前記映像管理手段は、前記登録制御信号に含まれる前記位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて前記映像管理手段に記憶し、
    前記配置情報更新手段は、前記登録制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
    ことを特徴とする請求項７に記載の映像合成配信装置。
  9. 前記映像ソース受信手段によって受信される映像ソースの数を検出する検出手段をさらに備え、
    前記映像ソース受信手段によって受信される映像ソースの数が増加した場合は、前記配置情報更新手段は、前記映像ソースの数に基づいて、増加した前記映像ソースと、前記映像管理手段に記憶されている映像ソースおよび前記増加した映像ソース、以外の映像ソースとの縮小率および配置位置を決定し、決定した縮小率および配置位置に基づいて当該映像ソースの配置情報を更新するとともに前記増加した映像ソースの配置情報を生成する、
    ことを特徴とする請求項７又は８に記載の映像合成配信装置。
  10. 前記映像ソース受信手段によって受信される映像ソースの数を検出する検出手段をさらに備え、
    前記映像ソース受信手段によって受信される映像ソースの数が減少した場合は、前記配置情報更新手段は、減少した前記映像ソースの配置情報を無効にするとともに前記受信された映像ソースの数に基づいて前記映像管理手段に記憶されている映像ソース以外の未登録映像ソースの縮小率および配置位置を決定し、決定した縮小率および配置位置によって前記未登録映像ソースの配置情報を更新する、
    ことを特徴とする請求項７又は８に記載の映像合成配信装置。
  11. 前記配置情報更新手段は、前記映像ソースの配置情報を更新する場合、前記配置情報が更新される映像ソースの、前記配置情報が更新されない映像ソースに対する面積の重なり率が所定の比率以下になるように、前記映像ソースの配置位置を決定する、
    ことを特徴とする請求項９又は１０に記載の映像合成配信装置。
  12. コンピュータに実行させるための映像表示プログラムであって、
    複数の映像ソースから生成された合成映像を受信する受信手段と、
    前記合成映像を表示する表示手段と、
    前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
    前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
    前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
    前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
    変更後の位置情報又はサイズ情報又はこれらの両方によって、記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
    更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記合成映像の生成元へ送信する制御信号送信手段と、
    して前記コンピュータを機能させることを特徴とする映像表示プログラム。
  13. 複数の映像ソースから合成映像を生成し、前記合成映像を配信する手段としてコンピュータを機能させる映像合成配信プログラムであって、
    前記映像ソースを受信する映像ソース受信手段と、
    各前記映像ソースの配置情報を管理する配置情報管理手段と、
    前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
    前記合成映像の配信先から、前記合成映像上における任意の領域の位置およびサイズを示す領域位置情報および領域サイズ情報と、前記任意の領域を識別する識別子とを含む更新制御信号を受信する制御信号受信手段と、
    前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
    前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
    して前記コンピュータを機能させることを特徴とする映像合成配信プログラム。
  14. 複数の映像ソースから合成映像を生成し前記合成映像を配信する映像合成配信装置と、前記映像合成配信装置から前記合成映像を受信して表示する映像表示装置とを備えた映像配信システムであって、
    前記映像表示装置は、
    前記合成映像を受信する受信手段と、
    前記合成映像を表示する表示手段と、
    前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段と、
    前記表示手段によって表示された前記合成映像上の位置を指定する位置指定手段と、
    前記位置指定手段によって指定された位置を含む前記所定の領域が前記領域管理手段に記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示する領域生成表示手段と、
    前記領域生成表示手段によって表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更する領域変更手段と、
    変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換える領域更新手段と、
    前記領域管理手段によって記憶された更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置へ送信する制御信号送信手段と、を備え、
    前記映像合成配信装置は、
    前記映像ソースを受信する映像ソース受信手段と、
    各前記映像ソースの配置情報を管理する配置情報管理手段と、
    前記複数の映像ソースから前記合成映像を生成する合成映像生成手段と、
    前記映像表示装置から前記更新制御信号を受信する制御信号受信手段と、
    前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段と、
    前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する配置情報更新手段と、
    を備えた映像配信システム。
  15. 前記映像表示装置における前記領域生成表示手段は、前記指定された位置を含む所定の領域が前記領域管理手段に記憶されていない場合、前記表示された合成映像上に、予め指定されたデフォルト領域を示す情報を重ねて表示し、
    前記映像表示装置における前記領域管理手段は、前記合成映像上における前記デフォルト領域の位置を示す位置情報と、前記デフォルト領域のサイズ情報と、前記デフォルト領域を識別する識別子とを関連づけて記憶し、
    前記映像表示装置における前記制御信号送信手段は、前記領域管理手段によって記憶された前記デフォルト領域の位置情報、前記デフォルト領域のサイズ情報および前記デフォルト領域の識別子と、前記位置指定手段によって指定された位置を示す指定位置情報とを含む登録制御信号を生成して前記映像合成配信装置へ送信し、
    一方、前記映像合成配信装置における前記制御信号受信手段は、前記映像表示装置から前記登録制御信号を受信し、
    前記映像合成配信装置における映像管理手段は、前記登録制御信号に含まれる前記位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて記憶し、
    前記映像合成配信装置における前記配置情報更新手段は、前記登録制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
    ことを特徴とする請求項１４に記載の映像配信システム。
  16. 前記映像表示装置は、
    前記表示手段によって表示された前記合成映像上の領域を指定する領域指定手段と、
    前記領域指定手段によって指定された領域における第１の既定位置を含む所定の領域が前記領域管理手段に登録されていない場合は、前記指定された領域の位置およびサイズに基づき、予め与えられた複数の位置および複数のサイズのうちいずれかの位置およびサイズを選択する既定領域選択手段と、を備え、
    前記映像表示装置における前記領域生成表示手段は、前記選択された位置およびサイズによる選択領域を示す情報を前記合成映像上に重ねて表示し、
    前記映像表示装置における前記領域管理手段は、前記選択領域の位置情報とサイズ情報と当該選択領域を識別する識別子とを関連づけて記憶し、
    前記映像表示装置における前記制御信号送信手段は、前記領域管理手段によって記憶された前記選択領域の位置情報、サイズ情報および識別子と、前記指定された領域又は前記選択領域における第２の既定位置を示す既定位置情報とを含む登録制御信号を生成して前記合成映像の生成元へ送信し、
    一方、前記映像合成配信装置における前記制御信号受信手段は、前記映像表示装置から前記登録制御信号を受信し、
    前記映像合成配信装置における映像管理手段は、前記登録制御信号に含まれる前記既定位置情報に示される位置上の前記映像ソースを特定し、特定した前記映像ソースと前記登録制御信号に含まれる識別子とを関連づけて記憶し、
    前記映像合成配信装置における前記配置情報更新手段は、前記登録制御信号に含まれる前記選択領域の位置情報およびサイズ情報によって、前記特定された映像ソースの配置情報を更新する、
    ことを特徴とする請求項１４に記載の映像配信システム。
  17. 複数の映像ソースから合成映像を生成する映像合成配信装置が、生成した前記合成映像を、前記合成映像を表示する映像表示装置に配信する映像配信方法であって、
    前記映像表示装置が、
    前記合成映像を受信し、
    前記合成映像を表示し、
    前記表示手段によって表示された前記合成映像上の位置の指定を受け付け、
    前記合成映像上における所定の領域の位置を示す位置情報と、前記所定の領域のサイズ情報と、前記所定の領域を識別する識別子とを関連づけて記憶する領域管理手段内に、指定された位置を含む前記所定の領域が記憶されている場合は、前記表示された合成映像上に、前記指定された位置を含む前記所定の領域を示す情報を重ねて表示し、
    表示された前記所定の領域の位置又はサイズ又はこれらの両方を変更し、
    変更後の位置情報又はサイズ情報又はこれらの両方によって、前記領域管理手段に記憶された前記所定の領域の位置情報又はサイズ情報又はこれらの両方を書き換え、
    更新後の前記位置情報又はサイズ情報又はこれらの両方と、前記所定の領域の識別子とを含む更新制御信号を生成して前記映像合成配信装置に送信し、
    前記映像合成配信装置が、
    各前記映像ソースを受信し、
    各前記映像ソースの配置情報に基づいて、前記複数の映像ソースから前記合成映像を生成し、
    前記合成映像の配信先から前記更新制御信号を受信し、
    前記映像ソースの各々と識別子とを関連づけて記憶する映像管理手段に基づき、前記更新制御信号に含まれる識別子に関連づけられた映像ソースを特定し、
    前記更新制御信号に含まれる前記領域位置情報および領域サイズ情報によって、前記特定された映像ソースの配置情報を更新する、
    ことを特徴とする映像配信方法。
JP2005015929A 2005-01-24 2005-01-24 映像表示装置、映像合成配信装置、プログラム、システム及び方法 Expired - Fee Related JP4434973B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005015929A JP4434973B2 (ja) 2005-01-24 2005-01-24 映像表示装置、映像合成配信装置、プログラム、システム及び方法
US11/335,823 US7559031B2 (en) 2005-01-24 2006-01-20 Video display apparatus, video composition delivery apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005015929A JP4434973B2 (ja) 2005-01-24 2005-01-24 映像表示装置、映像合成配信装置、プログラム、システム及び方法

Publications (2)

Publication Number Publication Date
JP2006201709A true JP2006201709A (ja) 2006-08-03
JP4434973B2 JP4434973B2 (ja) 2010-03-17

Family

ID=36756065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005015929A Expired - Fee Related JP4434973B2 (ja) 2005-01-24 2005-01-24 映像表示装置、映像合成配信装置、プログラム、システム及び方法

Country Status (2)

Country Link
US (1) US7559031B2 (ja)
JP (1) JP4434973B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086354A (ja) * 2005-09-21 2007-04-05 Toshiba Corp 合成映像制御装置、合成映像制御方法およびプログラム
JP2009237454A (ja) * 2008-03-28 2009-10-15 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010034878A (ja) * 2008-07-29 2010-02-12 Canon Inc テレビ会議システム、該システムに用いる情報処理装置及び方法、並びにコンピュータプログラム
JP2010213129A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd テレビ会議装置、テレビ会議システム、テレビ会議制御方法、及びテレビ会議装置のプログラム
JP2011223627A (ja) * 2011-06-24 2011-11-04 Kyocera Corp 画像送信装置、画像送信方法および画像送信プログラム
US8320466B2 (en) 2007-11-01 2012-11-27 Kabushiki Kaisha Toshiba Mixed video delivering apparatus and method, and computer storage medium
KR20160062787A (ko) * 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
JP2016517644A (ja) * 2013-03-08 2016-06-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ−ビデオ用のワイヤレスドッキングシステム
CN111343409A (zh) * 2020-02-13 2020-06-26 北京翼鸥教育科技有限公司 多个视频窗口动态排布的发起、同步方法及系统
JP2021039773A (ja) * 2020-11-10 2021-03-11 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
WO2023182230A1 (ja) * 2022-03-23 2023-09-28 国立大学法人大阪大学 情報処理装置及びプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100532416B1 (ko) * 2003-01-18 2005-11-30 삼성전자주식회사 다중 소스의 다중 채널로의 할당 방법 및 시스템
JP2007065356A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 合成オブジェクト表示装置、合成オブジェクト表示方法およびプログラム
JP2008067203A (ja) * 2006-09-08 2008-03-21 Toshiba Corp 映像合成装置、方法およびプログラム
JP4274217B2 (ja) * 2006-09-21 2009-06-03 セイコーエプソン株式会社 画像表示装置、画像表示システム、及びネットワーク接続方法
WO2008093391A1 (ja) * 2007-01-29 2008-08-07 Mitsubishi Electric Corporation 画像表示装置及び画像表示方法
US20090083639A1 (en) * 2007-09-26 2009-03-26 Mckee Cooper Joel Distributed conference and information system
US9060094B2 (en) 2007-09-30 2015-06-16 Optical Fusion, Inc. Individual adjustment of audio and video properties in network conferencing
JP4569664B2 (ja) * 2008-05-09 2010-10-27 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画面送信方法および画面送信プログラム
NO332960B1 (no) * 2008-10-07 2013-02-11 Cisco Systems Int Sarl Fremgangsmate, innretning og datamaskinprogram for a prosessere bilder under videokonferanser
JP5200928B2 (ja) * 2008-12-29 2013-06-05 ブラザー工業株式会社 テレビ会議システム、帯域制御方法、会議制御装置、テレビ会議端末装置及びプログラム
US8854416B2 (en) * 2010-04-27 2014-10-07 Lifesize Communications, Inc. Recording a videoconference using a recording server
US9143570B2 (en) 2010-05-04 2015-09-22 Microsoft Technology Licensing, Llc Desktop screen sharing over HTTP
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US9148699B2 (en) * 2012-06-01 2015-09-29 Texas Instruments Incorporated Optimized algorithm for construction of composite video from a set of discrete video sources
US10140198B1 (en) * 2012-10-30 2018-11-27 Google Llc Networked desktop environment
WO2015167511A2 (en) * 2014-04-30 2015-11-05 Empire Technology Development Llc Adjusting tap position on touch screen
TWI511104B (zh) * 2014-10-07 2015-12-01 Wistron Corp 互動式電子白板操作方法以及使用該方法的裝置
US10108434B2 (en) * 2015-09-11 2018-10-23 Vmware, Inc. Booting a computing device by streaming a desktop image over a network
KR102407127B1 (ko) 2016-01-05 2022-06-10 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법
CN107068100B (zh) * 2017-05-19 2019-09-20 硅谷数模半导体（北京）有限公司 液晶面板显示画面的方法和装置
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
US11494152B2 (en) 2019-03-13 2022-11-08 Xi'an Novastar Tech Co., Ltd. Method, device and system for configuring display screen
CN111669717B (zh) * 2020-05-08 2022-03-25 广州微算互联信息技术有限公司 云手机数据发送方法、计算机装置和存储介质
CN111641797B (zh) * 2020-05-25 2022-02-18 北京字节跳动网络技术有限公司 视频通话界面显示控制方法、装置、存储介质及设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159667A (en) * 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
JPH05103324A (ja) 1991-10-09 1993-04-23 Mitsubishi Electric Corp 多地点テレビ会議制御装置
JPH07111675B2 (ja) * 1992-02-28 1995-11-29 インターナショナル・ビジネス・マシーンズ・コーポレイション ウィンドウ表示装置および方法
US5796402A (en) * 1993-12-03 1998-08-18 Microsoft Corporation Method and system for aligning windows on a computer screen
US5467450A (en) * 1994-01-14 1995-11-14 Intel Corporation Process and apparatus for characterizing and adjusting spatial relationships of displayed objects
US5487143A (en) * 1994-04-06 1996-01-23 Altera Corporation Computer user interface having tiled and overlapped window areas
US5572647A (en) * 1994-11-04 1996-11-05 International Business Machines Corporation Visibility seeking scroll bars and other control constructs
JPH08297617A (ja) 1995-04-26 1996-11-12 Nippon Denki Joho Service Kk コンピュータの遠隔表示装置
US5675755A (en) * 1995-06-07 1997-10-07 Sony Corporation Window system preventing overlap of multiple always-visible windows
JPH0981107A (ja) 1995-09-07 1997-03-28 Fujitsu Ltd ウィンドウ表示制御装置
US5764277A (en) * 1995-11-08 1998-06-09 Bell Communications Research, Inc. Group-of-block based video signal combining for multipoint continuous presence video conferencing
JPH09149396A (ja) 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
US5889932A (en) * 1996-05-03 1999-03-30 Barco Graphics N.V. Method of checking graphical data for conformity to graphical design rules
US6760638B1 (en) * 2000-05-16 2004-07-06 Esko Graphics, Nv Method and apparatus for resolving overlaps in a layout containing possibly overlapping designs
DE10126790A1 (de) * 2001-06-01 2003-01-02 Micronas Munich Gmbh Verfahren und Vorrichtung zur Darstellung von wenigstens zwei Bildern in einem Gesamtbild
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
JP2004234426A (ja) 2003-01-31 2004-08-19 Toshiba Corp ウィンドウ管理プログラム、アプリケーション管理プログラム、アプリケーションプログラム、及び、ウィンドウ表示装置
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
US8127248B2 (en) * 2003-06-20 2012-02-28 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
US20050125742A1 (en) * 2003-12-09 2005-06-09 International Business Machines Corporation Non-overlapping graphical user interface workspace
US20050151836A1 (en) * 2004-01-09 2005-07-14 Ni Hong T. Video conferencing system
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US8417773B2 (en) * 2004-02-25 2013-04-09 International Business Machines Corporation Method and structure for automated layout director
US7113200B2 (en) * 2004-05-21 2006-09-26 Polycom, Inc. Method and system for preparing video communication image for wide screen display
US7176957B2 (en) * 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4695474B2 (ja) * 2005-09-21 2011-06-08 株式会社東芝 合成映像制御装置、合成映像制御方法およびプログラム
US7974494B2 (en) 2005-09-21 2011-07-05 Kabushiki Kaisha Toshiba Image control from composed composite image using HID signal conversion to source image coordinates
JP2007086354A (ja) * 2005-09-21 2007-04-05 Toshiba Corp 合成映像制御装置、合成映像制御方法およびプログラム
US8320466B2 (en) 2007-11-01 2012-11-27 Kabushiki Kaisha Toshiba Mixed video delivering apparatus and method, and computer storage medium
JP2009237454A (ja) * 2008-03-28 2009-10-15 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010034878A (ja) * 2008-07-29 2010-02-12 Canon Inc テレビ会議システム、該システムに用いる情報処理装置及び方法、並びにコンピュータプログラム
JP2010213129A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd テレビ会議装置、テレビ会議システム、テレビ会議制御方法、及びテレビ会議装置のプログラム
JP2011223627A (ja) * 2011-06-24 2011-11-04 Kyocera Corp 画像送信装置、画像送信方法および画像送信プログラム
JP2016517644A (ja) * 2013-03-08 2016-06-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ−ビデオ用のワイヤレスドッキングシステム
KR20160062787A (ko) * 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
KR101641184B1 (ko) * 2014-11-25 2016-08-01 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
CN111343409A (zh) * 2020-02-13 2020-06-26 北京翼鸥教育科技有限公司 多个视频窗口动态排布的发起、同步方法及系统
CN111343409B (zh) * 2020-02-13 2021-12-28 北京翼鸥教育科技有限公司 多个视频窗口动态排布的发起、同步方法及系统
JP2021039773A (ja) * 2020-11-10 2021-03-11 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
JP7070637B2 (ja) 2020-11-10 2022-05-18 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
WO2023182230A1 (ja) * 2022-03-23 2023-09-28 国立大学法人大阪大学 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US7559031B2 (en) 2009-07-07
US20060170763A1 (en) 2006-08-03
JP4434973B2 (ja) 2010-03-17

Similar Documents

Publication Publication Date Title
JP4434973B2 (ja) 映像表示装置、映像合成配信装置、プログラム、システム及び方法
US11029770B2 (en) Image display apparatus and method, image display system, and program
JP4695474B2 (ja) 合成映像制御装置、合成映像制御方法およびプログラム
US8120581B2 (en) Integrated control system with keyboard video mouse (KVM)
USRE46386E1 (en) Updating a user session in a mach-derived computer system environment
US8117275B2 (en) Media fusion remote access system
TWI313432B (en) A kvm switch and a computer switching method
US20140240445A1 (en) System And Method For Multi-User Control And Media Streaming To A Shared Display
JP2007065356A (ja) 合成オブジェクト表示装置、合成オブジェクト表示方法およびプログラム
US20110208807A1 (en) System and method for providing a two-tiered virtual communications architecture in a network environment
JP4513592B2 (ja) コンピュータ切替装置及びそれに用いるコンピュータ切替方法並びにそのプログラム
AU2013345759A1 (en) Transmission system and program
EP3107282A1 (en) Information terminal, system, control method, and recording medium
JP2004317583A (ja) 描画装置
JP2005149440A (ja) 画面共有制御方法
WO2015022723A1 (ja) マルチ画面表示システム、画像描画方法及び画像描画プログラム
TWI507872B (zh) 遠端管理系統及方法
JP2018041240A (ja) 表示装置、表示方法及び表示プログラム
US20080036695A1 (en) Image display device, image display method and computer readable medium
JP5130891B2 (ja) データ送信装置及びデータ送信方法
JP2001197461A (ja) マルチメディア情報操作ウインドウの共有操作方法
US20160041834A1 (en) Virtual Desktop Client, Control Chip for Virtual Desktop Client and Method for Controlling Server Device
CN102122207A (zh) 远程管理系统
WO2006014904A2 (en) System and method for networked computer graphics
KR100823560B1 (ko) 컴퓨터 작업 공간을 복수의 사용자가 공유하는 원격 공유시스템 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees