JP2007004573A - 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法 - Google Patents

表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法 Download PDF

Info

Publication number
JP2007004573A
JP2007004573A JP2005185090A JP2005185090A JP2007004573A JP 2007004573 A JP2007004573 A JP 2007004573A JP 2005185090 A JP2005185090 A JP 2005185090A JP 2005185090 A JP2005185090 A JP 2005185090A JP 2007004573 A JP2007004573 A JP 2007004573A
Authority
JP
Japan
Prior art keywords
screen
information
image information
priority
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005185090A
Other languages
English (en)
Other versions
JP2007004573A5 (ja
JP4604877B2 (ja
Inventor
Eriko Tamaru
恵理子 田丸
Kazunori Horikiri
和典 堀切
Miki Watanabe
美樹 渡辺
Masatomi Inagaki
政富 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2005185090A priority Critical patent/JP4604877B2/ja
Priority to US11/259,667 priority patent/US8041767B2/en
Priority to CN200510136950.8A priority patent/CN100548042C/zh
Priority to KR1020060015068A priority patent/KR100751525B1/ko
Publication of JP2007004573A publication Critical patent/JP2007004573A/ja
Publication of JP2007004573A5 publication Critical patent/JP2007004573A5/ja
Application granted granted Critical
Publication of JP4604877B2 publication Critical patent/JP4604877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】受信側の会議端末に画像情報を選択させるための基準を提供する。
【解決手段】行為検出部48は、カメラ50から取得した撮像データを画像解析して、発表者の行為を検出する。ローカル会議端末14aは、ローカル会議端末14aの画面20に表示された画像情報に対して、発表者の行為に基づいて、リモート会議端末14bの画面30に画像情報を表示するか否かの判断基準となる優先度を割り当てる。ローカル会議端末14aは、画像情報と共に画像情報に割り当てられた優先度情報をリモート会議端末14bへ送信する。リモート会議端末14bは、受信した優先度情報に基づき、リモート会議端末14bの画面30の数だけ画像情報を抽出し、画面30に抽出した画像情報を割り当てる。
【選択図】図4

Description

本発明は、コンピュータが複数の画像情報を受信し、受信した画像情報をコンピュータが持つ表示画面に表示するための表示画像制御に関し、特に、送信される画像情報の数とコンピュータが管理する表示画面の数が異なる場合における表示画像制御に関する。
一般に、電子会議システムでは、通信回線を介して隔地にある会議室のコンピュータ同士を接続し、各コンピュータ間で画像情報はリアルタイムに送受信されている。そして、受信された画像情報は、各会議室のコンピュータが管理する液晶ディスプレイなどの表示画面に表示される。例えば、ある会議室で発表者がプレゼンテーションを行い、その会議室の表示画面に表示されている画像情報が別の会議室のコンピュータへ送信され、別の会議室の表示画面にも画像情報が表示される。そのため、受信側会議室にいる参加者は、上記のプレゼンテーションの内容を確認することが出来る。
また、発表者が複数の画面を併用してプレゼンテーションを行えば、それぞれの画面に表示された画像情報を、別の会議室にいる参加者も複数の画面を見ながらプレゼンテーションの内容を確認することが出来る。このように複数の画面を利用すると、別の会議室にいる参加者は、一度に多くの情報を確認出来るため、プレゼンテーションの内容を把握し易い。
ところで、送信側の会議室と受信側の会議室とで使用される画面数が同じ、即ち対称な画面数であれば、送信側の会議室から送信された画像情報を、受信側の会議室の画面にそのまま割り振って表示させることが出来るため、問題は発生しない。
しかし、送信側の会議室と受信側の会議室とで使用される画面数が異なる場合、特に受信側の会議室で使用される画面数が少ない場合、送信側の会議室から送信された画像情報の全てを、受信側の会議室に設けられた表示画面で同時に表示することは出来ない。
そこで、このような不都合を解消する方法として、受信側の会議室の視聴者が、送信された画像情報の中から受信側の会議室の表示画面の数だけ選ぶことが考えられる。しかし、受信側の会議室の視聴者は発表者が選択してほしい画面を選択するための基準が無いため、画像情報を勝手に選択せざるを得ない。このため、受信側の会議室にいる視聴者によって選択された画像情報は、発表者が選択して欲しい画像情報とは限らない。
そこで、プレゼンテーションの進行に応じて、送信側の会議室の発表者が、選択して欲しい画像情報を選択することが考えられる。しかし、発表者はプレゼンテーションしながら画像情報を選択しなければならないため、混乱しやすい。複数の画像情報を選択する必要がある場合は、特に発表者は混乱し易い。また、複数の受信側の会議室がある場合、発表者が全ての会議室に合うように画像情報を選択することは難しい。
本発明は、上記従来技術の問題を鑑み、発表者側の会議室に設けられた画面数と、隔地にある会議室に設けられた画面数が非対称な場合であっても、発表者のプレゼンテーションの内容を理解する上で都合のよい画像情報を、隔地側で表示させる画面制御プログラムを提供する。
本発明の表示画像制御プログラムは、ローカル側で画面表示した画像情報を配信することによって、視聴者が使用する1乃至複数台のリモート会議端末装置に画面表示させる発言者使用のローカル会議端末装置を、複数の画像情報を画面表示する画面制御手段、画面制御手段が画面表示している各画像情報に対して、リモート会議端末装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てる優先度割当手段、画面制御手段が画面表示している画像情報と、優先度割当手段が各画像情報に割り当てた優先度とを各リモート会議端末装置へ送信する情報配信処理手段、として機能させる。
本発明の表示画像制御プログラムは、さらに、ローカル会議端末装置を、発言者の行為を検出する行為検出手段として機能させ、優先度割当手段は、行為検出手段が検出した行為を解析することによって各画像情報に割り当てる優先度を決定する。
本発明の表示画像制御プログラムにおいて、行為検出手段は、発言者を撮像する撮像手段から送られてくる撮像データを解析することで発言者の行為を検出する。
本発明の表示画像制御プログラムは、ローカル会議端末装置を、行為検出手段が検出した行為を解析することによって発言者が説明に用いている画像情報を特定する画像情報特定手段として機能させ、情報配信処理手段は、画像情報特定手段が特定した画像情報を識別するためのフォーカス情報を、各リモート会議端末装置へ送信する。
本発明の表示画像制御プログラムは、発言者使用のローカル会議端末装置を、画面制御手段が画面表示している各画像情報に、優先度割当手段によって割り当てられた優先度と、該画像情報が、発言者が説明に用いている画像情報であるか否かを表すフォーカス情報とを割り当て、送信情報を生成する送信情報生成手段として機能させ、情報配信処理手段は、送信情報生成手段によって生成された送信情報を、各リモート会議端末装置へ送信する。
本発明の表示画像制御プログラムは、さらに、発言者使用のローカル会議端末装置から配信されてくる画像情報を画面表示する視聴者使用のリモート会議端末装置を、ローカル会議端末装置から配信されてくる複数の画像情報と、各画像情報に対して当該画像情報を画面表示するか否かの判断基準となる優先度情報とを受信する情報受信処理手段、情報受信処理手段が受信した画像情報の中からリモート会議端末装置が持つ画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示する表示処理手段、として機能させる。
本発明の表示画像制御プログラムにおいて、情報受信処理手段は、各画像情報に対して発言者が説明に用いている画像情報であるか否かを示すフォーカス情報を受信し、表示処理手段は、情報受信処理手段が受信した情報の中から一つの画像情報を、受信したフォーカス情報に基づき抽出し、他の画面と異なる形態で表示する。
本発明の画像配信装置は、複数の画像情報を画面表示する画面制御手段と、画面に表示した画像情報を、画面表示させるために1乃至複数台の表示画像制御装置に配信する情報配信処理手段とを備える画像配信装置において、画面制御手段が画面表示している各画像情報に対して、表示画像制御装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てる優先度割当手段を備え、情報配信処理手段は、優先度割当手段が各画像情報に割り当てた優先度を各表示画像制御装置へ送信する、ことを特徴とする。
本発明の表示画像制御装置は、画像配信装置から配信されてくる画像情報を表示するための1乃至複数の画面を有する表示画像制御装置であって、画像配信装置から配信されてくる複数の画像情報と、各画像情報に対して当該画像情報を画面表示するか否かの判断基準となる優先度情報とを受信する情報受信処理手段と、情報受信処理手段が受信した画像情報の中から画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示する表示処理手段と、を備えることを特徴とする。
本発明の表示画像制御方法は、画面表示した画像情報を配信する画像配信装置と、配信された画像情報を画面表示する表示画像制御装置と、を備える画像配信システムにおいて、画像配信装置は、複数の画像情報を表示するステップと、各画像情報に対して、表示画像制御装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てるステップと、画面表示している画像情報と、各画像情報に割り当てられた優先度とを各表示画像制御装置へ送信するステップと、を含み、表示画像制御装置は、画像配信装置より配信された画像情報と各画像情報に割り当てられた優先度情報とを受信するステップと、受信した画像情報の中から、表示画像制御装置が持つ画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示するステップと、を含む。
以上のように、ローカル会議端末装置はリモート会議端末装置へ、各画像情報に割り当てた優先度情報を送信することによって、リモート会議端末装置に、画面表示するか否かの基準となる優先度情報に基づいて、画像情報を選択させることが出来る。
以下、図面に基づいて本発明の好適な実施の形態について説明する。図1は本実施の形態に係る電子会議システム10の全体構成を示す図である。同図に示すように電子会議システム10では、通信回線を介して隔地にある複数の会議室12a〜12fに会議端末14a〜14fが設置され、各会議端末14a〜14fが相互に接続されている。ここで、各会議端末14a〜14fは、電子会議でやり取りされる画像情報や音声情報を管理するためのコンピュータなどの情報処理端末である。尚、音声情報については、本発明の趣旨となる情報ではないため、以後、説明を省略する。
電子会議において、ある会議室12aにおいて画面表示された画像情報は、通信回線を介して他の会議室12b〜12fへ送信される。他の会議室12b〜12fは画像情報を受信し、画像情報を画面16b〜16fに表示する。このように、各会議室12a〜12fの画面16a〜16fに共通の画像情報が表示され、各会議室12a〜12fにいる参加者が画像情報を共有することが出来る。
各会議端末14a〜14fは複数の画面を備え、複数の画像情報を同時に表示することが可能である。しかし、全ての会議端末14a〜14fが持つ画面数が同じとは限らない。
送信側の会議端末が送信する画像情報の数より、受信側の会議端末が持つ画面数が多ければ画像情報の全てを同時に表示することが可能だが、送信される画像情報の数が、受信側の会議端末が持つ画面数より多い場合、受信側の会議端末は送信された画像情報の全てを同時に表示することはできない。
そこで本発明では、受信側の会議端末に、送信側の会議端末が送信する画像情報から画面表示する画像情報を選択させるための基準を提供するようにした。
受信側の会議端末に、画面に表示する画像情報を選択させる基準について、図2を用いて説明する。尚、各会議端末14a〜14fは共通の構成であるが、説明の便宜上、画像情報を送信する会議端末をローカル会議端末14aとし、他の会議端末14b〜14fを代表して、画像情報を受信する会議端末をリモート会議端末14bとして説明する。そして、ローカル会議端末14aは4つの画面16a(以後、説明の便宜上画面20として説明する)を備え、リモート会議端末14bは2つの画面16b(以後、説明の便宜上画面30として説明する)を備えるものとする。図2はローカル会議端末14aのある会議室12aで行なわれているプレゼンテーションの流れを示した図である。
会議室12aには4つの画面20a〜20dがあり、発表者はこれらの画面を利用して発表を行なう。尚、図に示した左の画面から画面20a、画面20b、画面20c、画面20dとする。発表者は、プレゼンテーションを始めてから終えるまでの間に、4つの画面に表示された表示画像を説明に用いる。しかし、発表者は、説明するときに全ての表示画像を同時に用いているわけではない。通常、発表者は、1つの表示画像を用いて説明する。
例えば、プレゼンテーションの開始時に、発表者は、プレゼンテーションの議題について説明するため、議題が表示されている画面20aのそばへ移動し、画面20aに表示された表示画像を利用しながら議題を説明する(図2の100)。続いてプレゼンテーションの本題について説明するために、発表者は画面20bの右側へ移動し、画面20bの表示画像を利用しながら説明する。また、指示棒やポインティングデバイスを利用して画面20bの特定箇所を指し示しながら説明することもある(図2の101)。発表の途中で、本題の説明を補足するために、発表者は補足内容が表示されている画面20cへ体の向きを変えて、画面20cに表示されている表示画像を利用しながら説明する(図2の102)。発表者は、表示画像に書き込みする場合もある(図2の103)。
このように、発表者が説明に用いる画面は、プレゼンテーションの進行に従って変化する。発表者が表示画像を用いて説明する場合、発表者は説明に用いている表示画像が表示される画面に対し何らかの行為を及ぼす。一方、発表者は、その他の画面を放置している。
発表者がある画面に対し何もしなくってから経過した時間が長ければ、その画面に表示されている表示画像は、その時説明しようとしている内容に対して関係が薄いといえる。そこで、発表者が画面に対しなにもしなくなってから経過した時間の長さを、リモート会議端末14bの表示画面30a,30bに画像情報を表示させるか否かの判断基準となる優先度を設定するための基準として利用する。
次に、リモート会議端末14bに送信された4つの画像情報から、リモート会議端末14bが2つの表示画面に表示する画像情報、及び他の画像情報と異なる形態で表示する画像情報を選択する方法について図3を用いて説明する。図3は、ローカル会議端末14aからリモート会議端末14bへ送信される送信情報18のデータ構成図の概要である。
送信情報18は、ローカル会議端末14aに表示する画面ごとに存在する。各送信情報18a〜18dは、画面ID22、画像情報24、優先度情報26、フォーカス情報28を含む。
画面ID22は、ローカル会議端末14aで表示される画面20に対応する識別子であり、各画面20a〜20dに固有の画面ID22a〜22dが割り振られる。画像情報24は画面ID22で特定される画面20において表示された画像情報のことである。優先度情報26は、画像情報24をリモート会議端末14bにおいて画面表示するか否かの判断基準となる情報のことである。尚、本実施の形態では、優先度情報26の値が小さいほど、画面ID22に対応する画像情報24はリモート会議端末14bにおいて画面表示される可能性が高いことを表している。フォーカス情報28は、ローカル会議端末14aにおいて、画面20に表示された画像情報24が、発表者が説明に用いている画像情報であるか否かを示す、画像使用の有無に関する情報である。フォーカス情報28が「1」であれば画像情報は説明に用いられていることを表し、「0」であれば画像情報は説明に用いられていないことを表す。
ローカル会議端末14aは、各画面ID22a〜22dに画像情報24、優先度情報26およびフォーカス情報28を対応付けることによって各送信情報18a〜18dを生成し、リモート会議端末14bへ送信する。リモート会議端末14bは、各送信情報18a〜18dを受信し、各画面ID22a〜22dに対応する各優先度情報26a〜26dに基づいて、リモート会議端末14bの画面30に表示する画像情報を選択する。また、フォーカス情報28が「1」である画面ID22に対応する送信情報18の画像情報24を、他の画像情報24と異なる形態で画面表示する。例えば、画像情報24を画面の縁を彩るように一定幅の色の画像と共に画像情報24を表示する。
1例を挙げてローカル会議端末14aによる画像情報24の選択方法について説明する。各画面ID22a〜22dに対応する優先度情報26a〜26dが、「3,1,2,3」であるような送信情報18を、ローカル会議端末14aが生成し、リモート会議端末14bへ送信したとする。リモート会議端末14bは、各送信情報18a〜18dから、優先度情報26a〜26dの値が小さい送信情報18を、リモート会議端末14bの画面数だけ選択する。上述した送信情報18を、優先度情報26の値が小さい(優先度が高い)順に並べると、画面ID22は、画面ID22b(優先度情報=1)、画面ID22c(優先度情報=2)、画面ID22a(優先度情報=3)、画面ID22d(優先度情報=3)の順に並び替えられる。リモート会議端末14bは、2つの表示画面30a,30bを備えているので、これらの画面に画面ID22bと画面ID22cとに対応する画像情報24を表示する。また、リモート会議端末14bは、画面ID22bで識別される送信情報18bのフォーカス情報28が「1」であることを検出し、画像情報24bを他と異なる形態で表示する。
このように、リモート会議端末14bが、画面30に表示する画像情報24を選択するためには、ローカル会議端末14aが各画像情報24a〜24dに対して、リモート会議端末14bにおいて画像情報24を画面表示するか否かの判断基準となる優先度情報26a〜26dを割り当て、リモート会議端末14bへ送信する。リモート会議端末14bは、各優先度情報26a〜26dに基づいて、優先度情報26の値の小さい(優先度が高い)順にリモート会議端末14bの画面数だけ画像情報26を選択する。以上で、本実施の形態における概要の説明を終了する。
続いて、本実施の形態における、ローカル会議端末14a及びリモート会議端末14bの構成について図4を用いて説明する。図4はローカル会議端末14a及びリモート会議端末14bの構成を示すブロック図である。ローカル会議端末14aは、表示制御処理部40、行為検出部48、フォーカス決定処理部52、プライオリティ決定部54、送信情報生成部56、通信処理部60を備える。一方、リモート会議端末14bは通信処理部61、表示制御処理部62を備える。そして、表示制御処理部62は、画面割付処理部64、フォーカス割付処理部66、表示状態保持部68を備える。
尚、本実施の形態において、ローカル会議端末14aとリモート会議端末14bは、同様の構成であるため、図4のブロック図において構成を揃えて記載している。そして、情報の流れの違いを矢印の表記によって表している。リモート会議端末14bとローカル会議端末14aは、説明の便宜上、送信情報18の送信側端末と受信側端末に分けたに過ぎず、リモート会議端末14bからローカル会議端末14aへ送信情報18を送信することも可能である。
表示制御処理部40は、複数の画面20a〜20dを備え画像情報を表示する機能を有する。表示制御処理部40は外部の記憶部41と接続され、画面表示する資料データや注釈データ(以後、これらをあわせて資料データとする)を取得する。
各画面20a〜20dは(以後、代表して画面20aとする)、表示制御処理部40から送信される画像情報を表示する機能を備える。また画面20aは、ペンデバイス44のペン先が画面20aに接触した場合に、画面20aを識別する情報である画面ID22と、ペンデバイス44のペン先が接触した位置を表す座標情報と、使用されたペンデバイス44の色の種類を表す色識別情報とを表示制御処理部40へ送信する機能を備える。
表示制御処理部40は、画面ID22、座標情報および色識別情報を受信すると、画面ID22によって特定される画面20aにおける座標情報によって特定される位置に、色識別情報によって特定される色の画像を表示する。
表示された色の画像は、ペンデバイス44のペン先が移動した後もそのまま残る。そのため、発表者がペンデバイス44のペン先を画面に接触させながらペンデバイス44を移動させた場合、ペン先が移動した軌跡が画面に残る。そのため、発表者は、ペンデバイス44を用いて画面20aに書き込みすることが出来る。
表示制御処理部40は、資料データと、発表者がペンデバイス44を用いて書き込みすることによって追加された画像情報(以後、追記画像情報とする)とを併せて各画面20a〜20dに表示する。本実施の形態においてローカル会議端末14aがリモート会議端末14bへ送信する画像情報24は、資料データと追記画像情報とを重ねて表示した情報のことを指す。表示制御処理部40は、各画面20a〜20dに表示した画像情報24a〜24dを各画面20a〜20dの画面ID22に対応させて送信情報生成部56へ送信する。また、表示制御処理部40は、各画面20a〜20dに表示した各追記画像情報を各画面20a〜20dの画面ID22a〜22dに対応させて行為検出部48へ送信する。
行為検出部48は、カメラ50に接続される。カメラ50は会議室12aに設置され、カメラ50の枠内に全画面20a〜20d及び発表者を映し撮像データを生成する。行為検出部48は、カメラ50から撮像データを受信し、撮像データを画像解析することによって、発表者が行為を及ぼしている行為画面と発表者の行為の種類を表す行為種類を特定する機能を有する。また、行為検出部48は、表示制御処理部40から追記画像情報を受信し、追記画像情報を利用して、行為画面と行為種類を特定する機能を有する。行為検出部48は、内部に記憶部m1(図示せず)を備えており、行為画面の画面ID22と行為種類を記憶部m1に保持する。また、行為検出部48は、行為画面の画面ID22と画面ID22に対応する行為種類の情報をフォーカス決定処理部52およびプライオリティ決定部54へ送信する。
フォーカス決定処理部52は、発表者が説明に用いている画像情報24を表示している画面20を特定するフォーカス情報28の値を決定する役割を有する。フォーカス決定処理部52は、行為検出部48から行為画面の画面ID22と行為種類を受信し、これらの情報を基に発表者が説明に用いている画像情報24を識別するためのフォーカス情報28を生成する。フォーカス決定処理部52は、内部に記憶部m2(図示せず)を備えており、各画面ID22a〜22dと対応するフォーカス情報28を記憶部m1に保持する。また、フォーカス決定処理部52は、各画面ID22a〜22dと各画面ID22a〜22dに対応するフォーカス情報28を送信情報生成部56へ送信する。
プライオリティ決定部54は、画像情報24をリモート会議端末14bで画面表示させるか否かを決定する基準となる優先度情報26の値を決定する役割を有する。プライオリティ決定部54は、行為検出部48から行為画面の画面ID22と行為種類を受信し、これらの情報から、各画面20a〜20dに表示される各画像情報24a〜24dに対して、リモート会議端末14bが画像情報24を画面表示するか否かの判断基準となる優先度を表す優先度情報26を生成する。プライオリティ決定部54は、画面ID22、優先度情報26、イベント種類25(詳細は後述する)、イベント受信時刻27(詳細は後述する)を、プライオリティ決定部54の内部に設けられた記憶部m3(図示せず)に各画面ID22a〜22dに対応させて保持すると共に、同様の情報を送信情報生成部56へ送信する。
送信情報生成部56は、リモート会議端末14bに送信する送信情報18を生成する役割を有する。送信情報生成部56は、フォーカス決定処理部52からフォーカス情報28を受信し、プライオリティ決定部54から優先度情報26を受信し、表示制御処理部40から画像情報24を受信し、受信したこれらの情報に従って送信情報18を生成し、通信処理部60へ送信する。送信情報生成部56は、内部に記憶部m4(図示せず)を備え、記憶部m4に、各画面ID22a〜22dに対応させて、画面役割23、優先度情報19、イベント種類25、イベント受信時刻27を保持する。送信情報生成部56は、記憶部m4に保持された情報と表示制御処理部40から受信した画像情報24を基に、送信情報18を生成する。
通信処理部60は、送信情報生成部56から送信情報18を受信し、リモート会議端末14bへ送信する機能を有する。
尚、ローカル会議端末14aにおける各部の機能は、ローカル会議端末14aに内蔵されたアプリケーションとハードウェア資源とが協働して動作することによって実現される。
以上でローカル会議端末14aの構成についての説明を終了する。続いて、リモート会議端末14bの構成について説明する。
リモート会議端末14bの通信処理部61は、ローカル会議端末14aから送信情報18を受信し、送信情報18を表示制御処理部62へ送信する機能を有する。
表示制御処理部62は、リモート会議端末14bが持つ画面30に画像情報24を表示する機能を有する。表示制御処理部62は、複数(本実施例では2つとする)の画面30a,30b、画面割付処理部64、フォーカス割付処理部66、表示状態保持部68を備える。
表示制御処理部62は、通信処理部61から送信情報18を受信し、画面割付処理部64によって決定された画面割付に従って画像情報24を表示し、フォーカス割付処理部66によって決定された画像情報24を他と異なる形態で表示する機能を有する。
画面割付処理部64は、リモート会議端末14bの各画面30a,30bに、受信した送信情報18に含まれる画面ID22を割り当てる機能を有する。画面割付処理部64は、内部に記憶部m5(図示せず)を備え、ローカル会議端末14aの各画面30a,30bを特定するための識別子であるリモート画面ID32と、ローカル会議端末14aの画面30に表示させる画像情報24を含む送信情報18の画面ID22を、対応付けて保持する。
フォーカス割付処理部66は、内部に記憶部m6(図示せず)を設けており、記憶部m6にリモート画面ID32と、画像情報24を他と異なる形態で表示させるか否かを表すフォーカス情報28とを対応付けて保持する。
表示状態保持部68は、各リモート画面ID32a,32bに対応する送信情報18に含まれる画面ID22、送信情報18に含まれるフォーカス情報28を保持する記憶部である。
表示制御処理部62は、リモート会議端末14bの各画面30a,30bに、ローカル会議端末14aから送信された画像情報24を表示する機能を有する。その際、表示状態保持部68の情報を基に画像情報24を選択し、画面30に表示する。
尚、リモート会議端末14bにおける各部の機能は、リモート会議端末14bに内蔵されたアプリケーションとハードウェア資源とが協働して動作することによって実現される。
以上でリモート会議端末14bの構成についての説明を終了する。
ここで、ローカル会議端末14aからリモート会議端末14bへ送信される送信情報18のデータ構成について図10を用いて説明する。図10に示す送信情報18は、図3に示す送信情報18を詳細にした情報である。そのため、同じ役割を有する情報に関しては、同一の符号で記載している。送信情報18は、画面ID22、画像情報24、優先度情報26、フォーカス情報28、画面役割23、行為種類25、イベント受信時刻27、から構成される。
画面ID22は、ローカル会議端末14aで表示される各画面20a〜20dに対応する識別子である。本実施の形態では、ローカル会議端末14aの画面数が4つあり、各画面20a〜20dに対応する固有の画面ID22a〜22dが割り振られる。
画面役割23は、画面ID22によって特定される画面が、プレゼンテーションの際に、中心的に用いられる画面か否かを表す情報である。その画面が、プレゼンテーションの際に中心的に利用される画面(以後メイン画面とする)であれば「1」、それ以外の画面(以後サブ画面とする)であれば「0」である。各画面ID22a〜22dに対応する画面役割23の値は、予め設定された値に固定される。
優先度情報26は、画面ID22に対応する画像情報24をリモート会議端末14bにおいて画面表示するか否かの判断基準となる情報である。優先度情報26は優先度の高い順から「1,2,3,nil」の値をとりうる。本実施の形態において優先度情報26の値が小さい送信情報18の画像情報24ほど、リモート会議端末14bにおいて優先的に画面表示される、即ちその画像情報24の優先度が高いことを示している。優先度情報26において「nil」は値が確定していない状態を表している。
フォーカス情報28は、ローカル会議端末14aにおいて、画面ID22によって特定される画面20の画像情報24が、発表者が用いている画像情報24か否かを表す情報である。フォーカス情報28の値が「0」の場合、発表者がその画像情報24を用いていないことを表し、「1」の場合、発表者がその画像情報24を用いていることを表す。
イベント種類25は、画面20に対する発表者の行為の種類を表す情報である。この情報は、発表者が画面20に対して体を向けたことを表す「体の向き」、発表者が画面20に対して書き込みを行ったことを表す「書き込み」、発表者が画面20の一部を指し示したことを表す「指示」などの発表者の行為種類のほかに、画面20の表示内容が変更された、すなわちページが切り替えられたことを表す「画面表示」、優先度が「1」になってから発表者が画面20に対して何もしないまま時間Δt1が経過したことを示す「Δt1経過」、優先度が「2」になってから発表者が画面20に対して何もしないまま時間Δt2が経過したことを示す「Δt2経過」の情報をとり得る。
イベント受信時刻27は、上記に示した行為種類25をプライオリティ決定部92が受信した時刻を示す。この数値が大きいほど、プライオリティ決定部92が行為種類25を受信した時刻が遅いことを表す。
画像情報24は画面ID22によって特定される画面20に表示された画像の情報である。以上で送信情報18のデータ構成について説明を終了する。
続いて、ローカル会議端末14aおよびリモート会議端末14bにおける処理の詳細、および処理の流れについて説明する。
表示制御処理部40は、各画面20a〜20dに画像情報を表示する。表示制御処理部40は、送信情報生成部56へ各画面20a〜20dの画面ID22と、各画面20a〜20dに表示した画像情報24とを対応させて送信情報生成部56へ送信する。また、表示制御処理部40は、各画面20a〜20dに対応する画面ID22と、各画面20a〜20dに表示した追記画像情報とを対応させて、行為検出部48へ送信する。
行為検出部48が発表者の行為を検出する方法は2つあり、それぞれの方法について説明する。
第一の方法は、ローカル会議端末14aに接続されたカメラ50から送信される撮像データを解析することによって、発表者の行為を検出する方法である。この方法について図5のフローチャートを用いて説明する。
行為検出部48はカメラ50から撮像データを取得し(S1)、撮像データを画像解析し、発表者の行為種類および行為画面を特定する(S2)。
行為検出部48が行為種類と行為画面を特定する方法は以下のとおりである。行為検出部48は受信した撮像データを基に画像解析を行なうことによって、各画面20a〜20dの位置及び形状、発表者の位置及び形状、および各画面20a〜20dと発表者以外である背景を識別し、位置情報および画像情報として保持する(S3)。行為検出部48は、画面20および発表者の位置情報から、各画面20a〜20dに対する発表者の相対的な位置を検出する(S4)。
続いて、行為検出部48は、発表者の形状の情報を基に、発表者の体の向きを検出する。例えば、発表者の形状の画像情報から発表者の鼻の位置と、体の左右の両端部の位置とを検出し、両端部に対する鼻の相対的な位置から体の向きを検出する(S5)。
行為検出部48は、発表者の形状の画像情報を基に、発表者の行為種類を検出する(S6)。そして、行為検出部48は、各画面に対する発表者の相対的な位置と、発表者の体の向きとから、行為画面を特定する(S7)。例えば、図2の102に示す撮像データが取得された場合、行為検出部48は、画像解析により、発表者が画面20b及び画面20cの間にいること、および発表者はカメラ50から見て右側へ体を向けていることを検出し、検出した情報から、行為画面が「画面20c」であり、行為種類が「体の向き」であることを検出する。
行為検出部48は、記憶部m1から、検出した行為画面の画面ID22に対応する行為種類を取得する(S8)。
そして、画像解析によって得られた行為種類と、記憶部m1から取得した行為種類が一致するか否か判断する。すなわち、S2の処理によって、即ち撮像データの画像処理によって得られた行為種類と、S8の処理によって、即ち既に記憶されている直前の行為種類が一致するか否か判断する(S9)。
互いの行為種類が異なる場合(S9/NO)、行為検出部48は、記憶部m1に対し、行為画面に対応する行為種類の情報を、画像解析の結果得られた行為種類に更新する(S10)。そして、行為画面の画面ID22と行為画面に対応する行為種類の情報を、フォーカス決定処理部52とプライオリティ決定部54へ送信する(S11)。一方、互いの行為種類が一致する場合(S9/NO)、行為検出部48は、S10の処理を実行せずに、即ち記憶部m1の情報を更新せずに、S11の処理を実行する。
続いて、第二の方法について、図6のフローチャートを用いて説明する。図6のフローチャートは、表示制御処理部40から行為検出部48へ送信された追記画像情報を解析することによって、発表者の行為を検出する処理の流れを示す図である。
行為検出部48は、表示制御処理部40から画面ID22と画面ID22に対応した追記画像情報を定期的に受信する。また、行為検出部48は、行為検出部48の内部の記憶部m1から、画面ID22に対応する追記画像情報、即ち直前に受信していた追記画像情報を取得する(S20)。
そして、記憶部m1から取得した追記画像情報と、表示制御処理部40から受信した追記画像情報が一致するか否か判断する(S21)。
両方の追記画像情報が異なる場合(S21/NO)、記憶部m1に対し、画面ID22に対応する行為種類を「書き込み」に更新する(S22)。そして、記憶部m1に対し、画面ID22に対応する追記画像情を、表示制御処理部40から受信した追記画像情報に更新する(S23)。そして、記憶部m1から「書き込み」行為のあった画面20の画面ID22と、その画面ID22に対応する行為種類とを取得し、フォーカス決定処理部52とプライオリティ決定部54へ送信する。即ち、画面ID22によって特定される画面20に対して書き込みがされたと判断し、記憶部m1に保持されている情報を書き換えた後で、行為画面の画面ID22および行為種類を送信する(S24)。一方、両方の追記画像情報が一致する場合(S21/YES)、行為画面の画面ID22および行為種類の情報を送信せずに処理を終了する。
以上のように、行為検出部48は、カメラ50より送信される、画面および発表者を映した撮像データ、および表示制御処理部40より送信される追記画像情報から、発表者の行為を検出する。
フォーカス決定処理部52の処理の流れについて、図7を用いて説明する。図7は、フォーカス決定処理部52における処理の流れを示すフローチャートである。フォーカス決定処理部52は、行為検出部48から行為画面の画面ID22と行為種類とを取得すると、受信した行為種類が、「画面表示」であるか否かを判断する(S30)。行為種類が、「画面表示」であれば(S30/YES)フォーカス決定処理部52は、記憶部m2に保持されている情報を更新せずにS32の処理を実行する。
行為種類情報が「画面表示」以外であれば(S30/NO)、記憶部m2に対し、受信した画面ID22に対応するフォーカス情報28を「1」に、それ以外の画面ID22に対応するフォーカス情報28を「0」に更新する(S31)。
そして、フォーカス決定処理部52は、記憶部m2から各画面ID22a〜22dおよび各画面ID22a〜22dに対応するフォーカス情報28を取得し、送信情報生成部56へ送信する(S32)。
プライオリティ決定部54の処理の流れについて、図8、図9を用いて説明する。図8は、プライオリティ決定部54による、画像情報の優先度が上昇する(優先度情報26の値が低下する)場合の処理の流れ示すフローチャートであり、図9は、画像情報の優先度が低下する(優先度情報26の値が上昇する)場合の処理の流れ示すフローチャートである。プライオリティ決定部54は、行為検出部48から行為画面の画面ID22と行為種類と、を取得することにより、以下の処理を開始する。
プライオリティ決定部54において実行される画像情報24の優先度が上昇する(優先度情報26の値が低下する)場合の処理について図8を用いて説明する。この処理は、行為検出部48から行為画面の画面ID22と行為種類と、を取得することにより開始される。
プライオリティ決定部54は、受信した行為種類が「画面表示」であるか否か判断する(S40)。行為種類が「画面表示」の場合(S40/YES)、記憶部m3に対して、受信した行為画面の画面IDに対応する優先度情報を、画面表示に割り当てられている優先度情報26の値である「2」に更新する(S41)。一方、行為種類が「画面表示」でない場合(S40/NO)、行為検出部48から送信される行為種類は「書き込み」「体の向き」「指示」のいずれかであると判断し、記憶部m3に対して、受信した行為画面の画面ID22に対応する優先度情報26を「1」に更新する(S42)。プライオリティ決定部54は、記憶部m3に対して、行為種類を受信した時刻をイベント受信時刻27として設定する(S43)。また、プライオリティ決定部54は、記憶部m3に対して受信した行為種類を、イベント種類25として設定する(S44)。続いて、プライオリティ決定部54は、記憶部m3から各画面ID22a〜22dと各画面ID22a〜22dに対応する優先度情報26とを取得し、送信情報生成部56へ送信する(S45)。
プライオリティ決定部54による優先度が低下する(優先度情報26の値が上昇する)場合の処理について図9を用いて説明する。図9は、優先度情報26を監視する処理の流れを示すフローチャートである。この処理は、プライオリティ決定部54において定期的に実行される。
プライオリティ決定部54は、記憶部m3から各画面ID22a〜22dの優先度情報26を取得する(S50)。プライオリティ決定部54は、取得した優先度情報26の値を判断し処理を分岐させる(S51)。
優先度情報26の値が「1」であれば(S51/優先度情報の値=1)、プライオリティ決定部54は現在時刻Tnを取得する。現在時刻Tnはローカル会議端末14aのシステム情報より取得される(S52)。続いて、プライオリティ決定部54は、記憶部m3から、イベント受信時刻Txを取得する。イベント受信時刻Txは、プライオリティ決定部54が行為検出部48から行為画面および行為種類の情報を受信した時刻を表している(S53)。そして、プライオリティ決定部54は、現在時刻Tnとイベント受信時刻Txの差である経過時間(Tn−Tx)を計算し、経過時間と第一の優先度低下時間Δt1を比較する(S54)。経過時間(Tn−Tx)が第一の優先度低下時間Δt1より大きい場合(S54/YES)、プライオリティ決定部54は、記憶部m3に保持されている、受信した行為画面の画面ID22に対応する優先度情報26の値を一段階上昇させて「2」に更新する。即ち優先度を一段階下げる(S55)。また、イベント受信時刻Txを現在時刻Tnの値に、イベント種類を「Δt1経過」に更新する(S56)。経過時間(Tn−Tx)が第一の優先度低下時間Δt1より小さい場合(S54/NO)、プライオリティ決定部54は、記憶部m3に記憶された情報を更新せずに、S65の処理を実行する。
優先度情報26の値が「2」の場合(S51/優先度情報の値=2)、プライオリティ決定部54は現在時刻Tnを取得する(S60)。続いて、記憶部m3から、受信した行為画面の画面ID22に対応するイベント受信時刻Txを取得する(S61)。そして、現在時刻Tnからイベント受信時刻Txの差である経過時間(Tn−Tx)を計算し、経過時間と第二の優先度低下時間Δt2を比較する(S62)。経過時間が第二の優先度低下時間Δt2より大きい場合(S62/YES)、プライオリティ決定部54は、記憶部m3に対し、受信した行為画面の画面ID22に対応する優先度情報26の値を「3」に更新する(S63)。また、イベント受信時刻Txを現在時刻Tnの値に、イベント種類25を「Δt2経過」に更新する(S64)。経過時間が第二の優先度低下時間Δt2より小さい場合(S62/NO)、プライオリティ決定部54は、記憶部m3に記憶された情報を更新せずに、S65の処理を実行する。
優先度情報26の値がそれ以外の場合(S51/優先度情報の値=1,2以外)、プライオリティ決定部54は、記憶部m3に記憶された情報を更新せずに、S65の処理を実行する。
以上の優先度情報26の値に応じて分岐した処理の後、プライオリティ決定部54は、記憶部m3から、各画面ID22a〜22d、各画面ID22a〜22dに対応する優先度情報26、イベント種類25およびイベント受信時刻Txを取得し、送信情報生成部56へ送信する(S65)。
送信情報生成部56は、フォーカス決定処理部52から各画面ID22a〜22d及び対応するフォーカス情報28を受信すると、記憶部m4に保持されているフォーカス情報28の値を、受信したフォーカス情報28の値に更新する。送信情報生成部56は、プライオリティ決定部54から各画面ID22a〜22d及び対応する優先度情報26を受信すると、記憶部m4に保持されている優先度情報26の値を、受信した優先度情報26の値に更新する。
送信情報生成部56は表示制御処理部40から、各画面ID22a〜22dおよび対応する各画像情報24a〜24dを定期的に受信する。そして、送信情報生成部56は、記憶部m4から、各画面ID22a〜22dと対応する各画面役割23a〜91d、各優先度情報26a〜26d、各フォーカス情報28a〜28d、各イベント種類25a〜25d、各イベント受信時刻27a〜27dを取得する。そして、送信情報生成部56は、これらの情報に、画面ID22が一致している画像情報24を追加して送信情報18を生成し、通信制御処理部58へ送信する。
通信制御処理部58は、送信情報生成部56から送信情報18を受信し、送信情報18を、接続中のリモート会議端末14bへ送信する。
以上で、ローカル会議端末14aの構成およびローカル会議端末14aが実行する処理について説明を終了する。
続いて、リモート会議端末14bにおいて実行される処理について説明する。
通信処理部61は、ローカル会議端末14aから送信情報18を受信し、送信情報18を表示制御処理部62へ送信する。
画面割付処理部64による画面割付の方法を図11、図12のフローチャートを用いて説明する。図11は、リモート会議端末14bの画面数に応じた処理の流れを示すフローチャートである。図12は、ローカル会議端末14aの画面数が、リモート会議端末14bの画面数より多い場合における、画面割付処理部64による画面割付処理の流れを示すフローチャートである。
画面割付処理部64は、リモート会議端末14bの画面数(=r)を取得する。リモート会議端末14bの画面数rはリモート会議端末14bに予め設定されている値である。画面割付処理部64は、通信処理部61から送信情報18を受信し、送信情報18に含まれる画面ID22が何種類あるかによって、ローカル会議端末14aの画面数(=n)を取得する(S70)。そして、リモート会議端末14bの画面数rとローカル会議端末14aの画面数nとを比較する(S71)。
リモート会議端末14bの画面数rが1つ(r=1)の場合、リモート会議端末14bは、ローカル会議端末14aにおいてフォーカス表示されていた画面20の画像情報24を、リモート会議端末14bにおいて表示する。そのため、画面割付処理部64は、各送信情報18a〜18dからフォーカス情報28が「1」である画面ID22を特定する。画面割付処理部64は、リモート会議端末14bの画面30に、特定された画面ID22を割り当てる(S72)。
リモート会議端末14bの画面数rが、ローカル会議端末14aの画面数nより少ない場合(n>r)の処理の詳細については後述する(S75)。
リモート会議端末14bの画面数rが、ローカル会議端末14aの画面数nと同じ(n=r)、または多い(n<r)場合の処理は、以下のとおりである。予め、送信情報18に含まれる画面ID22に、リモート会議端末14bの画面30を対応づけておく。そして、送信情報18を受信した場合、リモート会議端末14bは、予め対応づけられたリモート会議端末14bの画面30に、画面ID22a〜22dを割り当てる(S73,S74)。
このように、画面割付処理部64は、ローカル会議端末14aから送信される画像情報24の数と、リモート会議端末14bの画面数を比較して、画面の割付を決定する。
リモート会議端末14bの画面数rが、ローカル会議端末14aの画面数nより少ない場合(r<n)の処理の詳細について、図12を用いて説明する。尚、本実施の形態では、ローカル会議端末14aが持つ画面数nは4であり、4つの送信情報18a〜18dが送信される。また、リモート会議端末14bが持つ画面数rは2であり、それぞれ画面30a、画面30bとする。
画面割付処理部64は、画面役割23の値が「1」である送信情報18の画面ID22を取得する。本実施の形態では、送信情報18cの画面役割23の値が「1」であるため、画面割付処理部64は画面ID22cを取得する。尚、画面役割23の値は、ローカル会議端末14aにおいて予め各送信情報18a〜18dに割り当てられており、リモート会議端末14bにおいてその値は変化しない。続いて、画面割付処理部64は、フォーカス情報28の値が「1」である画面ID22を取得する。また、画面割付処理部64はリモート会議端末14bにおけるメイン画面の識別子であるリモート画面ID32を取得する。本実施の形態では、リモート会議端末14bの画面30aがメイン画面としているため、画面割付処理部64は画面30aに対応しているリモート画面ID32aを取得する(S80)。
続いて、画面割付処理部64は、受信した各送信情報18a〜18dをソートして順番を決定する。並び替える際の大小の基準は以下のとおりである。まず、優先度情報26の値が小さい(優先度が高い)ほど順位は高い。優先度情報26の値が同じ場合は、イベント受信時刻27の値が大きいほど順位は高い。即ち、イベントの発生が後のものほど順位は高い。イベント受信時刻27も同じ場合は、イベント種類25の値が、「書き込み」「体の向き」「指示」「画面表示」「Δt1経過」「Δt2経過」の順に順位は高い。イベントの種類25も同じ場合は、予め初期値として設定しておいた各送信情報18a〜18dの順序に従う。例えば、画面ID22の番号が少ないものほど順位は高いとする(S81)。
次に、画面割付処理部64は、並べ替えた各送信情報18a〜18dを、上位から順に、リモート会議端末14bの画面数(=r)だけ抽出する(S82)。
次に、抽出した送信情報18の中に、画面役割23の値が「1」、即ちローカル会議端末14aにおけるメイン画面の送信情報18が、S82において抽出された表示すべきリストに含まれているか否か確認する(S83)。
抽出された送信情報18の中に、画面役割23の値が「1」である送信情報18が含まれている場合(S83/YES)、その送信情報18における優先度情報26の値が、3より小さいか否か確認する。即ち、ローカル会議端末14aにおけるメイン画面に表示中の画像情報24の優先度情報26を調べる(S84)。一方、画面役割23の値が「1」である送信情報18が含まれていない場合(S83/NO)S86の処理へ移る。
画面役割23の値が「1」である送信情報18における優先度情報26の値が3より小さい(優先度が高い)場合(S84/YES)、画面割付処理部64は、リモート会議端末14bにおけるメイン画面である画面30bに、画面役割23の値が「1」である送信情報18を割り付ける(S85)。即ち、画面割付処理部64の記憶部m5に、画面ID32bと画面役割23の値が「1」である送信情報18の画面ID22とを対応づけて記憶させる。一方、画面役割23の値が「1」である送信情報18における優先度情報26の値が3以上の(優先度が低い)場合(S84/NO)S86の処理へ移る。
続いて、リモート会議端末14bにおけるサブ画面に対する画面割付処理が実行される。この処理は、S81において並び替えられた各送信情報18a〜18dを、順番に比較しながら実行される。ただし、S83〜S85の処理の間に画面割付された送信情報18は除く。
画面割付処理部64は、抽出された送信情報18の並び順に従って、一つの送信情報18を取得する(S86)。
画面割付処理部64は、S86で取得した比較対象である送信情報18における画像情報24が、リモート会議端末14bの各画面30a,30bのいずれかに表示されているか否か判断する。具体的には以下の処理を実行する。画面割付処理部64は、表示状態保持部68からリモート画面ID32a,32bに対応付けられた画面ID22を取得する。即ち、リモート会議端末14bの各画面30a,30bにおいて既に表示されている画像情報24を含む送信情報18を取得する。続いて、画面割付処理部64は、ステップ722において取得した送信情報18の画面ID22と表示状態保持部68から取得した画面ID22を比較し、一致するか否か判断する。即ち、比較対象である送信情報18の画面ID22が、リモート会議端末14bの各画面30a,30bにおいて既に表示されている画像情報24に対応する画面ID22のいずれかと一致するか否か判断する(S87)。
一致する画面ID22がある場合(S87/YES)、画面割付処理部64は、その画面ID22に対応するリモート会議端末14bのリモート画面ID32を変更しない。具体的には、画面割付処理部64の記憶部m5において、S86において取得した送信情報18の画面ID22と、それに対応するリモート画面ID32の情報を維持する。即ち、リモート会議端末14bの画面30に同じ画面ID22に対応する画像情報を表示している場合は、そのまま同じ画面ID22に対応する画像情報を表示させるようにする(S88)。
一方、一致する画面ID22がない場合(S87/NO)、割付が決定していないリモート会議端末14bの画面30のうち、メイン画面に近い画面に画面ID22を割り当てる。即ち、画面割付処理部64の記憶部m5において、画面ID22と対応付けられていないリモート画面ID32であって、メイン画面に近い画面30のリモート画面ID32に対応して、画面ID22を記憶させる。尚、メイン画面に近い/遠いを表す順序の情報は、予めリモート会議端末14bに登録されており、画面割付処理部64は、この順序の情報に従って各画面30a,30bの順序を判断する(S89)。
そして、画面割付処理部64は、S86〜S89の処理を、リモート会議端末14bの画面数分だけ繰り返し、記憶部m5に全てのリモート画面ID32に対して、対応する送信情報18の画面ID22を記憶させる。
表示制御処理部62は、画面割付処理部64の記憶部m5からリモート画面ID32a,32bと、対応する送信情報18の画面ID22を取得し、表示状態保持部68に保持されている情報を、取得した画面割付の情報に更新する。表示状態保持部68に保持されている情報を、これから表示する画像情報24に対応する画面ID22に更新する(S90)。尚、更新後、画面割付処理部64は、記憶部m5の情報をクリアする。
フォーカス割付処理部66は、リモート会議端末14bの各画面30a,30bに、画像情報24の表示形態を対応させる機能を有する。フォーカス割付処理部66は、各送信情報18a〜18dから、フォーカス情報28の値が「1」である送信情報18の画面ID22を取得する。
フォーカス割付処理部66は、表示状態保持部68からリモート画面ID32a,32bに対応している画面ID22とリモート画面ID32を取得する。即ち、リモート会議端末14bの画面30に表示される画像情報24に対応する画面ID22を取得する。
フォーカス割付処理部66は、表示状態保持部68から取得した画面ID22に対応する送信情報18におけるフォーカス情報28の値が「1」であるか否かを判定する。
フォーカス情報28の値が「1」の場合、記憶部m6に対し画面ID22と共に表示状態保持部68から取得したリモート画面ID32に対応するフォーカス情報28を「1」(強調表示する、または他の画面と異なる形態で表示する)に更新する。フォーカス情報28の値が「1」以外の場合、フォーカス情報28を「0」(通常表示する、または他の画面と同様の形態で表示する)に更新する。このように、各リモート画面ID32a,32bに対応するフォーカス情報28が、記憶部m6に記憶される。
表示制御処理部62は、フォーカス割付処理部66の記憶部m6からリモート会議端末14bの各リモート画面ID32a,32bと、各リモート画面ID32a,32bに対応するフォーカス情報28を取得し、表示状態保持部68に、取得したフォーカス情報28の値を登録する。
表示制御処理部62は、表示状態保持部68から各リモート画面ID32a,32bに対応している画面ID22を取得する。そして、リモート会議端末14bの各画面30a,30bに、取得した画面ID22によって識別される送信情報18に含まれる画像情報24を表示する(S91)。
また、表示制御処理部62は、表示状態保持部68から各リモート画面ID32a,32bに対応しているフォーカス情報28を取得する。あるリモート画面ID32に対応しているフォーカス情報28の値が「1」であれば、そのリモート画面ID32によって特定される画面30に表示する画像情報24を、他の画面と異なる形態で表示する。
以上のように、ローカル会議端末14aは、リモート会議端末14bに、画像情報24と画像情報24に割り当てられた優先度情報26、イベント種類25、イベント受信時刻27を送信し、リモート会議端末14bに、これらの情報に基づいて画像情報26を選択させることができる。
次に、プレゼンテーションにおける発表者の動作に伴う、各画面20a〜20dに対応する優先度情報26の値の変化およびフォーカス情報28の値の変化について図13を用いて説明する。図13は会議室12aにおける、画面20と発表者の位置を示した図である。図13に示す画面は、ローカル会議端末14aの画面20a〜20dであり、左から画面20a、画面20b、画面20c、画面20dとする。
プレゼンテーションの開始時において、すべての画面は表示されていないため、すべての画面ID22の優先度情報26の値は「nil」である。発表者がプレゼンテーションを開始し、画面20bと画面20cに画像情報が表示される。そして、発表者が、画面20bと画面20cの間に立ち、画面20bへ体を向けている。その結果、行為検出部48は、行為画面=画面ID22b、行為種類=体の向き、を検出する。また、画面20cに画像情報が表示されたため、行為画面=画面ID22c、行為種類=画面表示、を検出する。そして、これらの行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22bに対する行為種類が「体の向き」であるため、画面ID22bに対応する優先度情報26の値として「1」に、イベント種類25の値を「体の向き」に設定する。一方、画面ID22cに対する行為種類は「画面表示」であるため、画面ID22cに対応する優先度情報26の値として「2」に、イベント種類25の値を「画面表示」に設定する。画面20a,20dについては、画面が表示されていないため、画面ID22a,画面ID22dに対応する優先度情報26の値は、初期値である「nil」のままである(図8のフローチャート参照)。
フォーカス決定処理部52は、画面ID22bに対する行為種類が「体の向き」であるため、画面ID22bに対応するフォーカス情報28の値として「1」を設定する。それ以外の画面ID22に対応するフォーカス情報28の値を「0」に設定する(図13の800)。
発表者が画面20cに表示されている画像情報を用いて説明するために、画面20cへ体を向け、画面20cの一部を指し示している。行為検出部48は、行為画面=画面ID22c、行為種類=指示、を検出する。そして、これらの行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22cに対する行為種類が「指示」であるため、画面ID22cに対応する優先度情報26の値として「1」を、イベント種類25の値として「指示」を設定する。また、画面ID22cに対応するフォーカス情報28の値を「1」に設定し、それ以外の画面ID22に対応するフォーカス情報28の値を「0」に設定する(図13の801)。
発表者が画面20cへ体を向けたまま、第一の優先度低下時間Δt1が経過する。プライオリティ決定部54は、画面ID22bに対応する優先度情報26の値を「2」へ変更する。発表者が行為を及ぼす画面20は変更しないため、行為検出部48が検出する行為画面は変わらない。そのため、フォーカス決定処理部52は、各画面ID22a〜22dに対応するフォーカス情報28の値を更新しない(図13の802)。
発表者が画面20cへ体を向けたまま、画面20dに画像情報が表示される。このとき、行為検出部48は、行為画面=画面ID22d、行為種類=画面表示、を検出する。そして、この行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、行為検出部48から上記の行為画面および行為種類の情報を受信すると、行為画面である画面ID22dに対する行為種類が「画面表示」であるため、画面ID22dに対応する優先度情報26の値を「2」に、イベント種類25の値を「画面表示」に更新する。フォーカス決定処理部52は、「画面表示」の通知を受信した場合は、各画面IDに対応するフォーカス情報28の値を更新しない(図13の803)。
画面20bの優先度情報26の値が「2」に更新されてから、さらにΔt2の時間が経過した場合、プライオリティ決定部54は画面ID22bに対応する優先度情報26の値を「3」に更新する。発表者が行為を及ぼす画面は変更しないため、行為検出部48が検出する行為画面は変わらない。そのため、フォーカス決定処理部52は、各画面ID22に対応するフォーカス情報28の値を更新しない(図13の804)。
発表者が、画面20dに体を向け、画面20dに書き込みを行う。行為検出部48は、行為画面=画面ID22d、行為種類=書き込み、を検出する。プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22dに対する行為種類が「書き込み」であるため、画面ID22dに対応する優先度情報26の値を「1」に更新する。また、フォーカス決定処理部52は、画面ID22dに対応するフォーカス情報28の値を「1」に、それ以外の画面ID22に対応するフォーカス情報28の値を「0」に更新する(図13の805)。
発表者が、画面20dの方に体を向けたままの状態で、画面20aに画像表示される。行為検出部48は、行為画面=画面ID22a、行為種類=画面表示、を検出する。そして、これらの行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22aに対する行為種類が「画面表示」であるため、画面ID22aに対応する優先度情報26の値を「2」に、イベント種類25の値を「画面表示」に更新する。フォーカス決定処理部52は、「画面表示」の通知を受信した場合、各画面IDに対応するフォーカス情報28を更新しない(図13の806)。
発表者が、画面20dを用いて説明を開始してから、時間(Δt1+Δt2)が経過する。即ち、画面20cに対して何もしなくなってから、時間(Δt1+Δt2)が経過する。プライオリティ決定部54は、画面ID22cに対応する優先度情報26の値を「3」に変更する。尚、プライオリティ決定部54は、画面20aに画像表示されてから時間Δt2経過した時点で、画面ID22aに対応する優先度情報26の値を「3」に更新する。発表者が行為を及ぼす画面は変更しないため、行為検出部48が検出する行為画面は変わらない。そのため、フォーカス決定処理部52は、各画面ID22a〜22dに対応するフォーカス情報28の値を更新しない(図13の807)。
発表者が、画面20aを用いながら発表する。行為検出部48は、行為画面=画面ID22a、行為種類=体の向き、を検出する。そして、これらの行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22aに対する行為種類が「体の向き」であるため、画面ID22aに対応する優先度情報26の値として「1」を、イベント種類25の値として「体の向き」を設定する。フォーカス決定処理部52は、画面ID22aに対応するフォーカス情報28の値を「1」に、それ以外の画面IDに対応するフォーカス情報28の値を「0」に変更する(図13の808)。
発表者が、画面20cを用いながら発表する。また、それとほぼ同時に画面20dの表示内容が切り替わる。行為検出部48は、行為画面=画面ID22c、行為種類=体の向き、を検出する。また、画面20dに画像表示されたため、行為画面=画面ID22d、行為種類=画面表示、を検出する。そして、これらの行為画面および行為種類の情報を、フォーカス決定処理部52およびプライオリティ決定部54へ送信する。
プライオリティ決定部54は、上記の行為画面および行為種類の情報を受信すると、画面ID22cに対する行為種類が「体の向き」であるため、画面ID22cに対応する優先度情報26の値として「1」を、イベント種類25の値として「体の向き」を設定する。一方、画面ID22dに対する行為種類は「画面表示」であるため、画面ID22dに対応する優先度情報26の値として「2」を設定する。フォーカス決定処理部52は、画面ID22cに対応するフォーカス情報28を「1」に、それ以外の画面IDに対応するフォーカス情報28を「0」に変更する(図13の809)。
続いて、リモート会議端末14bにおいて、リモート会議端末14bの画面に表示される画像情報と、各画面における表示の形態について図14を用いて説明する。図14は、ローカル会議室12aにおいて図13に示すとおりにプレゼンテーションが行なわれた場合における、リモート会議端末14bの画面に表示される画像情報、および画面の表示形態を示している。尚、リモート会議端末14bにおける画面表示処理について説明する場合、ローカル会議端末14aの送信情報生成処理に対応するステップに対し「’」をつける。尚、リモート会議端末14bにおいて画面30Bがメイン画面として予め設定される。
画面割付処理部64は、画面ID22が「画面ID22a,画面ID22b,画面ID22c,画面ID22d」、画面役割23の値が「0,0,1,0」、優先度情報26の値が「nil,1,2,nil」、フォーカス情報28の値が「0,0,1,0」を含む送信情報18を受信する。
リモート会議端末14bの画面割付処理部64は、優先度情報26の値が小さい(優先度の高い)方から順に、送信情報18をリモート会議端末14bの画面数(=2)だけ選択する。送信情報18のうち画面ID22bおよび画面ID22cによって特定される送信情報18b,18cの優先度情報26の値が、他の送信情報18a,18dの優先度情報26の値より小さい(優先度が高い)ため、画面ID22bおよび画面ID22cに対応する送信情報18が選択される。
画面ID22cによって特定される送信情報18cにおける画面役割23の値が「1」(メイン画面をあらわす)であり、リモート会議端末14bの画面30bがメイン画面であるため、リモート会議端末14bの画面30bに対応するリモート画面ID32bに画面ID22cが割り当てられる。また、リモート会議端末14bの別の画面30aに対応するリモート画面ID32aに画面ID22bが割り当てられる。そして画面30a,画面30bに、割り当てられた画面ID22に対応する送信情報18に含まれる画像情報24が表示される。
フォーカス割付処理部66は、画面ID22bによって特定される送信情報18bのフォーカス情報28bの値が「1」であることから、画面ID22bに対応している画面30aにおいて、画像情報24bが他の画面と異なる形態で表示される。(図14の800’)。
表示制御処理部62は、画面ID22bによって特定される送信情報18bのフォーカス情報28bの値が「0」に変更され、画面ID22cによって特定される送信情報18cの優先度情報26cの値が「1」に、フォーカス情報28cの値が「1」に変更された送信情報18を受信する。送信情報18cの画面役割の値は「1」であり、優先度情報26cの値は3より小さい(優先度が高い)ため、画面割付処理部64は、リモート会議端末14bの画面30bに対応する画面ID22を更新しない(図12S83,84参照)。一方、画面ID22bによって特定される送信情報18bのフォーカス情報28bの値が「0」であるため、画面ID22bが割り当てられている画面30aにおいて画像情報24bを通常の表示形態により表示する。一方、画面ID22cによって特定される送信情報18cのフォーカス情報28cの値が「1」であるため、画面ID22cが割り当てられている画面30bにおいて画像情報24cを他と異なる表示形態により表示する(図14の801’)。
表示制御処理部62は、画面ID22bによって特定される送信情報18bの優先度情報26の値が「2」に変更された送信情報18を受信する。送信情報18bの優先度情報26の値は「2」であり、画面ID22aおよび画面ID22dによって特定される送信情報18a,18dの優先度情報26の値が「nil」であるため、引き続きリモート会議端末14bの画面30aに画面ID22bが割り当てられる(図14の802’)。
表示制御処理部62は、画面ID22dによって特定される送信情報18bの優先度情報26の値が「2」に変更された送信情報18を受信する。画面ID22bと画面ID22dによって特定される送信情報18b,18dの優先度情報26の値は、共に「2」であり等しい。優先度情報26の値が等しい場合、イベント受信時刻27の大きいほうが上位に並べ替えられる。この場合、送信情報18dのイベント受信時刻27dのほうが、送信情報18bのイベント受信時刻27bよりも大きいため、リモート会議端末14bの画面30aに画面ID22dが割り当てられる(図14の803’)。
表示制御処理部62は、画面ID22bによって特定される送信情報18bの優先度情報26の値が「3」に変更された送信情報18を受信する。この場合、画面ID22dによって特定される送信情報18dの優先度情報26の値が、送信情報18bの優先度情報26の値より大きい(優先度が低い)ため、リモート会議端末14bの画面30aに画面ID22dが割り当てられる(図14の804’)。
表示制御処理部62は、画面ID22cによって特定される送信情報18cのフォーカス情報28cの値が「0」に変更され、画面ID22dによって特定される送信情報18dのフォーカス情報28dの値が「1」に、優先度情報26dの値が「1」に変更された送信情報18を受信する。表示制御処理部62は、送信情報18dの優先度情報26dの値が「1」であるため、リモート会議端末14bの画面30aに画面ID22dを割り当てる。また、送信情報18dのフォーカス情報28dの値が「1」であるため、画面30aおいて画像情報24dを他の画面30と異なる形態で表示する(図14の805’)。
表示制御処理部62は、画面ID22aによって特定される送信情報18aの優先度情報26の値が「2」に変更された送信情報18を受信する。送信情報18aの優先度情報26の値は、画面ID22cおよび画面ID22dによって特定される送信情報18c,18dの優先度情報26の値より大きい(優先度が低い)ため、画面ID22aは、リモート会議端末14bにおいて画面表示されない(図14の806’)。
表示制御処理部62は、画面ID22aによって特定される送信情報18aの優先度情報26の値が「3」に変更され、画面ID22cによって特定される送信情報18cの優先度情報26値が「3」に変更された送信情報18を受信する。画面ID22a、画面ID22bおよび画面ID22cによって特定される送信情報18a,18b,18cに対応する優先度情報26の値は共に「3」であり等しい。そこで、各画面ID22a〜22dに対応するイベント受信時刻27a〜27dを比較すると、送信情報18cのイベント受信時刻27cの値が最も大きい、リモート会議端末14bの画面30bに画面ID22cが割り当てられる(図14の807’)。
表示制御処理部62は、画面ID22aによって特定される送信情報18aのフォーカス情報28の値が「1」に、優先度情報26の値が「1」に変更され、画面ID22dによって特定される送信情報18dのフォーカス情報28の値が「0」に変更された送信情報18を受信する。送信情報18aと送信情報18dの優先度情報26の値は、他の画面ID22の優先度情報26の値より小さい(優先度が高い)ため、送信情報18aと送信情報18dの画面ID22aおよび画面ID22dがリモート会議端末14bの画面30に割り当てられる。その際、画面ID22dは、すでにリモート会議端末14bの画面30aに表示されているため、引き続き画面30aに表示される。また、画面ID22aに対応するフォーカス情報28の値が「1」であるため、画面ID22aに対応する画面30bにおいて、他と異なる表示形態で画像情報を表示する(図14の808’)。
表示制御処理部62は、画面ID22aによって特定される送信情報18aのフォーカス情報28が「0」に変更され、画面ID22cによって特定される送信情報18cのフォーカス情報28が「1」に、優先度情報26の値が「1」に変更された送信情報18を受信する。表示制御処理部62は、各送信情報18a〜18dから優先度情報26の値が小さい(優先度の高い)送信情報18aおよび送信情報18cを選択する。送信情報18cの画面役割は「1」であるため、リモート会議端末14bのメイン画面である画面30bに送信情報18cを特定する画面ID22cが割り当てられる(図14の809’)。
以上のように、ローカル会議端末14aからリモート会議端末14bへ、画面ID22ごとに優先度情報26、フォーカス情報28、イベント種類25、イベント受信時刻27および画像情報24を含む送信情報18を送信することによって、リモート会議端末14bにおいて、送信情報18に含まれる画像情報24をリモート会議端末14bの画面に表示するか否かの基準となる情報が得られるため、画面30に表示する画像情報24と、表示しない画像情報24とをリモート会議端末14bに選択させることが出来る。
本実施の形態において、ローカル会議端末14aが持つ画面は、ローカル会議端末14aに接続された表示装置が備える画面としており、ローカル会議端末14aは表示装置の1つの画面に1つの画像情報を表示している。しかし、本発明におけるローカル会議端末14aが持つ画面は、1つの表示装置の画面の表示領域を複数に分割して生成された、それぞれの表示領域とすることも可能である。
尚、リモート会議端末14bの画面数が、ローカル会議端末14aの画面数より多い場合、余っているリモート会議端末14bの画面には、優先度の高い画像情報を表示してもよいし、画像を表示しなくてもよい。また、表示可能な画像情報の一覧を表示してもよい。
本実施の形態において、ローカル会議端末14aにおいて、第一の優先度低下時間Δt1および第二の優先度低下時間Δt2は、全ての画面ID22a〜22dに対して共通の時間としていた。しかし、優先度が低下(優先度情報が上昇する)する場合の処理は、画面ID22ごとに処理されるため、画面ID22ごとに異なる第一の優先度低下時間Δt1および第二の優先度低下時間Δt2を設定することが可能である。例えば、メイン画面の画面ID22cについて、第一の優先度低下時間Δtを大きくすることによって、画面ID22cに対応する優先度情報26cの値が「1」である時間が長くなる。そのため、メイン画面に表示される画像情報26cが、リモート会議端末14bの画面30に表示される可能性が高くなる。
本実施の形態の電子会議システムの全体構成を示す構成図である。 会議室で行なわれているプレゼンテーションの流れを示した図である。 送信情報のデータ構成の概要図である。 ローカル会議端末及びリモート会議端末の構成を示すブロック図である。 撮像データを解析することによって、発表者の行為を検出する処理の流れを示すフローチャートである。 追記画像情報を利用して、発表者の行為を検出する処理の流れを示すフローチャートである。 フォーカス決定処理部における処理の流れを示すフローチャートである。 プライオリティ決定部による、画像情報の優先度が上昇する場合における処理の流れ示すフローチャートである。 プライオリティ決定部による、画像情報の優先度が低下する場合における処理の流れ示すフローチャートである。 送信情報のデータ構成の詳細図である。 リモート会議端末の画面数に応じた処理の流れを示すフローチャートである。 ローカル会議端末の画面数が、リモート会議端末の画面数より多い場合における、画面割付処理の流れを示すフローチャートである。 ローカル会議端末の置かれている会議室における、画面と発表者の位置を示す図である。 リモート会議端末の画面に表示される画像情報、および画面の表示形態を示す図である。
符号の説明
10 電子会議システム、12 会議室、14 会議端末、16,20,30 画面、18 送信情報、22 画面ID、24 画像情報、26 優先度情報、28 フォーカス情報、40 表示制御処理部、44 ペンデバイス、48 行為検出部、50 カメラ、52 フォーカス決定処理部、54 プライオリティ決定部、56 送信情報生成部、60,61 通信処理部、62 表示制御処理部、64 画面割付処理部、66 フォーカス割付処理部、68 表示状態保持部。

Claims (10)

  1. ローカル側で画面表示した画像情報を配信することによって、視聴者が使用する1乃至複数台のリモート会議端末装置に画面表示させる発言者使用のローカル会議端末装置を、
    複数の画像情報を画面表示する画面制御手段、
    画面制御手段が画面表示している各画像情報に対して、リモート会議端末装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てる優先度割当手段、
    画面制御手段が画面表示している画像情報と、優先度割当手段が各画像情報に割り当てた優先度とを各リモート会議端末装置へ送信する情報配信処理手段、
    として機能させる表示画像制御プログラム。
  2. 請求項1記載の表示画像制御プログラムにおいて、
    ローカル会議端末装置を、発言者の行為を検出する行為検出手段として機能させ、
    優先度割当手段は、行為検出手段が検出した行為を解析することによって各画像情報に割り当てる優先度を決定する表示画像制御プログラム。
  3. 請求項2記載の表示画像制御プログラムにおいて、
    行為検出手段は、発言者を撮像する撮像手段から送られてくる撮像データを解析することで発言者の行為を検出する表示画像制御プログラム。
  4. 請求項2記載の表示画像制御プログラムにおいて、
    ローカル会議端末装置を、行為検出手段が検出した行為を解析することによって発言者が説明に用いている画像情報を特定する画像情報特定手段として機能させ、
    情報配信処理手段は、画像情報特定手段が特定した画像情報を識別するためのフォーカス情報を、各リモート会議端末装置へ送信する表示画像制御プログラム。
  5. 請求項4記載の表示画像制御プログラムにおいて、
    発言者使用のローカル会議端末装置を、画面制御手段が画面表示している各画像情報に、優先度割当手段によって割り当てられた優先度と、該画像情報が、発言者が説明に用いている画像情報であるか否かを表すフォーカス情報とを割り当て、送信情報を生成する送信情報生成手段として機能させ、
    情報配信処理手段は、送信情報生成手段によって生成された送信情報を、各リモート会議端末装置へ送信する表示画像制御プログラム。
  6. 発言者使用のローカル会議端末装置から配信されてくる画像情報を画面表示する視聴者使用のリモート会議端末装置を、
    ローカル会議端末装置から配信されてくる複数の画像情報と、各画像情報に対して当該画像情報を画面表示するか否かの判断基準となる優先度情報とを受信する情報受信処理手段、
    情報受信処理手段が受信した画像情報の中からリモート会議端末装置が持つ画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示する表示処理手段、
    として機能させる表示画像制御プログラム。
  7. 請求項6記載の表示画像制御プログラムにおいて、
    情報受信処理手段は、各画像情報に対して発言者が説明に用いている画像情報であるか否かを示すフォーカス情報を受信し、
    表示処理手段は、情報受信処理手段が受信した情報の中から一つの画像情報を、受信したフォーカス情報に基づき抽出し、他の画面と異なる形態で表示する表示画像制御プログラム。
  8. 複数の画像情報を画面表示する画面制御手段と、画面に表示した画像情報を、画面表示させるために1乃至複数台の表示画像制御装置に配信する情報配信処理手段とを備える画像配信装置において、
    画面制御手段が画面表示している各画像情報に対して、表示画像制御装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てる優先度割当手段を備え、
    情報配信処理手段は、優先度割当手段が各画像情報に割り当てた優先度を各表示画像制御装置へ送信する、
    ことを特徴とする画像配信装置。
  9. 画像配信装置から配信されてくる画像情報を表示するための1乃至複数の画面を有する表示画像制御装置であって、
    画像配信装置から配信されてくる複数の画像情報と、各画像情報に対して当該画像情報を画面表示するか否かの判断基準となる優先度情報とを受信する情報受信処理手段と、
    情報受信処理手段が受信した画像情報の中から画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示する表示処理手段と、
    を備えることを特徴とする表示画像制御装置。
  10. 画面表示した画像情報を配信する画像配信装置と、
    配信された画像情報を画面表示する表示画像制御装置と、
    を備える画像配信システムにおいて、
    画像配信装置は、
    複数の画像情報を表示するステップと、
    各画像情報に対して、表示画像制御装置が当該画像情報を画面表示するか否かの判断基準となる優先度を割り当てるステップと、
    画面表示している画像情報と、各画像情報に割り当てられた優先度とを各表示画像制御装置へ送信するステップと、
    を含み、
    表示画像制御装置は、
    画像配信装置より配信された画像情報と各画像情報に割り当てられた優先度情報とを受信するステップと、
    受信した画像情報の中から、表示画像制御装置が持つ画面数分の画像情報を、優先度情報に基づき抽出して各画面に割り付け、表示するステップと、
    を含むことを特徴とする表示画像制御方法。
JP2005185090A 2005-06-24 2005-06-24 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法 Active JP4604877B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005185090A JP4604877B2 (ja) 2005-06-24 2005-06-24 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法
US11/259,667 US8041767B2 (en) 2005-06-24 2005-10-26 Conference terminal apparatus in electronic conference system, electronic conference system, and display image control method
CN200510136950.8A CN100548042C (zh) 2005-06-24 2005-12-15 电子会议系统中的会议终端装置、电子会议系统、以及显示图像控制方法
KR1020060015068A KR100751525B1 (ko) 2005-06-24 2006-02-16 전자 회의 시스템에서의 회의 단말 장치, 전자 회의 시스템및 표시 화상 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005185090A JP4604877B2 (ja) 2005-06-24 2005-06-24 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法

Publications (3)

Publication Number Publication Date
JP2007004573A true JP2007004573A (ja) 2007-01-11
JP2007004573A5 JP2007004573A5 (ja) 2008-05-08
JP4604877B2 JP4604877B2 (ja) 2011-01-05

Family

ID=37583884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005185090A Active JP4604877B2 (ja) 2005-06-24 2005-06-24 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法

Country Status (4)

Country Link
US (1) US8041767B2 (ja)
JP (1) JP4604877B2 (ja)
KR (1) KR100751525B1 (ja)
CN (1) CN100548042C (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677252B2 (en) * 2006-04-14 2014-03-18 Citrix Online Llc Systems and methods for displaying to a presenter visual feedback corresponding to visual changes received by viewers
JP4692529B2 (ja) * 2007-08-07 2011-06-01 セイコーエプソン株式会社 グラフィカルユーザインタフェース装置
JP4626775B2 (ja) * 2007-10-16 2011-02-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20110069143A1 (en) * 2008-05-05 2011-03-24 Ted Beers Communications Prior To A Scheduled Event
CN101594446A (zh) * 2008-05-30 2009-12-02 索尼株式会社 网络照相机管理系统及网络照相机管理方法
US8539031B2 (en) 2008-06-27 2013-09-17 Microsoft Corporation Displaying images for people associated with a message item
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5317630B2 (ja) * 2008-11-07 2013-10-16 キヤノン株式会社 画像配信装置、方法及びプログラム
CN102194412A (zh) * 2010-03-18 2011-09-21 上海果壳电子有限公司 电子墨水屏幕参数自动设定方法
AU2011324322B2 (en) * 2010-11-04 2015-07-02 Ricoh Company, Ltd. Communication terminal, communication method and computer readable information recording medium
JP5862259B2 (ja) * 2011-12-09 2016-02-16 ブラザー工業株式会社 表示制御装置、および、コンピュータプログラム
JP5613710B2 (ja) * 2012-03-21 2014-10-29 株式会社東芝 サーバ端末、画面転送システムおよび画面転送方法
JP5968132B2 (ja) * 2012-07-11 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム
CN104980684B (zh) * 2014-04-11 2018-03-16 华为技术有限公司 一种远程指示方法及控制设备
WO2016154426A1 (en) * 2015-03-26 2016-09-29 Wal-Mart Stores, Inc. System and methods for a multi-display collaboration environment
US11250217B1 (en) 2015-07-14 2022-02-15 Soundhound, Inc. Conditional responses to application commands in a client-server system
CN105306872B (zh) * 2015-10-21 2019-03-01 华为技术有限公司 控制多点视频会议的方法、装置和系统
US10674201B2 (en) * 2016-07-01 2020-06-02 Intel Corporation Technologies for managing input events in many-to-one wireless displays
JP2018067248A (ja) * 2016-10-21 2018-04-26 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
CN113450729B (zh) * 2021-07-14 2023-01-03 中国科学院重庆绿色智能技术研究院 一种三色柔性电子纸的驱动方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03133258A (ja) * 1989-10-19 1991-06-06 Canon Inc 通信処理装置およびデータ処理方法
JPH10161621A (ja) * 1996-12-04 1998-06-19 Xing:Kk 情報表示制御装置
JPH10191307A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 画像監視システム
JP2003169306A (ja) * 2001-12-03 2003-06-13 Sony Corp ネットワーク情報処理システム、情報作成装置及び情報処理方法
JP2003223403A (ja) * 2002-01-29 2003-08-08 Fujitsu Ltd 情報伝達方法、情報受信方法および情報伝達プログラム
JP2005141767A (ja) * 2004-12-17 2005-06-02 Sony Corp 情報処理装置および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69515838T2 (de) * 1995-01-30 2000-10-12 Ibm Prioritätsgesteuerte Übertragung von Multimedia-Datenströmen über eine Fernmeldeleitung
US5615338A (en) * 1995-05-24 1997-03-25 Titan Information Systems Corporation System for simultaneously displaying video signal from second video channel and video signal generated at that site or video signal received from first channel
US5838318A (en) * 1995-11-10 1998-11-17 Intel Corporation Method and apparatus for automatically and intelligently arranging windows on a display device
JP3610442B2 (ja) * 1996-03-15 2005-01-12 富士通株式会社 遠隔会議システム
JPH09307603A (ja) * 1996-05-16 1997-11-28 Omron Corp 情報伝送表示装置、情報伝送表示方法およびテレビ会議装置
JP3775455B2 (ja) 1997-12-12 2006-05-17 富士ゼロックス株式会社 会議端末装置および会議関連情報の送信方法
KR19990060724A (ko) * 1997-12-31 1999-07-26 전주범 화상 회의 시스템
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US7058891B2 (en) * 2001-05-25 2006-06-06 Learning Tree International, Inc. Interface for a system of method of electronic presentations having multiple display screens with remote input
US7030835B2 (en) * 2001-09-07 2006-04-18 Trizenter, Llc Method for presenting information to an audience
US6535118B1 (en) * 2001-12-29 2003-03-18 Yokogawa Electric Corporation Priority controlled network
US6922718B2 (en) * 2002-02-01 2005-07-26 Dell Products L.P. Method and system for participating locations in a multi-point video conference
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03133258A (ja) * 1989-10-19 1991-06-06 Canon Inc 通信処理装置およびデータ処理方法
JPH10161621A (ja) * 1996-12-04 1998-06-19 Xing:Kk 情報表示制御装置
JPH10191307A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 画像監視システム
JP2003169306A (ja) * 2001-12-03 2003-06-13 Sony Corp ネットワーク情報処理システム、情報作成装置及び情報処理方法
JP2003223403A (ja) * 2002-01-29 2003-08-08 Fujitsu Ltd 情報伝達方法、情報受信方法および情報伝達プログラム
JP2005141767A (ja) * 2004-12-17 2005-06-02 Sony Corp 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
US8041767B2 (en) 2011-10-18
KR20060135485A (ko) 2006-12-29
CN1885942A (zh) 2006-12-27
US20070035614A1 (en) 2007-02-15
CN100548042C (zh) 2009-10-07
KR100751525B1 (ko) 2007-08-23
JP4604877B2 (ja) 2011-01-05

Similar Documents

Publication Publication Date Title
JP4604877B2 (ja) 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法
US11863604B2 (en) Technologies for audiovisual communication using interestingness algorithms
US9473741B2 (en) Teleconference system and teleconference terminal
US8823768B2 (en) Conference system, event management server, and program
US7911495B2 (en) Electronic conference support device, electronic conference support method, and information terminal device of electronic conference system
US20100174751A1 (en) Method and apparatus for manageing file
CN110262274A (zh) 基于物联网操作系统的智能家居设备控制显示方法及系统
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
US20150356312A1 (en) Information processing system, and information processing apparatus
US20060150108A1 (en) Information processing device, information processing method, storage medium, and program
JP2016126432A (ja) 遠隔会議プログラム、端末装置、および遠隔会議方法
US10860729B2 (en) Permission management of cloud-based documents
CN112822529A (zh) 电子设备及其控制方法
JP4951912B2 (ja) プレゼンテーションの視覚的忠実性を最適化する方法、システム、及びプログラム
US20170185269A1 (en) Display management solution
US9277189B2 (en) Monitor camera controller
US9921728B2 (en) Service providing device, and method of providing a user interface
CN106303402A (zh) 云台摄像机的预置位设置方法、调用方法及装置
JP2017076901A (ja) 情報処理装置、情報処理方法及びプログラム
EP3435659A1 (en) Automatic video source detection
CN108037971A (zh) 一种用于投影机的多方协作可视化装置及方法
US20240179274A1 (en) Display terminal, communication system, display method, communication method, and recording medium
JP2022175445A (ja) 表示装置、表示方法、携帯端末装置、携帯端末装置の制御方法、およびプログラム
JP2021165964A (ja) 表示装置、負荷制御方法、プログラム
KR20240070298A (ko) 전자 장치 및 그 캡쳐 이미지 획득 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100920

R150 Certificate of patent or registration of utility model

Ref document number: 4604877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350