JP2013228830A - 中継装置、表示データ共有システム、データ制御方法およびプログラム - Google Patents

中継装置、表示データ共有システム、データ制御方法およびプログラム Download PDF

Info

Publication number
JP2013228830A
JP2013228830A JP2012099413A JP2012099413A JP2013228830A JP 2013228830 A JP2013228830 A JP 2013228830A JP 2012099413 A JP2012099413 A JP 2012099413A JP 2012099413 A JP2012099413 A JP 2012099413A JP 2013228830 A JP2013228830 A JP 2013228830A
Authority
JP
Japan
Prior art keywords
data
transmission
communication terminal
image data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012099413A
Other languages
English (en)
Other versions
JP6069881B2 (ja
Inventor
Tatsuya Nagase
達也 永瀬
Yoshinaga Kato
喜永 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012099413A priority Critical patent/JP6069881B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP13781882.9A priority patent/EP2842042B1/en
Priority to SG11201406562VA priority patent/SG11201406562VA/en
Priority to US14/389,647 priority patent/US20150058735A1/en
Priority to PCT/JP2013/062739 priority patent/WO2013162055A1/en
Priority to AU2013253308A priority patent/AU2013253308B2/en
Priority to CA2869735A priority patent/CA2869735A1/en
Priority to ES13781882.9T priority patent/ES2586633T3/es
Priority to CN201380021483.7A priority patent/CN104247408A/zh
Publication of JP2013228830A publication Critical patent/JP2013228830A/ja
Application granted granted Critical
Publication of JP6069881B2 publication Critical patent/JP6069881B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 会議をスムーズに進めることができるように、ネットワークにかかる負荷を軽減することができる装置や方法を提供する。
【解決手段】 中継装置は、通信端末間のデータの送受信を中継する。この中継装置は、データに含まれる撮像して得られた画像データと資料として表示される表示データの少なくとも１つを、設定された配置情報に従って画面内の１以上の領域に表示する通信端末から、変更された配置情報の通知を受信する受信手段と、当該通信端末へのデータの送信を管理するための管理情報を、通知された配置情報に基づき変更する変更手段と、変更された管理情報に従って当該通信端末への表示データおよび画像データの少なくとも１つの送信を制御する制御手段とを含む。
【選択図】図８

Description

本発明は、通信端末間のデータの送受信を中継する中継装置、その中継装置を含む表示データ共有システム、その中継装置により実行されるデータ制御方法およびその方法を実行させるためのコンピュータ可読なプログラムに関する。
インターネットの普及および高速化に伴い、会議の参加者が時間や労力をかけて１箇所に集まらなくても、遠隔地同士でテレビ会議等により会議を行うことができるシステムやサービスが利用されるようになってきている。このシステムやサービスの利用により、交通費や移動時間を削減することができ、必要なときに会議を行うことができる。
このテレビ会議を実現するシステムは、互いに遠く離れた通信端末同士がインターネットを介して直接またはサーバを介して画像データや音声データを送受信する。近年、長距離間で大容量のデータ通信が可能な光回線が普及していることに伴い、高画質の画像データや高音質の音声データを送受信することが可能となり、テレビ会議における相手方の状況を把握しやすく、その会話も聞きとりやすくなっている。
従来の上記システムでは、撮像および録音して得られた画像データおよび音声データを相手方へ配信するほか、会議の資料として相手方に参照させるための表示データも配信することができる（例えば、特許文献１参照）。これにより、テレビ会議の参加者は、会議を実施している最中に、相手方の状況を把握し、相手方の発言を聞くことができるとともに、会議資料も参照することができる。
このシステムでは、送信先の伝送端末が、それに接続される外部入力装置から表示データを受信すると、中継装置および宛先となる伝送端末のＩＰ(Internet Protocol)アドレスを取得し、宛先となる伝送端末のＩＰアドレスを表示データとともに中継装置へ送る。中継装置は、そのＩＰアドレスに基づいて宛先となる伝送端末へ表示データを送信し、その伝送端末が、表示データに基づき画像を表示するとともに、撮像された画像データも表示する。
画像データとともに表示される表示データは、会議の参加者が操作することなく、配置情報管理表に基づき表示させることができる（特許文献２参照）。このため、参加者は、複数の表示データから１つの表示データを選択する必要がなく、また、その表示データを画像データに比較して大きく表示するので、着目すべき表示データを提供することができる。
上記のシステムでは、表示データのみを表示することが可能であるが、その表示データのみを表示している場合であっても、表示に使用していない画像データを受信しており、その結果、ネットワークに余計な負荷がかかっている。ネットワーク環境や会議に参加する人数によっては、そのネットワーク負荷により、画像データや表示データの表示を適切に行うことができず、音声もうまく聞き取ることができない場合がある。これでは、会議をスムーズに進めることはできない。
したがって、会議をスムーズに進めることができるように、ネットワークにかかる負荷を軽減することができる装置やその方法の提供が望まれていた。
本発明は、上記課題に鑑み、通信端末間のデータの送受信を中継する中継装置であって、そのデータに含まれる撮像して得られた画像データと資料として表示される表示データの少なくとも１つを、設定された配置情報に従って画面内の１以上の領域に表示する通信端末から、変更された配置情報の通知を受信する受信手段と、当該通信端末へのデータの送信を管理するための管理情報を、通知された配置情報に基づき変更する変更手段と、変更された管理情報に従って当該通信端末への表示データおよび画像データの少なくとも１つの送信を制御する制御手段とを含む、中継装置が提供される。
本実施形態の表示データ共有システムの構成例を示した図。 本実施形態の中継装置のハードウェア構成の一例を示した図。 表示データ共有システムにおいて中継装置とともに使用される通信端末のハードウェア構成の一例を示した図。 中継装置とともに使用される通信端末の一例を示した機能ブロック図。 通信端末が保持する送信管理テーブルの一例を示した図。 配置情報と、各領域に割り当てられる映像データまたは表示データの関係の一例を示した図。 ディスプレイの分割例と分割により生じる領域の一例を示した図。 本実施形態の中継装置の一例を示した機能ブロック図。 中継装置が保持する受信管理テーブルの一例を示した図。 中継装置が保持する送信管理テーブルの一例を示した図。 表示データ共有システムで行われるデータ制御の第１実施形態を示したフローチャート。 表示データ共有システムで行われるデータ制御の第２実施形態を示したフローチャート。 表示データ共有システムで行われるデータ制御の第３実施形態を示したフローチャート。
図１は、本実施形態の表示データ共有システムの構成例を示した図である。図１では、表示データ共有システムは、地理的に遠く離れた２つの地域Ａ、Ｂにそれぞれ設置された通信システムにより構成されている。ここでは、２つの地域Ａ、Ｂとしているが、３つ以上の地域に設置された通信システムにより構成することも可能である。なお、この表示データ共有システムは、会議の資料として相手方に参照させるための資料データ（以下、表示データとする。）を会議の参加者が利用する通信端末へ送信し、共有させることができ、各通信端末にて撮像された画像データ（以下、映像データとする。）を他の参加者が利用する通信端末へ送信して、その表情等を見ながら会議を行うことができるシステムである。
地域Ａ、Ｂに設置された通信システムは、インターネット１０により互いに通信可能に接続されており、その通信は、ＴＣＰ(Transmission Control Protocol)／ＩＰ等の適切な通信プロトコルを使用して行われる。このインターネット１０には、さらに、管理サーバ１１およびプログラム提供サーバ１２も接続されている。この管理サーバ１１およびプログラム提供サーバ１２は、図１では地域Ａ、Ｂ外に設置されているが、地域Ａまたは地域Ｂ内に設置されていてもよい。また、地域Ａ内に管理サーバ１１またはプログラム提供サーバ１２の一方が設置され、地域Ｂ内にその他方が設置されていてもよい。
プログラム提供サーバ１２は、地域Ａに設置された通信システム、地域Ｂに設置された通信システム、管理サーバ１１のそれぞれに提供するためのプログラムが記憶されたＨＤ(Hard Disk)等の記憶装置を備えている。プログラム提供サーバ１２は、これらの通信システムおよび管理サーバ１１からの要求に応答して、プログラムを送信することができる。このプログラムは、通信システムおよび管理サーバ１１にインストールされて各種機能を実現する。
管理サーバ１１は、プログラム提供サーバ１２から送信されたプログラムを受信し、インストールして、２つの地域Ａ、Ｂに設置された通信システム間の通信を管理する。このため、管理サーバ１１は、ＨＤ等の記憶装置を備え、この記憶装置には、この通信を管理するための各種テーブルが記憶される。
例えば、記憶装置には、端末認証管理テーブルが記憶される。この端末認証管理テーブルは、すべての通信端末に割り当てられた端末ＩＤに対して、各パスワードを関連付けて管理する。この端末ＩＤおよびパスワードは、テレビ会議を行うために表示データ共有システムにログインする際の認証に使用されるものである。
そのほか、各中継装置の稼働状態やＩＰアドレス等を記憶、管理する中継装置管理テーブル、テレビ会議の開始を要求する要求元の通信端末の端末ＩＤに対して、宛先となる通信端末の候補として登録されている通信端末の端末ＩＤのすべてを関連付けて記憶、管理する宛先リスト管理テーブル、中継装置を選択するためのセッションの実行に用いられる選択用セッションＩＤ毎に、映像データ、音声データおよび表示データの中継に使用される中継装置の中継装置ＩＤ、要求元の通信端末の端末ＩＤ、宛先の通信端末の端末ＩＤを関連付けて記憶、管理するセッション管理テーブル等が記憶される。
地域Ａに設置された通信システムは、通信端末１３ａ〜１３ｄ、各通信端末１３ａ〜１３ｄと接続されたディスプレイ１４ａ〜１４ｄ、各通信端末１３ａ〜１３ｄに接続された外部入力装置１５ａ〜１５ｄ、インターネット１０に接続されるルータ１６ａ、そのルータ１６ａと各通信端末１３ａ〜１３ｄとを接続するルータ１６ｂ、１６ｃ、それらルータ１６ｂ、１６ｃに接続される中継装置１７ａ、１７ｂとを含んで構成されている。
通信端末１３ａ、１３ｂ、ルータ１６ｂ、中継装置１７ａは、ＬＡＮ(Local Area
Network)１８ａによって互いに通信可能に接続されている。また、通信端末１３ｃ、１３ｄ、ルータ１６ｃ、中継装置１７ｂは、ＬＡＮ１８ｂによって互いに通信可能に接続されている。ＬＡＮ１８ａ、１８ｂは、ルータ１６ａが含まれた専用線１９ａによって通信可能に接続されている。例えば、地域Ａは、日本であり、ＬＡＮ１８ａは、東京本社で構築され、ＬＡＮ１８ｂは、大阪の事業所で構築される。
地域Ｂに設置された通信システムは、通信端末１３ｅ〜１３ｈ、各通信端末１３ｅ〜１３ｈに接続されたディスプレイ１４ｅ〜１４ｈ、各通信端末１３ｅ〜１３ｈに接続された外部入力装置１５ｅ〜１５ｈ、インターネット１０に接続されるルータ１６ｄ、そのルータ１６ｄと各通信端末１３ｅ〜１３ｈとを接続するルータ１６ｅ、１６ｆ、それらルータ１６ｅ、１６ｆに接続される中継装置１７ｃ、１７ｄとを含んで構成されている。
通信端末１３ｅ、１３ｆ、ルータ１６ｅ、中継装置１７ｃは、ＬＡＮ１８ｃによって互いに通信可能に接続されている。また、通信端末１３ｇ、１３ｈ、ルータ１６ｆ、中継装置１７ｄは、ＬＡＮ１８ｄによって互いに通信可能に接続されている。ＬＡＮ１８ｃ、１８ｄは、ルータ１６ｄが含まれた専用線１９ｂによって通信可能に接続されている。例えば、地域Ｂは、中国であり、ＬＡＮ１８ｃは、北京の事業所で構築され、ＬＡＮ１８ｄは、上海の事業所で構築される。
以下、任意の通信端末、ディスプレイ、外部入力装置、ルータ、中継装置を示す場合、それぞれ「通信端末１３」、「ディスプレイ１４」、「外部入力装置１５」、「ルータ１６」、「中継装置１７」を用いる。なお、その他についても同様である。
通信端末１３は、他の通信端末１３との間で、撮像された映像の映像データおよび入力された音声の音声データの送受信を行う。映像データは、動画データであってもよいし、静止画像の画像データであってもよい。また、映像データは、動画と静止画の両方を含むデータであってもよい。映像データおよび音声データは、映像データおよび音声データを受信すると同時に再生するようにストリーミング配信することができる。この映像データは、圧縮符号化して送受信することができるが、その圧縮符号化技術として、H.264/SVCを採用することができる。H.264/SVCでは、データを２つのチャネルに分けて符号化し、相手方へ送信するので、相手方がネットワークの状態や再生機器の能力に応じて２つのチャネルを組み合わせてデコードすることにより、不具合のない適切なデータとして取り出し、再生することができる。
通信端末１３は、他の通信端末１３から送信された映像データ、音声データおよび表示データの少なくとも１つを、予め設定された配置情報に従ってディスプレイ１４の画面内の１以上の領域に表示する。配置情報は、映像データおよび表示データの表示に関する情報である。
ディスプレイ１４は、通信端末１３が送受信する映像データを表示し、会議に使用される資料データも表示データとして表示する。このディスプレイ１４は、通信端末１３用のディスプレイである。外部入力装置１５は、自機が有する表示装置に表示された資料を一定時間間隔で取り込み、通信端末１３に対してその取り込んだ画像を表示データとして一定時間間隔で送信する。表示データとしては、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用される文書データ、表データ、画像データ等が挙げられる。表示データは、動画データであってもよい。ディスプレイ１４は、被写体の映像や操作用のアイコン等を表示するものであれば液晶ディスプレイのほか、有機ＥＬディスプレイであってもよい。
ルータ１６は、映像データ、音声データおよび表示データの最適な経路の選択を行う。このため、ルータ１６は、送信元のルータ１６や通信端末１３のＩＰアドレス、送信先のルータ１６や通信端末１３のＩＰアドレスが入力されたルーティングテーブルを保持する。ルータ１６は記憶部を備えており、ルーティングテーブルは、送信元のＩＰアドレスと、送信先のＩＰアドレスとを対応付けてその記憶部に記憶される。通信を行う際、このＩＰアドレスのほか、ＭＡＣ(Media Access Control)アドレス等を用いることができる。ＩＰアドレスは、例えば、一般的なＩＰｖ４における「１．２．１．３」等とすることができる。しかしながら、これに限られるものではなく、ＩＰｖ６を用いてもよい。
中継装置１７は、ルータ１６に接続され、通信端末１３間における映像データ、音声データおよび表示データの送受信を中継する。その際、中継装置１７は、どの通信端末１３へ映像データ、音声データおよび表示データを送信し、その送信を停止するかを決定する。図１に示す表示データ共有システムには、４つの中継装置１７が含まれるが、いずれの中継装置１７を採用するかは、後述するように通信端末１３によって選択される。
図２は、本実施形態の中継装置１７のハードウェア構成の一例を示した図である。このハードウェア構成は、図１に示した管理サーバ１１や外部入力装置１５も同様とされる。この中継装置１７は、中継装置１７全体の制御を行うＣＰＵ(Central Processing Unit)２０と、中継装置用プログラムを記憶するＲＯＭ(Read Only Memory)２１と、ＣＰＵ２０の作業空間として使用されるＲＡＭ(Random Access Memory)２２と、各種データを記憶するＨＤ２３と、ＣＰＵ２０の制御に従ってＨＤ２３に対する各種データの読み出しや書き込みを制御するＨＤＤ(Hard Disk Drive)２４と、フラッシュメモリ等の記録メディア２５に対するデータの読み出し、書き込みを制御するメディアドライブ２６とを備える。
また、中継装置１７は、カーソル、メニュー、ウィンドウ、文字、映像等の各種情報を表示するディスプレイ２７と、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ２８と、文字、数値、各種指示等の入力のための複数のキーを備えたキーボード２９と、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うマウス３０と、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ３１に対するデータの読み出しや書き込みを制御するＣＤ−ＲＯＭドライブ３２と、外部の装置との間でデータを送受信する外部装置Ｉ／Ｆ３３と、互いに電気的に接続するためのアドレスバスやデータバス等のバスライン３４とをさらに備える。
中継装置用プログラムは、インストール可能な形式や実行可能な形式のファイルで提供することができ、プログラム提供サーバ１２からのダウンロード形式で提供する以外に、記録メディア２５やＣＤ−ＲＯＭ３１等のコンピュータ可読な記録媒体に格納して提供することもできる。上記の通信ネットワークは、ＬＡＮ１８、専用線１９およびインターネット１０によって構築されるネットワークである。この中継装置用プログラムを実行することにより実現される機能については後述する。
なお、同様のハードウェア構成を採用する管理サーバ１１の場合、ＲＯＭ２１に管理サーバ用プログラムが記憶され、外部入力装置１５の場合、ＲＯＭ２１に外部入力装置用プログラムが記憶される。これらのプログラムも、インストール可能な形式や実行可能な形式のファイルで提供することができ、プログラム提供サーバ１２からのダウンロード形式で提供する以外に、記録メディア２５やＣＤ−ＲＯＭ３１等のコンピュータ可読な記録媒体に格納して提供することもできる。
記録媒体としては、記録メディア２５やＣＤ−ＲＯＭ３１のほか、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ(Digital Video Disk)、ブルーレイディスク等のコンピュータ可読な記録媒体であってもよい。
図３は、表示データ共有システムにおいて中継装置１７とともに使用される通信端末１３のハードウェア構成の一例を示した図である。通信端末１３は、通信端末１３全体の動作を制御するＣＰＵ４０と、通信端末１３が行う処理を実現するための通信端末用プログラムを記憶するＲＯＭ４１と、ＣＰＵ４０の作業空間として使用されるＲＡＭ４２とを備える。また、通信端末１３は、映像データや音声データ等の各種データを記憶するフラッシュメモリ４３と、ＣＰＵ４０の制御に従ってフラッシュメモリ４３に対する各種データの読み出しや書き込みを制御するＳＳＤ(Solid State Drive)４４と、フラッシュメモリ等の記録メディア４５に対するデータの読み出し、書き込みを制御するメディアドライブ４６と、通信端末１３の宛先を選択する場合等に操作される操作ボタン４７と、通信端末１３の電源のＯＮ／ＯＦＦを切り替えるための電源スイッチ４８と、通信ネットワークを利用してデータ伝送するためのネットワークＩ／Ｆ４９とをさらに備える。
通信端末１３は、ＣＰＵ４０の制御に従って被写体を撮像し、撮像された映像の映像データを取得するＣＣＤ(Charged Coupled Device)５０と、このＣＣＤ５０の駆動を制御する撮像素子Ｉ／Ｆ５１と、音声を入力するマイク５２と、この入力された音声を出力するスピーカ５３と、ＣＰＵ４０の制御に従ってマイク５２およびスピーカ５３との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ５４とを備える。また、通信端末１３は、ＣＰＵ４０の制御に従って外付けのディスプレイ１４に映像データを伝送するディスプレイＩ／Ｆ５５と、外部の装置との間で各種データを送受信する外部装置Ｉ／Ｆ５６と、互いに電気的に接続するためのアドレスバスやデータバス等のバスライン５７とをさらに備える。
図３に示す記録メディア４５は、通信端末１３に対して着脱自在な構成とされている。また、ＣＰＵ４０の制御に従ってデータの読み出しや書き込みを行う不揮発性メモリであれば、フラッシュメモリ４３に限られるものではなく、ＥＥＰＲＯＭ(Electrically Erasable and Programmable ROM)等を用いてもよい。さらに、ＣＣＤ５０は、光を電荷に変換して被写体の映像を電子化する固体撮像素子であり、被写体を撮像するものであればＣＣＤ以外にＣＭＯＳ(Complementary Metal Oxide Semiconductor)等を用いてもよい。
通信端末用プログラムは、インストール可能な形式や実行可能な形式のファイルで提供することができ、プログラム提供サーバ１２からのダウンロード形式で提供する以外に、記録メディア４５等のコンピュータ可読な記録媒体に格納して提供することもできる。なお、通信端末１３は、図３に示す実施形態ではＣＣＤ５０、マイク５２等を含む装置とされているが、それらを備えていないプロジェクタやＰＣ等であってもよい。
中継装置１７が有する機能および処理について説明する前に、この中継装置１７が通信端末１３間のデータの送受信を中継する装置であることから、通信端末１３が有する機能について簡単に説明する。図４は、表示データ共有システムが備える通信端末１３の一例を示した機能ブロック図である。図４に示す構成は一例であり、これに限定されるものではない。
通信端末１３は、送受信部１００と、操作入力受付部１０１と、ログイン要求部１０２と、撮像部１０３と、画像表示制御部１０４と、音声入力部１０５と、音声出力部１０６と、選択処理部１０７と、外部情報送受信部１０８と、記憶・読出処理部１０９と、配置情報選択部１１０と、表示データ制御部１１１とを含んで構成される。これらの各部は、図３に示した各構成要素のいずれかが、ＲＯＭ４１に記憶された通信端末用プログラムに従ったＣＰＵ４０からの命令により動作することで実現される。
通信端末１３に外部入力装置１５が接続されている場合は、外部入力装置１５が表示データを通信端末１３へ送信し、通信ネットワークを介して中継装置１７へ送信する。
送受信部１００は、図３に示したネットワークＩ／Ｆ４９によって実現され、通信ネットワークを介して他の通信端末１３との間で各種データの送受信を行う。操作入力受付部１０１は、図３に示した操作ボタン４７および電源スイッチ４８によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、電源スイッチ４８をＯＮにすると、操作入力受付部１０１が、その電源スイッチ４８がＯＮにされたことを受け付け、電源をＯＮにする。
ログイン要求部１０２は、図３に示したＣＰＵ４０からの命令により実現され、電源がＯＮにされたことを受けて、送受信部１００から通信ネットワークを介して管理サーバ１１へ、ログインを要求する旨を示すログイン要求情報や通信端末１３の現時点のＩＰアドレスを自動的に送信する。
撮像部１０３は、図３に示したＣＣＤ５０と、撮像素子Ｉ／Ｆ５１とによって実現され、被写体を撮像して得られた映像データを出力する。撮像部１０３は、この映像データをストリーミング配信することにより、他の通信端末１３へ送信する。画像表示制御部１０４は、図３に示したディスプレイＩ／Ｆ５５によって実現され、外付けのディスプレイ１４に対して映像データを送信するための制御を行う。また、画像表示制御部１０４は、通信端末１３に接続された外部入力装置１５の表示装置で表示され、取得された表示データを表示する。
音声入力部１０５は、図３に示したマイク５２および音声入出力Ｉ／Ｆ５４によって実現され、ユーザの音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。この音声入力部１０５は、音声信号の入力レベルを測定し、それを閾値等と比較することで、音声信号の有無について判定する。音声出力部１０６は、図３に示したスピーカ５３および音声入出力Ｉ／Ｆ５４によって実現され、音声データに係る音声信号を音声に変換して出力する。
選択処理部１０７は、複数の中継装置１７から１つの中継装置１７を選択する処理を実行する。この選択処理部１０７は、送受信部１００によって受信された送信日時を含む事前送信情報毎に、送受信部１００によって事前送信情報が受信される際の受信日時を計測する。また、選択処理部１０７は、受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。選択処理部１０７は、算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置１７を選択することで、１つの中継装置１７を選択する。
外部情報送受信部１０８は、図３に示した外部装置Ｉ／Ｆ５６によって実現され、外部入力装置１５との間でデータの送受信を行う。記憶・読出処理部１０９は、図３に示したＳＳＤ４４により実現され、通信端末１３が備える記憶部１１２に各種データを記憶し、記憶された各種データを読み出す処理を行う。記憶部１１２には、通信端末１３を識別するための端末ＩＤ、パスワード、映像データ、音声データ、その他の各種データを送信する中継装置１７を識別するための中継装置ＩＤ、宛先の通信端末１３のＩＰアドレス等が記憶される。また、記憶部１１２には、配置情報管理表１１３、イベントフラグテーブル１１４、送信管理テーブル１１５も記憶される。
配置情報選択部１１０は、表示データの配信イベントに基づき、イベントフラグテーブル１１４から共有フラグを選択し、配置情報管理表１１３に設定することで、画像表示制御部１０４に対し、ディスプレイ１４に表示させる画面の配置情報を指示する。配信イベントとしては、例えば、表示データの配信を開始したときに発生する「配信開始イベント」、その配信を停止したときに発生する「配信停止イベント」、他の通信端末１３から表示データの配信が開始されたときに発生する「他からの配信イベント」、その配信が停止されたときに発生する「他からの配信停止イベント」が挙げられる。配置情報選択部１１０は、「配信開始イベント」や「他からの配信イベント」に対しては、表示データの配信が開始され、通信端末１３はその表示データを受信することから、その表示データを表示させることができる配置情報を指示する。
表示データ制御部１１１は、外部入力装置１５から表示データを取得し、取得した表示データを通信端末１３へ送信する。表示データは、表示装置の画面に表示された画像をＪＰＥＧ(Joint Photographic Experts Group)やビットマップ等の形式とした画像データ、ＧＤＩ(Graphics Device Interface)等の形式とした描画コマンドとすることができる。表示データ制御部１１１は、外部入力装置１５からの要求に応じて、中継装置１７に対して表示データの配信開始の要求や配信停止の要求を行う。また、表示データ制御部１１１は、中継装置１７からの配信イベントに応じてイベントフラグテーブル１１４を参照して表示制御フラグの状態を決定し、表示制御フラグを外部入力装置１５へ送信する。この表示制御フラグは、外部入力装置１５がその外部入力装置１５が有する表示装置に表示するメニュー等の表示を通信端末１３が制御するために用いられる。
送信管理テーブル１１５は、撮像部１０３で撮像された映像データを中継装置１７へ送信しているかどうか、通信端末１３に接続されている外部入力装置１５から表示データを受信し、それを中継装置１７へ送信しているかどうかという送信状態を管理するために用いられる。例えば、外部入力装置１５からの表示データの受信が停止し、配信停止イベントが発生すると、それを配置情報選択部１１０が受け付け、配置情報管理表１１３に設定し、画像表示制御部１０４に指示することで表示画面を切り替えるとともに、送信管理テーブル１１５内の送信状態の情報が変更される。
表示画面は、操作入力受付部１０１等から入力された情報をイベントとして受け付け、配置情報選択部１１０がそのイベントを受け付け、そのイベントに基づき画像表示制御部１０４に指示して画面表示を任意に切り替えることも可能である。この場合も、送信管理テーブル１１５内の送信状態の情報が変更される。
図５は、送信管理テーブル１１５の一例を示した図である。送信管理テーブル１１５では、中継装置１７へ送信するデータを特定するためのデータ名と、その送信状態とを対応付けて管理する。データ名は、例えば、「映像データ」や「表示データ」等である。送信状態は、現在送信中であるか否かの情報で、送信中であれば「TRUE」に設定され、送信しない場合は「FALSE」に設定される。これは一例であるので、これ以外の会議名や日時等の情報を含めて管理することも可能である。
図６は、配置情報と、各領域に割り当てられる映像データまたは表示データの関係の一例を示した図である。「配置情報」は、映像データおよび表示データの表示に関する情報である。配置情報としては、「SHARED_MULTI」、「SHARED_ONLY」、「VIEW_MULTI」、「VIEW_ONLY」等が挙げられる。「SHARED_MULTI」は、各通信端末１３から受信したすべての映像データと表示データとを混在させて表示することを意味し、「SHARED_ONLY」は、表示データのみを画面全体表示することを意味する。「VIEW_MULTI」は、各通信端末１３から受信したすべての映像データを表示することを意味し、「VIEW_ONLY」は、特定の映像データのみを画面全体表示することを意味する。この関係は、記憶部１１２に関係データとして記憶され、画像表示制御部１０４が画面上に表示する際に参照することができる。
図７は、ディスプレイ１４上に表示される画面を例示した図である。図７（ａ）は、配置情報として、「SHARED_MULTI」または「VIEW_MULTI」が選択された場合に表示される画面であり、図７（ｂ）は、「SHARED_ONLY」または「VIEW_ONLY」が選択された場合に表示される画面である。これらは、配置情報選択部１１０によりイベントに応じて選択される。
「SHARED_MULTI」または「VIEW_MULTI」は、通信端末１３の数に応じて複数に画面が分割され、分割された各領域に各映像データや表示データを割り当て、それらのデータを表示させる情報である。各領域の大きさは、予め設定された大きさとすることができる。図７（ａ）では、領域１が最も大きく、領域２〜４がそれぞれ同じ大きさで、画面に向かって右側に配置されるように４つの領域に分割されている。
「SHARED_MULTI」が選択された場合は、図７（ａ）に示す領域１に、表示データを表示させ、領域２に映像データ１を表示させ、領域３に映像データ２を表示させる。「SHARED_ONLY」が選択された場合は、画面を分割せず、図７（ｂ）に示す領域１に表示データのみを表示させる。「VIEW_MULTI」が選択された場合は、「SHARED_MULTI」と同様、画面を複数に分割するが、表示データは表示させず、映像データのみを表示させる。「VIEW ONLY」が選択された場合は、画面を分割せず、図７（ｂ）に示す領域１に１つの映像データを表示させる。
これらは一例であるので、表示データと映像データ１のみを表示させたり、表示データと映像データ２のみを表示させたり、映像データ１と映像データ３のみを表示させたり、映像データ２と映像データ３のみを表示させたり、映像データ２または映像データ３を全体表示させたりすることも可能である。なお、映像データを表示させる際、その映像データとともに受信した音声データも再生される。このため、どの領域に表示されている参加者がどのような内容を発話しているかを検出することができる。
表示データ共有システムには、管理サーバ１１、プログラム提供サーバ１２、外部入力装置１５、ルータ１６も含まれるが、これらの機能については本発明に直接関係しないので、ここではその説明を省略する。
図８は、本実施形態の中継装置１７の一例を示した機能ブロック図である。中継装置１７は、各通信端末１３からデータを受信し、各通信端末１３へデータを送信するために送受信部２００と、制御部２０１と、記憶・読出処理部２０２と、記憶部２０３と、変更部２０６とを含んで構成される。送受信部２００は、図２に示したネットワークＩ／Ｆ２８により実現され、配置情報が変更された場合に、その変更された配置情報の通知を受信する受信手段として機能する。
送受信部２００は、制御手段として機能する制御部２０１によりデータの送受信が制御される。制御部２０１は、図２に示したＣＰＵ２０からの命令によって実現され、記憶・読出処理部２０２に指示し、記憶・読出処理部２０２が記憶部２０３に記憶されている管理情報としての受信管理テーブル２０４および送信管理テーブル２０５を読み出し、その読み出した受信管理テーブル２０４に設定されている内容に従ってデータを受信し、送信管理テーブル２０５に設定されている内容に従って受信したデータを送信するように制御する。
図９は、受信管理テーブル２０４の一例を示した図である。各通信端末１３には、各通信端末１３を識別するための端末ＩＤが割り当てられており、受信管理テーブル２０４は、映像データまたは表示データをどの通信端末１３から受信しているかを示す通信端末１３の端末ＩＤ（受信元端末ＩＤ）と、受信している映像データまたは表示データのデータ名と、受信状態とを関連付けて管理する。受信状態は、中継装置１７がデータを受信しているか否かを示す情報であり、受信している場合は「TRUE」に設定され、受信しない場合は「FALSE」に設定される。
図９に示す受信管理テーブル２０４を参照すると、「1111」、「2222」、「3333」という受信元端末ＩＤが割り当てられた３台の通信端末１３が、遠隔会議を行っていることを表している。中継装置１７は、端末ＩＤ「1111」が割り当てられた通信端末から映像データ１と表示データ１を受信し、端末ＩＤ「2222」が割り当てられた通信端末１３からは、映像データ２のみを受信し、端末ＩＤ「3333」が割り当てられた通信端末１３からは、映像データ３のみを受信しているのが示されている。
図１０は、送信管理テーブル２０５の一例を示した図である。送信管理テーブル２０５は、中継装置１７がどの通信端末１３へ映像データおよび表示データを送信しているかを示す通信端末１３の端末ＩＤ（送信先端末ＩＤ）と、送信している映像データまたは表示データのデータ名と、送信状態とを関連付けて管理する。送信状態は、中継装置１７がその通信端末１３へデータを送信しているか否かを示す情報で、送信している場合は「TRUE」に設定され、送信していない場合は「FALSE」に設定される。
図１０に示す送信管理テーブル２０５を参照すると、「1111」、「2222」、「3333」という送信先端末ＩＤが割り当てられた３台の通信端末１３が、遠隔会議を行っていて、それら３台の通信端末１３へデータを送信していることを表している。中継装置１７は、端末ＩＤ「1111」が割り当てられた通信端末１３へ映像データ１、映像データ２、映像データ３、表示データ１の４つのデータを送信し、端末ＩＤ「2222」が割り当てられた通信端末１３へは表示データ２のみを送信し、端末ＩＤ「3333」が割り当てられた通信端末１３へは映像データ１、映像データ２、映像データ３を送信しているのが示されている。
再び図８を参照して、送受信部２００が受信した上記通知は、変更手段としての変更部２０６へ送られ、変更部２０６が記憶・読出処理部２０２に指示し、送信管理テーブル２０５を読み出させ、送信管理テーブル２０５内の送信状態の設定を、通知された配置情報に基づき変更する。変更部２０６も、図２に示したＣＰＵ２０からの命令によって実現される。例えば、ある通信端末１３が、これまで映像データも表示していたが、画面表示を切り替え、表示データのみの表示に変更した場合、変更された配置情報は、表示データのみを画面上の各領域に配置して表示する情報となる。この情報を変更部２０６が受け付けると、その通信端末１３の端末ＩＤに関連付けて設定されている映像データの送信状態を「TRUE」から「FALSE」に変更する。
変更部２０６は、変更後の送信管理テーブル２０５へ更新するために、記憶・読出処理部２０２に指示し、記憶部２０３に記憶させる。制御部２０１は、送信管理テーブル２０５に従ってデータの送信制御を行うので、送信状態の上記のように変更されると、その変更された内容に従ってその通信端末１３への映像データの送信を停止する。これにより、表示に使用しない無駄な映像データの送信を停止し、ネットワーク負荷を軽減することができる。ここでは、映像データの送信を停止したが、表示に使用しない表示データの送信や、表示に使用しない表示データおよび映像データの送信を停止することも可能である。
中継装置１７は、図８に示すように、送受信部２００と、制御部２０１と、記憶・読出処理部２０２と、記憶部２０３と、変更部２０６のほかに、判定手段としての判定部、通知手段としての通知部を備えることができる。判定部は、図６に示す映像データ１、映像データ２、映像データ３のような複数の映像データの送受信を中継する場合、変更部２０６で変更された送信管理テーブル２０５の中に、どの通信端末１３へも送信されない、すなわち「FALSE」となっている映像データがあるかどうかを判定する。
例えば、映像データ１が、どの通信端末１３に対しても送信状態「FALSE」である場合、判定部は、どの通信端末１３へも送信されない映像データがあると判定する。通知部は、この映像データ１を送信する通信端末１３のすべてに対し、この映像データ１の送信を停止するように通知する。これにより、各通信端末１３から中継装置１７への映像データの送信が停止され、さらにネットワーク負荷を軽減することができる。
また、判定部が、変更された送信管理テーブル２０５に、どの通信端末１３にも、すべての映像データが送信されないと判定した場合、制御部２０１は、すべての通信端末１３へのすべての映像データの送信を停止し、通知部は、すべての映像データを送信する通信端末１３のすべてに、そのすべての映像データの送信を停止するように通知することも可能である。なお、これら判定部および通知部も、図２に示したＣＰＵ２０からの命令によって実現される。
表示データ共有システムが行う処理について、図１１に示すフローチャートを参照して詳細に説明する。この処理は、ステップ１１００において、複数の通信端末１３が中継装置１７を介してデータの送受信を行い、テレビ会議を開始したときからこの処理を開始する。開始当初は、デフォルト設定により、例えば、すべての通信端末１３が図６に示す「SHARED_MULTI」に設定されるものとする。このため、複数の通信端末１３に設けられるディスプレイ１４の画面には、図７（ａ）に示すような複数に分割された領域が表示され、その領域のうち最大の領域１に表示データ、領域１より小さい領域２等に他の通信端末により撮像され送信された映像データが表示される。
ステップ１１１０では、ある通信端末１３において、参加者が操作ボタン４７や外部入力装置１５が備えるマウス等により配置情報を「SHARED_ONLY」へ変更するイベントを発生させると、その通信端末１３の配置情報選択部１１０がそれを検出して配置情報管理表１１３に設定し、画像表示制御部１０４に指示して、表示データのみの表示に切り替える。
ステップ１１２０では、通信端末１３が送受信部１００を使用して、この変更された配置情報「SHARED_ONLY」を中継装置１７へ通知する。ステップ１１３０では、中継装置１７の変更部２０６が、通信端末１３から通知された配置情報を基に、中継装置１７の記憶部２０３に記憶される送信管理テーブル２０５を変更する。具体的には、通知を行った通信端末１３において画面表示に使用していない映像データの送信状態を「FALSE」に変更する。
ステップ１１４０では、中継装置１７の制御部２０１が、送信管理テーブル２０５で送信状態が「FALSE」になった送信先端末ＩＤおよびデータ名から送信先の通信端末１３およびその通信端末１３へ送信する映像データを特定し、その通知を行った通信端末１３へのその映像データの送信を停止し、ステップ１１５０へ進み、この処理を終了する。
例えば、図１０に示す送信管理テーブル２０５中の送信先端末ＩＤ「1111」が割り当てられた通信端末１３が配置情報「SHARED_MULTI」を「SHARED_ONLY」へ変更して、表示画面を切り替えたとき、中継装置１７は、その通信端末１３から、変更された配置情報である「SHARED_ONLY」という通知を受け取る。中継装置１７の変更部２０６は、この図１０に示す送信管理テーブル２０５の送信先端末ＩＤ「1111」に対応する映像データ１、映像データ２、映像データ３についての送信状態がすべて「TRUE」となっているものを、すべて「FALSE」へ変更する。これに伴い、中継装置１７の制御部２０１は、この変更後の送信管理テーブル２０５を参照し、送信状態が「FALSE」となった映像データ１、映像データ２、映像データ３の、送信先端末ＩＤ「1111」が割り当てられた通信端末１３への送信を停止する。
図１１に示した実施形態では、ある通信端末１３が表示画面を表示データのみに切り替えた場合について説明したが、図１２では、表示データのみとした表示画面を元の映像データを含む表示画面に戻す処理について説明する。図１２に示すフローチャートを参照して、ステップ１２００からこの処理を開始し、ステップ１２１０では、その通信端末１３が、表示画面を、映像データを含む画面に切り替える。これも、参加者が操作ボタン４７や外部入力装置１５が備えるマウス等により配置情報を「SHARED_MULTI」へ変更するイベントを発生させると、その通信端末１３の配置情報選択部１１０がそれを検出して配置情報管理表１１３に設定し、画像表示制御部１０４に指示して、表示データと映像データとを含む表示に切り替える。
ステップ１２２０では、通信端末１３が送受信部１００を使用して、この変更された配置情報「SHARED_MULTI」を中継装置１７へ通知する。ステップ１２３０では、中継装置１７の変更部２０６が、通信端末１３から通知された配置情報を基に、中継装置１７の記憶部２０３に記憶される送信管理テーブル２０５を変更する。具体的には、通知を行った通信端末１３において画面表示に使用を開始した映像データの送信状態を「TRUE」に変更する。
ステップ１２４０では、中継装置１７の制御部２０１が、送信管理テーブル２０５で送信状態が「TRUE」になった送信先端末ＩＤおよびデータ名から送信先の通信端末１３およびその通信端末１３へ送信する映像データを特定し、その通知を行った通信端末１３へのその映像データの送信を開始し、ステップ１２５０へ進み、この処理を終了する。
例えば、図１０に示す送信管理テーブル２０５中の送信先端末ＩＤ「1111」が割り当てられた通信端末１３が配置情報「SHARED_ONLY」を「SHARED_MULTI」へ変更して、表示画面を切り替えたとき、中継装置１７は、その通信端末１３から、変更された配置情報である「SHARED_MULTI」という通知を受け取る。中継装置１７の変更部２０６は、この図１０に示す送信管理テーブル２０５の送信先端末ＩＤ「1111」に対応する映像データ１、映像データ２、映像データ３についての送信状態がすべて「FALSE」となっているものを、すべて「TRUE」へ変更する。これに伴い、中継装置１７の制御部２０１は、この変更後の送信管理テーブル２０５を参照し、送信状態が「TRUE」となった映像データ１、映像データ２、映像データ３の、送信先端末ＩＤ「1111」が割り当てられた通信端末１３への送信を開始する。
遠隔会議を行っている参加者のすべてが使用する通信端末の画面表示が表示データに切り替えられたときに実行される処理について、図１３に示すフローチャートを参照して詳細に説明する。ステップ１３００から開始し、ステップ１３１０〜１３３０は、図１１のステップ１１１０〜１１３０と同様である。
ステップ１３４０では、中継装置１７は、送信管理テーブル２０５内の送信状態がすべて「FALSE」になっている映像データがあるかを判定する。すべてが「FALSE」になっている映像データがないと判定された場合、映像データを送信すべき通信端末１３が存在するので、ステップ１３９０で、通知を行った通信端末１３への、送信管理テーブル２０５の送信状態が「FALSE」とされた映像データの送信を停止する。そして、ステップ１４００でこの処理を終了する。
ステップ１３４０ですべてが「FALSE」になった映像データがあると判定された場合、ステップ１３５０へ進み、その映像データを送信しているすべての通信端末１３へその映像データの送信を停止するように通知する。そして、ステップ１３６０では、中継装置１７は、送信管理テーブル２０５内のその映像データのデータ名に対応する送信先端末ＩＤを取得し、受信管理テーブル２０４内の対応する受信元端末ＩＤのその映像データについての受信状態を「FALSE」へ変更する。
ステップ１３７０では、通知を受けた各通信端末１３が、自己が保持する送信管理テーブル１１５内のその映像データの送信状態を「FALSE」に変更する。その後、ステップ１３８０で、各通信端末１３が「FALSE」に変更した映像データの送信を停止し、ステップ１４００へ進み、この処理を終了する。
このように通信端末１３において表示データのみに切り替えられたときに、中継装置１７からその通信端末１３への映像データの送信を停止することで、中継装置１７とその通信端末１３間のデータ容量を低減し、ネットワーク負荷を軽減することができる。映像データは、表示データに比較してデータ容量が大きいので、不要な映像データの伝送を停止することで、そのネットワーク負荷の軽減に大きな効果を有するからである。
また、外部入力装置１５で表示用のアプリケーションソフトウェアを起動し、表示データを符号化することができるので、通信端末１３が備えるＣＰＵ負荷を軽減することができる。さらに、すべての通信端末１３が表示データのみを表示する場合、各通信端末１３から中継装置１７へ送信される映像データも停止することができるので、ネットワーク負荷を大幅に軽減することができる。
これまで本発明を上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
１０…インターネット、１１…管理サーバ、１２…プログラム提供サーバ、１３、１３ａ〜１３ｈ…通信端末、１４、１４ａ〜１４ｈ…ディスプレイ、１５、１５ａ〜１５ｈ…外部入力装置、１６、１６ａ〜１６ｆ…ルータ、１７、１７ａ〜１７ｄ…中継装置、１８ａ〜１８ｄ…ＬＡＮ、１９ａ、１９ｂ…専用線、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…ＨＤ、２４…ＨＤＤ、２５…記録メディア、２６…メディアドライブ、２７…ディスプレイ、２８…ネットワークＩ／Ｆ、２９…キーボード、３０…マウス、３１…ＣＤ−ＲＯＭ、３２…ＣＤ−ＲＯＭドライブ、３３…外部装置Ｉ／Ｆ、３４…バスライン、４０…ＣＰＵ、４１…ＲＯＭ、４２…ＲＡＭ、４３…フラッシュメモリ、４４…ＳＳＤ、４５…記録メディア、４６…メディアドライブ、４７…操作ボタン、４８…電源スイッチ、４９…ネットワークＩ／Ｆ、５０…ＣＣＤ、５１…撮像素子Ｉ／Ｆ、５２…マイク、５３…スピーカ、５４…音声入出力Ｉ／Ｆ、５５…ディスプレイＩ／Ｆ、５６…外部装置Ｉ／Ｆ、５７…バスライン、１００…送受信部、１０１…操作入力受付部、１０２…ログイン要求部、１０３…撮像部、１０４…画像表示制御部、１０５…音声入力部、１０６…音声出力部、１０７…選択処理部、１０８…外部情報送受信部、１０９…記憶・読出処理部、１１０…配置情報選択部、１１１…表示データ制御部、１１２…記憶部、１１３…配置情報管理表、１１４…イベントフラグテーブル、１１５…送信管理テーブル、２００…送受信部、２０１…制御部、２０２…記憶・読出処理部、２０３…記憶部、２０４…受信管理テーブル、２０５…送信管理テーブル、２０６…変更部
特開２０１１−２５４４５３号公報 特願２０１１−１７５４１７号

Claims (10)

  1. 通信端末間のデータの送受信を中継する中継装置であって、
    前記データに含まれる撮像して得られた画像データと資料として表示される表示データの少なくとも１つを、設定された配置情報に従って画面内の１以上の領域に表示する前記通信端末から、変更された前記配置情報の通知を受信する受信手段と、
    前記通信端末への前記データの送信を管理するための管理情報を、通知された前記配置情報に基づき変更する変更手段と、
    変更された前記管理情報に従って前記通信端末への前記表示データおよび前記画像データの少なくとも１つの送信を制御する制御手段とを含む、中継装置。
  2. 通知された前記配置情報が、前記表示データのみを表示させる配置情報である場合、前記制御手段は、前記変更された管理情報に従って前記通信端末への前記画像データの送信を停止する、請求項１に記載の中継装置。
  3. 前記データは、複数の前記画像データを含み、前記変更された管理情報に複数の前記通信端末のいずれにも送信されない画像データが含まれるか否かを判定する判定手段と、前記いずれにも送信されない画像データが含まれると判定された場合に、当該画像データを送信する通信端末のすべてに、当該画像データの送信を停止するように通知する通知手段とを含む、請求項１に記載の中継装置。
  4. 前記判定手段が、前記変更された管理情報に前記複数の通信端末のいずれにも、すべての前記画像データが送信されないと判定した場合、前記制御手段が、前記複数の通信端末への前記すべての画像データの送信を停止し、前記通知手段が、前記すべての画像データを送信する通信端末のすべてに、当該すべての画像データの送信を停止するように通知する、請求項３に記載の中継装置。
  5. 前記表示データは、前記通信端末に接続された外部入力装置から受信される、請求項１〜４のいずれか１項に記載の中継装置。
  6. ２以上の通信端末と、前記通信端末間のデータの送受信を中継する、請求項１〜５のいずれか１項に記載の中継装置とを含む表示データ共有システム。
  7. 通信端末間のデータの送受信を中継する中継装置により実行されるデータ制御方法であって、
    前記データに含まれる撮像して得られた画像データと資料として表示される表示データの少なくとも１つを、設定された配置情報に従って画面内の１以上の領域に表示する前記通信端末から、変更された前記配置情報の通知を受信するステップと、
    前記通信端末への前記データの送信を管理するための管理情報を、通知された前記配置情報に基づき変更するステップと、
    変更された前記管理情報に従って前記通信端末への前記表示データおよび前記画像データの少なくとも１つの送信を制御するステップとを含む、データ制御方法。
  8. 前記データは、複数の前記画像データを含み、前記変更された管理情報に複数の前記通信端末のいずれにも送信されない画像データが含まれるか否かを判定するステップと、前記いずれにも送信されない画像データが含まれると判定された場合に、前記画像データを送信する通信端末のすべてに、当該画像データの送信を停止するように通知するステップとを含む、請求項８に記載のデータ制御方法。
  9. 前記表示データを、前記通信端末に接続された外部入力装置から受信するステップを含む、請求項７または８に記載のデータ制御方法。
  10. 請求項７〜９のいずれか１項に記載のデータ制御方法を実行するためのコンピュータ可読なプログラム。
JP2012099413A 2012-04-25 2012-04-25 中継装置、表示データ共有システム、データ制御方法およびプログラム Active JP6069881B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012099413A JP6069881B2 (ja) 2012-04-25 2012-04-25 中継装置、表示データ共有システム、データ制御方法およびプログラム
SG11201406562VA SG11201406562VA (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
US14/389,647 US20150058735A1 (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
PCT/JP2013/062739 WO2013162055A1 (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
EP13781882.9A EP2842042B1 (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
AU2013253308A AU2013253308B2 (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
CA2869735A CA2869735A1 (en) 2012-04-25 2013-04-24 Relay device, display data sharing system, data control method, and computer-readable storage medium
ES13781882.9T ES2586633T3 (es) 2012-04-25 2013-04-24 Dispositivo de reenvío, sistema de compartición de datos de presentación, método de control de datos y medio de almacenamiento legible por ordenador
CN201380021483.7A CN104247408A (zh) 2012-04-25 2013-04-24 中继装置、显示数据共享系统、数据控制方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012099413A JP6069881B2 (ja) 2012-04-25 2012-04-25 中継装置、表示データ共有システム、データ制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2013228830A true JP2013228830A (ja) 2013-11-07
JP6069881B2 JP6069881B2 (ja) 2017-02-01

Family

ID=49483343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012099413A Active JP6069881B2 (ja) 2012-04-25 2012-04-25 中継装置、表示データ共有システム、データ制御方法およびプログラム

Country Status (9)

Country Link
US (1) US20150058735A1 (ja)
EP (1) EP2842042B1 (ja)
JP (1) JP6069881B2 (ja)
CN (1) CN104247408A (ja)
AU (1) AU2013253308B2 (ja)
CA (1) CA2869735A1 (ja)
ES (1) ES2586633T3 (ja)
SG (1) SG11201406562VA (ja)
WO (1) WO2013162055A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565393B2 (en) 2012-10-29 2017-02-07 Ricoh Company, Ltd. Communication terminal, teleconference system, and recording medium
JP2017228866A (ja) * 2016-06-21 2017-12-28 日本電信電話株式会社 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム
JP2022068630A (ja) * 2020-10-22 2022-05-10 ソフトバンク株式会社 情報処理装置、情報処理システム、情報処理方法、情報処理システムの製造方法、プログラム、及び記録媒体

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090570A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置および制御方法
US9432623B2 (en) 2014-09-24 2016-08-30 Ricoh Company, Ltd. Communication terminal, display control method, and recording medium
US10163138B2 (en) 2014-09-29 2018-12-25 Ricoh Company, Ltd. Communication management system, communication system, communication control method, and recording medium
JP6458464B2 (ja) * 2014-11-26 2019-01-30 株式会社リコー 制御システム、制御装置、通信システム、中継装置の選択方法、及びプログラム
JP6259790B2 (ja) * 2015-07-30 2018-01-10 株式会社オプティム ユーザ端末、画面共有方法及びユーザ端末用プログラム
JP6661940B2 (ja) 2015-09-29 2020-03-11 株式会社リコー 通信端末、通信システム、制御方法、及びプログラム
JP2017076207A (ja) 2015-10-14 2017-04-20 株式会社リコー 画像処理装置及び画像処理システム
US10511700B2 (en) 2016-02-25 2019-12-17 Ricoh Company, Ltd. Communication terminal with first application displaying status of second application
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
JP6756269B2 (ja) * 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
WO2018144017A1 (en) * 2017-02-03 2018-08-09 Hewlett-Packard Development Company, L.P. Sub-groups of remote computing devices with relay devices
CN114189946A (zh) * 2020-09-15 2022-03-15 华为技术有限公司 数据分享的方法、电子设备和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187170A (ja) * 2002-12-05 2004-07-02 Ntt Communications Kk ビデオ会議システム
JP2005086677A (ja) * 2003-09-10 2005-03-31 Pioneer Electronic Corp 通信装置
US20110261142A1 (en) * 2010-04-27 2011-10-27 Binu Kaiparambil Shanmukhadas Providing Separate Video and Presentation Streams to a Recording Server

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
CN1567202A (zh) * 2003-07-08 2005-01-19 皇家飞利浦电子股份有限公司 在虚拟教室中播放并记录课程内容的方法和系统
JP4443181B2 (ja) * 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法
US20080130525A1 (en) * 2005-03-28 2008-06-05 Total Comco, Inc. Video conferencing with archival notes
FR2901950B1 (fr) * 2006-05-30 2008-10-10 Nds Technologies France Soc Pa Procede de controle de visualisation de chaines de television notamment pour le renforcement du controle parental, et decodeur de chaines de television
JP5216303B2 (ja) * 2007-11-01 2013-06-19 株式会社東芝 合成映像配信装置ならびにその方法およびプログラム
CN101911765A (zh) * 2008-01-16 2010-12-08 日本电气株式会社 无线通信系统、数据分发方法、基站、基站控制装置以及程序
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
JP5732771B2 (ja) * 2009-08-11 2015-06-10 株式会社リコー 映像出力装置、映像出力システム、映像出力方法およびプログラム
US8458169B2 (en) * 2009-09-25 2013-06-04 Apple Inc. Mini-form view for data records
FR2959372A1 (fr) * 2010-04-23 2011-10-28 Orange Vallee Procede et systeme de gestion d'une session de diffusion en continu d'un flux video affiche en direct
JP2011254442A (ja) * 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
US20120144320A1 (en) * 2010-12-03 2012-06-07 Avaya Inc. System and method for enhancing video conference breaks
US8930999B1 (en) * 2011-06-29 2015-01-06 Intellectual Ventures Fund 79 Llc Methods, devices, and mediums for generating a programming menu

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187170A (ja) * 2002-12-05 2004-07-02 Ntt Communications Kk ビデオ会議システム
JP2005086677A (ja) * 2003-09-10 2005-03-31 Pioneer Electronic Corp 通信装置
US20110261142A1 (en) * 2010-04-27 2011-10-27 Binu Kaiparambil Shanmukhadas Providing Separate Video and Presentation Streams to a Recording Server

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565393B2 (en) 2012-10-29 2017-02-07 Ricoh Company, Ltd. Communication terminal, teleconference system, and recording medium
JP2017228866A (ja) * 2016-06-21 2017-12-28 日本電信電話株式会社 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム
JP2022068630A (ja) * 2020-10-22 2022-05-10 ソフトバンク株式会社 情報処理装置、情報処理システム、情報処理方法、情報処理システムの製造方法、プログラム、及び記録媒体
JP7165174B2 (ja) 2020-10-22 2022-11-02 ソフトバンク株式会社 情報処理装置、情報処理システム、情報処理方法、情報処理システムの製造方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
US20150058735A1 (en) 2015-02-26
AU2013253308A1 (en) 2014-10-16
EP2842042B1 (en) 2016-05-25
WO2013162055A1 (en) 2013-10-31
ES2586633T3 (es) 2016-10-17
EP2842042A1 (en) 2015-03-04
SG11201406562VA (en) 2014-11-27
EP2842042A4 (en) 2015-03-04
AU2013253308B2 (en) 2016-05-19
CA2869735A1 (en) 2013-10-31
JP6069881B2 (ja) 2017-02-01
CN104247408A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
JP6069881B2 (ja) 中継装置、表示データ共有システム、データ制御方法およびプログラム
US11477516B2 (en) Services over wireless communication with high flexibility and efficiency
JP5887756B2 (ja) 外部入力装置、通信端末、表示データ共有システム、プログラム
JP6064518B2 (ja) 通信端末、遠隔会議システムおよびプログラム
JP5884964B2 (ja) 伝送システム、及び伝送方法
JP2011254442A (ja) 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
JP6634686B2 (ja) 情報処理装置、プログラム、通信プラットフォーム決定方法、伝送システム
JP6372156B2 (ja) 接続制御システム、通信端末、通信システム、プログラム、及び接続制御方法
JP2016032128A (ja) 遠隔会議システム、通信端末及びプログラム
US20160262206A1 (en) Communication system, communication method, relay device, and computer program product
JP6458464B2 (ja) 制御システム、制御装置、通信システム、中継装置の選択方法、及びプログラム
JP2015056860A (ja) 伝送端末、通信方法、及びプログラム
JP2022028798A (ja) 伝送管理システム、伝送システム、プログラム、プログラム提供システム、及びメンテナンスシステム
JP2016129298A (ja) 伝送システム、情報処理装置、伝送方法、プログラム
JP2015219844A (ja) セッション制御システム、通信端末、通信システム、プログラム、及びセッション制御方法
US9955118B2 (en) Information processing apparatus, communication system, and recording medium
JP2015056870A (ja) 伝送管理システム、管理方法、及びプログラム
JP2014072703A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
JP6307746B2 (ja) 宛先管理システム、通信システム、宛先管理方法、及びプログラム
JP2017028660A (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP2017022432A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6610103B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP6295628B2 (ja) 伝送管理システム、伝送管理方法及びプログラム
JP6572655B2 (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6405936B2 (ja) 管理システム、管理装置、通信システム、情報送信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R151 Written notification of patent or utility model registration

Ref document number: 6069881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151