CN103080914B - 用于多用户通信的系统、方法及装置 - Google Patents

用于多用户通信的系统、方法及装置 Download PDF

Info

Publication number
CN103080914B
CN103080914B CN201080068965.4A CN201080068965A CN103080914B CN 103080914 B CN103080914 B CN 103080914B CN 201080068965 A CN201080068965 A CN 201080068965A CN 103080914 B CN103080914 B CN 103080914B
Authority
CN
China
Prior art keywords
information
data
display
display device
communication path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080068965.4A
Other languages
English (en)
Other versions
CN103080914A (zh
Inventor
铃木良宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Publication of CN103080914A publication Critical patent/CN103080914A/zh
Application granted granted Critical
Publication of CN103080914B publication Critical patent/CN103080914B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline

Abstract

管理显示数据的主会者终端装置(201)将包括用于识别显示数据的数据ID和指示显示数据的显示位置的位置信息的发言(第一信息)所对应的html碎片信息通过网络(30)传输至显示装置(10)。在显示装置(10)和用户终端装置(202)之间开设数据线路(40)。显示装置(10)将包括用于识别数据线路(40)的流ID和所述数据ID的发言(第二信息)所对应的html碎片信息通过网络(30)传输至用户终端装置(202)。用户终端装置(202)通过流ID所识别的数据线路(40)将显示数据传输至显示装置(10)。显示装置(10)基于流ID、数据ID和位置信息在显示部(11)上显示所述显示数据。

Description

用于多用户通信的系统、方法及装置
技术领域
本发明涉及一种通信方法、一种显示装置、一种用户终端装置、一种主会者终端装置以及一种设有前述装置的多用户通信系统。
背景技术
常规上,在被利用的通信系统中,多个信息终端装置通过网络互相连接,并且其中使用这些信息终端装置的用户们共享通过该网络来交换的信息。这种通信系统的示例例如包括电子会议系统,其通过经网络连接多个个人计算机并共享资料、显示页面的位置、以及笔记等有关的信息来实现虚拟会议室。
该电子会议系统使用了这样的方法,即,在屏幕上显示预定个人计算机的显示屏幕,因而执行会议记录、信息传输、以及问答等等。
例如,专利文件1揭示了这样一种技术,利用该技术,参加会议等的大量个人能够共享在显示装置上显示的信息。在该技术中,从输入装置输入的各种通信形态的数据由输入模块进行处理,随后得到的结果数据被转换成能够在显示装置上显示的形式并且被显示在显示装置上。
专利文件2揭示了一种电子会议系统,其中位于终端装置的所有用户都能看到相同的共享信息。在该电子会议系统中,客户端接收来自用户的操作输入然后将该操作输入通过网络传输至服务器,并且服务器以虚拟空间内排列的3D层对象的纹理来写入该操作输入并将视频信息传输至客户端。然后,所述客户端显示从服务器传输的该视频信息。
[相关技术文件]
[专利文件]
[专利文件1]JP-A-2005-222535
[专利文件2]JP-A-2000-194875
发明内容
本发明要解决的问题
在上述专利文件1和2揭示的技术中,传输特性彼此不同的文本数据和诸如活动图像数据或语音数据等数据是通过相同的通信路径来交换,而没有对装置之间交换的数据类型加以区分。然而,在这种情况下,那些传输特性不同的数据类型会彼此干扰,并因而产生传送波动等等,结果导致会无法精确地传送数据。
考虑到前述问题而设计出本发明;本发明的目的在于提供一种通信方法、一种显示装置、一种用户终端装置、一种主会者(moderator)终端装置、以及一种设有前述的多用户通信系统,利用其能够便利、有效、以及精确地对传输自多个用户的数据进行传送并实现在显示屏幕上的结构化显示。
解决问题的手段
为了实现以上目的,根据本发明,提供有一种通信方法,其中有多个用户参加通信并且从所述多个用户所使用的信息终端装置传输至显示装置的显示数据显示在所述显示装置的显示部上,所述信息终端装置包括将所述显示数据传输至所述显示装置的用户终端装置以及管理所述显示数据的主会者终端装置。所述通信方法包括:由所述主会者终端装置将包括数据ID信息和位置信息的第一信息通过网络传输至所述显示装置,所述数据ID信息用于识别所述显示数据,所述位置信息指示所述显示数据在所述显示部上的显示位置;在所述显示装置和所述用户终端装置之间开设数据通信路径,所述显示数据通过该数据通信路径进行传输;由所述显示装置将包括通信路径识别信息和所述数据ID信息的第二信息通过所述网络传输至所述用户终端装置,所述通信路径识别信息用于识别所述数据通信路径;由所述用户终端装置通过由所述通信路径识别信息所识别的数据通信路径将所述显示数据传输至所述显示装置;以及由所述显示装置基于所述通信路径识别信息、所述数据ID信息和所述位置信息在所述显示部上显示所述显示数据。
根据如上所述的通信方法,在这样的通信方法(其中有多个用户参加通信且从这些用户所使用的信息终端装置提交的显示数据被显示在所述显示装置的显示部)中,当显示装置从管理显示数据的主会者终端装置处接收到用于识别显示数据的数据ID信息以及用于指示显示数据所显示的位置的位置信息时,在传输显示数据的用户终端装置和显示装置之间则开设了独立于所述网络的数据通信路径。然后,显示装置将用于识别该所开设的数据通信路径的通信路径识别信息通过网络传输至所述用户终端装置。因此,用户终端装置能够通过由通信路径识别信息所识别的该数据通信路径将显示数据传输至显示装置。如上所述,显示数据是通过独立于所述网络的专用数据通信路径从用户终端装置传输至显示装置。因此,即使通过所述网络交换的数据和通过所述数据通信路径传输的显示数据在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。另外,通过数据ID信息,显示装置能够将通过由通信路径识别信息所识别的数据通信路径接收的显示数据关联于位置信息,并且还能够在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,显示装置能够将通过所述专用数据通信路径传输的显示数据结构化并显示在显示部上的显示屏幕中。
通过数据ID信息和位置信息,使用主会者终端装置的用户能够可靠且便利地管理通过独立于网络的专用数据通信路径从用户终端装置传输至显示装置的显示数据以及该显示数据在显示装置的显示部上的显示位置。由于所述显示数据是通过数据通信路径而直接从用户终端装置传送至显示装置,所以防止了数据通信路径被除用户终端装置和显示装置之外的其他终端装置利用,并且防止通过该数据通信路径交换的显示数据被获取或变更。因此,能够增强经数据通信路径传送的数据的安全性。
在如上所述配置的通信方法中,所述数据通信路径可以是传输所述显示数据所通过的逻辑通信路径。所述逻辑通信路径是指在物理意义上的通信线路中包括的逻辑意义上的虚拟通信线路(逻辑线路)。例如,即使仅物理地存在一条通信线路,也能够设置多条逻辑线路。能够进行使逻辑线路彼此区分的数据通信。
利用该配置,当在显示装置和用户终端装置之间开设显示数据经其直接传输的数据通信路径时,没有必要提供独立于网络的其他物理通信线路。具体而言,在网络经其通过的物理通信线路中设置了独立于网络的新逻辑通信路径(逻辑线路),因而能够通过在逻辑上独立于网络的逻辑线路来交换显示数据。因此,由于通过网络交换的数据和通过逻辑线路传输的显示数据互不干扰,所以能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。
在如上所述配置的通信方法中,所述显示数据可以是有别于文本格式的其他格式的多媒体数据。利用该配置,诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据能够通过独立于网络的专用数据通信路径从用户终端装置传输至显示装置。因此,即使通过网络交换的数据(诸如文本数据)和通过数据通信路径传输的显示数据(有别于文本格式的其他格式的多媒体数据)在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够更加便利、高效且精确地将有别于文本格式的其他格式的多媒体数据从用户终端装置传送至显示装置。通过数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的多媒体数据关联于位置信息,并且进一步能够在由位置信息指示的显示部上的显示位置显示所述多媒体数据。因此,显示装置能够将通过专用数据通信路径接收的多媒体数据结构化并显示在显示部上的显示屏幕中。
在如上所述配置的通信方法中,所述主会者终端装置可将包括有所述数据ID信息、所述位置信息、以及访问权信息的所述第一信息通过所述网络传输至所述显示装置,所述访问权信息针对每个使用所述信息终端装置的用户来设置并且用于指示是否许可所述显示数据的生成和变更,并且传输所述显示数据所通过的所述数据通信路径可开设在所述显示装置与由所述访问权信息指示的用户所使用的用户终端装置之间。
可选地,在如上所述配置的通信方法中,所述主会者终端装置可将包括有所述数据ID信息、所述位置信息、以及用户信息的所述第一信息通过所述网络传输至所述显示装置,所述用户信息用于指示作为所述显示数据的所有者的用户,并且传输所述显示数据所通过的所述数据通信路径可开设在所述显示装置与由所述用户信息指示的用户所使用的用户终端装置之间。
利用该配置,在由传输自主会者终端装置的访问权信息或用户信息所指示的用户使用的用户终端装置与显示装置之间开设了传输显示数据所通过的直接通信路径。因此,为了在显示装置和信息终端装置之间共享信息没有必要提供网状的通信路径网络;如有必要,在显示装置和用户终端装置之间仅开设有传输显示数据的所述直接数据通信路径。通过数据ID信息,显示装置能够将通过数据通信路径接收的显示数据关联于位置信息,并且能够在由位置信息指示的显示部上的显示位置显示所述显示数据。通过传输至显示装置的访问权信息或用户信息,由于主会者终端装置能够指示应当与哪个用户终端装置来开设数据通信路径,所以主会者终端装置能够控制显示装置和用户终端装置之间数据通信路径的开设。
在如上所述配置的通信方法中,所述主会者终端装置可将包括有所述数据ID信息、所述位置信息、访问权信息以及用户信息的所述第一信息通过所述网络传输至所述显示装置,所述访问权信息是针对每个使用所述信息终端装置的用户来设置的并且是用于指示是否许可所述显示数据的生成和变更,所述用户信息用于指示作为所述显示数据的所有者的用户,并且所述显示装置则基于所述通信路径识别信息、所述数据ID信息、所述位置信息、所述用户信息以及所述访问权信息来将所述显示数据显示在所述显示部上。
利用该配置,通过所述数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的显示数据关联于从主会者终端装置接收的用户信息、访问权信息和位置信息,基于所述用户信息和访问权信息来确定是否显示由所述数据ID信息所指示的显示数据并且在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,从用户终端装置传送的显示数据是按照数据ID信息进行管理,并且,对于显示数据而言,显示装置的显示部上显示的各条显示数据是根据针对每个使用信息终端装置的用户所设置的访问权(也即,是否许可显示数据的生成和变更)来控制。因此,基于用户的访问权能够在多个用户之间实现平滑的通信。
在如上所述配置的通信方法中,当由所述访问权信息指示的且被许可生成和变更所述显示数据的用户与由所述用户信息指示的用户一致时,所述显示装置基于所述通信路径识别信息、所述数据ID信息以及所述位置信息而将所述显示数据显示在所述显示部上。
利用该配置,只有在属于由数据ID信息指示的显示数据所有者的用户与对该显示数据具有访问权(也即,是否许可显示数据的生成和变更)的用户达成一致时,显示装置才能在显示部上显示所述显示数据。具体而言,显示装置使用数据ID信息来识别通过由通信路径识别信息识别的数据通信路径接收的显示数据,并在由位置信息指示的显示部上的显示位置显示所识别的该显示数据。因此基于用户的访问权能够在多个用户之间实现平滑的通信。
如上所述配置的通信方法可以是在其中有多个用户参加的电子会议中执行的通信方法。利用该配置,通过所述数据ID信息,不仅能够可靠且便利地管理提交给虚拟会议室(也即,电子会议系统)的发言(remark)(显示数据),还能够根据针对每个参加虚拟会议室的参加者(用户)所设置的访问权(也即,是否许可发言(显示数据)的提交和修改)来控制提交给虚拟会议室的发言(显示数据)。因此能够基于用户的访问权在多个用户之间实现平滑的通信。
在如上所述配置的通信方法中,所述显示装置和所述信息终端装置可按照XMPP(可扩展消息传递和展现协议)来彼此进行通信。利用该配置,因此不仅能够在显示装置和信息终端装置(主会者终端装置和用户终端装置)之间执行实时消息传递(信息交换),还能够通过数据ID信息便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于显示装置的显示部上显示的显示数据。
XMPP是一种基于XML的协议,由独立于IETF(互联网工程任务组)XMPP工作小组的XSF(XMPP标准基金会)进行标准化。XMPP动态地控制广泛范围的应用,包括即时消息、展现(“当前位于另一端的参与方的状态如何”)、多用户聊天、语音或可视电话、协调任务、内容聚合以及XML数据的广义路由(generalizedrouting);为了在诸如互联网等通信系统中进行实时通信,XMPP由多个根据各自目的进行标准化的扩展协议(XEP:XMPP扩展协议)组成。
在如上所述配置的通信方法中,所述显示装置和所述用户终端装置之间的数据通信路径的开设以及所述显示数据通过所述数据通信路径从所述用户终端装置到所述显示装置的传输是按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送)的至少一种协议来执行。利用该配置,即使在显示装置和用户终端装置之间的网络中布置有NAT(网络地址转换)或防火墙时,由于显示数据是通过独立于网络的数据通信路径来传输的,所以能够通过数据通信路径可靠地传送显示数据而不会受到诸如数据传送中断等影响。
XEP-0166(Jingle)是规定建立在两个能够通信的终端装置之间交换数据所通过的通信路径的功能的协议。与上述Jingle相关的协议示例包括XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送方法)。XEP-0167是规定使用RPT(实时传输协议)建立交换诸如语音数据或活动图像数据等流模式的数据所通过的通信路径的功能的协议。XEP-0177(Jingle纯UDP传送方法)是定义使用UDP(用户数据报协议)的数据交换的协议。
在如上所述配置的通信方法中,所述第一信息和所述第二信息可以是通过扩展元信息(metainformation)所得到的html(超文本标记语言)文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置和用户终端装置之间开设的数据通信路径传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID信息、位置信息、通信路径识别信息、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。作为元信息来利用与基于XMPP的消息传递对应的所述属性信息(诸如数据ID信息、位置信息、通信路径识别信息、访问权信息和用户信息等)被称为所述扩展。
利用该配置,能够将第一和第二信息中包括的元信息(诸如数据ID信息、位置信息、通信路径识别信息、用户信息和访问权信息)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该第一和第二信息中包括的元信息(诸如数据ID信息、位置信息、通信路径识别信息、用户信息和访问权信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在如上所述配置的通信方法中,所述第一信息和所述第二信息可以是构成用于在所述显示装置的显示部上产生显示的显示信息的碎片信息(fragmentationinformation)。利用该配置,例如,当信息终端装置(主会者终端装置和用户终端装置)对用于在显示装置的显示部上产生显示的显示信息中包括的部分信息进行变更时,如果传输的仅有包括变更信息的碎片信息,显示装置也能够基于接收的碎片信息来修改用于在显示部上产生显示的显示信息。换言之,没有必要传输全部的显示信息。因而,由于能够减少显示装置和信息终端装置(主会者终端装置和用户终端装置)之间交换的信息量,所以不仅能够减小通信所需的时间还能够显著地减轻显示装置和信息终端装置(主会者终端装置和用户终端装置)之间的网络上所施加的负担。因此参加通信的多个用户能够执行更加便捷的通信。
为了实现以上目的,根据本发明,提供一种显示装置,包括:显示部,对显示数据进行显示;通信部,通过网络与多个信息终端装置通信,该信息终端装置包括管理所述显示数据的主会者终端装置以及传输所述显示数据的用户终端装置;以及控制部,当所述通信部通过所述网络从所述主会者终端装置接收包括数据ID信息和位置信息的第一信息时,所述控制部在所述通信部和所述用户终端装置之间开设传输所述显示数据所通过的数据通信路径,所述数据ID信息用于识别所述显示数据,所述位置信息指示所述显示数据在所述显示部上的显示位置。在所述显示装置中,所述通信部将包括通信路径识别信息和所述数据ID信息的第二信息通过所述网络传输至所述用户终端装置,所述通信路径识别信息用于识别所述数据通信路径,并且所述显示部基于所述通信路径识别信息、所述数据ID信息以及所述位置信息来显示所述通信部通过由所述通信路径识别信息所识别的数据通信路径而从所述用户终端装置接收的所述显示数据。
利用如上所述配置的显示装置,当显示装置从管理显示数据的主会者终端装置处接收到用于识别显示数据的数据ID信息以及用于指示显示数据所显示的位置的位置信息时,在传输显示数据的用户终端装置和显示装置之间则开设了独立于所述网络的数据通信路径。然后,显示装置将用于识别该所开设的数据通信路径的通信路径识别信息通过网络传输至所述用户终端装置。因此,用户终端装置能够通过由通信路径识别信息所识别的该数据通信路径将显示数据传输至显示装置。如上所述,显示数据是通过独立于所述网络的专用数据通信路径从用户终端装置传输至显示装置。因此,即使通过所述网络交换的数据和通过所述数据通信路径传输的显示数据在传输特性上彼此不同时,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。另外,通过数据ID信息,显示装置能够将通过由通信路径识别信息所识别的数据通信路径接收的显示数据关联于位置信息,并且还能够在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,显示装置能够将通过所述专用数据通信路径传输的显示数据结构化并显示在显示部上的显示屏幕中。
由于所述显示数据是通过数据通信路径而直接从用户终端装置传送至显示装置,所以防止了数据通信路径被除用户终端装置和显示装置之外的其他终端装置利用,并且防止通过该数据通信路径交换的显示数据被获取或变更。因此,能够增强经数据通信路径传送的数据的安全性。
在如上所述配置的显示装置中,所述数据通信路径可以是传输所述显示数据所通过的逻辑通信路径。利用该配置,当在显示装置和用户终端装置之间开设显示数据经其直接传输的数据通信路径时,就没有必要提供独立于网络的其他物理通信线路。具体而言,在网络经其通过的物理通信线路中设置了独立于网络的新逻辑通信路径(逻辑线路),因而能够通过在逻辑上独立于网络的逻辑线路来交换显示数据。因此,由于通过网络交换的数据和通过逻辑线路传输的显示数据互不干扰,所以能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够更加便利、高效且精确地将显示数据从用户终端装置传送至显示装置。
在如上所述配置的显示装置中,所述显示数据可以是有别于文本格式的其他格式的多媒体数据。利用该配置,即使是诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据从用户终端装置传输至显示装置时,该多媒体数据也是通过独立于网络的专用数据通信路径进行传输的。因此,即使通过网络交换的数据(诸如文本数据)和通过数据通信路径传输的显示数据(有别于文本格式的其他格式的多媒体数据)在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此对于显示装置而言能够更加便利、高效且精确地传送来自用户终端装置的有别于文本格式的其他格式的多媒体数据。通过数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的多媒体数据关联于位置信息,并且进一步能够在由位置信息指示的显示部上的显示位置显示所述多媒体数据。因此,显示装置能够将通过专用数据通信路径接收的多媒体数据结构化并显示在显示部上的显示屏幕中。
在如上所述配置的显示装置中,当所述通信部通过所述网络从所述主会者终端装置接收包括有所述数据ID信息、所述位置信息、以及访问权信息的所述第一信息时,所述控制部可在所述通信部和由所述访问权信息指示的用户所使用的用户终端装置之间开设传输所述显示数据所通过的所述数据通信路径,所述访问权信息是针对每个使用所述信息终端装置的用户来设置的并且是用于指示是否许可所述显示数据的生成和变更。
可选地,在如上所述配置的显示装置中,当所述通信部通过所述网络从所述主会者终端装置接收包括有所述数据ID信息、所述位置信息、以及用户信息的所述第一信息时,所述控制部可在所述通信部和由所述用户权信息指示的用户所使用的用户终端装置之间开设传输所述显示数据所通过的所述数据通信路径,所述用户信息用于指示作为所述显示数据的所有者的用户。
利用该配置,显示装置能够在由传输自主会者终端装置的访问权信息或用户信息所指示的用户使用的用户终端装置与显示装置之间开设传输显示数据所通过的直接通信路径。因此,为了在显示装置和信息终端装置之间共享信息没有必要提供网状的通信路径网络;如有必要,在显示装置和用户终端装置之间仅开设有所述数据通信路径。通过数据ID信息,显示装置能够将通过数据通信路径接收的显示数据关联于位置信息,并且能够在由位置信息指示的显示部上的显示位置显示所述显示数据。
在如上所述配置的显示装置中,所述通信部可通过所述网络从所述主会者终端装置接收包括有所述数据ID信息、所述位置信息、访问权信息以及用户信息的所述第一信息,所述访问权信息针对每个使用所述信息终端装置的用户来设置并且用于指示是否许可所述显示数据的生成和变更,所述用户信息用于指示作为所述显示数据的所有者的用户,并且所述显示部可基于所述通信路径识别信息、所述数据ID信息、所述位置信息、所述用户信息以及所述访问权信息来显示所述显示数据。
利用该配置,通过所述数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的显示数据关联于从主会者终端装置接收的用户信息、访问权信息和位置信息,基于所述用户信息和访问权信息来确定是否显示由所述数据ID信息所指示的显示数据并且在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,从用户终端装置传送的显示数据是按照数据ID信息进行管理,并且,对于显示数据而言,显示装置的显示部上显示的各条显示数据是根据针对每个使用信息终端装置的用户所设置的访问权(也即,是否许可显示数据的生成和变更)来控制。因此,基于用户的访问权能够在多个用户之间实现平滑的通信。
在如上所述配置的显示装置中,当由所述访问权信息指示的且被许可生成和变更所述显示数据的用户与由所述用户信息指示的用户一致时,所述显示部可基于所述通信路径识别信息、所述数据ID信息以及所述位置信息来显示所述显示数据。
利用该配置,显示装置能够关联,只有在属于由数据ID信息指示的显示数据所有者的用户与对该显示数据具有访问权(也即,是否许可显示数据的生成和变更)的用户达成一致时,显示装置才能在显示部上显示所述显示数据。具体而言,显示装置使用数据ID信息来识别通过由通信路径识别信息识别的数据通信路径接收的显示数据,并在由位置信息指示的显示部上的显示位置显示所识别的该显示数据。因此基于用户的访问权能够在多个用户之间实现平滑的通信。
如上所述配置的显示装置可按照XMPP来与所述信息终端装置通信。利用该配置,因此显示装置不仅能够与信息终端装置(主会者终端装置和用户终端装置)之间执行实时消息传递(信息交换),还能够通过数据ID信息便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于显示部上显示的显示数据。
在如上所述配置的显示装置中,按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送)的至少一种协议,所述控制部可在所述通信部和所述用户终端装置之间开设数据通信路径,且所述通信部可通过所述数据通信路径从所述用户终端装置接收所述显示数据。利用该配置,即使在显示装置和用户终端装置之间的网络中布置有NAT或防火墙时,由于显示数据是通过独立于网络的数据通信路径来传输的,所以能够通过数据通信路径可靠地接收显示数据而不会受到诸如数据传送中断等影响。
在如上所述配置的显示装置中,所述第一信息和所述第二信息可以是通过扩展元信息所得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置和用户终端装置之间开设的数据通信路径传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID信息、位置信息、通信路径识别信息、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。作为元信息来利用与基于XMPP的消息传递对应的所述属性信息(诸如数据ID信息、位置信息、通信路径识别信息、访问权信息和用户信息等)被称为所述扩展。
利用该配置,能够将第一和第二信息中包括的元信息(诸如数据ID信息、位置信息、通信路径识别信息、用户信息和访问权信息)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该第一和第二信息中包括的元信息(诸如数据ID信息、位置信息、通信路径识别信息、用户信息和访问权信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在如上所述配置的显示装置中,所述第一信息和所述第二信息可以是构成用于在所述显示部上产生显示的显示信息的碎片信息。利用该配置,例如,当信息终端装置(主会者终端装置和用户终端装置)对用于在显示装置的显示部上产生显示的显示信息中包括的部分信息进行变更时,如果传输的仅有包括变更信息的碎片信息,显示装置也能够基于接收的碎片信息来修改用于在显示部上产生显示的显示信息。换言之,没有必要传输全部的显示信息。因而,由于能够减少显示装置和信息终端装置(主会者终端装置和用户终端装置)之间交换的信息量,所以不仅能够减小通信所需的时间还能够显著地减轻显示装置和信息终端装置(主会者终端装置和用户终端装置)之间的网络上所施加的负担。因此参加通信的多个用户能够执行更加便捷的通信。
为了实现以上目的,根据本发明,提供了一种用户终端装置,包括:控制部,开设与显示装置的数据通信路径,显示在显示装置上的显示数据通过所述数据通信路径进行传输;以及通信部,当通过网络从所述显示装置接收包括有数据ID信息和通信路径识别信息的第二信息时,所述通信部通过所述数据通信路径将所述显示数据传输至所述显示装置,所述数据ID信息用于识别所述显示数据,所述通信路径识别信息用于识别所述数据通信路径。
利用如上所述配置的用户终端装置,在用户终端装置和显示装置之间开设了独立于网络的数据通信路径,显示数据通过该数据通信路径进行传输,且用于识别所述数据通信路径的通信路径识别信息从显示装置传送至用户终端装置。因而,用户终端装置能够通过由所述通信路径识别信息识别的数据通信路径来将显示数据传输至显示装置。以这种方式,用户终端装置通过独立于网络的专用数据通信路径来将显示数据传输至显示装置。因此,用户终端装置能够通过由所述通信路径识别信息识别的数据通信路径来将显示数据传输至显示装置。如上所述,显示数据是通过独立于网络的专用数据通信路径从用户终端装置被传输至显示装置。因此,即使通过所述网络交换的数据和通过所述数据通信路径传输的显示数据在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。
由于所述显示数据是通过数据通信路径而直接从用户终端装置传送至显示装置,所以防止了数据通信路径被除用户终端装置和显示装置之外的其他终端装置利用,并且防止通过该数据通信路径交换的显示数据被获取或变更。因此,能够增强经数据通信路径传送的数据的安全性。
在如上所述配置的用户终端装置中,所述数据通信路径可以是传输在所述显示装置上显示的所述显示数据所通过的逻辑通信路径。利用该配置,当在用户终端装置和显示装置之间开设显示数据经其直接传输的数据通信路径时,就没有必要提供独立于网络的其他物理通信线路。具体而言,在网络经其通过的物理通信线路中设置了独立于网络的新逻辑通信路径(逻辑线路),因而能够通过在逻辑上独立于网络的逻辑线路来传输显示数据。因此,由于通过网络交换的数据和通过逻辑线路传输的显示数据互不干扰,所以能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够更加便利、高效且精确地将显示数据从用户终端装置传送至显示装置。
在如上所述配置的用户终端装置中,所述显示数据可以是有别于文本格式的其他格式的多媒体数据。利用该配置,即使从用户终端装置传输至显示装置的是诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据时,该多媒体数据也是通过独立于网络的专用数据通信路径进行传输的。因此,即使通过网络交换的数据(诸如文本数据)和通过数据通信路径传输的显示数据(有别于文本格式的其他格式的多媒体数据)在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够更加便利、高效且精确地将有别于文本格式的其他格式的多媒体数据从用户终端装置传送至显示装置。
在如上所述配置的用户终端装置中,所述通信部可按照XMPP来与所述显示装置通信。利用该配置,因此用户终端装置不仅能够与显示装置之间执行实时消息传递(信息交换),还能够通过数据ID信息便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于传输至显示装置的显示数据。
在如上所述配置的用户终端装置中,按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送)的至少一种协议,所述控制部可在所述通信部和所述显示装置之间开设由通信路径识别信息识别的数据通信路径,且所述通信部可通过所述数据通信路径将显示数据传输至显示装置。利用该配置,即使在显示装置和用户终端装置之间的网络中布置有NAT或防火墙时,由于用户终端装置是通过独立于网络的数据通信路径来传输显示数据的,所以能够可靠地传送显示数据而不会受到诸如数据传送中断等影响。
在如上所述配置的用户终端装置中,所述第二信息可以是通过扩展元信息得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置和用户终端装置之间开设的数据通信路径传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID信息和通信路径识别信息等与基于XMPP的消息传递对应的属性信息。利用该配置,能够将第二信息中包括的元信息(诸如数据ID信息和通信路径识别信息)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该第二信息中包括的元信息(诸如数据ID信息和通信路径识别信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在如上所述配置的用户终端装置中,所述第二信息可以是构成用于在所述显示装置上产生显示的显示信息的碎片信息。利用该配置,例如,当用户终端装置对用于在显示装置的显示部上产生显示的显示信息中包括的部分信息进行变更时,如果传输的仅有包括变更信息的碎片信息,显示装置也能够基于接收的碎片信息来修改用于在显示部上产生显示的显示信息。换言之,没有必要传输全部的显示信息。因而,由于能够减少从用户终端装置传输至显示装置之间的信息量,所以不仅能够减小通信所需的时间还能够显著地减轻显示装置和用户终端装置之间的网络上所施加的负担。因此参加通信的多个用户能够执行更加便捷的通信。
为了实现以上目的,根据本发明,提供了一种主会者终端装置,其管理从如上所述的用户终端装置传输至如上所述的显示装置的显示数据,且其包括:控制部,生成用于识别所述显示数据的数据ID信息以及用于指示所述显示数据在所述显示装置的显示部上的显示位置的位置信息;以及通信部,将包括有所述数据ID信息和所述位置信息的第一信息通过网络传输至所述显示装置。
利用如上所述配置的主会者终端装置,从用户终端装置便利、高效且精确地被传送至显示装置的显示数据通过数据ID信息来与位置信息相关联,并且所述显示数据被显示在由该位置信息指示的显示装置显示部的显示位置。因此,使用主会者终端装置的用户能够对通过数据通信路径从用户终端装置传输至显示装置的显示数据进行结构化并且显示在显示装置显示部的显示屏幕中,以及通过数据ID信息和位置信息来可靠且便利地管理通过独立于网络的专用数据通信路径从用户终端装置传输至显示装置的显示数据及该显示数据在显示装置的显示部上的显示位置。
在如上所述配置的主会者终端装置中,所述控制部可生成访问权信息,所述访问权信息是针对使用多个与显示装置通信的信息终端装置的每个用户来设置的并且用于指示是否许可所述显示数据的生成和变更,并且所述第一信息可进一步包括所述访问权信息。
可选地,在如上所述配置的主会者终端装置中,所述控制部可生成用户信息,所述用户信息用于指示作为所述显示数据的所有者的用户,并且所述第一信息可进一步包括所述用户信息。
利用该配置,通过传输至显示装置的访问权信息或用户信息,由于主会者终端装置能够指示应当与哪个用户终端装置来开设数据通信路径,所以主会者终端装置能够控制显示装置和用户终端装置之间数据通信路径的开设。另外,显示装置能够与传输自主会者终端装置的访问权信息或用户信息所指示的用户使用用户终端装置来开设数据通信路径。因此,为了在显示装置和信息终端装置之间共享信息没有必要提供网状的通信路径网络;如有必要,在显示装置和用户终端装置之间仅开设有传输显示数据的数据通信路径。
在如上所述配置的主会者终端装置中,所述通信部可按照XMPP来与所述显示装置通信。利用该配置,因此主会者终端装置不仅能够与显示装置之间执行实时消息传递(信息交换),还能够通过数据ID信息便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于显示装置的显示部上显示的数据。
在如上述配置的主会者终端装置中,所述第一信息可以是通过扩展元信息得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html(超文本标记语言)来表达的格式的数据,并且该数据包括属于与通过显示装置和用户终端装置之间开设的数据通信路径传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID信息、位置信息、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。
利用该配置,能够将第一信息中包括的元信息(诸如数据ID信息、位置信息、用户信息和访问权信息)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该第一信息中包括的元信息(诸如数据ID信息、位置信息、用户信息和访问权信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在如上所述配置的主会者终端装置中,所述第一信息可以是构成用于在所述显示装置的显示部上产生显示的显示信息的碎片信息。利用该配置,例如,当主会者终端装置对用于在显示装置的显示部上产生显示的显示信息中包括的部分信息进行变更时,如果传输的仅有包括变更信息的碎片信息,显示装置也能够基于所述碎片信息来修改用于在显示部上产生显示的显示信息。换言之,没有必要传输全部的显示信息。因而,由于能够减少主会者终端装置与显示装置之间交换的信息量,所以不仅能够减小通信所需的时间还能够显著地减轻显示装置和主会者终端装置之间的网络上所施加的负担。因此参加通信的多个用户能够执行更加便捷的通信。
为了实现以上目的,根据本发明,提供了一种多用户通信系统,其中有多个用户参加通信,并且从所述多个用户所使用的信息终端装置传输至如上所述的显示装置的显示数据显示在所述显示装置上,并且其中所述信息终端装置包括如上所述的用户终端装置和如上所述的主会者终端装置。
利用如上所述配置的多用户通信系统,在这样的多用户通信系统(其中有多个用户参加通信且从这些用户所使用的信息终端装置提交的显示数据被显示在所述显示装置的显示部)中,当显示装置从管理显示数据的主会者终端装置处接收到用于识别显示数据的数据ID信息以及用于指示显示数据所显示的位置的位置信息时,在传输显示数据的用户终端装置和显示装置之间则开设了独立于所述网络的数据通信路径。然后,显示装置将用于识别该所开设的数据通信路径的通信路径识别信息通过网络传输至所述用户终端装置。因此,用户终端装置能够通过由通信路径识别信息所识别的该数据通信路径将显示数据传输至显示装置。如上所述,显示数据是通过独立于所述网络的专用数据通信路径从用户终端装置传输至显示装置。因此,即使通过所述网络交换的数据和通过所述数据通信路径传输的显示数据在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。另外,通过数据ID信息,显示装置能够将通过由通信路径识别信息所识别的数据通信路径接收的显示数据关联于位置信息,并且还能够在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,显示装置能够将通过所述专用数据通信路径传输的显示数据结构化并显示在显示部上的显示屏幕中。
通过数据ID信息和位置信息,使用主会者终端装置的用户能够可靠且便利地管理通过独立于网络的专用数据通信路径从用户终端装置传输至显示装置的显示数据以及该显示数据在显示装置的显示部上的显示位置。由于所述显示数据是通过数据通信路径而直接从用户终端装置传送至显示装置,所以防止了数据通信路径被除用户终端装置和显示装置之外的其他终端装置利用,并且防止通过该数据通信路径交换的显示数据被获取或变更。因此,能够增强经数据通信路径传送的数据的安全性。
在如上所述配置的多用户通信系统中,所述显示数据可以是有别于文本格式的其他格式的多媒体数据。利用该配置,即使是诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据从用户终端装置传输至显示装置时,该多媒体数据也是通过独立于网络的专用数据通信路径进行传输的。因此,即使通过网络交换的数据(诸如文本数据)和通过数据通信路径传输的显示数据(有别于文本格式的其他格式的多媒体数据)在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此对于显示装置而言能够更加便利、高效且精确地传送来自用户终端装置的有别于文本格式的其他格式的多媒体数据。通过数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的多媒体数据关联于位置信息,并且进一步能够在由位置信息指示的显示部上的显示位置显示所述多媒体数据。因此,显示装置能够将通过专用数据通信路径接收的多媒体数据结构化并显示在显示部上的显示屏幕中。
如上所述配置的多用户通信系统可以是电子会议系统。利用该配置,通过所述数据ID信息,不仅能够可靠且便利地管理提交给虚拟会议室(也即,电子会议系统)的发言(显示数据),还能够根据针对每个参加虚拟会议室的参加者(用户)所设置的访问权(也即,是否许可发言(显示数据)的提交和修改)来控制提交给虚拟会议室的发言(显示数据)。因此能够基于用户的访问权在多个用户之间实现平滑的通信。
在如上所述配置的多用户通信系统中,所述显示装置和所述信息终端装置可按照XMPP来彼此进行通信。利用该配置,不仅能够在显示装置和信息终端装置(主会者终端装置和用户终端装置)之间执行实时消息传递(信息交换),还能够通过数据ID信息便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于显示装置的显示部上显示的显示数据。
在如上所述配置的多用户通信系统中,按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送)的至少一种协议,可在所述显示装置和所述用户终端装置之间开设传输所述显示数据所通过的数据通信路径,并且可通过所述数据通信路径将所述显示数据从所述用户终端装置传输至所述显示装置。利用该配置,即使在显示装置和用户终端装置之间的网络中布置有NAT或防火墙时,由于显示数据是通过独立于网络的数据通信路径来传输的,所以能够通过数据通信路径可靠地传送显示数据而不会受到诸如数据传送中断等影响。
发明的有益效果
根据本发明,显示数据是通过独立于网络(其将显示装置连接至信息处理装置)的数据通信路径来传输至显示装置的。因此,即使通过网络交换的数据和通过数据通信路径传输的显示数据在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置传送至显示装置。另外,通过数据ID信息,显示装置能够将通过由通信路径识别信息识别的数据通信路径接收的显示数据关联于位置信息,并且还能够在由位置信息指示的显示部上的显示位置显示所述显示数据。因此,显示装置能够将通过专用数据通信路径传输的显示数据结构化并显示在显示部上的显示屏幕中。
附图说明
图1显示本发明多用户通信系统示例的概念图;
图2显示根据本发明实施例的电子会议系统的配置的图示;
图3显示根据本发明实施例的显示装置的配置的图示;
图4显示根据本发明实施例的信息终端装置的配置的图示;
图5显示根据本发明实施例的结构化显示信息的配置的图示;
图6示出根据本发明实施例的基于结构化显示信息的显示屏幕的图示;
图7显示根据本发明实施例的基于结构化显示信息的实际显示屏幕示例的图示;
图8A显示将包括文本数据的html碎片信息表达为html文档的示例的图示;
图8B显示将包括活动图像数据的html碎片信息表达为html文档的示例的图示;
图8C显示将包括语音数据的html碎片信息表达为html文档的示例的图示;
图9示出根据本发明实施例的用于开设电子会议系统的流程的操作图示;
图10示出用于使根据本发明实施例的信息终端装置加入电子会议系统的流程的操作图示;
图11示出用于在根据本发明实施例的电子会议系统上执行针对结构化显示信息的初始化设置的流程的操作图示;
图12示出用于在显示装置的显示屏幕中显示由根据本发明实施例的信息终端装置提供的文本数据的流程的操作图示;
图13示出用于在显示装置的显示屏幕中显示由根据本发明实施例的信息终端装置提供的多媒体数据(呈文本格式之外的其它格式)的流程的操作图示。
具体实施方式
以下将参照说明书附图来描述本发明。图1为显示本发明的多用户通信系统的示例的概念图。如图1所示,在多个参加者传输信息的场合,本发明的多用户通信系统实时地整合由参加者提交的各种信息,对整合的信息进行结构化并将其显示在显示屏幕上。因此,例如,该多用户通信系统可被利用作为电子会议系统等等,其中参加虚拟会议室的多个用户能够提交争议和观点。下面将使用电子会议系统的示例来描述本发明的多用户通信系统。
图2为显示根据本发明实施例的电子会议系统的配置的图示。如图2所示,在电子会议系统1中,显示装置10以及多个信息终端装置20(201、202a、202b、202c和202d)通过网络30(30a至30e)彼此通信。信息终端装置20包括主会者终端装置201(将在后续描述)和用户终端装置202。
在电子会议系统1中,多个用户参加通信,并且在显示装置10上显示通过有别于网络30的数据线路40(数据通信路径)从由用户使用的信息终端装置20传输至显示装置10的显示数据。由参加电子会议系统1的用户通过信息终端装置20提交给电子会议系统1的显示数据(尤其是,诸如活动图像数据或语音数据等有别于文本格式的其它格式的多媒体数据)是通过在显示装置10和信息终端装置20(主会者终端装置201和用户终端装置202a至202d)之间视需要开设的数据线路40(40a至40e)传输至显示装置10,其中该显示数据被显示成结构化的状态。
这些数据线路40a至40e分别是在网络30a至30e经其通过的物理通信线路中开设的逻辑通信路径。因此,当在显示装置10与信息终端装置20之间开设数据线路40(显示数据通过该数据线路40直接传输)时,不需要提供除网络30之外的任何其他物理通信线路。这里,逻辑通信路径是指在物理意义上的通信线路中包括的逻辑意义上的虚拟通信线路(逻辑线路)。例如,即使仅物理地存在一条通信线路,也能够设置多条逻辑线路,并且能够进行使逻辑线路彼此区分的数据通信。例如,网络30和数据线路40经相同的物理通信线路通过;然而,它们是不同的逻辑线路。
电子会议系统1利用XMPP(extensiblemessagingandpresenceprotocol,可扩展消息传递和展现协议)来架构,其将在后续加以描述;显示装置10和信息终端装置20按照XMPP来彼此进行通信。这里,在显示装置10和信息终端装置20之间的通信中,能够实现实时消息传递(信息交换)。
现在将描述在本实施例的电子会议1中利用的XMPP。XMPP是一种基于XML(extensiblemarkuplanguage,可扩展标记语言)的协议,由独立于IETF(internetengineeringtaskforce,互联网工程任务组)XMPP工作小组的XSF(XMPPstandardsfoundation,XMPP标准基金会)进行标准化。XMPP灵活地控制广泛范围的应用,包括即时消息、展现(“当前位于另一端的一方的状态如何”)、多用户聊天、语音或可视电话、协调任务、内容聚合以及XML数据的广义路由;为了在诸如互联网等通信系统中进行实时通信,XMPP由多个根据各自目的进行标准化的扩展协议(XEP:XMPP扩展协议)组成。
本实施例的电子会议系统1采用由上述XMPP规定的各种协议。现在将描述XEP-0030(服务发现(ServiceDiscovery))、XEP-0045(多用户聊天)、XEP-0071(Xhtml-IM(支持Xhtml的消息))和XEP-0166(Jingle(协商和管理带外传输会话)),它们是用于理解本实施例电子会议系统1的重要协议。
XEP-0030(服务发现)是规定检测信息的功能的协议。XEP-0030(服务发现)在下文被称为“DISCO”。在本实施例的电子会议系统1中,如稍后所述,信息终端装置20利用DISCO来搜寻要加入的电子会议系统1。
XEP-0045(多用户聊天)是规定多用户聊天功能的协议,利用该多用户聊天功能,多个XMPP用户能够在网络上虚拟空间中的特定社区(聊天室)内交换消息。XEP-0045(多用户聊天)在下文被称为“MUC”。该协议通过诸如以下功能来规定用于控制聊天室的模型:标准聊天功能,例如聊天室的主题及聊天室邀请;踢走或禁止用户的功能;以及稍后描述的给聊天室的用户分配角色和从属关系(affiliation)的功能。
所述角色是指给利用聊天的用户的临时位置或特权级别。在MUC中,指定有能够踢走用户并删除其发言的“主会者”、具有语音的“参加者”、以及没有语音的“访客”等等。所述从属关系是作为即使在使用聊天之后仍然永久有效的从属关系而给用户的。在MUC中,规定有开设聊天室的“所有者”、管理及运营聊天室的“管理者”、作为有别于以上所述那些的用户的“成员”、以及被踢走并且不许可再进入该聊天室的“放逐者”等等。
本实施例的电子会议系统1利用如上所述的XMPP(尤其是符合MUC(XEP-0045)的多用户聊天功能等等)来运营。该MUC功能由如稍后所述的显示装置10来提供。
XEP-0071(Xhtml-IM)是规定即时消息交换的协议,该即时消息包括轻量级文本(其使用html的子集)标记(标签)。利用该协议,有可能去设置利用了适于即时消息使用并且普遍使用的html元素、属性和风格的小范围性质的消息格式。本实施例电子会议系统1中的显示装置10和信息终端装置20按照进一步扩展自上述XPE-0071(Xhtml-IM)的协议来交换诸如文本数据等XMPP消息。
XEP-0166(Jingle)是规定在两个能够通信的终端装置之间建立交换数据所通过的通信路径的功能的协议。与上述Jingle相关的协议示例包括XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送方法)。XEP-0167是规定使用RTP(Real-timeTransportProtocol,实时传输协议)建立交换诸如语音数据或活动图像数据等流模式的数据所通过的通信路径的功能的协议。XEP-0177(Jingle纯UDP传送方法)是定义使用UDP(UserDatagramProtocol,用户数据报协议)的数据交换的协议。XEP-0166(Jingle)在下文中被称为Jingle。XEP-0167(JingleRTP会话)在下文被称为Jingle-RTP;XEP-0177(Jingle纯UDP传送方法)在下文中被称为Jingle-UDP。
在本实施例的电子会议系统1中,如稍后所述,当在显示装置10和信息终端装置20之间交换诸如活动图像数据或语音数据等多媒体数据时,则按照诸如属于关联协议的Jingle(XEP-0166)、以及Jingle-RTP(XEP-0167)和Jingle-UDP(XEP-0177)等协议在显示装置和信息终端装置之间建立用于传送所述多媒体数据的数据线路40(数据通信路径);并且通过所述数据线路40来传送所述多媒体数据。
<装置的配置>
现在将参照说明书附图来详细描述本实施例电子会议系统1中所包括的显示装置10的具体配置。图3为显示根据本发明实施例的显示装置的配置的图示。
显示装置10按照XMPP来与电子会议系统1中所包括的信息终端装置20进行通信。显示装置10利用html(hypertextmarkuplanguage,超文本标记语言)的绘图机制作为结构化显示信息(显示信息)用来以结构化的状态显示诸如包含发言(由电子会议系统1的参加者(信息终端装置20)提交)的会议记录(proceeding)等信息。
如图3所示,显示装置10包括:显示部11,其显示所述显示数据;通信部12,其通过网络30与信息终端装置20(主会者终端装置201和用户终端装置202)进行通信;存储部13,其存储结构化显示信息、由通信部12交换的信息等等;以及控制部14,其控制所述的显示部11、通信部12和存储部13。
通信部12通过网络30从主会者终端装置201处接收以下信息(第一信息):数据ID(数据ID信息),其用于识别所述显示数据;位置信息,其指示显示在显示部11上的显示数据的位置;用户信息,其指示属于显示数据的所有者的用户;以及访问权信息,其针对使用信息终端装置20的每个用户来设置,并且指示是否许可生成和变更所述显示数据。当在显示装置10和用户终端装置202之间开设用于传输显示数据的数据线路40时,通信部12将包括用于识别数据线路40的流ID(通信路径识别信息)和数据ID(数据ID信息)的信息(第二信息)通过网络30传输至用户终端装置202。
当通信部12通过网络30从主会者终端装置201处接收到包括数据ID(数据ID信息)和位置信息的信息(第一信息)时,控制部14在显示装置10和用户终端装置202之间开设数据线路40(数据通信路径),所述显示数据通过该数据线路40进行传输。从所述主会者终端装置201处接收到的信息(第一信息)包括访问权信息和用户信息。因此,控制部14在显示装置10和由通信部12从主会者终端装置201处接收到的所述访问权信息或用户信息指示的用户所使用的用户终端装置202之间开设显示数据通过其进行传输的数据线路40。
控制部14整合从信息终端装置20处接收的显示数据,并由此来进行所述结构化显示信息的生成和编辑、所述结构化显示信息中所包括的信息(诸如html碎片信息及其元信息,例如数据ID、位置信息、访问权信息以及用户信息,其将在稍后加以描述)的修改、以及基于全部结构化显示信息进行的由html描述的文档的准备。
显示部11对由每个信息终端装置20提交至电子会议系统1的显示数据进行结构化并显示。具体而言,显示部11基于通过对每个都具有显示数据的多条碎片信息进行结构化所得到的并且用于显示提交至电子会议系统1的发言、资料和会议记录的结构化显示信息(显示信息)来进行结构化显示。
显示部11基于从主会者终端装置201接收到的流ID、数据ID和位置信息来显示由通信部12通过所述流ID所指定的数据线路40而从用户终端装置202接收到的显示数据。具体而言,显示部11在由位置信息所指示的显示部11的显示位置中显示由通信部12通过所述流ID所指定的数据线路40而从用户终端装置202接收到的显示数据,以及通过数据ID而与所述位置信息相关且进一步由所述数据ID来特定的显示数据。
显示部11基于从主会者终端装置201处接收的以下信息来显示所述显示数据:流ID;数据ID;位置信息;用户信息,其指示作为所述显示数据的所有者的用户;以及访问权信息,其针对使用信息终端装置的每个用户来设置,并且指示是否许可生成和变更所述显示数据。具体而言,当收到由访问权信息指示的用于显示数据生成和变更的许可的用户与由所述用户信息指示的用户达成一致时,显示部11基于流ID、数据ID和位置信息来显示所述显示数据。
现在将参照说明书附图详细描述本实施例电子会议系统1中所包括的信息终端装置20的具体配置。该信息终端装置20按照XMPP来与电子会议系统1中包括的显示装置10进行通信。图4为显示根据本发明实施例的信息终端装置20的配置的图示。
如图4所示,信息终端装置20包括:终端显示部21(显示部),其显示由用户输入的数据等等;终端通信部22(通信部),其与显示装置10进行信息交换;终端存储部23(存储部),其存储由终端通信部22交换的信息、以及要在显示装置10的显示部11上显示的显示数据等等;终端控制部24(控制部),其控制由终端通信部22进行的交换操作、以及由终端存储部23进行的信息存储和读取操作等等;以及终端输入部25(输入部),用户用其来输入数据。如稍后所述,终端控制部24还按照需要而执行构成结构化显示信息的html碎片信息及其元信息的编辑和重构等等。
在利用MUC功能运行的电子会议系统1中指示临时特权级别的角色(诸如主会者或参加者)被分配给每个信息终端装置20。在本实施例的电子会议系统1中,用于每个信息终端装置20的从属关系将不加以描述,假设主会者对于所有者和管理者而言具有从属关系,并且参加者对于成员而言具有从属关系。对于访问者、放逐者等的从属关系将不加以描述。接下来的说明里,在虚拟会议室(电子会议系统1)中,假设接收主会者这一角色的信息终端装置为主会者终端装置201,并且假设接收参加者这一角色的信息终端装置为用户终端装置202。
主会者终端装置201是这样的信息终端装置,其在电子会议系统1中执行会议记录并管理在显示装置10的显示部11上显示的显示数据。主会者终端装置201的终端控制部24能够设置:数据ID(数据ID信息),其用于识别在显示装置10的显示部11上显示的显示数据;访问权信息,其为使用信息终端装置20(换言之,主会者终端装置201和用户终端装置202)的每个用户指示用来表示是否许可生成和变更显示数据的访问权;以及用户信息,其指示作为显示数据的所有者的用户;等等。终端通信部22将包括数据ID、位置信息、用户信息和访问权信息的信息(第一信息)通过网络30传输至显示装置10。与所述用户终端装置202同样,主会者终端装置201也能够传输显示数据至显示装置10。
用户终端装置202是传输显示数据至显示装置10的信息终端装置20。当用户终端装置202从显示装置10接收到指示数据线路40的开设的信息时,终端控制部24与显示装置10为了数据线路40的开设而进行协商,并且在用户终端装置202与显示装置10之间开设所述有别于网络30的数据线路40用以传输显示数据。当用户终端装置202通过网络30从显示装置10接收到包括用于识别显示数据的数据ID(数据ID信息)和用于识别数据线路40的流ID(通信路径识别信息)的信息时,用户终端装置202通过数据线路40从终端通信部22将与所述数据ID对应的显示数据传输至显示装置10。按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传输)的至少一种协议来执行上述数据线路40的开设以及通过该数据线路40进行的显示数据的传输。
现在将描述电子会议系统1中用于显示会议记录等的结构化显示信息。在结构化显示信息中,有多条信息在结构上相关;该结构化显示信息是用于在显示装置10的显示部11上产生显示的结构化信息。其结构并无特别限制;能够采用树结构等等。构成结构化显示信息的各条信息在下文中被称为html碎片信息条。图5为显示根据本发明实施例的结构化显示信息的配置的图示。如图5所示,在所述结构化显示信息中,各条html碎片信息与处于最高阶层的html碎片信息n0分阶层的相关。这里,在该类型的结构中,所处层级比某条碎片信息高一个层级的html碎片信息被称为父html碎片信息;并且所处层级比某条碎片信息低一个层级的html碎片信息被称为子html碎片信息。
现在将描述基于包括多条html碎片信息的结构化显示信息而在显示装置10的显示部11上显示的显示屏幕。图6为示出根据本发明实施例的基于结构化显示信息的显示屏幕的图示。图7为示出根据本发明实施例的基于结构化显示信息的实际显示屏幕的示例的图示。如图7所示,显示部11的显示屏幕111中的信息显示框分别对应于各条碎片信息;在各条碎片信息中包括的各条显示数据(例如文本数据、图像数据、活动图像数据和语音数据)显示在对应的信息显示框内。
例如,在显示屏幕111中,html碎片信息n0中包括的多条信息显示在信息显示框N0中,并且作为所处层级低于html碎片信息n0的html碎片信息(子html碎片信息)的html碎片信息n1、n2和n3中包括的多条信息则分别显示在信息显示框N0内排布的信息显示框N1、N2和N3中。html碎片信息n11和n12(其为html碎片信息n1的子html碎片信息)中包括的多条信息显示在信息显示框N1内排布的信息显示框N11和N12中;html碎片信息n21(其为html碎片信息n2的子html碎片信息)中包括的一条信息显示在信息显示框N2内排布的信息显示框N21中;并且html碎片信息n31、n31和n33(其为html碎片信息n3的子html碎片信息)中包括的多条信息显示在信息显示框N3内排布的信息显示框N31、N32和N33中。另外,html碎片信息n121和n122(其为html碎片信息n12的子html碎片信息)中包括的多条信息显示在信息显示框N12内排布的信息显示框N121和N122中。如上所述,在基于结构化显示信息的显示部11显示屏幕111中,子html碎片信息中包括的信息显示在父html碎片信息的信息显示框内排布的信息显示框中。
构成结构化显示信息的各条html碎片信息分别有各条显示数据被显示在显示装置10的显示部11上。在各条html碎片信息中包括的各条显示数据包括文本数据、图像数据、活动图像数据以及语音数据。
作为属于与html碎片信息中包括的显示数据相关的信息的元信息,每条html碎片信息包括:唯一数据ID(数据ID信息),用于识别html碎片信息中包括的显示数据(也即,在显示装置10的显示部11上显示的显示数据);位置信息,指示html碎片信息中包括的显示数据(也即,在显示装置10的显示部11上显示的显示数据)在显示部11上的显示位置;用户信息,指示属于html碎片信息中包括的显示数据的所有者的用户;以及访问权信息,指示为每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置的对于html碎片信息的访问权(也即,是否许可html碎片信息中包括的显示数据的生成和变更等等)。在原始html中,并没有用来描述上述访问权信息和用户信息等等的语法。然而,在电子会议系统1中,由于在多用户通信系统中利用了html,所以在各条html碎片信息上执行诸如用于描述访问权信息和用户信息等的扩展。
由位置信息指示的显示数据的显示位置可用父html碎片信息的信息显示框内的绝对坐标来指定或者可根据其在父html碎片信息的信息显示框内的文档流来排布和显示。例如,当html碎片信息用被<div>封装来描述时,显示位置则可用父html碎片信息的信息显示框内的绝对坐标来指定;当html碎片信息用被<par>封装来描述时,显示位置则可根据其在父html碎片信息的信息显示框内的文档流来排布和显示。
针对每条html碎片信息而在元信息中包括的用户信息可指示该条html碎片信息的所有者;由用户信息所指示的用户可以是能够产生或删除子html碎片信息的用户。
每条html碎片信息仅能被由访问权信息所许可的用户访问,该访问权信息是针对使用信息终端装置的每个用户来设置的并且指示对于该条html碎片信息中所包括的显示数据的访问权(也即,是否许可该显示数据的生产和变更等等)。通过访问权信息已经收到访问权的用户能够访问该条html碎片信息并执行该条html碎片信息中包括的显示数据的引用和元数据的引用、以及其内容的变更和修改等等。对于父html碎片信息的访问权会继承至其子html碎片信息。具体而言,通过访问权信息还未收到对于父html碎片信息的访问权的用户也没有对于子html碎片信息的访问权。通过访问权信息已经收到对于父html碎片信息的访问权的用户对于子html碎片信息也具有访问权。
在图8A至图8C中,显示了本实施例的html碎片信息的示例。图8A为显示包括文本数据的html碎片信息用html文档来表达的示例的图示。图8B为显示包括活动图像数据的html碎片信息用html文档来表达的示例的图示。图8C为显示包括语音数据的html碎片信息用html文档来表达的示例的图示。
在图8A中,作为用于html碎片信息的元信息,描述有以下信息:位置信息,其指示文本数据在显示装置10的显示部11上的显示位置;唯一数据ID(数据ID信息),用于识别该文本数据;生成日期和时间信息,指示该文本数据生成的日期和时间;更新日期和时间信息,指示该文本数据的内容变更的最后日期和时间;用户信息,指示属于该文本数据的所有者的用户;以及访问权信息,针对每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置且指示对于该html碎片信息的访问权(也即,是否许可该html碎片信息中包括的文本数据的生成和变更等等)。进一步,描述了在显示装置10的显示部11上显示的文本数据。
另外,在图8B中,作为用于html碎片信息的元信息,描述有以下信息:位置信息,其指示活动图像数据在显示装置10的显示部11上的显示位置;唯一数据ID(数据ID信息),用于识别该活动图像数据;用户信息,指示属于该活动图像数据的所有者的用户;以及访问权信息,针对每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置且指示对于该html碎片信息的访问权。进一步,在<video/>的标签内,描述了唯一流ID(sid:通信路径识别信息),其用于识别该活动图像数据传输至显示装置10所通过的数据线路40。
另外,在图8C中,作为用于html碎片信息的元信息,描述有以下信息:位置信息,其指示语音数据在显示装置10的显示部11上的显示位置;唯一数据ID(数据ID信息),用于识别该语音数据;用户信息,指示属于该语音数据的所有者的用户;以及访问权信息,针对每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置且指示对于该html碎片信息的访问权。进一步,在<audio/>的标签内,描述了唯一流ID(sid:通信路径识别信息),其用于识别该语音数据传输至显示装置10所通过的数据线路40。
<电子会议系统的操作>
现在将描述本实施例电子会议系统1的具体操作。图9为示出根据本发明实施例的用于开设电子会议系统的流程的图示。这里,显示装置10在显示装置10和主会者终端装置201之间利用MUC功能建立电子会议系统1。
在步骤S101中,电子会议系统1的主会者终端装置201将请求开设虚拟会议室(聊天室)的信息传输至显示装置10。
在步骤S102中,显示装置10发出通知,该通知指示从主会者终端装置201处成功接收到所述请求。
在步骤S103中,主会者终端装置201将指示用于开设虚拟会议室的设置信息已产生的信息通知所述显示装置10。
在步骤S104中,显示装置10将用于产生所述设置信息的数据表单信息传输至主会者终端装置201。
在步骤S105中,主会者终端装置201基于从显示装置10接收的数据表单信息来产生用于开设虚拟会议室的设置信息,并将所产生的设置信息传输至显示装置10。
在步骤S106中,显示装置10向主会者终端装置201通知指示成功接收到所述设置信息的信息。
以这种方式,在显示装置10和主会者终端装置201之间建立的电子会议系统1,并因而开设了使用信息终端装置20的多个用户能够参与其中的虚拟会议室。
现在将描述用户终端装置201参加已经开设的虚拟会议室(电子会议系统1)中所通过的流程。图10为示出根据本发明实施例的信息终端装置参加电子会议系统所通过的流程的操作图。这里,将描述例如用户终端装置202a参加虚拟会议室(也即,电子会议系统1)所通过的流程。
在步骤S201中,用户终端装置202a利用属于XMPP的XEP-0030(服务发现)并搜寻由显示装置10开设的虚拟会议室(电子会议系统1)。因而,用户终端装置202a能够发现由显示装置10开设的虚拟会议室(电子会议系统1)。
在步骤S202中,用户终端装置202a给显示装置10一个用于进入虚拟会议室(电子会议系统1)的请求。
在步骤S203中,显示装置10向用户终端装置202a传输一个指示允许该用户终端装置202a进入会议室的通知。
然后,在步骤S204中,显示装置10向已经进入虚拟会议室(电子会议系统1)的其他信息终端装置(主会者终端装置201和用户终端装置202)传输一个指示有新来者的通知。
通过执行步骤S201至S204的操作,用户终端装置202a能够进入虚拟会议室(电子会议系统1)并且按照XMPP来与显示装置10和其他信息终端装置(主会者终端装置201和用户终端装置202)通信。
现在将描述参加电子会议系统1的信息终端装置20共享结构化显示信息所通过的流程。图11为示出对根据本发明实施例的电子会议系统的结构化显示信息执行初始设置所通过的流程的操作图示。
在步骤S301中,上述已经在步骤S101至S107中与显示装置10建立了虚拟会议室(电子会议系统1)的主会者终端装置201在显示装置10的显示部11上产生用于显示电子会议系统1的会议记录等的结构化显示信息。如前文所述,在由此产生的结构化显示信息中,多条html碎片信息在结构上相关(例如树结构)。
主会者终端装置201为每条html碎片信息提供一个唯一数据ID(也即,用于识别该html碎片信息中所包括的显示数据的数据ID)。另外,作为用于每条html碎片信息的元信息,主会者终端装置201产生如前文所述的属性信息,也即:位置信息,其指示html碎片中包括的显示数据在显示屏幕111上的显示位置;用户信息,指示属于该html碎片信息的所有者的用户;以及访问权信息,为每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置的且指示对于该html碎片信息的访问权(也即,是否许可html碎片信息中包括的信息的生成和变更等);等等。
在步骤S302中,主会者终端装置201将所产生的多条html碎片信息传输至显示装置10。
在步骤S303中,显示装置10执行对接收的多条html碎片信息的语法解析,并产生与接收的多条html碎片信息对应的多条html碎片信息。显示装置10检查用于识别所产生的多条html碎片信息的数据ID与用于其他html碎片信息的数据ID是否一致。然后,显示装置10产生由所述多条html碎片信息构成的结构化显示信息。
在步骤S304中,显示装置10进一步将通过对产生的多条html碎片信息进行结构化得到的结构化显示信息传输至信息终端装置(主会者终端装置201和用户终端装置202)。
在步骤S305中,显示装置10基于其上已经执行过初始设置的结构化显示信息而在显示部11上显示初始化屏幕。
以这种方式,完成了对结构化显示信息处理的初始设置,并且基于结构化显示信息而在显示装置10的显示部11上显示出初始化屏幕。
现在将描述提交给虚拟会议室(电子会议系统1)的文本数据在显示装置10上显示所通过的流程。这里,作为示例,将描述由用户终端装置202a提交的信息(例如发言)在显示装置10上显示所通过的流程。图12为示出由根据本发明实施例的信息终端装置提交的文本数据在显示装置的显示屏幕上显示所通过的流程的操作图。例如,假设位于用户终端装置202的用户处于应当提交发言的状态或者由位于主会者终端装置201的用户通过离线等方式而直接允许作出发言。
在步骤S401中,主会者终端装置201产生用户终端装置202a在虚拟会议室(电子会议系统1)中作出发言所需的用于发言的html碎片信息(下文中为发言用html碎片信息)。这里,由主会者终端装置201产生的发言用html碎片信息被合并到结构化显示信息中,并因而在显示装置10显示部11的显示屏幕111中设置用于显示由发言者(在该情况下为用户终端装置202a)提交的发言(文本数据)的信息显示框。
主会者终端装置201在终端控制部24处产生唯一数据ID,其用于识别在发言用html碎片信息中包括的文本数据从而使该唯一数据ID不与其他html碎片信息中包括的文本数据的数据ID一致;并产生位置信息,其指示在显示装置10的显示部11上显示的由发言者(用户终端装置202a)提交的发言(数据)的显示位置。进一步,主会者终端装置201产生:用户信息,其指示属于该发言用html碎片信息中所存储的数据的所有者的用户;访问权信息,其为每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置且指示对于所述发言用html碎片信息的访问权(也即,是否许可该发言用html碎片信息中存储的数据的生成和变更等);等等。主会者终端装置201将它们提供给发言用html碎片信息作为元信息。
例如,该发言用html碎片信息被描述为如图8A所示。此时,该文本数据未存储在发言用html碎片信息中。
在步骤S402中,主会者终端装置201通过网络30e将发言用html碎片信息传输至显示装置10。这里,诸如数据ID、用户信息、访问权信息和位置信息(指示在显示装置10的显示部11上显示的文本数据的显示位置)等元信息也通过网络30e被传输至显示装置10。
该发言用html碎片信息是通过扩展元信息而得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与从用户终端装置202a传送至显示装置10的文本数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID、位置信息、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。
在步骤S403中,显示装置10执行对发言用html碎片信息的语法分析,并且,如果语法正确,则设信息显示框来允许发言者(在该情况下为用户终端装置202a)作出发言。
在步骤S404中,显示装置10进一步将步骤S401中产生的包括数据ID的发言用html碎片信息通过网络30传输至信息终端装置20(主会者终端装置201和包括用户终端装置202a的用户终端装置202),并向显示部11的显示屏幕111提供一个通知,该通知指示提供了允许发言者作出发言的信息显示框(这里为用于用户终端装置202a的信息显示框)。
在步骤S405中,由用户终端装置202a提交给虚拟会议室(电子会议系统1)的发言(文本数据)被输入至终端输入部25。这里,从终端输入部25输入的文本数据是存储在由数据ID所指定的发言用html碎片信息中的数据。然后,用户终端装置202a编辑该发言用html碎片信息以便将从终端输入部25输入的文本数据添加到该发言用html碎片信息中。
在步骤S406中,用户终端装置202a将包括有文本数据的发言用html碎片信息通过网络30a传输至显示装置10。这里,用户终端装置202a还通过网络30a将诸如该发言用html碎片信息的数据ID、用户信息、以及访问权信息等作为该发言用html碎片信息的元信息传输至显示装置10。
在步骤S407中,显示装置10对接收自用户终端装置202a的发言用html碎片信息执行语法分析,并基于接收的发言用html碎片信息来编辑结构化显示信息。具体而言,显示装置10确定接收到由访问权信息指示的对发言用html碎片信息的访问权的用户与由用户信息指示的用户是否一致。如果他们彼此一致,则由于使用用户终端装置202a的用户被允许使用对该发言用html碎片信息的访问权(也即,发言用html碎片信息中包括的数据的生成和变更),所以显示装置10的控制部14基于接收的发言用html碎片信息来编辑结构化显示信息。
然后,在步骤S408中,显示装置10将步骤S407中编辑的包括有数据ID(数据ID信息)的发言用html碎片信息通过网络30传输至信息终端装置20(主会者终端装置201和包括用户终端装置202a的用户终端装置202),并提供一个指示该发言用html碎片信息经过编辑的通知。
然后,在步骤S409中,显示装置10基于已经编辑过的结构化显示信息在显示部11上显示该虚拟会议室(电子会议系统1)的会议记录等等。这里,显示装置10基于所述的用户信息、访问权信息和位置信息在显示部11上显示由数据ID识别的文本数据。具体而言,显示装置10在显示屏幕111上由位置信息指示的显示位置中显示存储在由数据ID识别的html碎片信息中的文本数据。以这种方式,使用主会者终端装置201的用户能够可靠且便利地管理在显示装置10的显示部11上显示的文本数据的显示位置。
现在将给出对这样的情况的描述,其中参加虚拟会议室(电子会议系统1)的参加者提交了诸如活动图像数据或语音数据等有别于文本格式的格式的多媒体数据。这里,以示例的方式将描述用户终端装置202a提交给虚拟会议室的参考资料(多媒体数据)在显示装置10上显示所通过的流程。图13为示出由根据本发明实施例的信息终端装置提交的多媒体数据(有别于文本格式的其他格式)在显示装置的显示屏幕上显示所通过的流程的操作图。例如,假设位于用户终端装置202的用户处于应当提交发言的状态或者由位于主会者终端装置201的用户通过离线等方式而直接允许提交发言。
在步骤S501中,主会者终端装置201产生用户终端装置202a在虚拟会议室(电子会议系统1)中作出发言(提交数据)所需的发言用html碎片信息。这里,由主会者终端装置201产生的发言用html碎片信息被合并到结构化显示信息中,并因而在显示装置10显示部11的显示屏幕111中设置用于显示由发言者(在该情况下为用户终端装置202a)提交的资料(多媒体数据)的信息显示框。
主会者终端装置201在终端控制部24处产生唯一数据ID,其用于识别在发言用html碎片信息中包括的多媒体数据从而使该唯一数据ID不与其他html碎片信息中包括的多媒体数据的数据ID一致;并产生位置信息,其指示在显示装置10的显示部11上显示的由发言者(用户终端装置202a)提交的资料(多媒体)的显示位置。进一步,主会者终端装置201产生:用户信息,其指示属于该发言用html碎片信息中所存储的数据的所有者的用户;访问权信息,其为每个使用信息终端装置20(主会者终端装置201和用户终端装置202)的用户设置且指示对于所述发言用html碎片信息的访问权(也即,是否许可该发言用html碎片信息中存储的多媒体数据的生成和变更等);等等。主会者终端装置201将它们提供给发言用html碎片信息作为元信息。
如图8B和图8C所示,在该发言用html碎片信息中,描述的不仅有数据ID、位置信息、用户信息、和访问权信息等等,还有用于识别用户终端装置202a提交给电子会议系统1的多媒体数据传输所通过的数据线路40a的流ID(sid:通信路径识别信息)。例如,在提交活动图像数据时,如图8B所示描述有<video/>标签;在提交语音数据时,如图8C所示描述有<audio/>标签。用于描述该流ID的标签是根据通过数据线路40a传输的多媒体数据的类型来扩展的。此时,因为在用户终端装置202a和显示装置10之间未开设数据线路40a,所以在用于描述流ID的标签(例如,如图8B所示的<video/>标签和如图8C所示的<audio/>标签)中未描述该流ID。
在步骤S502中,主会者终端装置201将包括诸如数据ID、用户信息、访问权信息和位置信息(指示在显示装置10的显示部11上显示的多媒体数据的显示位置)等元信息的发言用html碎片信息(第一信息)通过网络30e传输至显示装置10。
该发言用html碎片信息(第一信息)可以是通过扩展元信息而得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置10和用户终端装置202a之间开设的数据线路40a传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID、位置信息、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。作为元信息来利用与基于XMPP的消息传递对应的所述属性信息(诸如数据ID、位置信息、访问权信息和用户信息等)被称为所述扩展。
如上所述,该发言用html碎片信息(第一信息)是通过扩展元信息得到的html文件,并因而能够将该发言用html碎片信息中包括的元信息(诸如数据ID信息、位置信息、用户信息和访问权信息)映射到web(网络)浏览器中所采用的html格式的描述上。具体而言,能够使该发言用html碎片信息中包括的元信息(诸如数据ID信息、位置信息、用户信息和访问权信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在步骤S503中,显示装置10执行对发言用html碎片信息的语法分析,并且,如果语法正确,则设信息显示框以允许显示由用户终端装置202a提交的资料(多媒体数据)。
在步骤S504中,在对发言用html碎片信息的语法分析时,当发现用于描述流ID的标签(例如,如图8B所示的<video/>标签或者如图8C所示的<audio/>标签),则显示装置10基于该发言用html碎片信息的元信息确定从用户终端装置202a传输的是诸如活动图形数据或语音数据等多媒体数据,并开始用于在显示装置10和用户终端装置202a之间开设独立于网络30a的数据线路40a(数据通信路径)的设置,且多媒体数据通过该数据线路40a进行传送。
数据线路40a的设置和开设是按照诸如XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传输)等XMPP的应用协议来执行的。这里,显示装置10是提议设置数据线路40a的一侧,即Jingle的发起方;用户终端装置202a是同意或拒绝用于设置数据线路40a的提议的一侧,也即,Jingle的响应方。
在步骤S505中,显示装置10将指示提议开设用于传送多媒体数据的数据线路40a的信息通过网络30a传输至用户终端装置202a。
在步骤S506中,用户终端装置202a将指示确认所述提议的信息通过网络30a传输至显示装置10。
在步骤S507中,按照诸如XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传输)等XMPP的应用协议来进行用于在显示装置10和用户终端装置202a之间开设数据线路40a的设置的协商。在该协商中,数据线路40还能被设置为加密线路。根据该协商的结果,用户终端装置202a确定是同意还是拒绝用于开设数据线路40a的提议。在本实施例中,作为协商的结果,假设用户终端装置202a确定其同意提议。
在步骤S508中,用户终端装置202a将指示其同意用于设置数据线路40a的提议的信息通过网络30a传输至显示装置10。
在步骤S509中,显示装置10将指示确定同意提议的信息通过网络30a传输至用户终端装置202a。然后,如图2所示,在显示装置10和用户终端装置202a之间开设数据能够通过其直接传送的数据线路40a。
该数据线路40a是在网络30a经其通过的物理通信线路中开设的逻辑通信路径。因此,当在显示装置10和用户终端装置202a之间开设显示数据经其直接传输的数据线路40a时,没有必要提供除网络30a之外的任何其他物理通信线路。这里,逻辑通信路径是指在物理意义上的通信线路中包括的逻辑意义上的虚拟通信线路(逻辑线路)。例如,即使仅物理地存在一条通信线路时,也能够设置多条逻辑线路,并且能够进行使逻辑线路彼此区分的数据通信。例如,网络30a和数据线路40a经相同的物理通信线路通过;然而,它们是不同的逻辑线路。
在步骤S510中,显示装置10产生用于识别显示装置10和用户终端装置202a之间所开设的数据线路40a的流ID(sid:通信路径识别信息)从而使该流ID不与其他通信线路的流ID一致。然后,显示装置10将包括有数据ID和流ID作为元信息的发言用html碎片信息(第二信息)通过网络30传输至信息终端装置20(主会者终端装置201和用户终端装置202),并提供一个通知,该通知指示在显示部11上的显示屏幕111中提供了用于显示由发言者提交的资料(多媒体数据)的信息显示框(这里为用于用户终端装置202a的信息显示框)。
该发言用html碎片信息(第二信息)可以是通过扩展元信息得到的html数据。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置10和用户终端装置202a之间开设的数据通信路径传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID(数据ID信息)和流ID(通信路径识别信息)等与基于XMPP的消息传递对应的属性信息。
如上所述,该发言用html碎片信息(第二信息)是通过扩展元信息得到的html文件,并因而能够将该发言用html碎片信息中包括的元信息(诸如数据ID和流ID)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该发言用html碎片信息中包括的元信息(诸如数据ID和流ID)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在步骤S511中,用户终端装置202a作出用于通过由数据ID指定的数据线路40a将提交给虚拟会议室(电子会议系统1)的多媒体数据传输至显示装置10的准备。
在步骤S512中,用户终端装置202a按照属于XMPP应用协议的Jingle(XEP-0166)等协议或者诸如Jingle-RTP(XEP-0167)或Jingle-UDP(XEP-0177)等XMPP的相关应用协议而在流模式下通过由流ID指定的数据线路40a将多媒体数据传送至显示装置10。
然后,在步骤S513中,显示装置10的控制部14使用数据ID将通过由流ID识别的数据线路40a在流模式下传送的多媒体数据关联于诸如位置信息、用户信息和访问权信息等元信息。这里,显示装置10的控制部14确定接收由访问权信息所指示的访问权的用户是否与由用户信息指示的用户一致。如果他们彼此一致,则允许使用用户终端装置202a的用户使用对于其中存储有多媒体数据的发言用html碎片信息的访问权(也即,对发言用html碎片信息中包括的多媒体数据的生成和变更等等)。因此,显示装置10的控制部14在发言用html碎片信息中存储通过数据线路40进行流传送的多媒体数据,编辑所述结构化显示信息,并基于所述数据ID和位置信息在由位置信息指示的显示部11上显示屏幕111中的显示位置显示所述多媒体数据。因此,使用主会者终端装置201的用户能够可靠且容易地管理在显示装置10的显示部11上显示的多媒体数据的显示位置。由于诸如活动图像数据或语音数据等多媒体数据是以流模式进行传送,所以也能够在由位置信息指示的显示部11上显示屏幕111中的显示位置顺序地再现所传送的多媒体数据。
重复上述的步骤S512和S513中的操作直到完成多媒体数据的传送为止。
在步骤S514中完成多媒体数据的传送后,执行用于关闭显示装置10和用户终端装置202a之间的数据线路40a的处理。显示装置10完成了Jingle发起方的角色;用户终端装置202a完成了Jingle响应方的角色。
在上述的实施例中,显示数据是通过用户终端装置202a和显示装置10之间开设的数据线路40a来传送的;在其他信息终端装置(诸如主会者终端装置201和用户终端装置202b至202d)中,显示数据可通过以上述相同方式开设直接数据线路40来传送。
如上所述,在上述实施例中,主会者终端装置201将包括有用于识别显示数据的数据ID(数据ID信息)和用于指示显示数据在显示装置10的显示部11上的显示位置的位置信息的发言用html碎片信息(第一信息)通过网络30传输至显示装置10。然后,在显示装置10和用户终端装置202之间于网络30之外还开设了显示数据经其传输的数据线路40(数据通信路径)。显示装置10将包括有用于识别数据线路40的流ID(通信路径识别信息)和数据ID的发言用html碎片信息(第二信息)通过网络30传输用户终端装置202。用户终端装置202通过由流ID识别的数据线路40将显示数据传输至显示装置10。然后,显示装置10基于流ID、数据ID和位置信息在显示部11上显示所述显示数据。
如上所述,通过独立于网络30的专用数据线路40,显示数据从用户终端装置202被传输至显示装置10。因此,即使通过网络30交换的数据和通过数据线路40传输的显示数据在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置202传送至显示装置10。即使通过数据通信路径对诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据进行流传送时,多媒体数据的流传送也不会持续地占用该通信线路,并且还能够高效及精确地通过网络交换数据以及通过数据通信路径对多媒体数据进行流传送。另外,通过数据ID,显示装置10能够将通过由流ID识别的数据线路40接收的显示数据关联于位置信息,并且还能够在由位置信息指示的显示部11上的显示位置显示所述显示数据。因此,显示装置10能够将通过专用数据线路40传输的显示数据结构化并显示在显示装置10的显示部11上的显示屏幕111中。
使用主会者终端装置201的用户通过数据ID和位置信息能够可靠且便利地管理通过独立于网络30的专用数据线路40从用户终端装置202传输至显示装置10的显示数据以及该显示数据在显示装置10的显示部11上的显示位置。由于所述显示数据是通过数据线路40从用户终端装置202直接传送至显示装置10的,所以防止了数据线路40被除用户终端装置202和显示装置10之外的其他终端装置利用,并且防止通过该数据线路40交换的显示数据被获取或变更。因此,能够增强经数据线路40传送的数据的安全性。
在上述实施例中,用户终端装置202和显示装置10之间开设的数据线路40可以是显示数据经其进行传输的逻辑通信线路。当在显示装置10和用户终端装置202之间开设数据经其直接传输的数据通信路径时,就没有必要设置独立于网络30的物理通信线路。具体而言,数据线路40被设于网络30经其通过的物理通信线路中作为独立于网络30的新逻辑通信路径(逻辑线路),因而能够通过在逻辑上独立于网络30的逻辑线路来交换显示数据。因此,通过网络30交换的数据和通过数据线路40传输的显示数据互不干扰,所以能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将显示数据从用户终端装置202传送至显示装置10。
在上述实施例中,诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据能够通过独立于网络30的专用数据线路40从用户终端装置202传输至显示装置10。因此,即使通过网络30交换的数据(诸如文本数据)和通过数据线路40传输的显示数据(有别于文本格式的其他格式的多媒体数据)在传输特性上彼此不同,它们也不会彼此干扰,因而能够防止发生导致数据传送率和数据接收间隔上的变化的传送波动等。因此能够便利、高效且精确地将有别于文本格式的其他格式的多媒体数据从用户终端装置202传送至显示装置10。通过数据ID,显示装置10能够将通过由流ID识别的数据线路40接收的多媒体数据关联于位置信息,并且进一步能够在由位置信息指示的显示部11上的显示位置显示所述多媒体数据。因此,显示装置10能够将通过专用数据线路40接收的多媒体数据结构化并显示在显示部11上的显示屏幕111中。
在上述实施例中,通过网络30从主会者终端装置201传输至显示装置10的发言用html碎片信息(第一信息)能够针对每个使用信息终端装置20的用户来设置,并且能够包括指示是否许可生成和变更显示数据的访问权信息以及指示属于显示数据所有者的用户的用户信息。因此,显示装置10能够在由访问权信息或用户信息指示的用户所使用的用户终端装置202与显示装置10之间开设显示数据经其传输的直接数据线路40。因此,为了在显示装置10和信息终端装置20之间共享信息没有必要提供网状的通信路径网络;如有必要,在显示装置10和用户终端装置202之间仅开设有传输显示数据的直接数据线路40。通过数据ID,显示装置10能够将通过数据线路40接收的显示数据关联于位置信息,并且能够在由位置信息指示的显示部11上的显示位置显示所述显示数据。通过传输至显示装置10的访问权信息或用户信息,由于主会者终端装置201能够指示应当与哪个用户终端装置202来开设数据线路40,所以主会者终端装置201能够控制显示装置10和用户终端装置202之间数据线路40的开设。
在上述实施例中,主会者终端装置201能够将包括数据ID、位置信息、访问权信息(其针对每个使用信息终端装置20的用户来设置且指示是否许可显示数据的生成和变更)以及用户信息(其指示属于显示数据所有者的用户)的发言用html碎片信息(第一信息)通过网络30传输至显示装置10,并且显示装置10能够基于所述的流ID、数据ID、位置信息、用户信息和访问权信息在显示部11上显示所述显示数据。因此,通过数据ID,显示装置10能够将通过由流ID识别的数据线路40接收的显示数据关联于从主会者终端装置201接收的用户信息、访问权信息和位置信息,基于所述用户信息和访问权信息来确定是否显示数据ID所识别的显示数据,并在由位置信息指示的显示部11上的显示位置显示所述显示数据。因此,从用户终端装置202传送的显示数据是按照数据ID进行管理,并且,对于显示数据而言,显示装置10的显示部11上显示的各条显示数据是根据针对每个使用信息终端装置20的用户所设置的访问权(也即,是否许可显示数据的生成和变更)来控制。因此,基于用户的访问权能够在多个用户之间实现平滑的通信。
在上述实施例中,当由访问权信息指示的允许生成和变更显示数据的用户与由用户信息指示的用户达成一致时,显示装置10便能够基于流ID、数据ID和位置信息在显示部11上显示所述显示数据。因此,只有在属于由数据ID指示的显示数据所有者的用户与对该显示数据具有访问权(也即,是否许可显示数据的生成和变更)的用户达成一致时,显示装置10才能在显示部11上显示所述显示数据。具体而言,显示装置10使用数据ID来识别通过由流ID识别的数据线路40接收的显示数据,并在由位置信息指示的显示部11上的显示位置显示所识别的显示数据。因此基于用户的访问权能够在多个用户之间实现平滑的通信。
在上述实施例中,能够提供用在电子会议(其中有多个用户参加)中的通信方法。因而,通过数据ID,不仅能够可靠且便利地管理提交给虚拟会议室(也即,电子会议系统1)的发言(显示数据),还能够根据针对每个参加虚拟会议室的参加者(用户)所设置的访问权(也即,是否许可发言(显示数据)的提交和修改)来控制提交给虚拟会议室的发言(显示数据)。因此能够基于用户的访问权在多个用户之间实现平滑的通信。
在上述实施例中,显示装置10和多个信息终端装置20能够按照XMPP来进行彼此通信。因此不仅能够在显示装置10和信息终端装置20(主会者终端装置201和用户终端装置202)之间执行实时消息传递(信息交换),而且还能够通过数据ID来便利且可靠地将其上的消息传递是按照XMPP来执行的数据关联于显示装置10的显示部11上显示的显示数据。
在上述实施例中,显示装置10和用户终端装置202之间数据线路40的开设以及通过数据线路40从用户终端装置202到显示装置10的多媒体数据的传输能够按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传输)的至少一种协议来执行。因此,即使在显示装置10和用户终端装置202之间的网络30中布置有NAT(networkaddresstranslation,网络地址转换)或防火墙时,由于多媒体数据是通过独立于网络30的数据通信路径来传输的,所以能够通过数据线路40可靠地传送显示数据而不会受到诸如数据传送中断等影响。
在上述实施例中,发言用html碎片信息(第一信息和第二信息)可以是通过扩展元信息得到的html文件。这里,通过扩展元信息得到的html文件是指能够用与基于XMPP的通信兼容的html来表达的格式的数据,并且该数据包括属于与通过显示装置10和用户终端装置202之间开设的数据通信线路传送的显示数据相关的信息(属性信息)的元信息。作为所述元信息,包括有诸如数据ID、位置信息、流ID、访问权信息和用户信息等与基于XMPP的消息传递对应的属性信息。作为元信息来以这种方式利用与基于XMPP的消息传递对应的所述属性信息(诸如数据ID、位置信息、流ID、访问权信息和用户信息)被称为所述扩展。利用该配置,能够将该发言用html碎片信息中包括的元信息(诸如数据ID、位置信息、流ID、用户信息和访问权信息)映射到web浏览器中所采用的html格式的描述上。具体而言,能够使该发言用html碎片信息中包括的元信息(诸如数据ID、位置信息、流ID、用户信息和访问权信息)对应于html的显示元素。因而,能够将基于XMPP的消息传递与web和html联系起来。
在上述实施例中,通过网络30从主会者终端装置201传输至显示装置10的发言用html碎片信息(第一信息)和通过网络30从显示装置10传输至用户终端装置202的发言用html碎片信息(第二信息)可以是构成用于在显示装置10的显示部11上产生显示的结构化显示信息(显示信息)的碎片信息。因此,例如,当信息终端装置20(主会者终端装置201和用户终端装置202)对用于在显示装置10的显示部11上产生显示的结构化显示信息中包括的部分信息进行变更时,如果传输的仅有包括变更信息的碎片信息,则显示装置10也能够基于接收的碎片信息来修改用于在显示部11上产生显示的结构化显示信息。换言之,没有必要传输全部的结构化显示信息。因而,由于能够减少显示装置10和信息终端装置20(主会者终端装置201和用户终端装置202)之间交换的信息量,所以不仅能够减小通信所需的时间而且还能够显著地减轻显示装置10和信息终端装置20(主会者终端装置201和用户终端装置202)之间的网络30上所施加的负担。因此参加通信的多个用户能够执行更加便捷的通信。
上述说明是基于本发明的实施例给出。本实施例为示意性的。通过结合组成部件或者不同类型的处理可得到许多变化;这些变化都落入本发明的范围内并且本领域技术人员可轻易理解。
例如,在上述实施例中,虽然通过独立于网络30的数据线路40(数据通信路径)传输的是诸如活动图像数据或语音数据等有别于文本格式的其他格式的多媒体数据,但也能够传输文本格式的数据。
在上述实施例中,虽然是利用html的绘图机制来作为结构化显示信息(显示信息),但也可利用DOM(documentobjectmodel,文本对象模型)来作为所述结构化显示信息。DOM是诸如用于html或XML(extensiblemarkuplanguage,可扩展标记语言)的标准化API(applicationprograminterface,应用程序接口)。
在上述实施例中,虽然显示装置10和多个信息终端装置20是按照XMPP进行彼此通信,但本发明不限于此。它们可按照类似于XMPP的其他协议来进行彼此通信。
在上述实施例中,虽然显示数据(多媒体数据)经其传送的数据线路40的开设以及该显示数据(多媒体数据)的传输是按照XMPP中Jingle(XEP-0166)、Jingle-RTP(XEP-0167)和Jingle-UDP(XEP-0177)的至少一种协议来执行,但本发明不限于此。用来在两个能够通信的终端装置之间建立用于交换数据的通信路径的任意协议都可加以利用。
在上述实施例中,基于结构化显示信息来产生显示的多个显示装置10可设于远程站点处。在这种情况下,多个显示装置优选共享相同的结构化显示信息。例如,显示装置10能够按照作为一种XMPP应用协议的XEP-0060(发行-订阅(Publish-Subscribe))来共享结构化显示信息。如上所述,当位于远程站点的多个显示装置共享同一屏幕时,位于每个显示装置所处远程站点的多个信息终端装置20也能够参加电子会议系统1。
工业实用性
例如,本发明能够应用于:聊天系统,其中在诸如家庭、办公地点或学校等群体内能够自由进行信息的读写和参考,并且其中能够多人进行实时交谈;或者电子会议系统,其中多个用户能够在虚拟会议室中提交辩论或发言。
附图标记说明
1电子会议系统(多用户通信系统)
10显示装置
11显示部
111显示屏幕
12通信部
13存储部
14控制部
20信息终端装置
201主会者终端装置
202、202a、202b、202c和202d
用户终端装置
21终端显示部(显示部)
22终端通信部(通信部)
23终端存储部(存储部)
24终端控制部(控制部)
25终端输入部(输入部)
30、30a、30b、30c、30d和30e
网络30
40、40a、40b、40c、40d和40e
数据线路(数据通信路径)

Claims (18)

1.一种通信方法,将显示数据从多个信息终端装置传输至显示装置,
所述多个信息终端装置包括将所述显示数据传输至所述显示装置的第一信息终端装置以及管理所述显示数据的第二信息终端装置,所述通信方法包括:
由所述第二信息终端装置将包括数据ID信息和位置信息的第一信息通过网络传输至所述显示装置,所述数据ID信息用于识别所述显示数据,所述位置信息指示所述显示数据在所述显示部上的显示位置;
在所述显示装置和所述第一信息终端装置之间开设数据通信路径,所述显示数据通过该数据通信路径进行传输;
由所述显示装置将包括通信路径识别信息和所述数据ID信息的第二信息通过所述网络传输至所述第一信息终端装置,所述通信路径识别信息用于识别所述数据通信路径;
由所述第一信息终端装置通过由所述通信路径识别信息所识别的数据通信路径将所述显示数据传输至所述显示装置;以及
由所述显示装置基于所述通信路径识别信息、所述数据ID信息和所述位置信息在所述显示部上显示所述显示数据。
2.一种显示装置,包括:
显示部,对显示数据进行显示;
通信部,通过网络与多个信息终端装置通信,所述信息终端装置包括传输所述显示数据的第一信息终端装置以及管理所述显示数据的第二信息终端装置;以及
控制部,当所述通信部通过所述网络从所述第二信息终端装置接收包括数据ID信息和位置信息的第一信息时,在所述通信部和所述第一信息终端装置之间开设传输所述显示数据所通过的数据通信路径,所述数据ID信息用于识别所述显示数据,所述位置信息指示所述显示数据在所述显示部上的显示位置,
其中,所述通信部将包括通信路径识别信息和所述数据ID信息的第二信息通过所述网络传输至所述第一信息终端装置,所述通信路径识别信息用于识别所述数据通信路径,并且
所述显示部基于所述通信路径识别信息、所述数据ID信息以及所述位置信息来显示所述通信部通过由所述通信路径识别信息所识别的数据通信路径而从所述第一信息终端装置接收的所述显示数据。
3.如权利要求2所述的显示装置,
其中所述数据通信路径是从所述第一信息终端装置传输所述显示数据所通过的逻辑通信路径。
4.如权利要求2或3所述的显示装置,
其中所述显示数据是有别于文本格式的其他格式的多媒体数据。
5.如权利要求2或3所述的显示装置,
其中,所述第一信息还包括访问权信息,所述访问权信息针对每个使用所述信息终端装置的用户来设置的并且用于指示是否许可所述显示数据的生成和变更,
当所述通信部通过所述网络从所述第二信息终端装置接收所述第一信息时,所述控制部在所述通信部和由所述访问权信息指示的用户所使用的第一信息终端装置之间开设所述数据通信路径。
6.如权利要求2或3所述的显示装置,
其中,所述第一信息还包括用户信息,所述用户信息用于指示作为所述显示数据的所有者的用户,
当所述通信部通过所述网络从所述第二信息终端装置接收所述第一信息时,所述控制部在所述通信部和由所述用户信息指示的用户所使用的第一信息终端装置之间开设所述数据通信路径。
7.如权利要求2或3所述的显示装置,
其中,所述第一信息还包括访问权信息以及用户信息,所述访问权信息是针对每个使用所述信息终端装置的用户来设置的并且用于指示是否许可所述显示数据的生成和变更,所述用户信息用于指示作为所述显示数据的所有者的用户,
所述通信部通过所述网络从所述第二信息终端装置接收所述第一信息,并且
所述显示部基于所述通信路径识别信息、所述数据ID信息、所述位置信息、所述用户信息以及所述访问权信息来显示所述显示数据。
8.如权利要求7所述的显示装置,
其中,当由所述访问权信息指示的且被许可生成和变更所述显示数据的用户与由所述用户信息指示的用户一致时,所述显示部基于所述通信路径识别信息、所述数据ID信息以及所述位置信息来显示所述显示数据。
9.如权利要求2或3所述的显示装置,
其中所述显示装置按照XMPP来与所述信息终端装置通信。
10.如权利要求9所述的显示装置,
其中,按照XMPP中XEP-0166(Jingle)、XEP-0167(JingleRTP会话)和XEP-0177(Jingle纯UDP传送)的至少一种协议,所述控制部在所述通信部和所述第一信息终端装置之间开设数据通信路径,且所述通信部通过所述数据通信路径从所述第一信息终端装置接收所述显示数据。
11.如权利要求9所述的显示装置,
其中所述第一信息和所述第二信息是通过扩展元信息所得到的html文件。
12.如权利要求2或3所述的显示装置,
其中所述第一信息和所述第二信息是构成用于在所述显示部上产生显示的显示信息的碎片信息。
13.一种信息终端装置,包括:
控制部,开设与显示装置的数据通信路径,显示在显示装置上的显示数据通过所述数据通信路径进行传输;以及
通信部,当通过网络从所述显示装置接收包括有数据ID信息和通信路径识别信息的第二信息时,所述通信部通过所述数据通信路径将所述显示数据传输至所述显示装置,所述数据ID信息用于识别所述显示数据,所述通信路径识别信息用于识别所述数据通信路径。
14.一种信息终端装置,其管理从其他信息终端装置传输至如权利要求2或3所述的显示装置的显示数据,所述信息终端装置包括:
控制部,生成用于识别所述显示数据的数据ID信息以及用于指示所述显示数据在所述显示装置的显示部上的显示位置的位置信息;以及
通信部,将包括有所述数据ID信息和所述位置信息的第一信息通过网络传输至所述显示装置。
15.如权利要求14所述的信息终端装置,
其中所述控制部生成访问权信息,所述访问权信息是针对使用与所述显示装置通信的多个信息终端装置的每个用户来设置的并且用于指示是否许可所述显示数据的生成和变更,并且
所述第一信息进一步包括所述访问权信息。
16.如权利要求14所述的信息终端装置,
其中所述控制部生成用户信息,所述用户信息用于指示作为所述显示数据的所有者的用户,并且
所述第一信息进一步包括所述用户信息。
17.一种多用户通信系统,其中多个信息终端装置传输至如权利要求2或3所述的显示装置的显示数据显示在所述显示装置上,
其中所述多个信息终端装置包括将所述显示数据传输至所述显示装置的第一信息终端装置以及管理所述显示数据的第二信息终端装置。
18.如权利要求17所述的多用户通信系统,
其中所述多用户通信系统是电子会议系统。
CN201080068965.4A 2010-09-06 2010-09-06 用于多用户通信的系统、方法及装置 Expired - Fee Related CN103080914B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/065230 WO2012032592A1 (ja) 2010-09-06 2010-09-06 マルチユーザ通信のためのシステム、方法及び装置

Publications (2)

Publication Number Publication Date
CN103080914A CN103080914A (zh) 2013-05-01
CN103080914B true CN103080914B (zh) 2015-11-25

Family

ID=45810218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080068965.4A Expired - Fee Related CN103080914B (zh) 2010-09-06 2010-09-06 用于多用户通信的系统、方法及装置

Country Status (5)

Country Link
US (1) US8630395B2 (zh)
EP (1) EP2615557A4 (zh)
KR (1) KR20130106357A (zh)
CN (1) CN103080914B (zh)
WO (1) WO2012032592A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7948448B2 (en) * 2004-04-01 2011-05-24 Polyvision Corporation Portable presentation system and methods for use therewith
US8954591B2 (en) * 2011-03-07 2015-02-10 Cisco Technology, Inc. Resource negotiation for cloud services using a messaging and presence protocol
EP3726337A1 (en) * 2012-11-12 2020-10-21 Enorcom Corporation Automated mobile system
US20150067129A1 (en) * 2013-08-29 2015-03-05 Yuuichiroh Hayashi Apparatus, system, and method of managing device, and recording medium storing device management program
JP2015132946A (ja) * 2014-01-10 2015-07-23 シャープ株式会社 表示システム
JP6361728B2 (ja) * 2014-02-28 2018-07-25 株式会社リコー 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP2016045291A (ja) * 2014-08-21 2016-04-04 株式会社リコー 画像表示システム、端末、画像表示装置及びプログラム
JP6312866B2 (ja) * 2015-01-23 2018-04-18 マクセル株式会社 表示装置および表示方法
JP6458581B2 (ja) * 2015-03-20 2019-01-30 株式会社リコー 情報処理システム、表示位置決定方法、端末装置、情報処理装置及びプログラム
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
CN107368311B (zh) * 2017-07-10 2021-07-23 武汉斗鱼网络科技有限公司 一种多Fragment之间的通信方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006044069A1 (en) * 2004-10-12 2006-04-27 Motorola, Inc. Multimedia session establishment in a user entity having audio floor control
WO2007005890A1 (en) * 2005-06-30 2007-01-11 Google, Inc. Method and system for proxy-based file sharing
FR2896648A1 (fr) * 2006-01-23 2007-07-27 France Telecom Procede et systeme de conversation multimedia
CN101742378A (zh) * 2008-11-11 2010-06-16 三星电子株式会社 定位和再现具有高分辨率的屏幕声源

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104406A (ja) 1996-06-14 1998-01-06 Canon Inc 通信端末装置
JP3275861B2 (ja) 1998-12-25 2002-04-22 日本電気株式会社 情報提示装置及び情報提示プログラムを記録したコンピュータ読み取り可能な記録媒体
US7458029B2 (en) 2004-01-15 2008-11-25 Microsoft Corporation System and process for controlling a shared display given inputs from multiple users using multiple input modalities
JP2007104354A (ja) 2005-10-05 2007-04-19 Aruze Corp テレビ会議システム、テレビ会議方法及びテレビ会議端末装置
JP4367651B2 (ja) 2006-04-03 2009-11-18 村田機械株式会社 通信装置
JP4633042B2 (ja) * 2006-12-19 2011-02-16 Necディスプレイソリューションズ株式会社 画像表示装置および画像データ処理方法
JP5029429B2 (ja) * 2008-03-03 2012-09-19 ブラザー工業株式会社 サーバ装置及びそれを備えたプロジェクタ及び表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006044069A1 (en) * 2004-10-12 2006-04-27 Motorola, Inc. Multimedia session establishment in a user entity having audio floor control
WO2007005890A1 (en) * 2005-06-30 2007-01-11 Google, Inc. Method and system for proxy-based file sharing
FR2896648A1 (fr) * 2006-01-23 2007-07-27 France Telecom Procede et systeme de conversation multimedia
CN101742378A (zh) * 2008-11-11 2010-06-16 三星电子株式会社 定位和再现具有高分辨率的屏幕声源

Also Published As

Publication number Publication date
EP2615557A1 (en) 2013-07-17
KR20130106357A (ko) 2013-09-27
EP2615557A4 (en) 2014-05-14
CN103080914A (zh) 2013-05-01
US20120147126A1 (en) 2012-06-14
US8630395B2 (en) 2014-01-14
WO2012032592A1 (ja) 2012-03-15

Similar Documents

Publication Publication Date Title
CN103080914B (zh) 用于多用户通信的系统、方法及装置
EP2386942A1 (en) Communication method, master display device, slave display device, and communication system furnished therewith
US9813463B2 (en) Phoning into virtual communication environments
CN103095828B (zh) 基于云渲染的Web3D同步会议系统及实现同步的方法
Johanson et al. Extending tuplespaces for coordination in interactive workspaces
CN101246567A (zh) 协同应用程序和方法
JP7154842B2 (ja) クラウドベース文書の許可管理
JP2012004705A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
CN100571146C (zh) 能对于电子文档通过多个计算机系统执行近实时合作的方法、系统和装置
JP4957830B2 (ja) 通信方法、表示装置、司会者端末装置、ユーザ端末装置、及びそれらを備えたマルチユーザ通信システム
TWI723602B (zh) 社群式學習創建系統與電腦程式產品
CN106663118B (zh) 连网协同工作的方法以及应用该方法的机器
US20110283180A1 (en) Communication method, information terminal apparatus, display apparatus, and communication system comprising these
Dave Towards distributed computer-aided design environments
Bogdanovych et al. A methodology for 3D electronic institutions
JP5382191B2 (ja) 通信方法、マスター表示装置、スレーブ表示装置、及びそれらを備えた通信システム
Rodríguez et al. Discovery and registration: finding and integrating components into dynamic systems
Costantini et al. An Internet Based Architecture Satisfying the Distributed Building Site Metaphor
KR102339818B1 (ko) 엠큐티티 프로토콜 기반 다자간 모바일 정보 공유 시스템
Vik et al. Group communication techniques in overlay networks
Törlind Distributed engineering: tools and methods for collaborative product development
Kuijpers et al. Collaborative engineering in distributed virtual environments
Presta et al. Setting up CLUE telepresence sessions via the WebRTC data channel
Kao et al. The Design of Internet Collaborative Learning System with Embedded Load-Balancing Broker
Burlamaqui et al. A framework for collaborative interaction of people and robots in the Web

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20160906

CF01 Termination of patent right due to non-payment of annual fee