CN109314760B - 视频会议系统和视频会议方法 - Google Patents

视频会议系统和视频会议方法 Download PDF

Info

Publication number
CN109314760B
CN109314760B CN201780032515.1A CN201780032515A CN109314760B CN 109314760 B CN109314760 B CN 109314760B CN 201780032515 A CN201780032515 A CN 201780032515A CN 109314760 B CN109314760 B CN 109314760B
Authority
CN
China
Prior art keywords
application server
image
devices
base layer
reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780032515.1A
Other languages
English (en)
Other versions
CN109314760A (zh
Inventor
保田正之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Publication of CN109314760A publication Critical patent/CN109314760A/zh
Application granted granted Critical
Publication of CN109314760B publication Critical patent/CN109314760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1063—Application servers providing network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向多个设备中的每一个设备发送画面布局以及媒体发送和接收流，以及多个设备中的至少一个设备向媒体发送和接收流中位于至少一个设备之后的设备发送画面图像，在画面图像中，由至少一个设备生成的图像根据通过使用Web应用从应用服务器接收的画面布局叠加在基层的上层中，基层是从媒体发送和接收流中位于至少一个设备之前的设备接收的图像。这实现了双向的媒体通信，并且允许仅通过设备之间的对等通信来连接许多设备，而无需通过中继媒体通信的服务器。

Description

视频会议系统和视频会议方法
技术领域
本发明涉及视频会议系统、应用服务器、设备、视频会议方法以及视频会议程序。具体地，本发明涉及使用对等中继通信的视频会议系统、应用服务器、设备、视频会议方法以及存储视频会议程序的非暂时性计算机可读介质。
背景技术
已经变得越来越标准化的Web实时通信(WebRTC)使得能够更容易地提供实时媒体特征集，如非专利文献1中关于浏览器应用和包括WebRTC库的本地应用所公开的。通过使用WebRTC和超文本标记语言5(HTML5)，设备可以直接与另一设备建立媒体流，并且实时交互式电视、音频和文本格式的媒体和/或数据交换已经实现且变得更加广泛地使用。
引用列表
专利文献
专利文献1：国际专利公开No.WO2011/010563
非专利文献
NPL1：WebRTC，[在线]，[2016年3月29日搜索]，互联网<URL：http：//www.webrtc.org/>
发明内容
技术问题
因为与WebRTC进行媒体通信是在设备之间对等执行的，所以当与多个人通信(例如，在许多人参与的视频会议中)时，网络拓扑是全网状的，并且随着参与者数量的增加需要更多的设备处理资源和更大的通信带宽。
为了解决该问题，可以将网络拓扑设计为具有MCU(多控制单元)或SFU(选择性转发单元)的星形，从而减少设备处理资源或通信带宽。然而，在这种星形网络通信中，对媒体通信进行集成控制或中继的服务器需要具有高处理能力和大的通信带宽，因此需要高的引入成本。
另一方面，专利文献1中公开的发明已经提出了一种通过对等技术与许多参与者实现视频会议的方法。根据其中公开的技术，主机限制彼此发送和接收图像的那些参与者，从而实现通信带宽的降低；然而，没有实现完整的双向传输。
鉴于上述情况，本发明的目的是提供一种实现双向媒体通信的系统、设备、方法和程序，并且允许仅通过设备之间的对等通信来连接许多设备，而无需通过中继媒体通信的服务器。
问题的解决方案
根据本发明的第一方面，提供了一种包括应用服务器和多个设备的视频会议系统，所述多个设备被配置为通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，以及所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像。
根据本发明的第二方面，提供了一种视频会议系统中使用的应用服务器，所述视频会议系统包括应用服务器和多个设备，所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流。
根据本发明的第三方面，提供了一种视频会议系统中使用的设备，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，当所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流时，所述设备向所述媒体发送和接收流中位于所述设备之后的设备发送画面图像，在所述画面图像中，由所述设备生成的图像根据通过使用Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述设备之前的设备接收的图像。
根据本发明的第四方面，提供了一种视频会议系统中使用的视频会议方法，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，该方法包括：由所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，以及由所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像。
根据本发明的第五方面，提供了一种视频会议程序，所述视频会议程序使计算机用作视频会议系统中使用的应用服务器，所述视频会议系统包括应用服务器和多个设备，所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流。
发明的有益效果
根据本发明，可以通过对等中继通信实现视频会议系统中通信带宽的分散和处理负荷的降低。
附图说明
图1是示出了根据本发明实施例的视频会议系统的配置示例的视图。
图2是示出了根据本发明实施例的应用服务器的配置示例的视图。
图3是示出了根据本发明实施例的设备的配置示例的视图。
图4是示出了根据本发明实施例的由应用服务器定义的画面布局与存储发送和接收流的设备管理阵列的信息的示例的视图。
图5A是示出了根据本发明实施例的视频会议系统的操作流的流程图。
图5B是示出了根据本发明实施例的视频会议系统的操作流的流程图。
图6是示出了根据本发明实施例的视频会议系统的图像发送和接收流的转换图。
图7是示出了根据本发明实施例的视频会议系统中的设备管理阵列的信息转换的视图。
图8是示出了根据本发明实施例的视频会议系统的图像发送和接收流的转换图。
图9A是示出了根据本发明实施例的视频会议系统的操作流的流程图。
图9B是示出了根据本发明实施例的视频会议系统的操作流的流程图。
图10是示出了根据本发明实施例的视频会议系统的图像发送和接收流的转换图。
图11是示出了根据本发明实施例的视频会议系统中的设备管理阵列的信息转换的视图。
具体实施方式
下面参考图1至图11详细描述本发明的实施例。
下面参考使用应用服务器的示例描述本发明。在举行具有四个人的视频会议的情况下，四个人中的每一个通过使用具有图像输入的设备启动浏览器并访问应用服务器。应用服务器将Web应用作为内容发送给每个设备。
<发明的配置>
参考图1，根据本发明的视频会议系统100包括应用服务器200以及通过通信网络300连接到应用服务器200的四个设备400-1至400-4(它们统称为“设备400”)，设备400中的每一个包括图像输入单元、图像输出单元以及支持WebRTC功能的浏览器。应用服务器200是其中操作Web服务器功能、信令服务器功能和设备控制功能的服务器，并且其详细配置将在后面参考图2进行描述。此外，尽管在本描述中假设设备的数量是四个，但这仅是示例，并且本实施例可应用的设备的数量不受限制。此外，应用服务器200、设备400和通信网络300通过LAN(局域网)线缆连接。
参考图2，应用服务器200包括LAN I/F模块210、Web服务器模块220、设备控制模块230、信令服务器模块240、Web内容数据库250和设备管理阵列数据库260。
LAN I/F模块210连接到Web服务器模块220、设备控制模块230和信令服务器模块240，并且它具有从LAN线缆接收信号并将信号发送给上述模块中的每一个的功能。此外，LAN I/F模块210具有向LAN线缆发送消息的功能，该消息是从上述模块中的每一个接收的且其目的地是设备400或者通信网络300。请注意，LAN I/F模块210与应用服务器200的接收装置和发送装置相对应。
Web服务器模块220位于LAN I/F模块210和Web内容数据库250之间。Web服务器模块220通过LAN I/F模块210接收从设备400或通信网络300发送的消息，并对接收到的消息进行分析。基于分析的结果，Web服务器模块220将存储在Web内容数据库250中的Web内容发送回设备400或通信网络300。
设备控制模块230位于LAN I/F模块210和设备管理阵列数据库260之间。设备控制模块230通过LAN I/F模块接收从设备400或通信网络300发送的消息，并对接收到的消息进行分析。基于分析的结果，设备控制模块230将每个设备的状态登记到设备管理阵列数据库260中或者更新存储在设备管理阵列数据库260中的数据，然后向设备400发送设备控制消息。控制消息的具体示例是“根据画面布局向设备400-1发送图像”等。
信令服务器模块240连接到LAN I/F模块210，并且将从设备400-1至400-4接收的信令消息传送给另一设备。可以对接收到的信令消息的内容进行分析和改写，或者可以在没有任何改变的情况下传送接收到的信令消息。请注意，“信令”主要是发起对等通信所需的预处理。
参考图3，设备400包括图像输出单元410、图像输入单元420、浏览器430、发送和接收单元440以及存储单元450，并且它们可以通过总线460彼此通信。图像输出单元410是向另一设备输出图像的元件。图像输入单元420是从另一设备接收图像的元件。浏览器430具有WebRTC功能和显示接收到的图像并获取画面图像的功能，在该画面图像中指定了显示区域。发送和接收单元440是接收从应用服务器200发送的Web应用和还向应用服务器200发送消息的元件。存储单元450是存储从应用服务器200发送的Web应用等的元件。此外，设备400可以将本机应用存储在存储单元450中，而无需包括浏览器430，该本机应用具有显示接收到的图像并获取其中指定有显示区域的画面图像的功能。
<发明的操作>
下面参考图4、图7和图11中的画面布局和管理阵列、图5和图9中的流程图、以及图6、图8和图10中的图像发送和接收的转换图来详细描述根据本发明的实施例的操作。以下将描述设备400-1至400-4举行视频会议的情况作为示例。
首先，应用服务器200在设备控制模块230中确定用于图4中所示的4人会议的画面布局以及发送和接收流(图5A中的步骤S101)，且将它们作为会议管理信息登记在设备管理阵列数据库260中(图5A中的步骤S102)。具体地，例如，假设设备400-1的图像显示在画面的左上方区域中，设备400-2的图像显示在画面的左下方区域中，设备400-3的图像显示在画面的右下方区域中，且设备400-4的图像显示在画面的右上方，如图4所示。此外，假设设备400-1从设备400-4接收基层，将自身生成的图像叠加在基层上，且将该合成图像作为基层发送给设备400-2。设备400-2从设备400-1接收基层，将自身生成的图像叠加在基层上，并将该合成图像作为基层发送给设备400-3。设备400-3从设备400-2接收基层，将自身生成的图像叠加在基层上，并将该合成图像作为基层发送给设备400-4。设备400-4从设备400-3接收基层，将自身生成的图像叠加在基层上，并将该合成图像作为基层发送给设备400-1。
基于上述会议管理信息，将设备控制消息从LAN I/F模块210发送给设备400-1至400-4中的每一个(图5A中的步骤S103)。
在接收到设备控制消息时，设备400-1至400-4中的每一个基于画面布局创建发送图像，并且基于发送和接收流发送运动图像。此外，每个设备从另一设备接收的图像被用作用于创建发送图像的基层(图5A中的步骤S104-1至S104-4)。
图6示出了在该时间点的图像转换。因为设备400-1还未从另一设备接收到图像，所以基层中没有图像，且设备400-1将设备400-1生成的图像放置在基层的上层中的左上位置，并且向设备400-2发送该图像。使用从设备400-1接收的图像作为基层，设备400-2将设备400-2生成的图像放置在基层的上层中的左下位置，并且向设备400-3发送该图像。使用从设备400-2接收的图像作为基层，设备400-3将设备400-3生成的图像放置在基层的上层中的右下位置，并且向设备400-4发送该图像。使用从设备400-3接收的图像作为基层，设备400-4将设备400-4生成的图像放置在基层的上层中的右上位置，并且向设备400-1发送该图像。在该时间点，设备400-1从设备400-4接收的图像是包含由设备400-1至400-4生成的图像的图像。当由设备400-1接收的图像被再现为基层时，设备400-2和设备400-3的基层的图像也变为包含设备400-1至400-4的图像的图像。以这种方式，4人视频会议实现为设备400中的每一个执行对等通信的结果，每个设备用于发送和接收。
图7示出了在该时间点设备管理阵列的信息的转换。首先，如表(A)所示，设备400中的每一个不从另一设备接收图像，且仅由自身生成图像。设备400中的每一个将所生成的图像作为基层发送给表(A)中“目的地”字段中指示的设备。自身生成的图像和图像的发送质量都是“良好”。
接下来，如表(B)所示，设备400中的每一个从位于发送和接收流中的前一级的设备接收画面图像作为基层。例如，设备400-1从设备400-4接收画面图像作为基层。从设备400-4接收的原始“图像4”的质量为“良好”，如表(A)中的设备400-4的行中的“图像4”字段所示。此外，因为“图像4”的接收质量也为“良好”(如表(B)中的设备400-1的行中的“接收质量”字段所示)，所以表(B)中的设备400-1的行中的“图像4”字段也为“良好”。设备400-1将自身生成的良好质量的“图像1”叠加在从设备400-4接收的基层的上层上，并将其发送给设备400-2。
然后，如表(C)所示，设备400中的每一个还从发送和接收流中的前一级的设备接收画面图像作为基层，其中接收到的基层是表(B)中所示的那些。具体地，设备400-1从设备400-4接收基层，其中从设备400-4接收的基层是表(B)中设备400-4的行中所示的画面图像，该画面图像是“图像3”和“图像4”的质量为“良好”的画面图像。设备400-1将自身生成的良好质量的“图像1”叠加在该基层的上层上。在表(C)中设备400-1的行中，除了“图像3”和“图像4”之外，由自身生成并叠加在基层上的“图像1”的质量也为“良好”。
最后，如表(D)所示，在设备400的所有行中填写“图像1”至“图像4”的所有字段，并且质量都为“良好”。这是因为设备400-1例如从设备400-4接收“图像2”、“图像3”和“图像4”的质量为“良好”(如表(C)中设备400-4的行中所示)的画面图像作为基层，且将自身生成的良好质量的“图像1”叠加在基层上，就像从表(B)到表(C)的转换一样。
返回参考图5B，当通信状态发生变化时，设备400中的每一个获取关于它们自身的发送和接收的通信质量信息，并将该信息发送给应用服务器200(图5B中的步骤S105-1值S105-4)。
当应用服务器200接收到通信质量信息时，设备控制模块230分析该信息(图5B中的步骤S106)并更新由每个设备显示的图像的质量信息(图5B中的步骤S107)。
因为基层的图像经过多个设备，如果图像质量在其路线期间降低，则之后的设备中的质量保持较低。在图8中示出该情况下的发送和接收流中的图像的转换作为示例，其中设备400-3中的图像的质量劣化。由于设备400-3中与所有设备相对应的图像的质量劣化，因此从设备400-3发送给设备400-4的基层中与所有设备相对应的图像的质量也发生劣化。
在与所有设备相对应的图像的质量劣化的基层上，设备400-4将设备400-4自身生成的良好质量的图像叠加在基层的上层中的右上位置。设备400-4将仅右上位置的图像具有良好质量的画面图像作为基层发送给设备400-1。
在从设备400-4接收的仅右上位置的图像具有良好质量的基层上，设备400-1将设备400-1自身生成的良好质量的图像叠加在基层的上层中的左上位置。设备400-1将仅右上和左上位置的图像具有良好质量的画面图像作为基层发送给设备400-2。
在从设备400-4接收的仅右上和左上位置的图像具有良好质量的基层上，设备400-2将设备400-2自身生成的良好质量的图像叠加在基层的上层中的左下位置。
如上所述，尽管在设备400-1至400-4生成的图像中仅设备400-3生成的图像具有较低的质量，但是与其他设备相对应的图像也在设备400-1、设备400-3和设备400-4的画面图像中发生劣化。鉴于此，视频会议系统100执行根据图9A和图9B的流程图的操作。
设备400-3(如上所示，其通信状态已改变)向应用服务器发送指示通信质量劣化的信息(图9A中的步骤S111)。
设备控制模块230接收指示通信质量劣化的信息，并检测通信质量的劣化。然后，设备控制模块230修改通信路径，使得仅将自身生成的图像从具有劣化通信状态的设备400-3发送给具有良好通信状态的设备400-4，并且将基层图像从具有良好通信状态的设备400-2发送给具有良好通信状态的设备400-4以及从具有良好通信状态的设备400-4发送给具有劣化通信状态的设备400-3(步骤图9A中的S112)。此外，设备控制模块230更新设备管理阵列中的通信状态信息(图9A中的步骤S113)，并且向每个设备给出关于此的通知(图9A中的步骤S114)。
每个设备接收对发送和接收流的修改，并根据指令修改操作(图9A中的步骤S115-1至S115-4)。具体地，与图5A所示的流不同，设备400-2将自身生成的图像发送给设备400-4而不是设备400-3。
图10示出了修改路径之后图像发送和接收流中的图像的转换。下面的循环在三个设备(设备400-1、设备400-2和设备400-4)之间闭合：从前一设备接收基层，将自身的图像叠加在接收到的基层上，以及向之后的设备发送叠加了自身图像的画面图像作为基层。设备400-3仅将自身生成的图像发送给设备400-4，且设备400-4将自身的画面图像作为基层发送给设备400-3。由此，设备400-4保持基层的质量。
图11示出了在该时间点设备管理阵列的信息的转换。图11中的表(A)示出了图8中每个设备的画面图像的质量，且在从图11中的表(A)到图11中的表(B)的转换之前和之后修改了通信路径。通过修改通信路径，恢复了设备400-4的基层的图像质量，且还恢复了设备400-1的基层的图像质量。
返回参考图9B，通信质量状态已改变的设备400向应用服务器200通知通信质量信息(图9B中的步骤S116-1至S116-4)。
当应用服务器200接收到通信质量信息时，设备控制模块230分析通信质量信息，从而检测通信的恢复(图9B中的步骤S117)，且更新设备管理阵列中的通信状态信息(图9B中的步骤S118)。
根据本发明的实施例，因为每个设备发送基于由服务器指示的画面布局将其自身生成的图像叠加在接收到的图像上的画面图像，所以每个设备中所需的媒体通信是对等的，每个都可用于发送和接收，而与视频会议中参与者的数量无关。由此在向所有参与设备发送所有参与设备图像时，可以实现通信带宽的分散和处理负荷的降低。本发明的实施例在网络带宽窄、CPU处理性能低、以及有许多参与者的情况下特别有效。
<其他示例>
尽管在上面的描述中参加会议的设备的数量是四个，但是它可以扩展到任意数量的N个设备。
应用服务器200所包括的Web服务器模块220、设备控制模块230和信令服务器模块240不一定位于一个硬件中，且它们可以分开存在。
此外，设备400-1至400-4不一定发送它们自身生成的图像。在该情况下，不发送自身生成的图像的设备之外的设备可以执行发送和接收，并且不发送自身生成的图像的设备只能执行从这些设备中的任一个进行接收。在应用服务器200的设备控制模块230中管理发送和接收流，且将其作为控制消息发送给设备400-1至400-4中的每一个。
尽管参考本发明的实施例具体示出和描述了本发明，但是本发明不限于这些实施例。本领域普通技术人员应当理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
请注意，视频会议系统、应用服务器和设备的每个组件可以通过硬件、软件或它们的组合来实现。此外，由上述视频会议系统、应用服务器和设备执行的视频会议方法也可以通过硬件、软件或它们的组合来实现。“通过软件实现”意味着它被实现为计算机读取并执行程序的结果，或者根据与程序相对应的微代码操作硬件。
程序可以使用任何类型的非暂时性计算机可读介质来存储并提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W以及半导体存储器(例如掩膜ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂时计算机可读介质将程序提供给计算机。暂时计算机可读介质的示例包括电信号、光信号、以及电磁波。暂时计算机可读介质可以经由有线通信线路(诸如电线或者光纤)或者无线通信线路将程序提供给计算机。
此外，上文公开的全部或部分实施例可以描述为但不限于以下补充注释。
补充注释1
一种视频会议系统，包括：
应用服务器；以及
多个设备，被配置为通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，
所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，以及
所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像。
补充注释2
根据补充注释1所述的视频会议系统，其中，
当通信状态发生变化时，所述至少一个设备获取关于所述至少一个设备的发送和接收的通信质量信息，并且向所述应用服务器发送所述通信质量信息，以及
所述应用服务器接收所述通信质量信息，分析所述通信质量信息，并且更新由所述至少一个设备显示的图像的质量。
补充注释3
根据补充注释2所述的视频会议系统，其中，当所述应用服务器从所述至少一个设备接收到指示通信质量劣化的通信质量信息时，所述至少一个设备向所述至少一个设备之后的设备仅发送由所述至少一个设备生成的图像。
补充注释4
根据补充注释3所述的视频会议系统，其中，所述至少一个设备从所述至少一个设备之后的设备接收用作基层的图像。
补充注释5
根据补充注释3或4所述的视频会议系统，其中，所述至少一个设备之后的设备从所述至少一个设备之前的设备接收用作基层的图像。
补充注释6
根据补充注释1至5中任一项所述的视频会议系统，其中，所述多个设备中的至少一个设备不向另一设备发送由所述至少一个设备生成的图像，而是从其他设备中的任一设备接收图像。
补充注释7
一种视频会议系统中使用的应用服务器，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，
所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流。
补充注释8
一种视频会议系统中使用的设备，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，
当所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流时，所述设备向所述媒体发送和接收流中位于所述设备之后的设备发送画面图像，在所述画面图像中，由所述设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述设备之前的设备接收的图像。
补充注释9
一种视频会议系统中使用的视频会议方法，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，所述方法包括：
由所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，以及
由所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像。
补充注释10
根据补充注释9所述的视频会议方法，其中，
当通信状态发生变化时，所述至少一个设备获取关于所述至少一个设备的发送和接收的通信质量信息，并且向所述应用服务器发送所述通信质量信息，以及
所述应用服务器接收所述通信质量信息，分析所述通信质量信息，并且更新由所述至少一个设备显示的图像的质量。
补充注释11
根据补充注释10所述的视频会议方法，其中，当所述应用服务器从所述至少一个设备接收到指示通信质量劣化的通信质量信息时，所述至少一个设备向所述至少一个设备之后的设备仅发送由所述至少一个设备生成的图像。
补充注释12
根据补充注释11所述的视频会议方法，其中，所述至少一个设备从所述至少一个设备之后的设备接收用作基层的图像。
补充注释13
根据补充注释11或12所述的视频会议方法，其中，所述至少一个设备之后的设备从所述至少一个设备之前的设备接收用作基层的图像。补充注释14
根据补充注释9至13中任一项所述的视频会议方法，其中，所述多个设备中的至少一个设备不向另一设备发送由所述至少一个设备生成的图像，而是从其他设备中的任一设备接收图像。
补充注释15
一种视频会议程序，使计算机用作视频会议系统中使用的应用服务器，所述视频会议系统包括所述应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，
所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流。
补充注释16
一种视频会议程序，使计算机用作视频会议系统中使用的设备，所述视频会议系统包括所述应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中
当所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流时，所述设备向所述媒体发送和接收流中位于所述设备之后的设备发送画面图像，在所述画面图像中，由所述设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述设备之前的设备接收的图像。
工业实用性
本发明适用于视频会议系统。此外，本发明适用于双向且在许多设备中的对等通信，而对数据的内容没有任何限制。
本申请基于并要求2016年7月12日提交的日本专利申请No.2016-137332的优先权，其全部公开通过引用并入本文。
附图标记列表
100 视频会议系统
200 应用服务器
210 LAN I/F模块
220 WEB服务器模块
230 设备控制模块
240 信令服务器模块
250 WEB内容数据库
260 设备管理阵列数据库
300 通信网络
400、400-1、400-2、400-3、400-4 设备
410 图像输出单元
420 图像输入单元
430 浏览器
440 发送和接收单元
450 存储单元
460 总线。

Claims (4)

1.一种视频会议系统，包括：
应用服务器；以及
多个设备，被配置为通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，其中，
所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，
所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像，当通信状态发生变化时，获取关于所述至少一个设备的发送和接收的通信质量信息，并且向所述应用服务器发送所述通信质量信息，
所述应用服务器接收所述通信质量信息，分析所述通信质量信息，并且更新由所述至少一个设备显示的图像的质量，
当所述应用服务器从所述至少一个设备接收到指示通信质量劣化的通信质量信息时，所述应用服务器修改所述媒体发送和接收流，使得仅将所述至少一个设备生成的图像从所述至少一个设备发送给位于所述至少一个设备之后的设备，且将用做基层的图像从位于所述至少一个设备之前的设备发送给位于所述至少一个设备之后的设备以及从位于所述至少一个设备之后的设备发送给所述至少一个设备，并且所述应用服务器向所述多个设备中的每一个设备发送已修改的媒体发送和接收流，
所述至少一个设备之后的设备从所述至少一个设备之前的设备接收用作基层的图像，以及
所述至少一个设备向位于所述至少一个设备之后的设备仅发送由所述至少一个设备生成的图像，并且从所述至少一个设备之后的设备接收用作基层的图像。
2.根据权利要求1所述的视频会议系统，其中，所述多个设备中的所述至少一个设备不向另一设备发送由所述至少一个设备生成的图像，而是从其他设备中的任一设备接收图像。
3.一种视频会议系统中使用的视频会议方法，所述视频会议系统包括应用服务器和多个设备，所述多个设备通过通信网络连接到所述应用服务器并且从所述应用服务器接收Web应用，所述方法包括：
由所述应用服务器根据视频会议中参与者的数量确定画面布局以及确定通过参与者使用的所有设备的媒体发送和接收流，并且向所述多个设备中的每一个设备发送所述画面布局以及所述媒体发送和接收流，以及
由所述多个设备中的至少一个设备向所述媒体发送和接收流中位于所述至少一个设备之后的设备发送画面图像，在所述画面图像中，由所述至少一个设备生成的图像根据通过使用所述Web应用从所述应用服务器接收的画面布局叠加在基层的上层中，所述基层是从所述媒体发送和接收流中位于所述至少一个设备之前的设备接收的图像，当通信状态发生变化时，获取关于所述至少一个设备的发送和接收的通信质量信息，并且向所述应用服务器发送所述通信质量信息，
由所述应用服务器接收所述通信质量信息，分析所述通信质量信息，并且更新由所述至少一个设备显示的图像的质量，
当所述应用服务器从所述至少一个设备接收到指示通信质量劣化的通信质量信息时，由所述应用服务器修改所述媒体发送和接收流，使得仅将所述至少一个设备生成的图像从所述至少一个设备发送给位于所述至少一个设备之后的设备且将用做基层的图像从位于所述至少一个设备之前的设备发送给位于所述至少一个设备之后的设备以及从位于所述至少一个设备之后的设备发送给所述至少一个设备，并且由所述应用服务器向所述多个设备中的每一个设备发送已修改的媒体发送和接收流，
由所述至少一个设备之后的设备从所述至少一个设备之前的设备接收用作基层的图像，以及
由所述至少一个设备向位于所述至少一个设备之后的设备仅发送由所述至少一个设备生成的图像，并且从所述至少一个设备之后的设备接收用作基层的图像。
4.根据权利要求3所述的视频会议方法，其中，所述多个设备中的所述至少一个设备不向另一设备发送由所述至少一个设备生成的图像，而是从其他设备中的任一设备接收图像。
CN201780032515.1A 2016-07-12 2017-06-16 视频会议系统和视频会议方法 Active CN109314760B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016137332A JP6399606B2 (ja) 2016-07-12 2016-07-12 ビデオ会議システム及びビデオ会議方法
JP2016-137332 2016-07-12
PCT/JP2017/022265 WO2018012191A1 (ja) 2016-07-12 2017-06-16 ビデオ会議システム、アプリケーションサーバ、デバイス、ビデオ会議方法、及びビデオ会議用プログラムを格納した非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
CN109314760A CN109314760A (zh) 2019-02-05
CN109314760B true CN109314760B (zh) 2020-11-20

Family

ID=60952573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032515.1A Active CN109314760B (zh) 2016-07-12 2017-06-16 视频会议系统和视频会议方法

Country Status (7)

Country Link
US (1) US10440326B2 (zh)
EP (1) EP3451657B1 (zh)
JP (1) JP6399606B2 (zh)
CN (1) CN109314760B (zh)
AU (1) AU2017296487B2 (zh)
CA (1) CA3025888C (zh)
WO (1) WO2018012191A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514100B2 (ja) * 2015-12-28 2019-05-15 株式会社東芝 通信装置、通信システム及びネットワーク管理方法
CN112511783A (zh) * 2019-09-16 2021-03-16 武汉斗鱼网络科技有限公司 音视频流的混合显示方法、装置、服务器和存储介质
CN111030921B (zh) * 2019-12-17 2023-02-10 杭州涂鸦信息技术有限公司 一种基于网页即时通信的多窗口通信方法及系统
KR20220053151A (ko) 2020-10-22 2022-04-29 삼성에스디에스 주식회사 P2p 연결 제어 방법 및 장치
US11606406B1 (en) 2021-08-24 2023-03-14 Motorola Mobility Llc Electronic device that mitigates audio/video communication degradation of an image stream of a local participant in a video communication session
US11722544B2 (en) * 2021-08-24 2023-08-08 Motorola Mobility Llc Electronic device that mitigates audio/video communication degradation of an image stream of a remote participant in a video communication session
US11765215B2 (en) * 2021-08-24 2023-09-19 Motorola Mobility Llc Electronic device that supports individualized dynamic playback of a live video communication session

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318556A (ja) * 2006-05-26 2007-12-06 Hitachi Communication Technologies Ltd 通信ネットワークにおける多地点テレビ会議システム
CN102065264A (zh) * 2009-11-18 2011-05-18 深圳市邦彦信息技术有限公司 一种无mcu的视频指挥/会议系统及方法
US8125932B2 (en) * 2001-07-16 2012-02-28 Exedra Technologies, LLC Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
CN103997616A (zh) * 2013-12-20 2014-08-20 三亚中兴软件有限责任公司 一种处理视频会议画面的方法、装置及会议终端
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413114B2 (ja) * 2004-09-24 2010-02-10 富士通株式会社 電子会議記録データ処理方法
CA2727569C (en) * 2008-06-09 2017-09-26 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
US8613100B2 (en) * 2009-06-30 2013-12-17 Panasonic Corporation Data exchange processing apparatus and data exchange processing method
JP2011029731A (ja) 2009-07-21 2011-02-10 Kokuyo Co Ltd ビデオ通話システム、主側端末、従側端末、プログラム
JP5359666B2 (ja) * 2009-08-05 2013-12-04 株式会社リコー 上位セッション管理サーバ、上位セッション管理方法、プログラムおよび上位セッション管理システム
JP2014011704A (ja) * 2012-07-02 2014-01-20 Hitachi Ltd テレビ会議室システム及びテレビ会議方法
JP6085389B2 (ja) 2016-05-10 2017-02-22 株式会社三共 スロットマシン

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125932B2 (en) * 2001-07-16 2012-02-28 Exedra Technologies, LLC Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
JP2007318556A (ja) * 2006-05-26 2007-12-06 Hitachi Communication Technologies Ltd 通信ネットワークにおける多地点テレビ会議システム
CN102065264A (zh) * 2009-11-18 2011-05-18 深圳市邦彦信息技术有限公司 一种无mcu的视频指挥/会议系统及方法
CN103997616A (zh) * 2013-12-20 2014-08-20 三亚中兴软件有限责任公司 一种处理视频会议画面的方法、装置及会议终端
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法

Also Published As

Publication number Publication date
JP2018011142A (ja) 2018-01-18
US20190158786A1 (en) 2019-05-23
JP6399606B2 (ja) 2018-10-03
CA3025888C (en) 2020-02-11
WO2018012191A1 (ja) 2018-01-18
CA3025888A1 (en) 2018-01-18
US10440326B2 (en) 2019-10-08
CN109314760A (zh) 2019-02-05
EP3451657A4 (en) 2019-06-26
AU2017296487A1 (en) 2018-11-15
EP3451657B1 (en) 2023-05-10
AU2017296487B2 (en) 2021-09-09
EP3451657A1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
CN109314760B (zh) 视频会议系统和视频会议方法
US10187433B2 (en) Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
US10187435B2 (en) Queued sharing of content in online conferencing
CA2896226C (en) Peer to peer provisioning of data across networks
US20170279860A1 (en) Web collaboration presenter sharing status indicator
US20060215630A1 (en) Feature scalability in a multimedia communication system
CN102342066A (zh) 实时多媒体流处理带宽管理
US10817137B2 (en) Method and system for communication between web browsers, using a unified communication environment
CN115766695A (zh) 基于WebSocket的工业相机实时画面的远程浏览方法及装置
CN105204811B (zh) 一种多路控制系统及方法
KR102271571B1 (ko) webRTC 기반의 화상 대화 서비스를 제공하기 위한 미디어 서버 및 이를 포함하는 시스템
US20160105476A1 (en) Optimizing teleconferencing using transparent reflectors
CN117119216B (zh) 一种直播解说的方法、系统以及直播系统的使用方法
CN111131761A (zh) 分布式拼接显示系统和数据传输方法
CN113038061B (zh) 虚拟会议控制方法、系统及计算机可读存储介质
US11924257B2 (en) Systems and methods for providing media communication programmable services
US20230140042A1 (en) Method and apparatus for signaling occlude-free regions in 360 video conferencing
US20230254447A1 (en) Session description protocol (sdp) signaling of occlude-free regions in 360 video conferencing
JP2006245711A (ja) マルチキャスト中継装置
De Silva et al. Optimized Video Conferencing System using Web Real Time Communication
JP2020141231A (ja) 通信装置、通信方法、及びプログラム
JP2010148075A (ja) 配信装置及び通信システム
JP2013077169A (ja) 情報の格納に利得を付加したオンラインコミュニケーションサービスシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant