CN110546947A - 用于进行音频和/或视频会议的方法 - Google Patents

用于进行音频和/或视频会议的方法 Download PDF

Info

Publication number
CN110546947A
CN110546947A CN201880024784.8A CN201880024784A CN110546947A CN 110546947 A CN110546947 A CN 110546947A CN 201880024784 A CN201880024784 A CN 201880024784A CN 110546947 A CN110546947 A CN 110546947A
Authority
CN
China
Prior art keywords
audio
data processing
conference
video data
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880024784.8A
Other languages
English (en)
Inventor
K.克拉格霍费尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify Patente GmbH and Co KG
Original Assignee
Unify Patente GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unify Patente GmbH and Co KG filed Critical Unify Patente GmbH and Co KG
Publication of CN110546947A publication Critical patent/CN110546947A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

一种用于进行音频和/或视频会议的方法包含：终端设备中的一个与中央会议控制装置（K‑A）耦合的终端设备（EP 1K）承担媒体服务器的角色，其中这在中央会议控制装置（K‑A）的控制下进行。

Description

用于进行音频和/或视频会议的方法
技术领域
本发明涉及一种用于进行音频和/或视频会议的方法，其中多个终端设备经由数据网络与中央会议控制装置耦合。这些终端设备中的至少一个预先确定的终端设备包括数据处理装置，该数据处理装置通过运行应用程序（Applikation）、尤其是浏览器应用程序（Browser-Applikation）来使终端设备能够参加会议。通常，这种预先确定的终端设备是个人计算机，该个人计算机具有嵌入的摄像机和嵌入的麦克风（或连接摄像机和麦克风）和屏幕以及扬声器（或连接）。该数据处理装置同样可以是相对应地配备的平板计算机设备、智能电话或者诸如此类的便携式终端设备。借助于浏览器，个人计算机（或其它设备）有参加会议能力：在使用摄像机的情况下拍摄图像，在使用麦克风的情况下检测语言表达。在屏幕上显示自己的图像和/或显示其他参与者的图像，通过麦克风来进行语音输出。
背景技术
到目前为止常见的是：多个参与者（客户端）借助于他们的浏览器在中央会议控制装置上登记，该中央会议控制装置通常处在云中。这里，这示范性地依据图1来阐述。
图1示出了企业网络10，在该企业网络中，各个客户端EP 1、EP 2和EP 3（Webrtc浏览器，网络实时控制的浏览器）共同希望进行多方会议并且在这种情况下在公共云（PublicCloud）12中在中央会议控制装置K-A上登记，在那里，Konferenz-Applikation（会议应用程序）在Webrtc下运行。通过在图1中用实线来示出的信令路径来进行登记。即信令是从各个客户端或浏览器EP 1、EP 2、EP 3到会议应用程序K-A。现在，会议应用程序K-A提供可通过其来进行音频和/或视频会议的资源。该资源被称作MediaServer（媒体服务器），部分也被称作MediaNode（媒体节点），而在图1中对于MediaServer用“MS”来缩写。各个音频和视频数据包经由用虚线绘制的数据线16被传送给媒体服务器MS，由该媒体服务器来混合录制并且重新被发回给各个客户端，用于提供音频和/或视频会议数据。替代混合录制，也可以进行“选择”（即从所接收到的音频或视频数据信道中选择，将所接收到的数据流转发给各个客户端，从而在客户端本身中整理数据流，这些客户端接着被称作选择性转发单元（Selective Forwarding Unit，SFU））。例如，可以显示相应正在说话的人员，而且不选择保持沉默的人员，而是将保持沉默的人员过滤掉。
在像按照图1那样的做法方面不利的是：出于多方会议的目的，音频和视频数据离开企业网络10。由此，安全的数据交换无论如何都可能受到威胁。此外，对于数据传输来说，需要比当该数据传输会在网络之内进行时更多的资源。
从US 2014/0122600 A1公知一种会议服务器，该会议服务器承担将音频或视频数据混合录制的任务。在JavaScript下运行的各个浏览器拥有参加会议的相对应的能力，但是没有自己的混频器。
EP 1 014 666 A1公开了一种用于实现在H.323数据通信网络的多个终端设备之间的多点连接（即多方会议）的方法，其中会议单元引起在终端设备之间经由该会议单元的有效数据信道（即音频和视频数据信道）的打开。
EP 1 001 596 A2描述了一种用于通话的多媒体终端设备，该多媒体终端设备本身能够实现多点连接。
在US 2004/0210637 A1描述了补充于其它路径地设置外部会议桥。
在2017年4月3日，在计算机链接https://Webrtchacks.com/web-audio-conference/下能获得如下论文，从该论文能获悉如下原理：浏览器承担中央会议控制装置的角色，以便进行本地音频会议。该论文提到了“Poor-Man的会议解决方案”，因为不使用服务器。从该论文中并不知道可以如何召开这种音频会议。
发明内容
本发明的任务是提供一种用于进行音频和/或视频会议的方法，该方法优选地借助于客户端来实现，这些客户端拥有应用程序、尤其是浏览器应用程序，而且其中在该方法的情况下存在对数据网络的尽可能高效的使用和/或在交换音频和/或视频数据（有效数据）时的尽可能最优的安全性。
在一个方面，该任务通过根据权利要求1的方法来解决，在其它方面，该任务通过根据权利要求8、根据权利要求9和根据权利要求10的计算机程序产品来解决。
按照本发明的用于进行音频和/或视频会议的方法（其中多个终端设备经由数据网络与中央会议控制装置耦合，而且其中至少一个第一终端设备包括数据处理装置，该数据处理装置通过运行应用程序、尤其是浏览器应用程序来使终端设备能够参加会议）具有按照本发明的特性：该至少一个第一终端设备中的预先确定的终端设备基于中央会议控制装置的控制指令（信令）至少在满足预先确定的标准时从其它终端设备接收音频和/或视频数据流（即有效数据流），而且
a) 借助于应用程序、尤其是浏览器应用程序来将音频和/或视频数据流（即有效数据流）混合录制（尤其是也在由第一终端设备本身生成的音频和/或视频数据流的情况下）并且将音频和/或视频数据流（即有效数据流）以混合录制的形式发还给所述其它终端设备，和/或
b) 将对所接收到的音频和/或视频数据和这些所接收到的音频和/或视频数据中的由该至少一个第一终端设备生成的音频和/或视频数据的选择转交给所述其它终端设备。
因此，本发明基于如下原理：使用在客户端之外的（集中式或分布式）媒体服务器，这通常在集中式会议时情况如此；更确切地说，客户端之一（即该至少一个第一终端设备中的预先确定的终端设备）本身充当媒体服务器或媒体节点，这通常只在无会议服务器的会议方法中情况如此。由此，可以在各个浏览器或所属的终端设备之间进行数据交换，然而不必放弃中央会议控制装置的优点（具有相对应的会议室User Experience（用户体验），UserAuthentication（用户认证）等等）。因而，如果例如全部终端设备都处在同一企业网络之内，则安全敏感的音频和/或视频数据不必离开该企业网络。即否则如果在Webrtc标准下音频和视频数据在客户端与中央Webrtc会议服务器之间经加密地来传输，则例如音频包必须由（在云中的）会议服务器解密，以便可以被混合录制，从而紧接着可以重新经加密地被发送给客户端。也就是说，常常并不存在完全的“端到端保密”。由此能看出：出于保密的原因，在LAN中将媒体数据保持在本地可以是有利的。其它优点是所需的WAN带宽、即在所在地/企业网络/客户端与Webrtc会议解决方案的云服务提供商的数据中心之间的带宽的显著减小。
优选地，应用程序是Webrtc（Web Real-Time Control）浏览器应用程序、即网络实时控制的浏览器应用程序。因此，该应用程序可以基于Webrtc技术来构造。至少一个终端设备中的其中一个预先确定的终端设备仅须配备适合的应用程序插件。这里，应用程序插件不能与浏览器插件混淆，因为Webrtc浏览器（例如，Google Chrome®、Mozilla Firefox®等等）通过在W3C Webrtc标准化（World Wide Web Consortium（万维网联盟））中的定义而不需要浏览器插件，至少对于基础Webrtc功能性来说不需要浏览器插件。
在一个变型方案中，该至少一个第一终端设备中的其中一个终端设备从所有其它终端设备接收音频和/或视频数据流，而且将这些音频和/或视频数据流混合录制或者对这些音频和/或视频数据流进行选择。因此，整个会议原则上由预先给定的第一终端设备关于有效数据流方面予以支持。进一步优选地，在这种情况下规定：所有音频和/或视频数据流仅仅流经预先确定的第一终端设备，即不再设置并行的有效数据流。以这种方式，可以确保在封闭式网络（例如企业网络）中客户端或其浏览器的适当的处境下的安全性。
在第二变型方案中，该至少一个第一终端设备中的其中一个终端设备从其它终端设备中的仅仅一个子组接收音频和/或视频数据流，而且将这些音频和/或视频数据流混合录制或者对这些音频和/或视频数据流进行选择。在这种情况下，例如可以进行额外会议：在企业网络之内的终端设备处的那些参与者可以分开地进行通信，以便例如讨论他们对在企业网络之外的与其进行谈判的参与者的态度。那么，安全相关的数据这里也留在封闭式网络、即企业网络之内。
因此，优选地规定：预先确定的标准（在满足该预先确定的标准时，中央会议控制装置总的来说首先使该至少一个第一终端设备中的预先确定的终端设备进行接收以及混合录制/做出选择）包含：那些从中接收音频和/或视频数据流的其它终端设备在共同的局域网、即LAN、Local Area Network中彼此耦合。
在本发明的一个优选的实施方式中，任何终端设备为了参加会议都必须在中央会议控制装置处登记。预先确定的终端设备将如下信息（在这种登记时）传送给或者（在先前的首次登记时）传送给了中央会议控制装置：该预先确定的终端设备能够接收音频和/或视频数据流而且a)将这些音频和/或视频数据流混合录制并且b)对这些音频和/或视频数据流进行选择，而且该预先确定的标准包含：这种信息已经被传送。以这种方式，中央会议控制装置一般可以设计为：就其而言将有效数据流混合录制或者对这些有效数据流进行选择。只有当其中一个具有相对应地设立的浏览器的终端设备报告该终端设备拥有适当的浏览器扩展以便自己召开会议时，该任务才被转移给相对应的浏览器。
在本发明的另一方面，提供了一种用于提供或扩展（后者以插件的形式）在第一数据处理装置上的应用程序、尤其是浏览器应用程序的计算机程序产品。该计算机程序产品被设计为：赋予第一数据处理装置如下能力：从至少一个第二数据处理装置接收音频和/或视频数据，而且将一方面从该第二数据处理装置接收到的和另一方面由第一数据处理装置提供的和/或从其它第二数据处理装置接收到的音频和/或视频数据混合录制和/或对这些音频和/或视频数据进行选择，而且将被混合录制的和/或被选择的音频和/或视频数据转发给该至少一个第二数据处理装置。因此，该计算机程序产品引起浏览器的运行，该浏览器具有上文所描述的特性，也就是说为中央会议控制装置分担将音频和/或视频数据混合录制和/或从音频和/或视频数据中进行选择的任务。尤其是，浏览器应用程序可以通过该计算机产品而能够将如下吸引人的消息发给中央会议控制装置：该浏览器有参加会议能力。
在本发明的另一方面，提供了一种用于提供或扩展（以插件的形式）在第二数据处理装置上的应用程序、尤其是浏览器应用程序的计算机程序产品，该计算机程序产品被设计为：赋予第二数据处理装置如下能力：与中央数据处理装置交换控制信号并且将音频和/或视频信号传送给在中央数据处理装置之外的第一数据处理装置。该计算机程序产品允许本身没有参加会议能力的浏览器应用程序在中央数据处理装置的控制下使用有参加会议能力的浏览器应用程序。
在又一其它方面，本发明提供了如下计算机程序产品，该计算机程序产品用于提供或扩展（以插件的形式）在第三数据处理装置上的应用程序、尤其是多方会议应用程序，该计算机程序产品被设计为赋予第三数据处理装置如下能力：从第一数据处理装置获得如下信息，该信息说明了该第一数据处理装置能够从第二数据处理装置接收音频和/或视频数据并且将这些音频和/或视频数据混合录制和/或对这些音频和/或视频数据进行选择并且将被混合录制的和/或被选择的音频和/或视频数据转发给其它数据处理装置，其中第三数据处理装置在获得这种信息时将这种混合录制和/或进行选择的任务转移给发送了该信息的第一数据处理装置。
附图说明
随后，本发明的优选的实施方式参考随附的附图进一步予以描述，其中
图1阐明了用于进行会议的装置，该装置实现了按照现有技术的方法；
图2阐明了用于进行会议的装置，该装置实现了按照本发明的方法；
图3阐明了关于在按照本发明的方法中使用的有参加会议能力的Webrtc浏览器和来自该浏览器以及到该浏览器的数据流的细节；
图4示出了按照本发明的方法对消息的交换的流程图。
具体实施方式
在依据图2来阐明的按照本发明的方法中，替代平常的Webrtc浏览器，提供了有参加会议能力（有会议资源）的这种Webrtc浏览器EP 1K。该会议资源通过涉及云Webrtc的中央应用程序（会议控制应用程序）来控制。在企业网络10中存在其它浏览器EP 2和EP 3。会议控制应用程序K-A处在云（数据中心）12中。如也在现有技术中那样，在各个浏览器EP 1K、EP 2和EP 3与会议应用程序K-A之间存在信令路径14。然而，这些信令路径没有通过在企业网络之外的相对应的有效数据路径来补充。尤其是，不存在媒体服务器MS，或对于所描述的场景来说不需要中央媒体服务器。作为替代，浏览器EP 1K承担媒体服务器或媒体节点的角色，而且有效数据流（音频和/或视频数据）经由信号路径20从各个其它浏览器EP 2和EP 3被传送给有参加会议能力的浏览器EP 1K，在那里被混合录制并且经由相同的路径以混合录制的形式重新被发送回来。替选于混合录制或者附加地，可以规定：从有参加会议能力的浏览器EP 1K方面进行选择：例如每当有参与者恰好说话时，在浏览器上呈现该参与者的图像，而否则就不在浏览器上呈现该参与者的图像。按照图2的做法的优点在于：有效数据流留在企业网络10之内。因而，导致数据安全性更高。此外，在企业网络10与云数据中心12之间需要更少的带宽。
随后，有参加会议能力的浏览器EP 1K的构造参考图3进一步予以阐述。
首先，该有参加会议能力的浏览器拥有客户端应用程序、例如JavaScript客户端应用程序22，该客户端应用程序赋予该有参加会议能力的浏览器与中央会议控制应用程序K-A进行通信的能力。因而，该有参加会议能力的浏览器可以承担客户端的角色。作为插件地或者被嵌入到客户端应用程序中地，设置会议客户端应用程序24，比如也以JavaScript来设置会议客户端应用程序24，该会议客户端应用程序赋予客户端如下能力：用信令通知该客户端有参加会议能力。客户端应用程序22一般负责与会议应用程序K-A的Webrtc客户端信令（参见附图标记“SC”，“Signaling Client（信令客户端）”），而另一应用程序24负责实现会议客户端的附加的信令（“Signalisierung Konferenz-Client（会议客户端的信令）”，SKC），该信令例如也接受中央会议控制装置的多方会议指令（在EP1K中的媒体服务器角色）。
浏览器25包括网络接口、尤其是网络实时控制接口26，英文是：Webrtc API、WebReal-Time Control Application Programming Interface。该浏览器包括用于管理会话和会议（“Session Management and Conference Management（会话管理和会议管理）”）的单元28。此外，为了进行编码和解码，该浏览器需要相对应的调音单元30（具有相对应的编解码器的“语音引擎（Voice Engine）”），而且对于在单元32中的视频数据来说需要相同的调音单元（具有相对应的编解码器的“视频引擎（Video Engine）”）。示例性的编解码器是是G.711、Opus、H.264、VP8等等。还存在用于混合录制或用于切换（选择、转发）的单元34。传输接口（Transportschnittstelle）36负责转发数据，而且存在客户端/浏览器OS接口朝向其它浏览器EP 2和EP 3。
浏览器EP 2和EP 3与会议应用程序K-A同样交换相对应的信号SC，其中EP表示“end point（终点）”、即电信成员。通过信令SKC，会议应用程序决定浏览器EP 1K应该媒体式地进行会议。作为对此的反应，浏览器EP 2和EP 3将它们的有效数据N2和N3发送给单元34，在该单元34处，这些有效数据N2和N3与相对应的、由单元30和32生成的有效数据N1混合录制或者对这些有效数据N2和N3进行选择，其中被混合录制的数据作为数据M2和M3被发送回来或被选择的（“被交换的”）数据作为SW2和SW3被发送回来。这里，在图2中示出的信号路径20被分成两个路径，针对朝向单元34的方向的路径20a和从单元34远离浏览器EP 2和EP3的方向的路径20b。
详细地，数据的交换可以如随后所阐述的那样来执行：
图4示出了相对应的信号：
在图4中，首先，在步骤S 10中，通过浏览器EP 1K将加入会议室或启动该会议室的请求发送给会议控制应用程序K-A（参见“EP 1K JoinRequest”）。在步骤S10中的信令的内容的部分例如是客户端EP 1的IP地址和端口（Port）、所支持的编解码器（Codec）以及客户端1的其它与会议相关的能力（英文“ConfCaps” = Konference Capabilities）。会议应用K-A基于该信令而识别出：客户端/浏览器EP 1K具有支持本地浏览器会议的能力，包括会议详细能力在内。属于信令化的会议详细能力（英文ConfCaps）的例如是：1)会议方式（音频会议、视频会议、屏幕共享会议（大多是视频）），2)会议类型（会议混合录制、选择性转发单元，...）、所支持的编解码器（G.711、OPUS、H.264、VP8、VP9，...）、会议凭证（ConferenceCredentials）用于认证（Authentication）。
在下一步骤S 12中，会议应用程序K-A向浏览器EP 1K（其作为“媒体节点（MediaNode）”）请求提供在EP 1K中的相对应的媒体资源（参见图4中的“Conf CreateRequest”）。在步骤S12中，客户端1的IP地址和端口一并用信令通知浏览器媒体资源。在步骤S 14中，浏览器EP 1K（在其作为“媒体服务器（MediaServer）”的角色下）用如下确认来进行回答：该浏览器已经提供了所希望的一个或多个媒体资源（Media Resource）并且在步骤S14的框架内用信令通知Webrtc浏览器会议资源（Webrtc Browser Konferenz Resource）的IP地址/端口。为此在图4中参见指令“Conf Create Confirm”，该指令“Conf CreateConfirm”包含将如下信息发送给会议应用K-A：浏览器EP 1K已经启动了媒体资源或维持会议资源。然后，在步骤S 16中，会议控制应用程序K-A向浏览器EP 1K（在该浏览器作为“客户端/Webrtc浏览器”的角色下）确认：已经生成了媒体资源并且客户端EP 1K可以将媒体资源发送给该会议控制应用程序（“EP 1K Join Confirm”）。借此，如在步骤S 18中示出的那样，应用程序会议室是活跃地、在会议中有参与者（EP 1K）和其它Webrtc浏览器加入的可能性的情况下被提供。
在步骤S 20中，浏览器EP 2询问它是否能加入会议（“EP 2 Join Request”）。接着，在步骤S 22中，浏览器EP 1K（在其作为“媒体服务器”的角色下）获得会议控制装置的使EP2加入会议的委托（Conf Add Request）并且就其而言在步骤S 24中确认这一点（“ConfAdd Confirm”）。接着，在步骤S 26中，会议应用程序K-A将如下确认发送给浏览器EP 2：已经加入了与EP 1K的会议。与关于在客户端EP 1K与（在客户端EP 1K中的）会议资源之间交换IP和端口接收地址方面的步骤S10、S12、S14、S16类似地，在步骤S20、S22、S24和S26中也在EP2与（在EP 1K中的）会议资源之间交换接收IP地址和端口。
在第三浏览器EP 3中也进行相对应的步骤S 28、S 30、S 32和S 34。然后，在步骤S26或S 34结束之后，浏览器EP 2和EP 3在步骤S 36和S 38中将它们的音频和视频数据发送给浏览器EP 1K的会议资源。通过箭头S 40来阐明：浏览器EP 1K内部（在其作为客户端的角色下）本身将它自己的音频和视频数据用于进行混合录制，这些音频和视频数据是用所分配的麦克风或所分配的摄像机来拍摄的。在此，客户端EP 1K不必经由LAN接口（IP地址）将该客户端的在本地生成的媒体数据发送给同一EP 1K的媒体资源，而是可以在浏览器内部执行这一点。在混合录制的步骤S 42中，所获得的有效数据被混合录制为使得接着相对应的数据可以在步骤S 44中在浏览器EP 1K本身上被输出或可以在步骤S 46和S 48中被传送给浏览器EP 2和EP 3而且可以在那里被输出。
到目前为止在这些附图中示出的浏览器全部都是会议参与者。当会议已经存在而且在企业网络中的仅仅一个子组想要进行额外会议时，本发明也能被应用。在这种情况下，提出申请的用户需要相对应的授权和在该用户的浏览器客户端上的（GUI）操作元件（例如“拆分本地会议（Split local Conference）”），与相对应的有效负载重新配置命令相关联地经由中央会议控制应用程序来发送。

Claims (10)

1.一种用于进行音频和/或视频会议的方法，其中多个终端设备（EP 1K、EP 2、EP 3）经由数据网络（14）与中央会议控制装置（K-A）耦合，其中所述终端设备（EP 1K、EP 2、EP 3）中的至少一个第一终端设备（EP 1K）包括数据处理装置，所述数据处理装置通过运行应用程序（24、34）、尤其是浏览器应用程序（34）来使终端设备（EP 1K）能够参加会议，其特征在于，所述至少一个第一终端设备中的终端设备（EP 1K）基于所述中央会议控制装置（K-A）的控制指令至少在满足预先确定的标准时从其它终端设备（EP 2、EP 3）接收音频和/或视频数据流，而且借助于应用程序（34）、尤其是浏览器应用程序，
(a) 将所述音频和/或视频数据流混合录制并且将所述音频和/或视频数据流以混合录制的形式发还给所述其它终端设备，和/或
(b) 将对所接收到的音频和/或视频数据的选择转交给所述其它终端设备。
2.根据权利要求1所述的方法，其特征在于，所述应用程序是网络实时控制的、Webrtc、即Web Real-Time Control浏览器应用程序（34）。
3.根据权利要求2或3所述的方法，其特征在于，至少一个终端设备（EP 1K、EP 2、EP 3）中的预先确定的终端设备（EP 1K）从所有其它终端设备（EP 2、EP 3）接收音频和/或视频流并且将所述音频和/或视频流混合录制和/或对所述音频和/或视频流进行选择。
4.根据权利要求3所述的方法，其特征在于，所有音频和/或视频数据流仅仅流经所述至少一个第一终端设备（EP 1K、EP 2、EP 3）中的预先确定的终端设备（EP 1K）。
5.根据权利要求1或2所述的方法，其特征在于，所述至少一个第一终端设备中的预先确定的终端设备从所述其它终端设备中的仅仅一个子组接收音频和/或视频数据流，而且将所述音频和/或视频数据流混合录制和/或对所述音频和/或视频数据流进行选择。
6.根据权利要求3至5之一所述的方法，其特征在于，所述预先确定的标准包含：那些从中接收音频和/或有效数据流的其它终端设备在共同的局域网（10）、即LAN、Local AreaNetwork中彼此耦合。
7.根据上述权利要求之一所述的方法，其特征在于，任何终端设备（EP 1K、EP 2、EP 3）为了参加会议都必须在所述中央会议控制装置（K-A）处登记（S 10、S 20、S 28）；而且至少一个终端设备（EP 1K、EP 2、EP 3）中的预先确定的终端设备（EP 1K）将所述终端设备能够接收音频和/或视频数据流的信息传送给所述中央会议控制装置（K-A），而且
(a)将所述音频和/或视频数据流混合录制和/或(b)对所述音频和/或视频数据流进行选择；而且所述预先确定的标准包含：这种信息已经被传送。
8.一种用于提供和扩展在第一数据处理装置（EP 1K）上的应用程序、尤其是浏览器应用程序的计算机程序产品，所述计算机程序产品被设计为：
- 赋予所述第一数据处理装置（EP 1K）如下能力：从一个或多个第二数据处理装置（EP2、EP 3）接收音频和/或视频数据，而且将一方面从所述第二数据处理装置接收到的和另一方面由所述第一数据处理装置提供的和/或从其它第二数据处理装置接收到的音频和/或视频数据混合录制和/或对所述音频和/或视频数据进行选择，而且将被混合录制的和/或被选择的音频和/或视频数据转发给至少一个第二数据处理装置（EP 2、EP 3）。
9.一种用于提供和扩展在第二数据处理装置上的应用程序、尤其是浏览器应用程序的计算机程序产品，所述计算机程序产品被设计为：
- 赋予所述第二数据处理装置（EP 2、EP 3）如下能力：与中央数据处理装置（K-A）交换控制信号并且将音频和/或视频信号传送给在所述中央数据处理装置（K-A）之外的第一数据处理装置（EP 1K）。
10.一种用于提供和扩展在第三数据处理装置上的应用程序、尤其是多方会议应用程序的计算机程序产品，所述计算机程序产品被设计为：
- 赋予所述第三数据处理装置如下能力：从第一数据处理装置（EP 1K）获得如下信息，所述信息说明了所述第一数据处理装置能够从第二数据处理装置（EP2、EP3）接收音频和/或视频数据并且将所述音频和/或视频数据混合录制和/或对所述音频和/或视频数据进行选择并且将被混合录制的和/或被选择的音频和/或视频数据转发给至少一个第二数据处理装置（EP2、EP3），其中所述第三数据处理装置（K-A）在获得这种信息时将这种混合录制和/或进行选择的任务转移给所述第一数据处理装置（EP 1K）。
CN201880024784.8A 2017-04-13 2018-04-12 用于进行音频和/或视频会议的方法 Pending CN110546947A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017108017.1 2017-04-13
DE102017108017.1A DE102017108017A1 (de) 2017-04-13 2017-04-13 Verfahren zum Führen einer Audio- und/oder Videokonferenz
PCT/EP2018/059464 WO2018189337A1 (de) 2017-04-13 2018-04-12 Verfahren zum führen einer audio- und/oder videokonferenz

Publications (1)

Publication Number Publication Date
CN110546947A true CN110546947A (zh) 2019-12-06

Family

ID=62002129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024784.8A Pending CN110546947A (zh) 2017-04-13 2018-04-12 用于进行音频和/或视频会议的方法

Country Status (5)

Country Link
US (2) US11444821B2 (zh)
EP (1) EP3610642A1 (zh)
CN (1) CN110546947A (zh)
DE (1) DE102017108017A1 (zh)
WO (1) WO2018189337A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201918314D0 (en) * 2019-12-12 2020-01-29 Issured Ltd MEA: connexus - a platform agnostic video interview platform that uses blockchain for retention of evidential integrity

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120169836A1 (en) * 2011-01-03 2012-07-05 Setlur Anand R Offload of server-based videoconference to client-based video conference
EP2544424A1 (en) * 2010-03-04 2013-01-09 Telefónica, S.A. Multipoint conference method that does not use a server
EP2627036A1 (en) * 2003-02-10 2013-08-14 Intercall, Inc. Systems and Methods for Collaborative Communication
CN104917620A (zh) * 2014-03-10 2015-09-16 华为技术有限公司 一种对等网络会议接入方法、客户端及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HU186472B (en) 1982-02-12 1985-08-28 Lajos Oroszlany Electric thermometer, in particular for the blinds and men of defective vision
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
CA2266921A1 (en) * 1996-09-25 1998-04-02 Andrew David Mercer Network-based conference system
DE19717167A1 (de) * 1997-04-23 1998-10-29 Ibm Webbrowser-basiertes Konferenzsystem
EP1001596B1 (de) 1998-11-16 2013-10-02 Siemens Enterprise Communications GmbH & Co. KG Multimedia-Endgerät für Telefonie zum Ermöglichen von Multipunktverbindungen
EP1014666A1 (de) 1998-12-21 2000-06-28 Siemens Aktiengesellschaft Verfahren zum Realisieren von Multipunktverbindungen zwischen mehreren Endgeräten eines H.323-Datenkommunikationsnetzes
US6782413B1 (en) 2000-02-11 2004-08-24 Microsoft Corporation Distributed conference bridge
US7653013B1 (en) * 2000-06-01 2010-01-26 Nortel Networks Limited Conferencing systems with enhanced capabilities
NO20013497D0 (no) * 2001-07-13 2001-07-13 Ericsson Telefon Ab L M Dynamisk distribuering av deltagere i sentraliserte IP- telefonkonferanser
US7899170B2 (en) 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US20060294186A1 (en) * 2005-06-27 2006-12-28 Samsung Electronics Co., Ltd. System and method for enriched multimedia conference services in a telecommunications network
US8817668B2 (en) 2006-09-15 2014-08-26 Microsoft Corporation Distributable, scalable, pluggable conferencing architecture
US20140122600A1 (en) 2012-10-26 2014-05-01 Foundation Of Soongsil University-Industry Cooperation Conference server in a system for providing a conference service in rtcweb
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
US20150161087A1 (en) * 2013-12-09 2015-06-11 Justin Khoo System and method for dynamic imagery link synchronization and simulating rendering and behavior of content across a multi-client platform
US9549152B1 (en) * 2014-06-09 2017-01-17 Google Inc. Application content delivery to multiple computing environments using existing video conferencing solutions
DE102014012355A1 (de) * 2014-08-25 2016-02-25 Unify Gmbh & Co. Kg Verfahren zur Steuerung einer Multimedia-Anwendung, Softwareprodukt und Vorrichtung
US20160112472A1 (en) * 2014-10-21 2016-04-21 Avaya Inc. System and method for managing communication sessions
US9917746B2 (en) * 2014-11-04 2018-03-13 Futurewei Technologies, Inc. Adaptive allocation of server resources
US20170359187A1 (en) * 2016-06-13 2017-12-14 Logmein, Inc. Scalable real-time videoconferencing over WebRTC

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2627036A1 (en) * 2003-02-10 2013-08-14 Intercall, Inc. Systems and Methods for Collaborative Communication
EP2544424A1 (en) * 2010-03-04 2013-01-09 Telefónica, S.A. Multipoint conference method that does not use a server
US20120169836A1 (en) * 2011-01-03 2012-07-05 Setlur Anand R Offload of server-based videoconference to client-based video conference
CN104917620A (zh) * 2014-03-10 2015-09-16 华为技术有限公司 一种对等网络会议接入方法、客户端及系统

Also Published As

Publication number Publication date
US20210120051A1 (en) 2021-04-22
DE102017108017A1 (de) 2018-10-18
EP3610642A1 (de) 2020-02-19
WO2018189337A1 (de) 2018-10-18
US20220391452A1 (en) 2022-12-08
US11444821B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
US7558823B2 (en) System and method for managing virtual collaboration systems
US7656824B2 (en) Method and system for providing a private conversation channel in a video conference system
US20050226172A1 (en) Video conference call set up
US20050044503A1 (en) Server invoked time scheduled videoconference
EP2208309B1 (en) Systems and methods for managing virtual collaboration systems spread over different networks
WO2016184001A1 (zh) 视频监控处理方法及装置
JP2005521308A (ja) ビデオ会議システムアーキテクチャ
US10523730B2 (en) Real-time transport protocol (RTP) media conference server routing engine
WO2016019775A1 (zh) 会议迁移的方法、装置及系统
US7792063B2 (en) Method, apparatus, and computer program product for gatekeeper streaming
US9013537B2 (en) Method, device, and network systems for controlling multiple auxiliary streams
US20220391452A1 (en) Method for conducting an audio and/or video conference
JP2005311670A (ja) テレビ会議端末、テレビ会議システム、テレビ会議方法並びにそのプログラム
US20100225733A1 (en) Systems and Methods for Managing Virtual Collaboration Systems
KR102546662B1 (ko) 공중교환전화망 통신 및 웹 실시간 통신 연동형 컨퍼런스 제공 시스템 및 그 방법
Amirante et al. Empowering Remote Participation in IETF Meetings through WebRTC
KR101451111B1 (ko) 영상 회의 서비스를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206

RJ01 Rejection of invention patent application after publication