EP3610642A1 - Method for conducting an audio and/or video conference - Google Patents

Method for conducting an audio and/or video conference

Info

Publication number
EP3610642A1
EP3610642A1 EP18718136.7A EP18718136A EP3610642A1 EP 3610642 A1 EP3610642 A1 EP 3610642A1 EP 18718136 A EP18718136 A EP 18718136A EP 3610642 A1 EP3610642 A1 EP 3610642A1
Authority
EP
European Patent Office
Prior art keywords
audio
conference
data processing
application
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18718136.7A
Other languages
German (de)
French (fr)
Inventor
Karl Klaghofer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify Patente GmbH and Co KG
Original Assignee
Unify Patente GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unify Patente GmbH and Co KG filed Critical Unify Patente GmbH and Co KG
Publication of EP3610642A1 publication Critical patent/EP3610642A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the invention relates to a method for guiding an audio and / or video conference, in which a plurality of terminals is coupled via a data network with a central Konfe ⁇ renzêt issued.
  • At least one predetermined terminal of the terminals comprises a data processing device which by operation of an application (application), in particular a browser application (browser application) enables the terminal to participate in the conference.
  • an application application
  • browser application browser application
  • a predetermined terminal is a personal computer with a built-in camera and built-in microphone (or camera and microphone docked) and a screen and speaker (or docked).
  • the data processing device can just as well be a suitably oriented tablet computing device, a smartphone or the like portable terminal.
  • the personal computer (or other device) is capable of conferencing: taking pictures with the camera, acquiring voice utterances using the microphone. On the screen the own picture is displayed and / or the pictures of other participants are displayed, over the microphone a speech output takes place.
  • FIG. 1 illustrates an enterprise network 10, in which individual clients EP 1, EP 2 and EP 3 (WebRTC browser Net z-real-time ⁇ controlled browser) together require a conference call and in this case (Public Cloud) 12 in a public cloud at the central
  • Conference control device KA where a conference application (conference application) runs under Webrtc.
  • the registration takes place via signaling paths 14, which are shown in FIG. 1 are shown by solid lines.
  • the signaling thus takes place from the individual clients or the browsers EP 1, EP 2, EP 3 to the conference application KA.
  • the conference application KA now provides a resource over which the audio and / or video conference can run.
  • This resource is referred to as MediaServer, sometimes as MediaNode, and is shown in FIG. 1 with "MS", abbreviated for MediaServer.
  • the individual audio and video data packets are transmitted via the dashed lines of data lines 16 to the MediaServer MS, mixed by this and sent back to the individual clients to provide the audio and / or video conferencing data.
  • a selection ie a selection from the received audio or video data channels with forwarding of the received data streams to the individual clients, for the purpose of processing the data streams in the clients themselves, which then referred to as a selective forwarding unit (SFU) become) .
  • SFU selective forwarding unit
  • a person speaking each can be displayed, and the persons who remain silent are not selected, but filtered out.
  • a disadvantage of a procedure as shown in FIG. 1 is that the audio and video data leave the corporate network 10 for the purpose of conferencing. As a result, the secure data exchange may well be at risk. Moreover, data transfer requires more resources than if it were within a network.
  • EP 1 014 666 A1 discloses a method for realizing multipoint connections (ie conference circuits) between several terminals of an H.323
  • the conference unit causes the opening of user data channels (ie of audio and video data channels) between the terminals via the conference unit.
  • EP 1 001 596 A2 describes a multimedia terminal for telephony, which allows itself multipoint connections.
  • the object is solved in one aspect by a method according to claim 1, in other aspects by a computer program product according to claim 8, according to claim 9 and according to claim 10.
  • the inventive method for guiding an audio and / or a video conference in which a plurality of terminals is coupled via a data network with a central Konfe ⁇ renz Kunststoffe issued, and wherein at least a first terminal comprises a data processing device, which by operation of an application, in particular a Browser application, which enables the terminal to participate in the conference, has the property according to the invention that a predetermined terminal of the at least one first terminal due to control commands (signaling) by the central
  • Conference control device at least when fulfilled a predetermined criterion audio and / or video data streams (ie user data streams) receives from other terminals and a) by means of the application, in particular browser application mixes (in particular with of the first terminal itself generated audio and / or video data streams) and in mixed form to the returns to other terminals and / or
  • the invention thus starts from the principle to use a (ZENTRA ⁇ len or distributed) Media server outside of the clients, which is usually at the central conferencing the case; rather, one of the clients (ie, the predetermined terminal of the at least one first terminal) itself acts as a MediaServer or MediaNode, which is normally the case only in conference serverless conferencing methods.
  • a central conference control device with corresponding conference room user experience, user authentication, etc.
  • the security-sensitive audio and / or video data need not leave the corporate network.
  • the audio and video data between clients and a central Webrtc conference server are transmitted encrypted, so for example, the audio packets from the conference server (in the cloud) must be decrypted, to be mixed then ver ⁇ down again may be sent to the clients.
  • Ie full "end to end confidentiality" is often not given. This makes it apparent that it may be advantageous for reasons of Ver ⁇ confidentiality to keep the media data locally on the LAN.
  • Other benefits include significantly reducing the required WAN bandwidth, so the band ⁇ wide between location / corporate networks / clients and the Data Center of the cloud service provider of the WebRTC Konfe ⁇ ence solution.
  • the application is preferably a Webrtc (Web Real-Time Control) browser application, that is, a net timed browser application. It can thus be built on the presence of Webrtc technology.
  • the one predetermined terminal of the at least one terminal only has to be equipped with a suitable application plug-in.
  • An application plug-in should not be confused with a browser plug-in, because Webrtc browsers (eg Google Chrome®, or Mozilla Firefox®, etc.) by definition do not need any in the W3C Webrtc standardization (World Wide Web Consortium) Browser plug-ins, at least not for the base Webrtc functionality.
  • one of the at least one first terminal receives audio and / or video data streams from all other terminals and mixes or subjects them to selection.
  • the entire conference is in principle supported by the predetermined first terminal in terms of user data streams.
  • one of the at least one first terminal receives audio and / or video data streams from only a subset of the other terminals and mixes or subjects them to selection.
  • a side conference can be conducted: those participants who sit at terminals within a corporate network can communicate separately to, for example, in terms of their behavior towards a participant outside the
  • the predetermined criterion in the fulfillment of which the central conference ⁇ control device in the first ever brings the predetermined terminal of the at least one first terminal for receiving and mixing / selection meetings, that those other terminals, of which audio and / or Video data streams are received in a common local area network, LAN, Local Area Network, coupled together.
  • each terminal must register for attending the conference at the central conference control facility.
  • the predetermined terminal transmits (in such an application) or communicated (in an earlier initial login) to the central conference control device the information that it is capable of receiving audio and / or video data streams and a) mixing and b) a selection and that the predetermined criterion includes that such information has been transmitted.
  • the central conference control device can generally be designed, in turn, to mix or to subject the user data streams to a selection. Only when the one terminal with the appropriately configured browser reports that it has a suitable browser extension to run the conference itself will this task be transferred to the appropriate browser.
  • a computer program product for providing or extending (the latter in the form of a plug-in) an application, in particular a browser application, to a first data processing device is provided.
  • Computer program product is designed to give the first data processing device the ability to receive audio and / or video data from at least one second data processing device and on the one hand from the second received and on the other hand provided by the first data processing device and / or another second data processing device received audio and / / or to mix and / or select a video data and to forward the mixed and / or selected audio and / or video data to the at least one second data processing device.
  • This computer program product thus provides for the running of a browser which has the characteristics described above, ie the central one
  • Conference control device to remove the task of mixing and / or making a selection of the audio and / or video data.
  • the conference control device to remove the task of mixing and / or making a selection of the audio and / or video data.
  • Browser application by the computer product to be able to give the input message to the central conference control device that the conferencing ability of the browser is given.
  • a computer program product for providing or expanding (in the form of a plug-in) an application, in particular a browser application, on a second
  • a data processing device is provided, which is designed to give the second data processing device the ability to exchange control signals with a central data processing device and audio and / or video signals to a first
  • This computer program product allows the non-conferencing browser applications to use the conferencing-enabled browser application under the control of the central computing device.
  • the invention provides, in yet another aspect, a computer program product adapted for providing or expanding (in the form of a plug-in) an application, in particular a conference circuit application, on a third data processing device is to give the third data processing device the ability to obtain information from a first data processing device, which states that this first data processing device is capable of audio and / or video data from the second
  • FIG. Fig. 1 illustrates an arrangement for conducting a conference implementing a method according to the prior art
  • FIG. Figure 2 illustrates an arrangement for conducting a conference implementing the method according to the invention
  • FIG. 3 details of the invention in the
  • FIG. Figure 4 shows a flow of exchanges of messages according to the method of the invention.
  • FIG. 2 of the present invention instead of a standard Webrtc browser, such a Webrtc browser EP 1K with conferencing capability is provided.
  • This conference resource is controlled by a central application (conference control application), which refers to the Cloud Webrtc.
  • conference control application which refers to the Cloud Webrtc.
  • the enterprise network 10 there are further browsers EP 2 and EP 3.
  • the conference control application K-A In a cloud (data center) 12 there is the conference control application K-A.
  • signaling paths 14 between the individual browsers EP 1K, EP 2 and EP 3 to the conference application K-A are not translated through appropriate payload data paths
  • the browser EP 1K assumes the role of a MediaServer or MediaNode, and the user data streams (audio and / or video data) are transmitted via signal paths 20 from the individual further browsers EP 2 and EP 3 to the conferable browser EP 1K, where they are mixed and transferred the same paths in mixed form returned.
  • a selection takes place on the part of the conference-capable browser EP 1K, for example, whenever a subscriber is currently speaking, whose image is displayed on the browsers, and not otherwise.
  • the advantage of the procedure according to FIG. 2 is that the payload streams remain within the enterprise network 10. It is therefore for a higher one Data security ensured. Furthermore, less bandwidth is needed between enterprise network 10 and cloud data center 12.
  • the structure of the conferable browser EP 1K is described below with reference to FIG. 3 explained in more detail.
  • a client application for example, a JavaScript client application 22, which gives him the ability to communicate with the central conference ⁇ control application KA. He can therefore assume the role of a client.
  • a conference client application 24 is provided, such as in JavaScript, which gives the client the ability to signal that he is capable of conferencing.
  • the client application 22 is generally responsible for Webrtc client signaling with the conference application KA (see reference character "SC""signalingclient")
  • the further application 24 is responsible for additional signaling of the conference client ("signaling Conference Client ", SKC), which ⁇ example, the conference switching commands of the central conference ⁇ renzêtune receives (role MediaServer in EPIK).
  • the browser 25 comprises a web interface, in particular a time-controlled interface 26, in English: Webrtc API, Web Real-Time Control Application Programming Interface. It includes a session management and conference management unit 28. Further, it requires a corresponding voice unit 30 ("Voice.") For encoding and decoding Engine “with corresponding codecs) and the same for video data in the unit 32 (" Video Engine "with corresponding codecs). Exemplary codecs are G.711, Opus, H.264, VP8, etc. In addition, there is a unit 34 for mixing or switching (selecting, forwarding). The transmission interface (transport interface) 36 ensures the forwarding of the data, and to the other browsers EP 2 and EP 3, there is a client / browser OS interface.
  • the EP 2 and EP 3 browsers where EP stands for "end point", ie telecommunication subscribers, likewise exchange corresponding signals SC with the conference application K A.
  • the conference application decides that the browser EP 1K decides the conference
  • the browsers EP 2 and EP 3 send their payloads N2 and N3 to the unit 34 where these payloads N2 and N3 are merged with respective payload data Nl generated by the units 30 and 32 or subjected to selection in which the mixed data are sent back as data M2 and M3 and the selected (“switched") data are sent back as SW2 and SW3.
  • the in FIG. 2 is divided into the two paths 20a for the direction towards the unit 34 and 20b for the direction away from the unit 34 to the browsers EP 2 and EP 3.
  • FIG. 4 shows the corresponding signals:
  • the request is sent to the conference control application KA by the browser EP 1K to join or start the conference room (see "EP 1K JoinRequest") in part 4.
  • ConCaps Conferencing Capabilities.
  • conference conferencing capabilities that are indicated include: 1) conference type (audio conference, videoconference, screen share conference (mostly video), 2) conference type (conference mixing, selective forwarding unit, ..), supported codecs (G. 711, OPUS, H.264, VP 8, VP 9, ..), conference credentials (for authentication).
  • the conference application KA requests the browser EP 1K (in its role as "MediaNode") to make a corresponding media resource available in the EP 1K (see “Conf Create Request” in FIG. 4).
  • the IP address and port of the client 1 are signaled in step S12 to the browser Media Resource.
  • the browser EP 1K answers ( "ver MediaSer-” in his role as) in step S 14 with the confirmation that he has the ge ⁇ Wanted (s) Media Resource (s) provided and signaled as part of step S14, IP address / port of the Webrtc Browser Conference Resource See in FIG 4 the command "Conf Create Confirm", which includes that information is sent to the conference application KA that the browser EP 1K the media resource starts or holding the conference resources.
  • step S 16 the conference control application KA then confirms to the browser EP 1K (in its role as "client / Webrtc browser") that a media resource has been generated and the client EP 1K can send to this media resource ("EP 1K Join Confirm ").
  • the application conference room is active, with a participant (EP1K) in the conference and the possibility of joining by other Webrtc browsers.
  • step S 20 the browser EP 2 inquires whether it can join the conference ("EP 2 Join Request").
  • the browser EPK1 in its role as “MediaServer” then receives the order from the conference control unit in step S22 ⁇ processing to switch the EP2 in the conference (Conf Add Requ ⁇ est) and confirms this in turn in step S 24 ( "Conf add confirm”).
  • step S 26 send the specializedapplikat ion K A in step S 26 the confirmation to the browser EP 2, that the conference has been joined to EP 1K
  • steps S10, S12, S14, S16 regarding exchange of the IP and port receive addresses between client EP 1K and the conference resource (in client EP 1K)
  • the receive IP addresses and ports in steps S20, S22, S24 and S26 are also exchanged between EP2 and the conference resource (in EP 1K).
  • steps S 28, S 30, S 32 and S 34 also take place in the third browser EP 3.
  • the browsers EP 2 and EP 3 then send their audio and video data in steps S 36 and S 38 to the conference resource of the browser EP 1K.
  • the arrow S 40 illustrates that the browser EP 1K is internally (in its as a client) itself contributes its own audio and video data recorded with the associated microphone or associated camera to mix.
  • the client EP 1K does not have to send its locally displayed media data via the LAN interface (IP address) to the media resource of the same EP 1K, but can do this internally in the browser.
  • the received user data are mixed in such a way that corresponding data can then be output in the steps S 44 at the browser EP 1K itself or in the steps S 46 and S 48 are transmitted to the browsers EP 2 and EP 3 can and can be spent there.
  • the browsers shown so far in the figures are all conference participants.
  • the invention is also applicable when there is already a conference and only a subgroup in a corporate network wants to hold a side conference.
  • the requesting U ser required permission and (GUI) controls on his browser client eg "Split local Conference"
  • his browser client eg "Split local Conference”
  • payload re config ionsaufträgen sent via the central Confe rence ⁇ tax application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

The invention relates to a method for conducting an audio and/or video conference, in which one of the terminals (EP 1K) that is coupled to a central conference control unit (K-A) takes on the role of a MediaServer, and this occurs under the control of said central conference control unit (K-A).

Description

Verfahren zum Führen einer Audio- und/oder Videokonferenz  Method for conducting an audio and / or video conference
Besehreibung Besehreibung
Die Erfindung betrifft ein Verfahren zum Führen einer Audio- und/oder Videokonferenz, bei der eine Mehrzahl von Endgeräten über ein Datennetz mit einer zentralen Konfe¬ renzsteuereinrichtung gekoppelt ist. Zumindest ein vorbestimmtes Endgerät der Endgeräte umfasst eine Datenverarbeitungseinrichtung, welche durch Betrieb einer Anwendung (Applikation) , insbesondere einer Browser- Anwendung (Browser-Applikation) das Endgerät in die Lage versetzt, an der Konferenz teilzunehmen. Typischerweise ist ein solches vorbestimmtes Endgerät ein Personalcomputer mit einer eingebauten Kamera und einem eingebauten Mikrofon (oder Kamera und Mikrofon angekoppelt) und einem Bildschirm sowie einem Lautsprecher (oder angekoppelt) . Die Datenverarbeitungseinrichtung kann genauso ein entsprechend ausgerichtetes Tablet-Computergerät , ein Smartphone oder dergleichen tragbares Endgerät sein. Mithilfe des Browsers ist der Personalcomputer (oder das sonstige Gerät) konferenzfähig: unter Einsatz der Kamera werden Bilder aufgenommen, unter Einsatz des Mikrofons Sprachäußerungen erfasst. Auf dem Bildschirm wird das eigene Bild angezeigt und/oder werden die Bilder von anderen Teilnehmern angezeigt, über das Mikrofon erfolgt eine Sprachausgabe. The invention relates to a method for guiding an audio and / or video conference, in which a plurality of terminals is coupled via a data network with a central Konfe ¬ renzsteuereinrichtung. At least one predetermined terminal of the terminals comprises a data processing device which by operation of an application (application), in particular a browser application (browser application) enables the terminal to participate in the conference. Typically, such a predetermined terminal is a personal computer with a built-in camera and built-in microphone (or camera and microphone docked) and a screen and speaker (or docked). The data processing device can just as well be a suitably oriented tablet computing device, a smartphone or the like portable terminal. Using the browser, the personal computer (or other device) is capable of conferencing: taking pictures with the camera, acquiring voice utterances using the microphone. On the screen the own picture is displayed and / or the pictures of other participants are displayed, over the microphone a speech output takes place.
Bisher ist es üblich, dass mehrere Teilnehmer (Clients) mithilfe ihres Browsers an der zentralen Konferenz Steuereinrichtung anmelden, die sich typischerweise in einer Cloud befindet. Dies wird hier exemplarisch anhand der FIG. 1 erläutert. So far, it is common for multiple users (clients) to log on to the central conference control device using their browser typically located in a cloud. This will be described here by way of example with reference to FIG. 1 explained.
Die FIG. 1 zeigt ein Unternehmensnetz 10, in dem einzelne Clients EP 1, EP 2 und EP 3 (Webrtc-Browser, Net z-Echt zeit¬ gesteuerte Browser) gemeinsam eine Konferenzschaltung wünschen und sich hierbei in einer öffentlichen Cloud (Public Cloud) 12 an der zentralenThe FIG. 1 illustrates an enterprise network 10, in which individual clients EP 1, EP 2 and EP 3 (WebRTC browser Net z-real-time ¬ controlled browser) together require a conference call and in this case (Public Cloud) 12 in a public cloud at the central
Konferenzsteuereinrichtung K-A anmelden, wo eine Konferenz- Applikation (Konferenz-Anwendung) unter Webrtc läuft. Die Anmeldung erfolgt über Signalisierungspfade 14, die in FIG. 1 mit durchgezogenen Linien gezeigt sind. Die Signalisierung erfolgt also von den einzelnen Clients bzw. der Browser EP 1, EP 2, EP 3 zur Konferenz-Applikation K-A. Die Konferenz-Applikation K-A stellt nun eine Ressource zur Verfügung, über die die Audio- und/oder Videokonferenz verlaufen kann. Diese Ressource wird als MediaServer bezeichnet, teilweise auch als MediaNode, und ist in FIG. 1 mit „MS", für MediaServer, abgekürzt. Die einzelnen Audio- und Videodatenpakete werden über die strichliert gezeichneten Datenleitungen 16 an den MediaServer MS übermittelt, von diesem gemischt und zur Bereitstellung der Audio- und/oder Videokonferenzdaten an die einzelnen Clients wieder zurückgesandt. Anstelle eines Mischens kann auch eine „Selektion" erfolgen (also eine Auswahl aus den empfangenen Audio- oder Videodatenkanälen mit Weiterleitung der empfangenen Datenströme and die einzelnen Clients, zwecks Aufbereitung der Datenströme in den Clients selbst, die dann als Selective Forwarding Unit (SFU) bezeichnet werden) . Beispielsweise kann eine jeweils sprechende Person angezeigt werden, und die stumm bleibenden Personen werden nicht ausgewählt, sondern herausgefiltert. Nachteilig an einem Vorgehen wie gemäß FIG. 1 ist, dass die Audio- und Videodaten zum Zwecke der Konferenzschaltung das Unternehmensnetz 10 verlassen. Dadurch kann der sichere Datenaustausch durchaus gefährdet sein. Überdies sind für die Datenübertragung mehr Ressourcen notwendig, als wenn sie innerhalb eines Netzes erfolgen würde. Conference control device KA, where a conference application (conference application) runs under Webrtc. The registration takes place via signaling paths 14, which are shown in FIG. 1 are shown by solid lines. The signaling thus takes place from the individual clients or the browsers EP 1, EP 2, EP 3 to the conference application KA. The conference application KA now provides a resource over which the audio and / or video conference can run. This resource is referred to as MediaServer, sometimes as MediaNode, and is shown in FIG. 1 with "MS", abbreviated for MediaServer.The individual audio and video data packets are transmitted via the dashed lines of data lines 16 to the MediaServer MS, mixed by this and sent back to the individual clients to provide the audio and / or video conferencing data. Instead of mixing, a "selection" (ie a selection from the received audio or video data channels with forwarding of the received data streams to the individual clients, for the purpose of processing the data streams in the clients themselves, which then referred to as a selective forwarding unit (SFU) become) . For example, a person speaking each can be displayed, and the persons who remain silent are not selected, but filtered out. A disadvantage of a procedure as shown in FIG. 1 is that the audio and video data leave the corporate network 10 for the purpose of conferencing. As a result, the secure data exchange may well be at risk. Moreover, data transfer requires more resources than if it were within a network.
Aus der US 2014/0122600 AI ist ein Konferenzserver bekannt, der die Aufgabe eines Mischens der Audio- bzw. Videodaten übernimmt. Die einzelnen Browser, welche unter JavaScript laufen, verfügen über eine entsprechende Fähigkeit, an der Konferenz teilzunehmen, nicht aber über einen eigenen Mischer . Die EP 1 014 666 AI offenbart ein Verfahren zum Realisieren von Multipunktverbindungen (also Konferenzschaltungen) zwischen mehreren Endgeräten eines H.323-From US 2014/0122600 AI a conference server is known, which takes over the task of mixing the audio or video data. The individual browsers running JavaScript have the ability to participate in the conference, but not via their own mixer. EP 1 014 666 A1 discloses a method for realizing multipoint connections (ie conference circuits) between several terminals of an H.323
Datenkommunikationsnetzes, bei dem die Konferenzeinheit das Öffnen von Nutzdatenkanälen (also von Audio- und Videodatenkanälen) zwischen den Endgeräten über die Konferenzeinheit veranlasst. Data communication network, in which the conference unit causes the opening of user data channels (ie of audio and video data channels) between the terminals via the conference unit.
Die EP 1 001 596 A2 beschreibt ein Multimedia-Endgerät für die Telefonie, das selbst Multipunktverbindungen ermöglicht. EP 1 001 596 A2 describes a multimedia terminal for telephony, which allows itself multipoint connections.
In der US 2004/0210637 AI ist das Vorsehen externer Konferenzbrücken ergänzend zu anderen Pfaden beschrieben. Unter dem Computerlink https://Webrtchacks.com/web-audio- conference/ war am 03. April 2017 ein Artikel erhältlich, aus dem das Prinzip zu erfahren war, dass ein Browser die Rolle einer zentralen Konferenzsteuereinrichtung übernimmt, um lokale Audio-Konferenzen zu führen. Der Artikel nennt dies eine „Poor-Man' s-Konferenz-Lösung" , da kein Server verwendet wird. Aus dem Artikel ist nicht bekannt, wie eine solche Audio-Konferenz zustande kommen kann. In US 2004/0210637 AI the provision of external conference bridges is described in addition to other paths. Under the computer link https://Webrtchacks.com/web-audio- conference / on April 3, 2017 an article was available, from which the principle was to learn that a browser the Role of a central conference controller to conduct local audio conferences. The article calls this a "poor man's conference solution" because no server is used, and the article does not know how such an audio conference can come about.
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Führen einer Audio- und/oder Videokonferenz bereitzustellen, welches vorzugsweise mittels Clients erfolgt, die über eine Anwendung, insbesondere Browser- Anwendung verfügen, und wobei bei dem Verfahren eine möglichst effiziente Nutzung der Datennetze und/oder eine möglichst optimale Sicherheit beim Austausch von Audio- und/oder Videodaten (Nutzdaten) gegeben ist. It is the object of the present invention to provide a method for guiding an audio and / or video conference, which preferably takes place by means of clients who have an application, in particular browser application, and wherein in the method the most efficient use of the data networks and / or the best possible security when exchanging audio and / or video data (user data) is given.
Die Aufgabe wird in einem Aspekt durch ein Verfahren nach Anspruch 1 gelöst, in anderen Aspekten durch ein Computerprogrammprodukt nach Anspruch 8, nach Anspruch 9 und nach Anspruch 10. The object is solved in one aspect by a method according to claim 1, in other aspects by a computer program product according to claim 8, according to claim 9 and according to claim 10.
Das erfindungsgemäße Verfahren zum Führen einer Audio- und/oder einer Videokonferenz, bei der eine Mehrzahl von Endgeräten über ein Datennetz mit einer zentralen Konfe¬ renzsteuereinrichtung gekoppelt ist, und wobei zumindest ein erstes Endgerät eine Datenverarbeitungseinrichtung umfasst, welche durch Betrieb einer Anwendung, insbesondere einer Browser-Anwendung, das Endgerät in die Lage versetzt, an der Konferenz teilzunehmen, hat die erfindungsgemäße Eigenschaft, dass ein vorbestimmtes Endgerät des zumindest einen ersten Endgeräts aufgrund von Steuerbefehlen (Signalisierung) durch die zentraleThe inventive method for guiding an audio and / or a video conference, in which a plurality of terminals is coupled via a data network with a central Konfe ¬ renzsteuereinrichtung, and wherein at least a first terminal comprises a data processing device, which by operation of an application, in particular a Browser application, which enables the terminal to participate in the conference, has the property according to the invention that a predetermined terminal of the at least one first terminal due to control commands (signaling) by the central
Konferenzsteuereinrichtung zumindest bei Erfülltsein eines vorbestimmten Kriteriums Audio- und/oder Videodatenströme (also Nutzdatenströme) von anderen Endgeräten empfängt und a) mittels der Anwendung, insbesondere Browseranwendung mischt (insbesondere auch mit von an dem ersten Endgerät selbst generierten Audio- und/oder Videodatenströmen) und in gemischter Form an die anderen Endgeräte zurückgibt und/oder Conference control device at least when fulfilled a predetermined criterion audio and / or video data streams (ie user data streams) receives from other terminals and a) by means of the application, in particular browser application mixes (in particular with of the first terminal itself generated audio and / or video data streams) and in mixed form to the returns to other terminals and / or
b) eine Auswahl der empfangenen Audio- und/oder Videodaten und von den von dem zumindest einen ersten Endgerät generierten Audio- und/oder Videodaten an die anderen Endgeräte weitergibt. b) passes on a selection of the received audio and / or video data and of the generated by the at least one first terminal audio and / or video data to the other terminals.
Die Erfindung geht somit von dem Prinzip ab, einen (zentra¬ len oder verteilten) MediaServer außerhalb der Clients zu verwenden, was üblicherweise bei zentralen Konferenzen der Fall ist; vielmehr fungiert einer der Clients (also das vorbestimmte Endgerät des zumindest einen ersten Endgeräts) selbst als MediaServer oder MediaNode, was normalerweise nur in konferenzserverlosen Konferenzmethoden der Fall ist. Dadurch kann der Datenaustausch zwischen den einzelnen Browsern bzw. den zugehörigen Endgeräten erfolgen, ohne je¬ doch auf die Vorteile einer zentralen Konferenzsteuerein¬ richtung (mit entsprechender Konferenzraum User Experience, User Authenticat ion, etc.) verzichten zu müssen. Befinden sich beispielsweise sämtliche Endgeräte innerhalb desselben Unternehmensnetzes, müssen daher die sicherheitsempfindlichen Audio- und/oder Videodaten das Unternehmensnetz nicht verlassen. Wenn nämlich sonst im Webrtc Standard die Audio- und Videodaten zwischen Clients und einem zentralem Webrtc Konferenzserver verschlüsselt übertragen werden, so müssen beispielsweise die Audiopakete vom Konferenzserver (in der Cloud) entschlüsselt werden, um gemischt werden zu können, um anschließend wieder ver¬ schlüsselt an die Clients gesendet werden zu können. D.h. volle „Ende zu Ende Vertraulichkeit" ist oft nicht gegeben. Dadurch ist es ersichtlich, dass es aus Gründen der Ver¬ traulichkeit vorteilhaft sein kann, die Mediendaten lokal im LAN zu halten. Weitere Vorteile sind die signifikante Reduzierung der benötigten WAN Bandbreite, also der Band¬ breite zwischen Standort/Unternehmensnetz/Clients und dem Datacenter des Cloud Diensteanbieters der Webrtc Konfe¬ renzlösung . The invention thus starts from the principle to use a (ZENTRA ¬ len or distributed) Media server outside of the clients, which is usually at the central conferencing the case; rather, one of the clients (ie, the predetermined terminal of the at least one first terminal) itself acts as a MediaServer or MediaNode, which is normally the case only in conference serverless conferencing methods. As a result, the data exchange between the individual browsers or the associated terminal devices can take place without ever having to forego the advantages of a central conference control device (with corresponding conference room user experience, user authentication, etc.). For example, if all the terminals are within the same corporate network, then the security-sensitive audio and / or video data need not leave the corporate network. If otherwise in the Webrtc standard, the audio and video data between clients and a central Webrtc conference server are transmitted encrypted, so for example, the audio packets from the conference server (in the cloud) must be decrypted, to be mixed then ver ¬ down again may be sent to the clients. Ie full "end to end confidentiality" is often not given. This makes it apparent that it may be advantageous for reasons of Ver ¬ confidentiality to keep the media data locally on the LAN. Other benefits include significantly reducing the required WAN bandwidth, so the band ¬ wide between location / corporate networks / clients and the Data Center of the cloud service provider of the WebRTC Konfe ¬ ence solution.
Die Anwendung ist vorzugsweise eine Webrtc (Web Real-Time Control ) -Browseranwendung, also eine net zecht zeitgesteuerte Browseranwendung. Es kann somit auf dem Vorhandensein der Webrtc-Technologie aufgebaut werden. Das eine vorbestimmte Endgerät des zumindest einen Endgeräts muss lediglich mit einem geeigneten Anwendungs-Plug-In ausgestattet werden. Ein Anwendungs-Plug-In ist hier nicht mit Browser-Plug-In zu verwechseln, denn Webrtc Browser (z.B. Google Chrome®, oder Mozilla Firefox®, etc.) benötigen per Definition in der W3C Webrtc Standardisierung (World Wide Web Consortium) keine Browser-Plug-ins, zumindest nicht für die Basis Webrtc Funktionalität. The application is preferably a Webrtc (Web Real-Time Control) browser application, that is, a net timed browser application. It can thus be built on the presence of Webrtc technology. The one predetermined terminal of the at least one terminal only has to be equipped with a suitable application plug-in. An application plug-in should not be confused with a browser plug-in, because Webrtc browsers (eg Google Chrome®, or Mozilla Firefox®, etc.) by definition do not need any in the W3C Webrtc standardization (World Wide Web Consortium) Browser plug-ins, at least not for the base Webrtc functionality.
In einer Variante empfängt das eine des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von allen anderen Endgeräten und mischt diese oder unterzieht diese einer Auswahl. Es wird somit die gesamte Konferenz prinzipiell von dem vorbestimmten einen ersten Endgerät im Hinblick auf Nutzdatenströme unterstützt. Weiter vorzugsweise ist hierbei vorgesehen, dass alle Audio- und/oder Videodatenströme ausschließlich über das vorbestimmte erste Endgerät laufen, dass also keine parallelen Nutzdatenströme mehr vorgesehen sind. Auf diese Weise kann die Sicherheit bei geeigneter Lage der Clients bzw. deren Browser in einem geschlossenen Netz (beispielsweise dem Unternehmensnetz) gewährleistet werden. In one variant, one of the at least one first terminal receives audio and / or video data streams from all other terminals and mixes or subjects them to selection. Thus, the entire conference is in principle supported by the predetermined first terminal in terms of user data streams. Further preferably, it is provided that all audio and / or video data streams exclusively via the run predetermined first terminal, so that no more parallel payload data streams are provided. In this way, the security can be ensured in a suitable location of the clients or their browser in a closed network (for example, the corporate network).
Bei der zweiten Variante empfängt das eine des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von nur einer Teilgruppe der anderen Endgeräte und mischt diese oder unterzieht diese einer Auswahl. In diesem Falle kann beispielsweise eine Nebenkonferenz geführt werden: Diejenigen Teilnehmer, die an Endgeräten innerhalb eines Unternehmensnetzes sitzen, können gesondert kommunizieren, um sich beispielsweise im Hinblick auf ihr Verhalten gegenüber einem Teilnehmer außerhalb desIn the second variant, one of the at least one first terminal receives audio and / or video data streams from only a subset of the other terminals and mixes or subjects them to selection. In this case, for example, a side conference can be conducted: those participants who sit at terminals within a corporate network can communicate separately to, for example, in terms of their behavior towards a participant outside the
Unternehmensnetzes, mit dem verhandelt wird, abzusprechen. Auch hier bleiben dann die sicherheitsrelevanten Daten innerhalb des geschlossenen Netzes, also des Unternehmensnetzes . Corporate network negotiating with them. Here, too, the security-relevant data remain within the closed network, ie the corporate network.
Somit ist bevorzugt vorgesehen, dass das vorbestimmte Kriterium, bei dessen Erfülltsein die zentrale Konferenz¬ steuereinrichtung überhaupt erst das vorbestimmte Endgerät des zumindest einen ersten Endgeräts zum Empfangen und Mischen/Auswahltreffen bringt, beinhaltet, dass diejenigen anderen Endgeräte, von denen Audio- und/oder Videodatenströme empfangen werden, in einem gemeinsamen Lokalbereichsnetzwerk, LAN, Local Area Network, miteinander gekoppelt sind. Thus, it is preferably provided that the predetermined criterion, in the fulfillment of which the central conference ¬ control device in the first ever brings the predetermined terminal of the at least one first terminal for receiving and mixing / selection meetings, that those other terminals, of which audio and / or Video data streams are received in a common local area network, LAN, Local Area Network, coupled together.
Bei einer bevorzugten Ausführungsform der Erfindung muss sich jedes Endgerät zur Teilnahme an der Konferenz bei der zentralen Konferenzsteuereinrichtung anmelden. Das vorbestimmte Endgerät übermittelt (bei einer solchen Anmeldung) oder übermittelte (bei einer früheren Erstanmeldung) an die zentrale Konferenzsteuereinrichtung die Information, dass es in der Lage ist, Audio- und/oder Videodatenströme zu empfangen und a) zu mischen und b) einer Auswahl zu unterziehen, und dass das vorbestimmte Kriterium beinhaltet, dass eine solche Information übermittelt wurde. Auf diese Weise kann die zentrale Konferenzsteuereinrichtung generell ausgelegt sein, ihrerseits die Nutzdatenströme zu mischen oder einer Selektion zu unterziehen. Nur, wenn das eine Endgerät mit dem entsprechend eingerichteten Browser meldet, dass es über eine geeignete Browsererweiterung verfügt, um selbst die Konferenz zu führen, wird diese Aufgabe an den entsprechenden Browser übertragen. In a preferred embodiment of the invention, each terminal must register for attending the conference at the central conference control facility. The predetermined terminal transmits (in such an application) or communicated (in an earlier initial login) to the central conference control device the information that it is capable of receiving audio and / or video data streams and a) mixing and b) a selection and that the predetermined criterion includes that such information has been transmitted. In this way, the central conference control device can generally be designed, in turn, to mix or to subject the user data streams to a selection. Only when the one terminal with the appropriately configured browser reports that it has a suitable browser extension to run the conference itself will this task be transferred to the appropriate browser.
In einem anderen Aspekt der Erfindung wird ein Computerprogrammprodukt zum Bereitstellen oder Erweitern (letzteres in Form eines Plug-ins) einer Anwendung, insbesondere Browseranwendung auf einer ersten Datenverarbeitungseinrichtung bereitgestellt. DiesesIn another aspect of the invention, a computer program product for providing or extending (the latter in the form of a plug-in) an application, in particular a browser application, to a first data processing device is provided. This
Computerprogrammprodukt ist ausgelegt, der ersten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, Audio- und/oder Videodaten von zumindest einer zweiten Datenverarbeitungseinrichtung zu empfangen und einerseits von der zweiten empfangene und andererseits von der ersten Datenverarbeitungseinrichtung bereitgestellte und/oder einer anderen zweiten Datenverarbeitungseinrichtung empfangene Audio- und/oder Videodaten zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an die zumindest eine zweite Datenverarbeitungseinrichtung weiterzuleiten. Dieses Computerprogrammprodukt sorgt somit für das Laufen eines Browsers, welcher die oben beschriebenen Eigenschaften aufweist, d. h. der zentralenComputer program product is designed to give the first data processing device the ability to receive audio and / or video data from at least one second data processing device and on the one hand from the second received and on the other hand provided by the first data processing device and / or another second data processing device received audio and / / or to mix and / or select a video data and to forward the mixed and / or selected audio and / or video data to the at least one second data processing device. This computer program product thus provides for the running of a browser which has the characteristics described above, ie the central one
Konferenzsteuereinrichtung die Aufgabe des Mischens und/oder Vornehmens einer Auswahl aus den Audio- und/oder Videodaten abzunehmen. Insbesondere kann dieConference control device to remove the task of mixing and / or making a selection of the audio and / or video data. In particular, the
Browseranwendung durch das Computerprodukt in die Lage versetzt werden, die eingängliche Meldung an die zentrale Konferenzsteuereinrichtung zu geben, dass die Konferenzfähigkeit des Browsers gegeben ist. Browser application by the computer product to be able to give the input message to the central conference control device that the conferencing ability of the browser is given.
In einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt zum Bereitstellen oder Erweitern (in Form eines Plug-in) einer Anwendung, insbesondere Browseranwendung, auf einer zweitenIn a further aspect of the invention, a computer program product for providing or expanding (in the form of a plug-in) an application, in particular a browser application, on a second
Datenverarbeitungseinrichtung bereitgestellt, das ausgelegt ist, der zweiten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, Steuersignale mit einer zentralen Datenverarbeitungseinrichtung auszutauschen und Audio- und/oder Videosignale an eine ersteA data processing device is provided, which is designed to give the second data processing device the ability to exchange control signals with a central data processing device and audio and / or video signals to a first
Datenverarbeitungseinrichtung außerhalb der zentralen Datenverarbeitungseinrichtung zu übermitteln. Dieses Computerprogrammprodukt erlaubt es den selbst nicht konferenzfähigen Browseranwendungen, die konferenzfähige Browseranwendung unter Steuerung der zentralen Datenverarbeitungseinrichtung zu nutzen. Data processing device outside the central data processing device to transmit. This computer program product allows the non-conferencing browser applications to use the conferencing-enabled browser application under the control of the central computing device.
Die Erfindung stellt in noch einem weiteren Aspekt ein Computerprogrammprodukt bereit, welches zum Bereitstellen oder Erweitern (in Form eines Plug-in) eine Anwendung, insbesondere Konferenzschaltungsanwendung, auf einer dritten Datenverarbeitungseinrichtung dient, das ausgelegt ist, der dritten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, eine Information von einer ersten Datenverarbeitungseinrichtung zu erhalten, welche aussagt, dass diese erste Datenverarbeitungseinrichtung in der Lage ist Audio- und/oder Videodaten von zweitenThe invention provides, in yet another aspect, a computer program product adapted for providing or expanding (in the form of a plug-in) an application, in particular a conference circuit application, on a third data processing device is to give the third data processing device the ability to obtain information from a first data processing device, which states that this first data processing device is capable of audio and / or video data from the second
Datenverarbeitungseinrichtungen zu empfangen und zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an weitere Datenverarbeitungseinrichtungen weiterzuleiten, wobei die dritte Datenverarbeitungseinrichtung bei Erhalt einer solchen Information die Aufgabe eines solchen Mischens und/oder einer Auswahl Unterziehens an die erste Datenverarbeitungseinrichtung, welche die Information übersandt hat, überträgt. Receive and mix data processing devices and / or a selection and forward the mixed and / or selected audio and / or video data to other data processing devices, the third data processing device upon receipt of such information, the task of such mixing and / or selection Submitting to the first data processing device, which has sent the information transmits.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezug auf die Zeichnung näher beschrieben, in der Hereinafter, preferred embodiments of the invention will be described in more detail with reference to the drawing, in which
FIG. 1 eine Anordnung zum Führen einer Konferenz veranschaulicht, die ein Verfahren gemäß dem Stand der Technik umsetzt, FIG. Fig. 1 illustrates an arrangement for conducting a conference implementing a method according to the prior art,
FIG. 2 eine Anordnung zum Führen einer Konferenz veranschaulicht, die das erfindungsgemäße Verfahren umsetzt, FIG. Figure 2 illustrates an arrangement for conducting a conference implementing the method according to the invention,
FIG. 3 Details zu dem bei dem erfindungsgemäßen FIG. 3 details of the invention in the
Verfahren verwendeten konferenzfähigen Webrtc- Browser und dem Datenfluss von und zu diesem Browser veranschaulicht, FIG. 4 einen Flussablauf des Austausche von Nachrichten gemäß dem erfindungsgemäßen Verfahren zeigt. Method used Webrtc browser capable of conferencing and the flow of data to and from this browser, FIG. Figure 4 shows a flow of exchanges of messages according to the method of the invention.
Bei dem anhand von FIG. 2 veranschaulichten erfindungsgemäßen Verfahren wird anstelle eines normalen Webrtc-Browsers ein solcher Webrtc-Browser EP 1K mit einer Konferenzfähigkeit (Konferenz-Ressource) bereitgestellt. Diese Konferenz-Ressource wird durch eine zentrale Anwendung (Konferenzsteuer-Applikation) gesteuert, die sich auf das Cloud-Webrtc bezieht. Im Unternehmensnetz 10 befinden sich weitere Browser EP 2 und EP 3. In einer Cloud (Datacenter) 12 befindet sich die Konferenzsteuer- Applikation K-A. Wie auch im Stand der Technik gibt es Signalisierungspfade 14 zwischen den einzelnen Browsern EP 1K, EP 2 und EP 3 zu der Konferenz-Applikation K-A. Diese Signalisierungspfade werden jedoch nicht durch entsprechende Nutzdatenpfade außerhalb desIn the case of FIG. 2 of the present invention, instead of a standard Webrtc browser, such a Webrtc browser EP 1K with conferencing capability is provided. This conference resource is controlled by a central application (conference control application), which refers to the Cloud Webrtc. In the enterprise network 10 there are further browsers EP 2 and EP 3. In a cloud (data center) 12 there is the conference control application K-A. As in the prior art, there are signaling paths 14 between the individual browsers EP 1K, EP 2 and EP 3 to the conference application K-A. However, these signaling paths are not translated through appropriate payload data paths
Unternehmensnetzes ergänzt. Insbesondere gibt es keinen MediaServer MS bzw. wird für das beschriebene Szenario kein zentraler MediaServer benötigt. Stattdessen übernimmt der Browser EP 1K die Rolle eines MediaServers oder MediaNodes, und die Nutzdatenströme (Audio- und/oder Videodaten) werden über Signalpfade 20 von den einzelnen weiteren Browsern EP 2 und EP 3 an den konferenzfähigen Browser EP 1K übermittelt, dort gemischt und über dieselben Pfade in gemischter Form wieder zurückgesandt. Alternativ zum Mischen oder zusätzlich kann vorgesehen sein, dass seitens des konferenzfähigen Browsers EP 1K eine Selektion erfolgt, dass beispielsweise immer dann, wenn ein Teilnehmer gerade spricht, dessen Bild auf den Browsern dargestellt wird, und sonst nicht. Der Vorteil des Vorgehens gemäß FIG. 2 besteht darin, dass die Nutzdatenströme innerhalb des Unternehmensnetzes 10 bleiben. Es ist daher für eine höhere Datensicherheit gesorgt. Des Weiteren wird weniger Band¬ breite zwischen Unternehmensnetz 10 und Cloud-Datacenter 12 benötigt . Der Aufbau des konferenzfähigen Browsers EP 1K ist nachfolgend unter Bezug auf FIG. 3 näher erläutert. Company network supplemented. In particular, there is no MediaServer MS or no central MediaServer is required for the described scenario. Instead, the browser EP 1K assumes the role of a MediaServer or MediaNode, and the user data streams (audio and / or video data) are transmitted via signal paths 20 from the individual further browsers EP 2 and EP 3 to the conferable browser EP 1K, where they are mixed and transferred the same paths in mixed form returned. As an alternative to mixing or in addition, it can be provided that a selection takes place on the part of the conference-capable browser EP 1K, for example, whenever a subscriber is currently speaking, whose image is displayed on the browsers, and not otherwise. The advantage of the procedure according to FIG. 2 is that the payload streams remain within the enterprise network 10. It is therefore for a higher one Data security ensured. Furthermore, less bandwidth is needed between enterprise network 10 and cloud data center 12. The structure of the conferable browser EP 1K is described below with reference to FIG. 3 explained in more detail.
Zunächst verfügt er über eine Client-Applikation, zum Beispiel eine JavaScript-Client-Applikation 22, die ihm die Fähigkeit zur Kommunikation mit der zentralen Konferenz¬ steuer-Applikation K-A verleiht. Er kann daher die Rolle eines Clients einnehmen. Als Plug-in oder eingebaut in die Client-Applikation ist eine Konferenz-Client-Applikation 24 vorgesehen, etwa auch in JavaScript, die dem Client die Fähigkeit verleiht zu signalisieren, dass er konferenzfähig ist. Während die Client-Applikation 22 generell ein Webrtc- Client-Signaling mit der Konferenz-Applikation K-A verantwortet (siehe Bezugszeichen „SC" „Signaling Client") , verantwortet die weitere Applikation 24, dass eine zusätzliche Signalisierung des Konferenz-Clients erfolgt („Signalisierung Konferenz-Client", SKC) , welche beispiels¬ weise auch die Konferenzschaltbefehle der zentralen Konfe¬ renzsteuereinrichtung entgegennimmt (Rolle MediaServer im EPIK) . First, he has a client application, for example, a JavaScript client application 22, which gives him the ability to communicate with the central conference ¬ control application KA. He can therefore assume the role of a client. As a plug-in or built into the client application a conference client application 24 is provided, such as in JavaScript, which gives the client the ability to signal that he is capable of conferencing. While the client application 22 is generally responsible for Webrtc client signaling with the conference application KA (see reference character "SC""signalingclient"), the further application 24 is responsible for additional signaling of the conference client ("signaling Conference Client ", SKC), which ¬ example, the conference switching commands of the central conference ¬ renzsteuereinrichtung receives (role MediaServer in EPIK).
Der Browser 25 umfasst eine Webschnittstelle, insbesondere eine net zecht zeitgesteuerte Schnittstelle 26, auf Englisch: Webrtc API, Web Real-Time Control Application Programming Interface. Er umfasst eine Einheit zum Verwalten der Sitzung und der Konferenz („Session Management and Conference Management") 28. Ferner benötigt er zum Kodieren und Dekodieren eine entsprechende Stimmeinheit 30 („Voice Engine" mit entsprechenden Codecs) und dasselbe für Videodaten in der Einheit 32 („Video Engine" mit entsprechenden Codecs) . Beispielhafte Codecs sind G.711, Opus, H.264, VP8 etc. Außerdem gibt es eine Einheit 34 zum Mischen bzw. zum Schalten (Auswählen, Weiterleiten) . Die Übertragungsschnittstelle (Transportschnittstelle) 36 sorgt für die Weiterleitung der Daten, und zu den weiteren Browsern EP 2 und EP 3 hin gibt es eine Client /Browser OS- Schnittstelle . The browser 25 comprises a web interface, in particular a time-controlled interface 26, in English: Webrtc API, Web Real-Time Control Application Programming Interface. It includes a session management and conference management unit 28. Further, it requires a corresponding voice unit 30 ("Voice.") For encoding and decoding Engine "with corresponding codecs) and the same for video data in the unit 32 (" Video Engine "with corresponding codecs). Exemplary codecs are G.711, Opus, H.264, VP8, etc. In addition, there is a unit 34 for mixing or switching (selecting, forwarding). The transmission interface (transport interface) 36 ensures the forwarding of the data, and to the other browsers EP 2 and EP 3, there is a client / browser OS interface.
Die Browser EP 2 und EP 3, wobei EP für „end point" also Telekommunikationsteilnehmer, steht, tauschen mit der Konferenz-Applikation K-A ebenfalls entsprechende Signale SC aus. Durch die Signalisierung SKC entscheidet die Konferenz-Applikation, dass der Browser EP 1K die Konferenz medienmäßig führen soll. In Reaktion darauf übersenden die Browser EP 2 und EP 3 ihre Nutzdaten N2 und N3 an die Einheit 34, wo diese Nutzdaten N2 und N3 mit entsprechenden, von den Einheiten 30 und 32 erzeugten Nutzdaten Nl gemischt werden oder einer Auswahl unterzogen werden, wobei die gemischten Daten als Daten M2 und M3 zurückgesendet werden bzw. die ausgewählten („geswitchten" ) Daten als SW2 und SW3 zurückgesendet werden. Der in FIG. 2 gezeigte Signalpfad 20 ist hier in die beiden Pfade 20a für die Richtung zur Einheit 34 hin und 20b für die Richtung von der Einheit 34 zu den Browsern EP 2 und EP 3 weg aufgeteilt . The EP 2 and EP 3 browsers, where EP stands for "end point", ie telecommunication subscribers, likewise exchange corresponding signals SC with the conference application K A. By means of the signaling SKC, the conference application decides that the browser EP 1K decides the conference In response, the browsers EP 2 and EP 3 send their payloads N2 and N3 to the unit 34 where these payloads N2 and N3 are merged with respective payload data Nl generated by the units 30 and 32 or subjected to selection in which the mixed data are sent back as data M2 and M3 and the selected ("switched") data are sent back as SW2 and SW3. The in FIG. 2 is divided into the two paths 20a for the direction towards the unit 34 and 20b for the direction away from the unit 34 to the browsers EP 2 and EP 3.
Im Einzelnen kann der Austausch von Daten wie nachfolgend erläutert durchgeführt werden: In detail, the exchange of data can be carried out as explained below:
Die FIG. 4 zeigt die entsprechenden Signale: Zunächst wird in einem Schritt S 10 durch den Browser EP 1K die Anfrage an die Konferenzsteuerapplikation K-A gesendet, dem Konferenzraum beizutreten bzw. diesen zu starten (siehe „EP 1K JoinRequest") in FIG. 4. Teil des Inhalts der Signa- lisierung in Schritt S10 ist beispielsweise die Client EP 1 IP Adresse und Port, die unterstützten Codecs sowie weitere konferenzbezogene Fähigkeiten des Clients 1 (engl. „Con- fCaps" = Konference Capabilit ies ) . Die Konferenzapplikat ion K-A erkennt aufgrund der Signalisierung, dass der Cli- ent/Browser EP 1K die Fähigkeit besitzt, lokale Browserkon¬ ferenzen zu unterstützen, inklusive Konferenz- Detailfähigkeiten. Zu den signalisierten Konferenz- Detailfähigkeiten (engl. ConfCaps) gehören beispielsweise: 1) Konferenzart (Audiokonferenz, Videokonferenz, Screen Share Konferenz (meist Video), 2) Konferenztyp (Konferenz Mischen, Selective Forwarding Unit, ..), Unterstütze Codecs (G.711, OPUS, H.264, VP 8 , VP 9 , .. ) , Conference Credentials (zur Authent icat ion) . The FIG. 4 shows the corresponding signals: First, in a step S 10, the request is sent to the conference control application KA by the browser EP 1K to join or start the conference room (see "EP 1K JoinRequest") in part 4. of the content of the signaling in step S10 is, for example, the client EP 1 IP address and port, the supported codecs as well as other conference-related capabilities of the client 1 ("ConCaps" = Conferencing Capabilities). The Konferenzapplikat ion KA recognize because of signaling that the CLI browser EP 1K has ent / ability to support local Browserkon conferences ¬ Included Meeting detail skills. The conference conferencing capabilities that are indicated include: 1) conference type (audio conference, videoconference, screen share conference (mostly video), 2) conference type (conference mixing, selective forwarding unit, ..), supported codecs (G. 711, OPUS, H.264, VP 8, VP 9, ..), conference credentials (for authentication).
In dem nächsten Schritt S 12 fragt die Konferenz- Applikation K-A beim Browser EP 1K (in dessen Rolle als „MediaNode") an, eine entsprechende Media Resource im EP 1K zur Verfügung zu stellen (siehe „Conf Create Request" in FIG. 4) . Die IP Adresse und Port des Clients 1 werden in Schritt S12 an die Browser Media Resource mit signalisiert . Der Browser EP 1K antwortet (in seiner Rolle als „MediaSer- ver") in Schritt S 14 mit der Bestätigung, dass er die ge¬ wünschte (n) Media Resource (n) zur Verfügung gestellt hat und signalisiert im Rahmen von Schritt S14 die IP Adresse / Port der Webrtc Browser Konferenz Resource. Siehe hierzu in FIG. 4 den Befehl „Conf Create Confirm", der beinhaltet, dass eine Information an die Konferenz-Applikation K-A gesandt wird, dass der Browser EP 1K die Media Resource ge- startet hat bzw. die Konferenz-Ressourcen vorzuhalten. Im Schritt S 16 bestätigt sodann die Konferenzsteuer- Applikation K-A dem Browser EP 1K (in seiner Rolle als „Client / Webrtc Browser") , dass eine Media Resource erzeugt wurde und der Client EP 1K an diese Media Resource senden kann („EP 1K Join Confirm") . Damit ist wie in Schritt S 18 dargestellt, der Anwendungskonferenzraum aktiv, mit einem Teilnehmer (EP 1K) in der Konferenz und der Möglichkeit des Beitritts durch weitere Webrtc-Browser geschaffen. In the next step S 12, the conference application KA requests the browser EP 1K (in its role as "MediaNode") to make a corresponding media resource available in the EP 1K (see "Conf Create Request" in FIG. 4). , The IP address and port of the client 1 are signaled in step S12 to the browser Media Resource. The browser EP 1K answers ( "ver MediaSer-" in his role as) in step S 14 with the confirmation that he has the ge ¬ Wanted (s) Media Resource (s) provided and signaled as part of step S14, IP address / port of the Webrtc Browser Conference Resource See in FIG 4 the command "Conf Create Confirm", which includes that information is sent to the conference application KA that the browser EP 1K the media resource starts or holding the conference resources. In step S 16, the conference control application KA then confirms to the browser EP 1K (in its role as "client / Webrtc browser") that a media resource has been generated and the client EP 1K can send to this media resource ("EP 1K Join Confirm "). Thus, as shown in step S18, the application conference room is active, with a participant (EP1K) in the conference and the possibility of joining by other Webrtc browsers.
Im Schritt S 20 fragt der Browser EP 2 an, ob er der Konferenz beitreten kann („EP 2 Join Request") . Der Browser EP Kl (in seiner Rolle als „MediaServer" ) erhält dann in Schritt S 22 den Auftrag von der Konferenzsteuereinrich¬ tung, den EP2 in die Konferenz zu schalten (Conf Add Requ¬ est) und bestätigt dies seinerseits in Schritt S 24 („Conf Add Confirm") . Daraufhin sendet die Konferenzapplikat ion K- A in Schritt S 26 die Bestätigung an den Browser EP 2, dass der Konferenz mit EP 1K beigetreten wurde. In Analogie zu den Schritten S10, S12, S14, S16 hinsichtlich Austausch der IP und Port Empfangsadressen zwischen Client EP 1K und der Konferenz-Resource (in Client EP 1K) , werden die Empfangs IP-Adressen und -Ports in den Schritten S20, S22, S24 und S26 auch zwischen EP2 und der Conference-Resource (im EP 1K) ausgetauscht. In step S 20, the browser EP 2 inquires whether it can join the conference ("EP 2 Join Request"). The browser EPK1 (in its role as "MediaServer") then receives the order from the conference control unit in step S22 ¬ processing to switch the EP2 in the conference (Conf Add Requ ¬ est) and confirms this in turn in step S 24 ( "Conf add confirm"). Then send the Konferenzapplikat ion K A in step S 26 the confirmation to the browser EP 2, that the conference has been joined to EP 1K In analogy to steps S10, S12, S14, S16 regarding exchange of the IP and port receive addresses between client EP 1K and the conference resource (in client EP 1K), the receive IP addresses and ports in steps S20, S22, S24 and S26 are also exchanged between EP2 and the conference resource (in EP 1K).
Entsprechende Schritte S 28, S 30, S 32 und S 34 erfolgen auch beim dritten Browser EP 3. Nach Abschluss der Schritte S 26 bzw. S 34 senden sodann die Browser EP 2 und EP 3 ihre Audio- und Videodaten in den Schritten S 36 und S 38 an die Konferenz-Resource des Browsers EP 1K. Durch den Pfeil S 40 ist veranschaulicht, dass der Browser EP 1K intern (in sei- ner Rolle als Client) selbst seine eigenen Audio- und Videodaten, die mit dem zugeordneten Mikrofon bzw. der zugeordneten Kamera aufgenommen wurden, zum Mischen beiträgt. Der Client EP 1K muss dabei seine lokal erzeigten Mediendaten nicht über das LAN Interface (IP Adresse) an die Medien-Resource des selbigen EP 1K senden, sondern kann dies Browser-intern durchführen. Im Schritt des Mischens S 42 werden die erhaltenen Nutzdaten so gemischt, dass dann entsprechende Daten in den Schritten S 44 am Browser EP 1K selbst ausgegeben werden kann bzw. in den Schritten S 46 und S 48 an die Browser EP 2 und EP 3 übermittelt werden können und dort ausgegeben werden können. Corresponding steps S 28, S 30, S 32 and S 34 also take place in the third browser EP 3. After completing steps S 26 or S 34, the browsers EP 2 and EP 3 then send their audio and video data in steps S 36 and S 38 to the conference resource of the browser EP 1K. The arrow S 40 illustrates that the browser EP 1K is internally (in its as a client) itself contributes its own audio and video data recorded with the associated microphone or associated camera to mix. The client EP 1K does not have to send its locally displayed media data via the LAN interface (IP address) to the media resource of the same EP 1K, but can do this internally in the browser. In the step of mixing S 42, the received user data are mixed in such a way that corresponding data can then be output in the steps S 44 at the browser EP 1K itself or in the steps S 46 and S 48 are transmitted to the browsers EP 2 and EP 3 can and can be spent there.
Die in den Figuren bisher gezeigten Browser sind allesamt Konferenzteilnehmer. Die Erfindung ist auch dann anwendbar, wenn bereits eine Konferenz besteht und nur eine Untergruppe in einem Unternehmensnetz eine Nebenkonferenz führen möchte. In diesem Fall benötigt der beantragende U- ser entsprechende Berechtigung und (GUI) Bedienungselemente an seinem Browser Client (z.B. „Split local Conference"), verbunden mit entsprechenden Payload Re- konfigurat ionsaufträgen gesendet über die zentrale Konfe¬ renzsteuer-Applikation . The browsers shown so far in the figures are all conference participants. The invention is also applicable when there is already a conference and only a subgroup in a corporate network wants to hold a side conference. In this case, the requesting U ser required permission and (GUI) controls on his browser client (eg "Split local Conference"), connected to corresponding payload re config ionsaufträgen sent via the central Confe rence ¬ tax application.

Claims

Patentansprüche claims
1. Verfahren zum Führen einer Audio- und/oder Videokonfe¬ renz, bei der eine Mehrzahl von Endgeräten (EP 1K, EP 2, EP 3) über ein Datennetz (14) mit einer zentralen Konferenz¬ steuereinrichtung (K-A) gekoppelt ist, wobei zumindest ein erstes (EP 1K) der Endgeräte (EP 1K, EP 2, EP 3) eine Da¬ tenverarbeitungseinrichtung umfasst, welche durch Betrieb einer Anwendung (24, 34), insbesondere einer Browser- Anwendung (34), das Endgerät (EP 1K) in die Lage versetzt, an der Konferenz teilzunehmen, dadurch gekennzeichnet, dass ein (EP 1K) des zumindest einen ersten Endgeräts aufgrund von Steuerbefehlen durch die zentrale Konferenzsteuerein¬ richtung (K-A) zumindest bei Erfülltsein eines vorbestimm- ten Kriteriums Audio- und/oder Videodatenströme von anderen Endgeräten (EP 2, EP 3) empfängt und mittels der Anwendung (34), insbesondere Browser-Anwendung, 1. A method for performing an audio and / or video conferencing to ¬ Renz, in which a plurality of terminals (EP 1K, EP 2, EP 3) via a data network (14) having a central conference ¬ control means (KA) coupled, wherein at least a first (EP 1K) of the terminals (EP 1K, EP 2, EP 3) comprises a Da ¬ tenverarbeitungseinrichtung which by operation of an application (24, 34), in particular a browser application (34), the terminal (EP 1K ) is able to participate in the conference, characterized in that one (EP 1K) of the at least one first terminal due to control commands by the central Konferenzsteuerein ¬ direction (KA) at least if a predetermined criterion audio and / or Receives video data streams from other terminals (EP 2, EP 3) and by means of the application (34), in particular browser application,
(a) mischt und in gemischter Form an die anderen Endgeräte zurückgibt, und/oder  (a) mixes and returns in mixed form to the other terminals, and / or
(b) eine Auswahl der empfangenen Audio- und/oder Videodaten an die anderen Endgeräte weitergibt. (b) passes a selection of the received audio and / or video data to the other terminals.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anwendung eine net zecht zeitgesteuerte, Webrtc, Web Real-Time Control, Browser-Anwendung (34) ist. 2. The method according to claim 1, characterized in that the application is a net time-controlled, Webrtc, Web Real-Time Control, browser application (34).
3. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeich¬ net, dass das vorbestimmte Endgerät (EP 1K) des zumindest einen Endgeräts (EP 1K, EP 2, EP 3) Audio- und/oder Video- ströme von allen anderen Endgeräten (EP 2, EP 3) empfängt und mischt und/oder einer Auswahl unterzieht. 3. The method according to claim 2 or 3, characterized in ¬ net, that the predetermined terminal (EP 1K) of the at least one terminal (EP 1K, EP 2, EP 3) audio and / or video streams from all other terminals (EP 2, EP 3) receives and mixes and / or subjects to a selection.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass alle Audio- und/oder Videodatenströme ausschließlich über das vorbestimmte Endgerät (EP 1K) des zumindest einen ersten Endgerätes (EP 1K, EP 2, EP 3) laufen. 4. The method according to claim 3, characterized in that all audio and / or video data streams exclusively via the predetermined terminal (EP 1K) of the at least one first terminal (EP 1K, EP 2, EP 3) run.
5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich¬ net, dass das vorbestimmte Endgerät des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von nur einer Teilgruppe der anderen Endgeräte empfängt und mischt und/oder einer Auswahl unterzieht. 5. The method of claim 1 or 2, characterized in ¬ net, that the predetermined terminal of the at least one first terminal audio and / or video data streams of only a subset of the other terminals receives and mixes and / or undergoes a selection.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass das vorbestimmte Kriterium beinhaltet, dass diejenigen anderen Endgeräte, von denen Audio- und/oder Nutzdatenströme empfangen werden, in einem gemein¬ samen Lokalbereichsnetzwerk (10), LAN, Local Area Network, miteinander gekoppelt sind. 6. The method according to any one of claims 3 to 5, characterized in that the predetermined criterion includes that those other terminals from which audio and / or payload data streams are received in a common ¬ common area network (10), LAN, Local Area Network, coupled with each other.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich jedes Endgerät (EP 1K, EP7. The method according to any one of the preceding claims, characterized in that each terminal (EP 1K, EP
2, EP 3) zur Teilnahme an der Konferenz bei der zentralen Konferenzsteuereinrichtung (K-A) anmelden muss (S 10, S 20, S 28) und dass das vorbestimmte Endgerät (EP 1K) des zumin¬ dest einen Endgeräts (EP 1K, EP 2, EP 3) an die zentrale Konferenzsteuereinrichtung (K-A) die Information übermit¬ telt, dass es in der Lage ist, Audio- und/oder Videodaten¬ ströme zu empfangen und Must register 2, EP 3) to participate in the conference at the central conference control device (KA) (S 10, S 20, S 28) and that the predetermined terminal (EP 1K) of the at ¬ least one terminal (EP 1K, EP 2 , EP 3) (at the central conference control device KA), the information übermit ¬ telt that it is able to receive audio and / or video data streams and ¬
(a) zu mischen und/oder (b) einer Auswahl zu unterziehen und dass das vorbestimmte Kriterium beinhaltet, dass eine solche Information übermittelt wurde. (a) to mix and / or (b) make a selection and that the predetermined criterion includes that such information has been transmitted.
8. Computerprogrammprodukt zum Bereitstellen und Erwei¬ tern einer Anwendung, insbesondere Browser-Anwendung, auf einer ersten Datenverarbeitungseinrichtung (EP 1K) , das ausgelegt ist: 8. A computer program product for providing and Erwei ¬ tern of an application, in particular browser application on a first data processing device (EP 1K) which is adapted:
- der ersten Datenverarbeitungseinrichtung (EP 1K) die Fä¬ higkeit zu verleihen, Audio- und/oder Videodaten von einer oder mehreren zweiten Datenverarbeitungseinrichtungen (EP 2, EP 3) zu empfangen und einerseits von der zweiten Daten¬ verarbeitungseinrichtung empfangene und andererseits von der ersten Datenverarbeitungseinrichtung bereitgestellte und/oder einer anderen zweiten Datenverarbeitungseinrich¬ tung empfangene Audio- und/oder Videodaten zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an die zu- mindest eine zweite Datenverarbeitungseinrichtung (EP 2, EP 3) weiterzuleiten . - to impart to the first data processing means (EP 1K) FAE ¬ capability, audio and / or receive video data from one or more second data processing devices (EP 2, EP 3) and a part received by the second data ¬ processing means and on the other hand first of the Data and / or another second Datenverarbeitungseinrich ¬ device received audio and / or video data to be mixed and / or subjected to a selection and the mixed and / or selected audio and / or video data to at least a second data processing device (EP 2, EP 3) forward.
9. Computerprogrammprodukt zum Bereitstellen und Erwei¬ tern einer Anwendung, insbesondere Browser-Anwendung, auf einer zweiten Datenverarbeitungseinrichtung, das ausgelegt ist : 9. A computer program product for providing and Erwei ¬ tern of an application, in particular browser application on a second data processing device, which is designed:
- der zweiten Datenverarbeitungseinrichtung (EP 2, EP 3) die Fähigkeit zu verleihen, Steuersignale mit einer zentra¬ len Datenverarbeitungseinrichtung (K-A) auszutauschen und Audio- und/oder Videosignale an eine erste Datenverarbei¬ tungseinrichtung (EP 1K) außerhalb der zentralen Datenver¬ arbeitungseinrichtung (K-A) zu übermitteln. - The second data processing device (EP 2, EP 3) to give the ability to exchange control signals with a zentra ¬ len data processing device (KA) and audio and / or video signals to a first Datenverarbei ¬ processing device (EP 1K) outside the central data processing ¬ processing device (KA).
10. Computerprogrammprodukt zum Bereitstellen und Erwei- tern einer Anwendung, insbesondere Konferenzschaltungsan¬ wendung, auf einer dritten Datenverarbeitungseinrichtung, das ausgelegt ist: - der dritten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, von einer ersten Datenverarbeitungseinrich¬ tung (EP 1K) eine Information zu erhalten, die aussagt, dass diese erste Datenverarbeitungseinrichtung Audio- und/oder Videodaten von zweiten Datenverarbeitungseinrich¬ tungen (EP2, EP3) zu empfangen und mischen und/oder einer Auswahl unterziehen kann und die gemischten und/oder ausge¬ wählten Audio- und/oder Videodaten an die zumindest eine zweite Datenverarbeitungseinrichtung (EP2, EP3) weiterzu- leiten, wobei die dritte Datenverarbeitungseinrichtung (K- A) bei Erhalt einer solchen Information die Aufgabe eines solchen Mischens und/oder einer Auswahl Unterziehens an die erste Datenverarbeitungseinrichtung (EP 1K) überträgt. 10. A computer program product for providing and expanded tern an application, in particular Konferenzschaltungsan ¬ application, on a third data processing means adapted: - the ability to impart the third data processing means, from a first Datenverarbeitungseinrich ¬ tung (EP 1K) to obtain a message saying that this first data processing device to receive audio and / or video data from the second Datenverarbeitungseinrich ¬ obligations (EP2, EP3) and can mix and / or subjected to a selection and to the routing it, the mixed and / or out ¬ selected audio and / or video data, at least one second data processing device (EP2, EP3), wherein the third data processing means (K a) upon receipt of a such information transfers the task of such mixing and / or selection to the first data processing device (EP 1K).
EP18718136.7A 2017-04-13 2018-04-12 Method for conducting an audio and/or video conference Ceased EP3610642A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017108017.1A DE102017108017A1 (en) 2017-04-13 2017-04-13 Method for conducting an audio and / or video conference
PCT/EP2018/059464 WO2018189337A1 (en) 2017-04-13 2018-04-12 Method for conducting an audio and/or video conference

Publications (1)

Publication Number Publication Date
EP3610642A1 true EP3610642A1 (en) 2020-02-19

Family

ID=62002129

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18718136.7A Ceased EP3610642A1 (en) 2017-04-13 2018-04-12 Method for conducting an audio and/or video conference

Country Status (5)

Country Link
US (2) US11444821B2 (en)
EP (1) EP3610642A1 (en)
CN (1) CN110546947A (en)
DE (1) DE102017108017A1 (en)
WO (1) WO2018189337A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201918314D0 (en) * 2019-12-12 2020-01-29 Issured Ltd MEA: connexus - a platform agnostic video interview platform that uses blockchain for retention of evidential integrity

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HU186472B (en) 1982-02-12 1985-08-28 Lajos Oroszlany Electric thermometer, in particular for the blinds and men of defective vision
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
CA2266921A1 (en) * 1996-09-25 1998-04-02 Andrew David Mercer Network-based conference system
DE19717167A1 (en) * 1997-04-23 1998-10-29 Ibm Web browser based conference system
EP1001596B1 (en) 1998-11-16 2013-10-02 Siemens Enterprise Communications GmbH & Co. KG Multimedia terminal for telephony enabling multipoint connections
EP1014666A1 (en) 1998-12-21 2000-06-28 Siemens Aktiengesellschaft Method for setting up of multipoint connections between plural terminals in a H.323 data communication network
US6782413B1 (en) 2000-02-11 2004-08-24 Microsoft Corporation Distributed conference bridge
US7653013B1 (en) * 2000-06-01 2010-01-26 Nortel Networks Limited Conferencing systems with enhanced capabilities
NO20013497D0 (en) 2001-07-13 2001-07-13 Ericsson Telefon Ab L M Dynamic distribution of participants in centralized IP telephone conferencing
US7701882B2 (en) * 2003-02-10 2010-04-20 Intercall, Inc. Systems and methods for collaborative communication
US7899170B2 (en) 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US20060294186A1 (en) * 2005-06-27 2006-12-28 Samsung Electronics Co., Ltd. System and method for enriched multimedia conference services in a telecommunications network
US8817668B2 (en) 2006-09-15 2014-08-26 Microsoft Corporation Distributable, scalable, pluggable conferencing architecture
WO2011107624A1 (en) * 2010-03-04 2011-09-09 Telefónica, S . A . Multipoint conference method that does not use a server
US8395654B2 (en) * 2011-01-03 2013-03-12 Alcatel Lucent Offload of server-based videoconference to client-based video conference
US20140122600A1 (en) 2012-10-26 2014-05-01 Foundation Of Soongsil University-Industry Cooperation Conference server in a system for providing a conference service in rtcweb
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
US20150161087A1 (en) * 2013-12-09 2015-06-11 Justin Khoo System and method for dynamic imagery link synchronization and simulating rendering and behavior of content across a multi-client platform
CN104917620A (en) * 2014-03-10 2015-09-16 华为技术有限公司 Peer-to-peer network conference access method and system, and peer-to-peer network client
US9549152B1 (en) * 2014-06-09 2017-01-17 Google Inc. Application content delivery to multiple computing environments using existing video conferencing solutions
DE102014012355A1 (en) * 2014-08-25 2016-02-25 Unify Gmbh & Co. Kg Method for controlling a multimedia application, software product and device
US20160112472A1 (en) * 2014-10-21 2016-04-21 Avaya Inc. System and method for managing communication sessions
US9917746B2 (en) * 2014-11-04 2018-03-13 Futurewei Technologies, Inc. Adaptive allocation of server resources
US20170359187A1 (en) * 2016-06-13 2017-12-14 Logmein, Inc. Scalable real-time videoconferencing over WebRTC

Also Published As

Publication number Publication date
WO2018189337A1 (en) 2018-10-18
US20210120051A1 (en) 2021-04-22
CN110546947A (en) 2019-12-06
US11444821B2 (en) 2022-09-13
DE102017108017A1 (en) 2018-10-18
US20220391452A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
DE60038516T2 (en) Method and system for bandwidth reduction of multimedia conferences
DE102004053597B4 (en) A method for automatically generating and / or controlling a telecommunications conference with a plurality of subscribers, telecommunication conference terminal and telecommunication conference server
DE60132387T2 (en) Policy coordination in a communications network
DE102012013336B4 (en) NEGOTIATING A CONTINUOUS MULTI-STREAM PRESENCE
DE102005002803B3 (en) Communication system conference facility, indicates which telecommunication device has right of communication, where right is determined within conference to allow only one device data stream for communication medium
DE112006001922T5 (en) Method and device for assigning access authorization ("floor control") in a communication system
WO2006108379A1 (en) Method for forming a common communication session, method for forming a first communication session and a second communication session from a common communication session, and communication session server
DE102007056725A1 (en) A method for conditionally establishing a telecommunication conference session, telecommunication conference arrangement, and telecommunication conference session server
DE102006021375B4 (en) Method for establishing a push-to-talk communication connection
DE102005049077B4 (en) Method for transmitting media data, communication network unit and computer program element
DE102004063298B4 (en) A method for computer-aided managing of communication rights for communicating by means of a plurality of different communication media in a telecommunication conference with a plurality of telecommunication devices
DE60312138T2 (en) SECURE REMOTE CONTROL
EP3610642A1 (en) Method for conducting an audio and/or video conference
DE102007058948A1 (en) Method for determining at least one subscriber device for a telecommunications conference session, telecommunication conference arrangement, and telecommunication conference session server
EP3016341A1 (en) Method and arrangement for the efficient design of web based communication services
DE102010021770B9 (en) A method and apparatus for requesting media replication in a collaborative communication session and method and apparatus for assigning a communication medium to a collaborative communication session
DE102008029142B3 (en) Method for determining active communication sessions and communication session information servers
DE102005043006B4 (en) Communication system, communication session server unit, media distribution unit and method for transferring data in the context of a communication session
EP1001596B1 (en) Multimedia terminal for telephony enabling multipoint connections
DE60320099T2 (en) DEVICE AND METHOD FOR DISTRIBUTING STREAMED REAL-TIME INFORMATION BETWEEN CLIENTS
EP3016344B1 (en) Intelligent media gateway switch for transparent routing and concatenating media streams
DE102022119070B3 (en) Media playback device, method for operating a media playback device and vehicle
DE102017110431A1 (en) Method for transmitting information
DE102007009135B4 (en) Distributed conference about connection between PBX and conference bridge
EP3959850B1 (en) Method for providing connection set-up data, and arrangement having a plurality of communication servers and a mediator

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201021

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY PATENTE GMBH & CO. KG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20220225