EP3610642A1 - Verfahren zum führen einer audio- und/oder videokonferenz - Google Patents

Verfahren zum führen einer audio- und/oder videokonferenz

Info

Publication number
EP3610642A1
EP3610642A1 EP18718136.7A EP18718136A EP3610642A1 EP 3610642 A1 EP3610642 A1 EP 3610642A1 EP 18718136 A EP18718136 A EP 18718136A EP 3610642 A1 EP3610642 A1 EP 3610642A1
Authority
EP
European Patent Office
Prior art keywords
audio
conference
data processing
application
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18718136.7A
Other languages
English (en)
French (fr)
Inventor
Karl Klaghofer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify Patente GmbH and Co KG
Original Assignee
Unify Patente GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unify Patente GmbH and Co KG filed Critical Unify Patente GmbH and Co KG
Publication of EP3610642A1 publication Critical patent/EP3610642A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the invention relates to a method for guiding an audio and / or video conference, in which a plurality of terminals is coupled via a data network with a central Konfe ⁇ renzêt issued.
  • At least one predetermined terminal of the terminals comprises a data processing device which by operation of an application (application), in particular a browser application (browser application) enables the terminal to participate in the conference.
  • an application application
  • browser application browser application
  • a predetermined terminal is a personal computer with a built-in camera and built-in microphone (or camera and microphone docked) and a screen and speaker (or docked).
  • the data processing device can just as well be a suitably oriented tablet computing device, a smartphone or the like portable terminal.
  • the personal computer (or other device) is capable of conferencing: taking pictures with the camera, acquiring voice utterances using the microphone. On the screen the own picture is displayed and / or the pictures of other participants are displayed, over the microphone a speech output takes place.
  • FIG. 1 illustrates an enterprise network 10, in which individual clients EP 1, EP 2 and EP 3 (WebRTC browser Net z-real-time ⁇ controlled browser) together require a conference call and in this case (Public Cloud) 12 in a public cloud at the central
  • Conference control device KA where a conference application (conference application) runs under Webrtc.
  • the registration takes place via signaling paths 14, which are shown in FIG. 1 are shown by solid lines.
  • the signaling thus takes place from the individual clients or the browsers EP 1, EP 2, EP 3 to the conference application KA.
  • the conference application KA now provides a resource over which the audio and / or video conference can run.
  • This resource is referred to as MediaServer, sometimes as MediaNode, and is shown in FIG. 1 with "MS", abbreviated for MediaServer.
  • the individual audio and video data packets are transmitted via the dashed lines of data lines 16 to the MediaServer MS, mixed by this and sent back to the individual clients to provide the audio and / or video conferencing data.
  • a selection ie a selection from the received audio or video data channels with forwarding of the received data streams to the individual clients, for the purpose of processing the data streams in the clients themselves, which then referred to as a selective forwarding unit (SFU) become) .
  • SFU selective forwarding unit
  • a person speaking each can be displayed, and the persons who remain silent are not selected, but filtered out.
  • a disadvantage of a procedure as shown in FIG. 1 is that the audio and video data leave the corporate network 10 for the purpose of conferencing. As a result, the secure data exchange may well be at risk. Moreover, data transfer requires more resources than if it were within a network.
  • EP 1 014 666 A1 discloses a method for realizing multipoint connections (ie conference circuits) between several terminals of an H.323
  • the conference unit causes the opening of user data channels (ie of audio and video data channels) between the terminals via the conference unit.
  • EP 1 001 596 A2 describes a multimedia terminal for telephony, which allows itself multipoint connections.
  • the object is solved in one aspect by a method according to claim 1, in other aspects by a computer program product according to claim 8, according to claim 9 and according to claim 10.
  • the inventive method for guiding an audio and / or a video conference in which a plurality of terminals is coupled via a data network with a central Konfe ⁇ renz Kunststoffe issued, and wherein at least a first terminal comprises a data processing device, which by operation of an application, in particular a Browser application, which enables the terminal to participate in the conference, has the property according to the invention that a predetermined terminal of the at least one first terminal due to control commands (signaling) by the central
  • Conference control device at least when fulfilled a predetermined criterion audio and / or video data streams (ie user data streams) receives from other terminals and a) by means of the application, in particular browser application mixes (in particular with of the first terminal itself generated audio and / or video data streams) and in mixed form to the returns to other terminals and / or
  • the invention thus starts from the principle to use a (ZENTRA ⁇ len or distributed) Media server outside of the clients, which is usually at the central conferencing the case; rather, one of the clients (ie, the predetermined terminal of the at least one first terminal) itself acts as a MediaServer or MediaNode, which is normally the case only in conference serverless conferencing methods.
  • a central conference control device with corresponding conference room user experience, user authentication, etc.
  • the security-sensitive audio and / or video data need not leave the corporate network.
  • the audio and video data between clients and a central Webrtc conference server are transmitted encrypted, so for example, the audio packets from the conference server (in the cloud) must be decrypted, to be mixed then ver ⁇ down again may be sent to the clients.
  • Ie full "end to end confidentiality" is often not given. This makes it apparent that it may be advantageous for reasons of Ver ⁇ confidentiality to keep the media data locally on the LAN.
  • Other benefits include significantly reducing the required WAN bandwidth, so the band ⁇ wide between location / corporate networks / clients and the Data Center of the cloud service provider of the WebRTC Konfe ⁇ ence solution.
  • the application is preferably a Webrtc (Web Real-Time Control) browser application, that is, a net timed browser application. It can thus be built on the presence of Webrtc technology.
  • the one predetermined terminal of the at least one terminal only has to be equipped with a suitable application plug-in.
  • An application plug-in should not be confused with a browser plug-in, because Webrtc browsers (eg Google Chrome®, or Mozilla Firefox®, etc.) by definition do not need any in the W3C Webrtc standardization (World Wide Web Consortium) Browser plug-ins, at least not for the base Webrtc functionality.
  • one of the at least one first terminal receives audio and / or video data streams from all other terminals and mixes or subjects them to selection.
  • the entire conference is in principle supported by the predetermined first terminal in terms of user data streams.
  • one of the at least one first terminal receives audio and / or video data streams from only a subset of the other terminals and mixes or subjects them to selection.
  • a side conference can be conducted: those participants who sit at terminals within a corporate network can communicate separately to, for example, in terms of their behavior towards a participant outside the
  • the predetermined criterion in the fulfillment of which the central conference ⁇ control device in the first ever brings the predetermined terminal of the at least one first terminal for receiving and mixing / selection meetings, that those other terminals, of which audio and / or Video data streams are received in a common local area network, LAN, Local Area Network, coupled together.
  • each terminal must register for attending the conference at the central conference control facility.
  • the predetermined terminal transmits (in such an application) or communicated (in an earlier initial login) to the central conference control device the information that it is capable of receiving audio and / or video data streams and a) mixing and b) a selection and that the predetermined criterion includes that such information has been transmitted.
  • the central conference control device can generally be designed, in turn, to mix or to subject the user data streams to a selection. Only when the one terminal with the appropriately configured browser reports that it has a suitable browser extension to run the conference itself will this task be transferred to the appropriate browser.
  • a computer program product for providing or extending (the latter in the form of a plug-in) an application, in particular a browser application, to a first data processing device is provided.
  • Computer program product is designed to give the first data processing device the ability to receive audio and / or video data from at least one second data processing device and on the one hand from the second received and on the other hand provided by the first data processing device and / or another second data processing device received audio and / / or to mix and / or select a video data and to forward the mixed and / or selected audio and / or video data to the at least one second data processing device.
  • This computer program product thus provides for the running of a browser which has the characteristics described above, ie the central one
  • Conference control device to remove the task of mixing and / or making a selection of the audio and / or video data.
  • the conference control device to remove the task of mixing and / or making a selection of the audio and / or video data.
  • Browser application by the computer product to be able to give the input message to the central conference control device that the conferencing ability of the browser is given.
  • a computer program product for providing or expanding (in the form of a plug-in) an application, in particular a browser application, on a second
  • a data processing device is provided, which is designed to give the second data processing device the ability to exchange control signals with a central data processing device and audio and / or video signals to a first
  • This computer program product allows the non-conferencing browser applications to use the conferencing-enabled browser application under the control of the central computing device.
  • the invention provides, in yet another aspect, a computer program product adapted for providing or expanding (in the form of a plug-in) an application, in particular a conference circuit application, on a third data processing device is to give the third data processing device the ability to obtain information from a first data processing device, which states that this first data processing device is capable of audio and / or video data from the second
  • FIG. Fig. 1 illustrates an arrangement for conducting a conference implementing a method according to the prior art
  • FIG. Figure 2 illustrates an arrangement for conducting a conference implementing the method according to the invention
  • FIG. 3 details of the invention in the
  • FIG. Figure 4 shows a flow of exchanges of messages according to the method of the invention.
  • FIG. 2 of the present invention instead of a standard Webrtc browser, such a Webrtc browser EP 1K with conferencing capability is provided.
  • This conference resource is controlled by a central application (conference control application), which refers to the Cloud Webrtc.
  • conference control application which refers to the Cloud Webrtc.
  • the enterprise network 10 there are further browsers EP 2 and EP 3.
  • the conference control application K-A In a cloud (data center) 12 there is the conference control application K-A.
  • signaling paths 14 between the individual browsers EP 1K, EP 2 and EP 3 to the conference application K-A are not translated through appropriate payload data paths
  • the browser EP 1K assumes the role of a MediaServer or MediaNode, and the user data streams (audio and / or video data) are transmitted via signal paths 20 from the individual further browsers EP 2 and EP 3 to the conferable browser EP 1K, where they are mixed and transferred the same paths in mixed form returned.
  • a selection takes place on the part of the conference-capable browser EP 1K, for example, whenever a subscriber is currently speaking, whose image is displayed on the browsers, and not otherwise.
  • the advantage of the procedure according to FIG. 2 is that the payload streams remain within the enterprise network 10. It is therefore for a higher one Data security ensured. Furthermore, less bandwidth is needed between enterprise network 10 and cloud data center 12.
  • the structure of the conferable browser EP 1K is described below with reference to FIG. 3 explained in more detail.
  • a client application for example, a JavaScript client application 22, which gives him the ability to communicate with the central conference ⁇ control application KA. He can therefore assume the role of a client.
  • a conference client application 24 is provided, such as in JavaScript, which gives the client the ability to signal that he is capable of conferencing.
  • the client application 22 is generally responsible for Webrtc client signaling with the conference application KA (see reference character "SC""signalingclient")
  • the further application 24 is responsible for additional signaling of the conference client ("signaling Conference Client ", SKC), which ⁇ example, the conference switching commands of the central conference ⁇ renzêtune receives (role MediaServer in EPIK).
  • the browser 25 comprises a web interface, in particular a time-controlled interface 26, in English: Webrtc API, Web Real-Time Control Application Programming Interface. It includes a session management and conference management unit 28. Further, it requires a corresponding voice unit 30 ("Voice.") For encoding and decoding Engine “with corresponding codecs) and the same for video data in the unit 32 (" Video Engine "with corresponding codecs). Exemplary codecs are G.711, Opus, H.264, VP8, etc. In addition, there is a unit 34 for mixing or switching (selecting, forwarding). The transmission interface (transport interface) 36 ensures the forwarding of the data, and to the other browsers EP 2 and EP 3, there is a client / browser OS interface.
  • the EP 2 and EP 3 browsers where EP stands for "end point", ie telecommunication subscribers, likewise exchange corresponding signals SC with the conference application K A.
  • the conference application decides that the browser EP 1K decides the conference
  • the browsers EP 2 and EP 3 send their payloads N2 and N3 to the unit 34 where these payloads N2 and N3 are merged with respective payload data Nl generated by the units 30 and 32 or subjected to selection in which the mixed data are sent back as data M2 and M3 and the selected (“switched") data are sent back as SW2 and SW3.
  • the in FIG. 2 is divided into the two paths 20a for the direction towards the unit 34 and 20b for the direction away from the unit 34 to the browsers EP 2 and EP 3.
  • FIG. 4 shows the corresponding signals:
  • the request is sent to the conference control application KA by the browser EP 1K to join or start the conference room (see "EP 1K JoinRequest") in part 4.
  • ConCaps Conferencing Capabilities.
  • conference conferencing capabilities that are indicated include: 1) conference type (audio conference, videoconference, screen share conference (mostly video), 2) conference type (conference mixing, selective forwarding unit, ..), supported codecs (G. 711, OPUS, H.264, VP 8, VP 9, ..), conference credentials (for authentication).
  • the conference application KA requests the browser EP 1K (in its role as "MediaNode") to make a corresponding media resource available in the EP 1K (see “Conf Create Request” in FIG. 4).
  • the IP address and port of the client 1 are signaled in step S12 to the browser Media Resource.
  • the browser EP 1K answers ( "ver MediaSer-” in his role as) in step S 14 with the confirmation that he has the ge ⁇ Wanted (s) Media Resource (s) provided and signaled as part of step S14, IP address / port of the Webrtc Browser Conference Resource See in FIG 4 the command "Conf Create Confirm", which includes that information is sent to the conference application KA that the browser EP 1K the media resource starts or holding the conference resources.
  • step S 16 the conference control application KA then confirms to the browser EP 1K (in its role as "client / Webrtc browser") that a media resource has been generated and the client EP 1K can send to this media resource ("EP 1K Join Confirm ").
  • the application conference room is active, with a participant (EP1K) in the conference and the possibility of joining by other Webrtc browsers.
  • step S 20 the browser EP 2 inquires whether it can join the conference ("EP 2 Join Request").
  • the browser EPK1 in its role as “MediaServer” then receives the order from the conference control unit in step S22 ⁇ processing to switch the EP2 in the conference (Conf Add Requ ⁇ est) and confirms this in turn in step S 24 ( "Conf add confirm”).
  • step S 26 send the specializedapplikat ion K A in step S 26 the confirmation to the browser EP 2, that the conference has been joined to EP 1K
  • steps S10, S12, S14, S16 regarding exchange of the IP and port receive addresses between client EP 1K and the conference resource (in client EP 1K)
  • the receive IP addresses and ports in steps S20, S22, S24 and S26 are also exchanged between EP2 and the conference resource (in EP 1K).
  • steps S 28, S 30, S 32 and S 34 also take place in the third browser EP 3.
  • the browsers EP 2 and EP 3 then send their audio and video data in steps S 36 and S 38 to the conference resource of the browser EP 1K.
  • the arrow S 40 illustrates that the browser EP 1K is internally (in its as a client) itself contributes its own audio and video data recorded with the associated microphone or associated camera to mix.
  • the client EP 1K does not have to send its locally displayed media data via the LAN interface (IP address) to the media resource of the same EP 1K, but can do this internally in the browser.
  • the received user data are mixed in such a way that corresponding data can then be output in the steps S 44 at the browser EP 1K itself or in the steps S 46 and S 48 are transmitted to the browsers EP 2 and EP 3 can and can be spent there.
  • the browsers shown so far in the figures are all conference participants.
  • the invention is also applicable when there is already a conference and only a subgroup in a corporate network wants to hold a side conference.
  • the requesting U ser required permission and (GUI) controls on his browser client eg "Split local Conference"
  • his browser client eg "Split local Conference”
  • payload re config ionsaufträgen sent via the central Confe rence ⁇ tax application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Ein Verfahren zum Führen von Audio- und/oder Videokonferenz beinhaltet, dass eines der Endgeräte (EP 1K), das mit einer zentralen Konferenzsteuereinrichtung (K-A) gekoppelt ist, die Rolle eines MediaServers übernimmt, wobei dies unter der Steuerung der zentralen Konferenzsteuereinrichtung (K- A) erfolgt.

Description

Verfahren zum Führen einer Audio- und/oder Videokonferenz
Besehreibung
Die Erfindung betrifft ein Verfahren zum Führen einer Audio- und/oder Videokonferenz, bei der eine Mehrzahl von Endgeräten über ein Datennetz mit einer zentralen Konfe¬ renzsteuereinrichtung gekoppelt ist. Zumindest ein vorbestimmtes Endgerät der Endgeräte umfasst eine Datenverarbeitungseinrichtung, welche durch Betrieb einer Anwendung (Applikation) , insbesondere einer Browser- Anwendung (Browser-Applikation) das Endgerät in die Lage versetzt, an der Konferenz teilzunehmen. Typischerweise ist ein solches vorbestimmtes Endgerät ein Personalcomputer mit einer eingebauten Kamera und einem eingebauten Mikrofon (oder Kamera und Mikrofon angekoppelt) und einem Bildschirm sowie einem Lautsprecher (oder angekoppelt) . Die Datenverarbeitungseinrichtung kann genauso ein entsprechend ausgerichtetes Tablet-Computergerät , ein Smartphone oder dergleichen tragbares Endgerät sein. Mithilfe des Browsers ist der Personalcomputer (oder das sonstige Gerät) konferenzfähig: unter Einsatz der Kamera werden Bilder aufgenommen, unter Einsatz des Mikrofons Sprachäußerungen erfasst. Auf dem Bildschirm wird das eigene Bild angezeigt und/oder werden die Bilder von anderen Teilnehmern angezeigt, über das Mikrofon erfolgt eine Sprachausgabe.
Bisher ist es üblich, dass mehrere Teilnehmer (Clients) mithilfe ihres Browsers an der zentralen Konferenz Steuereinrichtung anmelden, die sich typischerweise in einer Cloud befindet. Dies wird hier exemplarisch anhand der FIG. 1 erläutert.
Die FIG. 1 zeigt ein Unternehmensnetz 10, in dem einzelne Clients EP 1, EP 2 und EP 3 (Webrtc-Browser, Net z-Echt zeit¬ gesteuerte Browser) gemeinsam eine Konferenzschaltung wünschen und sich hierbei in einer öffentlichen Cloud (Public Cloud) 12 an der zentralen
Konferenzsteuereinrichtung K-A anmelden, wo eine Konferenz- Applikation (Konferenz-Anwendung) unter Webrtc läuft. Die Anmeldung erfolgt über Signalisierungspfade 14, die in FIG. 1 mit durchgezogenen Linien gezeigt sind. Die Signalisierung erfolgt also von den einzelnen Clients bzw. der Browser EP 1, EP 2, EP 3 zur Konferenz-Applikation K-A. Die Konferenz-Applikation K-A stellt nun eine Ressource zur Verfügung, über die die Audio- und/oder Videokonferenz verlaufen kann. Diese Ressource wird als MediaServer bezeichnet, teilweise auch als MediaNode, und ist in FIG. 1 mit „MS", für MediaServer, abgekürzt. Die einzelnen Audio- und Videodatenpakete werden über die strichliert gezeichneten Datenleitungen 16 an den MediaServer MS übermittelt, von diesem gemischt und zur Bereitstellung der Audio- und/oder Videokonferenzdaten an die einzelnen Clients wieder zurückgesandt. Anstelle eines Mischens kann auch eine „Selektion" erfolgen (also eine Auswahl aus den empfangenen Audio- oder Videodatenkanälen mit Weiterleitung der empfangenen Datenströme and die einzelnen Clients, zwecks Aufbereitung der Datenströme in den Clients selbst, die dann als Selective Forwarding Unit (SFU) bezeichnet werden) . Beispielsweise kann eine jeweils sprechende Person angezeigt werden, und die stumm bleibenden Personen werden nicht ausgewählt, sondern herausgefiltert. Nachteilig an einem Vorgehen wie gemäß FIG. 1 ist, dass die Audio- und Videodaten zum Zwecke der Konferenzschaltung das Unternehmensnetz 10 verlassen. Dadurch kann der sichere Datenaustausch durchaus gefährdet sein. Überdies sind für die Datenübertragung mehr Ressourcen notwendig, als wenn sie innerhalb eines Netzes erfolgen würde.
Aus der US 2014/0122600 AI ist ein Konferenzserver bekannt, der die Aufgabe eines Mischens der Audio- bzw. Videodaten übernimmt. Die einzelnen Browser, welche unter JavaScript laufen, verfügen über eine entsprechende Fähigkeit, an der Konferenz teilzunehmen, nicht aber über einen eigenen Mischer . Die EP 1 014 666 AI offenbart ein Verfahren zum Realisieren von Multipunktverbindungen (also Konferenzschaltungen) zwischen mehreren Endgeräten eines H.323-
Datenkommunikationsnetzes, bei dem die Konferenzeinheit das Öffnen von Nutzdatenkanälen (also von Audio- und Videodatenkanälen) zwischen den Endgeräten über die Konferenzeinheit veranlasst.
Die EP 1 001 596 A2 beschreibt ein Multimedia-Endgerät für die Telefonie, das selbst Multipunktverbindungen ermöglicht.
In der US 2004/0210637 AI ist das Vorsehen externer Konferenzbrücken ergänzend zu anderen Pfaden beschrieben. Unter dem Computerlink https://Webrtchacks.com/web-audio- conference/ war am 03. April 2017 ein Artikel erhältlich, aus dem das Prinzip zu erfahren war, dass ein Browser die Rolle einer zentralen Konferenzsteuereinrichtung übernimmt, um lokale Audio-Konferenzen zu führen. Der Artikel nennt dies eine „Poor-Man' s-Konferenz-Lösung" , da kein Server verwendet wird. Aus dem Artikel ist nicht bekannt, wie eine solche Audio-Konferenz zustande kommen kann.
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Führen einer Audio- und/oder Videokonferenz bereitzustellen, welches vorzugsweise mittels Clients erfolgt, die über eine Anwendung, insbesondere Browser- Anwendung verfügen, und wobei bei dem Verfahren eine möglichst effiziente Nutzung der Datennetze und/oder eine möglichst optimale Sicherheit beim Austausch von Audio- und/oder Videodaten (Nutzdaten) gegeben ist.
Die Aufgabe wird in einem Aspekt durch ein Verfahren nach Anspruch 1 gelöst, in anderen Aspekten durch ein Computerprogrammprodukt nach Anspruch 8, nach Anspruch 9 und nach Anspruch 10.
Das erfindungsgemäße Verfahren zum Führen einer Audio- und/oder einer Videokonferenz, bei der eine Mehrzahl von Endgeräten über ein Datennetz mit einer zentralen Konfe¬ renzsteuereinrichtung gekoppelt ist, und wobei zumindest ein erstes Endgerät eine Datenverarbeitungseinrichtung umfasst, welche durch Betrieb einer Anwendung, insbesondere einer Browser-Anwendung, das Endgerät in die Lage versetzt, an der Konferenz teilzunehmen, hat die erfindungsgemäße Eigenschaft, dass ein vorbestimmtes Endgerät des zumindest einen ersten Endgeräts aufgrund von Steuerbefehlen (Signalisierung) durch die zentrale
Konferenzsteuereinrichtung zumindest bei Erfülltsein eines vorbestimmten Kriteriums Audio- und/oder Videodatenströme (also Nutzdatenströme) von anderen Endgeräten empfängt und a) mittels der Anwendung, insbesondere Browseranwendung mischt (insbesondere auch mit von an dem ersten Endgerät selbst generierten Audio- und/oder Videodatenströmen) und in gemischter Form an die anderen Endgeräte zurückgibt und/oder
b) eine Auswahl der empfangenen Audio- und/oder Videodaten und von den von dem zumindest einen ersten Endgerät generierten Audio- und/oder Videodaten an die anderen Endgeräte weitergibt.
Die Erfindung geht somit von dem Prinzip ab, einen (zentra¬ len oder verteilten) MediaServer außerhalb der Clients zu verwenden, was üblicherweise bei zentralen Konferenzen der Fall ist; vielmehr fungiert einer der Clients (also das vorbestimmte Endgerät des zumindest einen ersten Endgeräts) selbst als MediaServer oder MediaNode, was normalerweise nur in konferenzserverlosen Konferenzmethoden der Fall ist. Dadurch kann der Datenaustausch zwischen den einzelnen Browsern bzw. den zugehörigen Endgeräten erfolgen, ohne je¬ doch auf die Vorteile einer zentralen Konferenzsteuerein¬ richtung (mit entsprechender Konferenzraum User Experience, User Authenticat ion, etc.) verzichten zu müssen. Befinden sich beispielsweise sämtliche Endgeräte innerhalb desselben Unternehmensnetzes, müssen daher die sicherheitsempfindlichen Audio- und/oder Videodaten das Unternehmensnetz nicht verlassen. Wenn nämlich sonst im Webrtc Standard die Audio- und Videodaten zwischen Clients und einem zentralem Webrtc Konferenzserver verschlüsselt übertragen werden, so müssen beispielsweise die Audiopakete vom Konferenzserver (in der Cloud) entschlüsselt werden, um gemischt werden zu können, um anschließend wieder ver¬ schlüsselt an die Clients gesendet werden zu können. D.h. volle „Ende zu Ende Vertraulichkeit" ist oft nicht gegeben. Dadurch ist es ersichtlich, dass es aus Gründen der Ver¬ traulichkeit vorteilhaft sein kann, die Mediendaten lokal im LAN zu halten. Weitere Vorteile sind die signifikante Reduzierung der benötigten WAN Bandbreite, also der Band¬ breite zwischen Standort/Unternehmensnetz/Clients und dem Datacenter des Cloud Diensteanbieters der Webrtc Konfe¬ renzlösung .
Die Anwendung ist vorzugsweise eine Webrtc (Web Real-Time Control ) -Browseranwendung, also eine net zecht zeitgesteuerte Browseranwendung. Es kann somit auf dem Vorhandensein der Webrtc-Technologie aufgebaut werden. Das eine vorbestimmte Endgerät des zumindest einen Endgeräts muss lediglich mit einem geeigneten Anwendungs-Plug-In ausgestattet werden. Ein Anwendungs-Plug-In ist hier nicht mit Browser-Plug-In zu verwechseln, denn Webrtc Browser (z.B. Google Chrome®, oder Mozilla Firefox®, etc.) benötigen per Definition in der W3C Webrtc Standardisierung (World Wide Web Consortium) keine Browser-Plug-ins, zumindest nicht für die Basis Webrtc Funktionalität.
In einer Variante empfängt das eine des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von allen anderen Endgeräten und mischt diese oder unterzieht diese einer Auswahl. Es wird somit die gesamte Konferenz prinzipiell von dem vorbestimmten einen ersten Endgerät im Hinblick auf Nutzdatenströme unterstützt. Weiter vorzugsweise ist hierbei vorgesehen, dass alle Audio- und/oder Videodatenströme ausschließlich über das vorbestimmte erste Endgerät laufen, dass also keine parallelen Nutzdatenströme mehr vorgesehen sind. Auf diese Weise kann die Sicherheit bei geeigneter Lage der Clients bzw. deren Browser in einem geschlossenen Netz (beispielsweise dem Unternehmensnetz) gewährleistet werden.
Bei der zweiten Variante empfängt das eine des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von nur einer Teilgruppe der anderen Endgeräte und mischt diese oder unterzieht diese einer Auswahl. In diesem Falle kann beispielsweise eine Nebenkonferenz geführt werden: Diejenigen Teilnehmer, die an Endgeräten innerhalb eines Unternehmensnetzes sitzen, können gesondert kommunizieren, um sich beispielsweise im Hinblick auf ihr Verhalten gegenüber einem Teilnehmer außerhalb des
Unternehmensnetzes, mit dem verhandelt wird, abzusprechen. Auch hier bleiben dann die sicherheitsrelevanten Daten innerhalb des geschlossenen Netzes, also des Unternehmensnetzes .
Somit ist bevorzugt vorgesehen, dass das vorbestimmte Kriterium, bei dessen Erfülltsein die zentrale Konferenz¬ steuereinrichtung überhaupt erst das vorbestimmte Endgerät des zumindest einen ersten Endgeräts zum Empfangen und Mischen/Auswahltreffen bringt, beinhaltet, dass diejenigen anderen Endgeräte, von denen Audio- und/oder Videodatenströme empfangen werden, in einem gemeinsamen Lokalbereichsnetzwerk, LAN, Local Area Network, miteinander gekoppelt sind.
Bei einer bevorzugten Ausführungsform der Erfindung muss sich jedes Endgerät zur Teilnahme an der Konferenz bei der zentralen Konferenzsteuereinrichtung anmelden. Das vorbestimmte Endgerät übermittelt (bei einer solchen Anmeldung) oder übermittelte (bei einer früheren Erstanmeldung) an die zentrale Konferenzsteuereinrichtung die Information, dass es in der Lage ist, Audio- und/oder Videodatenströme zu empfangen und a) zu mischen und b) einer Auswahl zu unterziehen, und dass das vorbestimmte Kriterium beinhaltet, dass eine solche Information übermittelt wurde. Auf diese Weise kann die zentrale Konferenzsteuereinrichtung generell ausgelegt sein, ihrerseits die Nutzdatenströme zu mischen oder einer Selektion zu unterziehen. Nur, wenn das eine Endgerät mit dem entsprechend eingerichteten Browser meldet, dass es über eine geeignete Browsererweiterung verfügt, um selbst die Konferenz zu führen, wird diese Aufgabe an den entsprechenden Browser übertragen.
In einem anderen Aspekt der Erfindung wird ein Computerprogrammprodukt zum Bereitstellen oder Erweitern (letzteres in Form eines Plug-ins) einer Anwendung, insbesondere Browseranwendung auf einer ersten Datenverarbeitungseinrichtung bereitgestellt. Dieses
Computerprogrammprodukt ist ausgelegt, der ersten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, Audio- und/oder Videodaten von zumindest einer zweiten Datenverarbeitungseinrichtung zu empfangen und einerseits von der zweiten empfangene und andererseits von der ersten Datenverarbeitungseinrichtung bereitgestellte und/oder einer anderen zweiten Datenverarbeitungseinrichtung empfangene Audio- und/oder Videodaten zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an die zumindest eine zweite Datenverarbeitungseinrichtung weiterzuleiten. Dieses Computerprogrammprodukt sorgt somit für das Laufen eines Browsers, welcher die oben beschriebenen Eigenschaften aufweist, d. h. der zentralen
Konferenzsteuereinrichtung die Aufgabe des Mischens und/oder Vornehmens einer Auswahl aus den Audio- und/oder Videodaten abzunehmen. Insbesondere kann die
Browseranwendung durch das Computerprodukt in die Lage versetzt werden, die eingängliche Meldung an die zentrale Konferenzsteuereinrichtung zu geben, dass die Konferenzfähigkeit des Browsers gegeben ist.
In einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt zum Bereitstellen oder Erweitern (in Form eines Plug-in) einer Anwendung, insbesondere Browseranwendung, auf einer zweiten
Datenverarbeitungseinrichtung bereitgestellt, das ausgelegt ist, der zweiten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, Steuersignale mit einer zentralen Datenverarbeitungseinrichtung auszutauschen und Audio- und/oder Videosignale an eine erste
Datenverarbeitungseinrichtung außerhalb der zentralen Datenverarbeitungseinrichtung zu übermitteln. Dieses Computerprogrammprodukt erlaubt es den selbst nicht konferenzfähigen Browseranwendungen, die konferenzfähige Browseranwendung unter Steuerung der zentralen Datenverarbeitungseinrichtung zu nutzen.
Die Erfindung stellt in noch einem weiteren Aspekt ein Computerprogrammprodukt bereit, welches zum Bereitstellen oder Erweitern (in Form eines Plug-in) eine Anwendung, insbesondere Konferenzschaltungsanwendung, auf einer dritten Datenverarbeitungseinrichtung dient, das ausgelegt ist, der dritten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, eine Information von einer ersten Datenverarbeitungseinrichtung zu erhalten, welche aussagt, dass diese erste Datenverarbeitungseinrichtung in der Lage ist Audio- und/oder Videodaten von zweiten
Datenverarbeitungseinrichtungen zu empfangen und zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an weitere Datenverarbeitungseinrichtungen weiterzuleiten, wobei die dritte Datenverarbeitungseinrichtung bei Erhalt einer solchen Information die Aufgabe eines solchen Mischens und/oder einer Auswahl Unterziehens an die erste Datenverarbeitungseinrichtung, welche die Information übersandt hat, überträgt.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezug auf die Zeichnung näher beschrieben, in der
FIG. 1 eine Anordnung zum Führen einer Konferenz veranschaulicht, die ein Verfahren gemäß dem Stand der Technik umsetzt,
FIG. 2 eine Anordnung zum Führen einer Konferenz veranschaulicht, die das erfindungsgemäße Verfahren umsetzt,
FIG. 3 Details zu dem bei dem erfindungsgemäßen
Verfahren verwendeten konferenzfähigen Webrtc- Browser und dem Datenfluss von und zu diesem Browser veranschaulicht, FIG. 4 einen Flussablauf des Austausche von Nachrichten gemäß dem erfindungsgemäßen Verfahren zeigt.
Bei dem anhand von FIG. 2 veranschaulichten erfindungsgemäßen Verfahren wird anstelle eines normalen Webrtc-Browsers ein solcher Webrtc-Browser EP 1K mit einer Konferenzfähigkeit (Konferenz-Ressource) bereitgestellt. Diese Konferenz-Ressource wird durch eine zentrale Anwendung (Konferenzsteuer-Applikation) gesteuert, die sich auf das Cloud-Webrtc bezieht. Im Unternehmensnetz 10 befinden sich weitere Browser EP 2 und EP 3. In einer Cloud (Datacenter) 12 befindet sich die Konferenzsteuer- Applikation K-A. Wie auch im Stand der Technik gibt es Signalisierungspfade 14 zwischen den einzelnen Browsern EP 1K, EP 2 und EP 3 zu der Konferenz-Applikation K-A. Diese Signalisierungspfade werden jedoch nicht durch entsprechende Nutzdatenpfade außerhalb des
Unternehmensnetzes ergänzt. Insbesondere gibt es keinen MediaServer MS bzw. wird für das beschriebene Szenario kein zentraler MediaServer benötigt. Stattdessen übernimmt der Browser EP 1K die Rolle eines MediaServers oder MediaNodes, und die Nutzdatenströme (Audio- und/oder Videodaten) werden über Signalpfade 20 von den einzelnen weiteren Browsern EP 2 und EP 3 an den konferenzfähigen Browser EP 1K übermittelt, dort gemischt und über dieselben Pfade in gemischter Form wieder zurückgesandt. Alternativ zum Mischen oder zusätzlich kann vorgesehen sein, dass seitens des konferenzfähigen Browsers EP 1K eine Selektion erfolgt, dass beispielsweise immer dann, wenn ein Teilnehmer gerade spricht, dessen Bild auf den Browsern dargestellt wird, und sonst nicht. Der Vorteil des Vorgehens gemäß FIG. 2 besteht darin, dass die Nutzdatenströme innerhalb des Unternehmensnetzes 10 bleiben. Es ist daher für eine höhere Datensicherheit gesorgt. Des Weiteren wird weniger Band¬ breite zwischen Unternehmensnetz 10 und Cloud-Datacenter 12 benötigt . Der Aufbau des konferenzfähigen Browsers EP 1K ist nachfolgend unter Bezug auf FIG. 3 näher erläutert.
Zunächst verfügt er über eine Client-Applikation, zum Beispiel eine JavaScript-Client-Applikation 22, die ihm die Fähigkeit zur Kommunikation mit der zentralen Konferenz¬ steuer-Applikation K-A verleiht. Er kann daher die Rolle eines Clients einnehmen. Als Plug-in oder eingebaut in die Client-Applikation ist eine Konferenz-Client-Applikation 24 vorgesehen, etwa auch in JavaScript, die dem Client die Fähigkeit verleiht zu signalisieren, dass er konferenzfähig ist. Während die Client-Applikation 22 generell ein Webrtc- Client-Signaling mit der Konferenz-Applikation K-A verantwortet (siehe Bezugszeichen „SC" „Signaling Client") , verantwortet die weitere Applikation 24, dass eine zusätzliche Signalisierung des Konferenz-Clients erfolgt („Signalisierung Konferenz-Client", SKC) , welche beispiels¬ weise auch die Konferenzschaltbefehle der zentralen Konfe¬ renzsteuereinrichtung entgegennimmt (Rolle MediaServer im EPIK) .
Der Browser 25 umfasst eine Webschnittstelle, insbesondere eine net zecht zeitgesteuerte Schnittstelle 26, auf Englisch: Webrtc API, Web Real-Time Control Application Programming Interface. Er umfasst eine Einheit zum Verwalten der Sitzung und der Konferenz („Session Management and Conference Management") 28. Ferner benötigt er zum Kodieren und Dekodieren eine entsprechende Stimmeinheit 30 („Voice Engine" mit entsprechenden Codecs) und dasselbe für Videodaten in der Einheit 32 („Video Engine" mit entsprechenden Codecs) . Beispielhafte Codecs sind G.711, Opus, H.264, VP8 etc. Außerdem gibt es eine Einheit 34 zum Mischen bzw. zum Schalten (Auswählen, Weiterleiten) . Die Übertragungsschnittstelle (Transportschnittstelle) 36 sorgt für die Weiterleitung der Daten, und zu den weiteren Browsern EP 2 und EP 3 hin gibt es eine Client /Browser OS- Schnittstelle .
Die Browser EP 2 und EP 3, wobei EP für „end point" also Telekommunikationsteilnehmer, steht, tauschen mit der Konferenz-Applikation K-A ebenfalls entsprechende Signale SC aus. Durch die Signalisierung SKC entscheidet die Konferenz-Applikation, dass der Browser EP 1K die Konferenz medienmäßig führen soll. In Reaktion darauf übersenden die Browser EP 2 und EP 3 ihre Nutzdaten N2 und N3 an die Einheit 34, wo diese Nutzdaten N2 und N3 mit entsprechenden, von den Einheiten 30 und 32 erzeugten Nutzdaten Nl gemischt werden oder einer Auswahl unterzogen werden, wobei die gemischten Daten als Daten M2 und M3 zurückgesendet werden bzw. die ausgewählten („geswitchten" ) Daten als SW2 und SW3 zurückgesendet werden. Der in FIG. 2 gezeigte Signalpfad 20 ist hier in die beiden Pfade 20a für die Richtung zur Einheit 34 hin und 20b für die Richtung von der Einheit 34 zu den Browsern EP 2 und EP 3 weg aufgeteilt .
Im Einzelnen kann der Austausch von Daten wie nachfolgend erläutert durchgeführt werden:
Die FIG. 4 zeigt die entsprechenden Signale: Zunächst wird in einem Schritt S 10 durch den Browser EP 1K die Anfrage an die Konferenzsteuerapplikation K-A gesendet, dem Konferenzraum beizutreten bzw. diesen zu starten (siehe „EP 1K JoinRequest") in FIG. 4. Teil des Inhalts der Signa- lisierung in Schritt S10 ist beispielsweise die Client EP 1 IP Adresse und Port, die unterstützten Codecs sowie weitere konferenzbezogene Fähigkeiten des Clients 1 (engl. „Con- fCaps" = Konference Capabilit ies ) . Die Konferenzapplikat ion K-A erkennt aufgrund der Signalisierung, dass der Cli- ent/Browser EP 1K die Fähigkeit besitzt, lokale Browserkon¬ ferenzen zu unterstützen, inklusive Konferenz- Detailfähigkeiten. Zu den signalisierten Konferenz- Detailfähigkeiten (engl. ConfCaps) gehören beispielsweise: 1) Konferenzart (Audiokonferenz, Videokonferenz, Screen Share Konferenz (meist Video), 2) Konferenztyp (Konferenz Mischen, Selective Forwarding Unit, ..), Unterstütze Codecs (G.711, OPUS, H.264, VP 8 , VP 9 , .. ) , Conference Credentials (zur Authent icat ion) .
In dem nächsten Schritt S 12 fragt die Konferenz- Applikation K-A beim Browser EP 1K (in dessen Rolle als „MediaNode") an, eine entsprechende Media Resource im EP 1K zur Verfügung zu stellen (siehe „Conf Create Request" in FIG. 4) . Die IP Adresse und Port des Clients 1 werden in Schritt S12 an die Browser Media Resource mit signalisiert . Der Browser EP 1K antwortet (in seiner Rolle als „MediaSer- ver") in Schritt S 14 mit der Bestätigung, dass er die ge¬ wünschte (n) Media Resource (n) zur Verfügung gestellt hat und signalisiert im Rahmen von Schritt S14 die IP Adresse / Port der Webrtc Browser Konferenz Resource. Siehe hierzu in FIG. 4 den Befehl „Conf Create Confirm", der beinhaltet, dass eine Information an die Konferenz-Applikation K-A gesandt wird, dass der Browser EP 1K die Media Resource ge- startet hat bzw. die Konferenz-Ressourcen vorzuhalten. Im Schritt S 16 bestätigt sodann die Konferenzsteuer- Applikation K-A dem Browser EP 1K (in seiner Rolle als „Client / Webrtc Browser") , dass eine Media Resource erzeugt wurde und der Client EP 1K an diese Media Resource senden kann („EP 1K Join Confirm") . Damit ist wie in Schritt S 18 dargestellt, der Anwendungskonferenzraum aktiv, mit einem Teilnehmer (EP 1K) in der Konferenz und der Möglichkeit des Beitritts durch weitere Webrtc-Browser geschaffen.
Im Schritt S 20 fragt der Browser EP 2 an, ob er der Konferenz beitreten kann („EP 2 Join Request") . Der Browser EP Kl (in seiner Rolle als „MediaServer" ) erhält dann in Schritt S 22 den Auftrag von der Konferenzsteuereinrich¬ tung, den EP2 in die Konferenz zu schalten (Conf Add Requ¬ est) und bestätigt dies seinerseits in Schritt S 24 („Conf Add Confirm") . Daraufhin sendet die Konferenzapplikat ion K- A in Schritt S 26 die Bestätigung an den Browser EP 2, dass der Konferenz mit EP 1K beigetreten wurde. In Analogie zu den Schritten S10, S12, S14, S16 hinsichtlich Austausch der IP und Port Empfangsadressen zwischen Client EP 1K und der Konferenz-Resource (in Client EP 1K) , werden die Empfangs IP-Adressen und -Ports in den Schritten S20, S22, S24 und S26 auch zwischen EP2 und der Conference-Resource (im EP 1K) ausgetauscht.
Entsprechende Schritte S 28, S 30, S 32 und S 34 erfolgen auch beim dritten Browser EP 3. Nach Abschluss der Schritte S 26 bzw. S 34 senden sodann die Browser EP 2 und EP 3 ihre Audio- und Videodaten in den Schritten S 36 und S 38 an die Konferenz-Resource des Browsers EP 1K. Durch den Pfeil S 40 ist veranschaulicht, dass der Browser EP 1K intern (in sei- ner Rolle als Client) selbst seine eigenen Audio- und Videodaten, die mit dem zugeordneten Mikrofon bzw. der zugeordneten Kamera aufgenommen wurden, zum Mischen beiträgt. Der Client EP 1K muss dabei seine lokal erzeigten Mediendaten nicht über das LAN Interface (IP Adresse) an die Medien-Resource des selbigen EP 1K senden, sondern kann dies Browser-intern durchführen. Im Schritt des Mischens S 42 werden die erhaltenen Nutzdaten so gemischt, dass dann entsprechende Daten in den Schritten S 44 am Browser EP 1K selbst ausgegeben werden kann bzw. in den Schritten S 46 und S 48 an die Browser EP 2 und EP 3 übermittelt werden können und dort ausgegeben werden können.
Die in den Figuren bisher gezeigten Browser sind allesamt Konferenzteilnehmer. Die Erfindung ist auch dann anwendbar, wenn bereits eine Konferenz besteht und nur eine Untergruppe in einem Unternehmensnetz eine Nebenkonferenz führen möchte. In diesem Fall benötigt der beantragende U- ser entsprechende Berechtigung und (GUI) Bedienungselemente an seinem Browser Client (z.B. „Split local Conference"), verbunden mit entsprechenden Payload Re- konfigurat ionsaufträgen gesendet über die zentrale Konfe¬ renzsteuer-Applikation .

Claims

Patentansprüche
1. Verfahren zum Führen einer Audio- und/oder Videokonfe¬ renz, bei der eine Mehrzahl von Endgeräten (EP 1K, EP 2, EP 3) über ein Datennetz (14) mit einer zentralen Konferenz¬ steuereinrichtung (K-A) gekoppelt ist, wobei zumindest ein erstes (EP 1K) der Endgeräte (EP 1K, EP 2, EP 3) eine Da¬ tenverarbeitungseinrichtung umfasst, welche durch Betrieb einer Anwendung (24, 34), insbesondere einer Browser- Anwendung (34), das Endgerät (EP 1K) in die Lage versetzt, an der Konferenz teilzunehmen, dadurch gekennzeichnet, dass ein (EP 1K) des zumindest einen ersten Endgeräts aufgrund von Steuerbefehlen durch die zentrale Konferenzsteuerein¬ richtung (K-A) zumindest bei Erfülltsein eines vorbestimm- ten Kriteriums Audio- und/oder Videodatenströme von anderen Endgeräten (EP 2, EP 3) empfängt und mittels der Anwendung (34), insbesondere Browser-Anwendung,
(a) mischt und in gemischter Form an die anderen Endgeräte zurückgibt, und/oder
(b) eine Auswahl der empfangenen Audio- und/oder Videodaten an die anderen Endgeräte weitergibt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anwendung eine net zecht zeitgesteuerte, Webrtc, Web Real-Time Control, Browser-Anwendung (34) ist.
3. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeich¬ net, dass das vorbestimmte Endgerät (EP 1K) des zumindest einen Endgeräts (EP 1K, EP 2, EP 3) Audio- und/oder Video- ströme von allen anderen Endgeräten (EP 2, EP 3) empfängt und mischt und/oder einer Auswahl unterzieht.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass alle Audio- und/oder Videodatenströme ausschließlich über das vorbestimmte Endgerät (EP 1K) des zumindest einen ersten Endgerätes (EP 1K, EP 2, EP 3) laufen.
5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich¬ net, dass das vorbestimmte Endgerät des zumindest einen ersten Endgeräts Audio- und/oder Videodatenströme von nur einer Teilgruppe der anderen Endgeräte empfängt und mischt und/oder einer Auswahl unterzieht.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass das vorbestimmte Kriterium beinhaltet, dass diejenigen anderen Endgeräte, von denen Audio- und/oder Nutzdatenströme empfangen werden, in einem gemein¬ samen Lokalbereichsnetzwerk (10), LAN, Local Area Network, miteinander gekoppelt sind.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich jedes Endgerät (EP 1K, EP
2, EP 3) zur Teilnahme an der Konferenz bei der zentralen Konferenzsteuereinrichtung (K-A) anmelden muss (S 10, S 20, S 28) und dass das vorbestimmte Endgerät (EP 1K) des zumin¬ dest einen Endgeräts (EP 1K, EP 2, EP 3) an die zentrale Konferenzsteuereinrichtung (K-A) die Information übermit¬ telt, dass es in der Lage ist, Audio- und/oder Videodaten¬ ströme zu empfangen und
(a) zu mischen und/oder (b) einer Auswahl zu unterziehen und dass das vorbestimmte Kriterium beinhaltet, dass eine solche Information übermittelt wurde.
8. Computerprogrammprodukt zum Bereitstellen und Erwei¬ tern einer Anwendung, insbesondere Browser-Anwendung, auf einer ersten Datenverarbeitungseinrichtung (EP 1K) , das ausgelegt ist:
- der ersten Datenverarbeitungseinrichtung (EP 1K) die Fä¬ higkeit zu verleihen, Audio- und/oder Videodaten von einer oder mehreren zweiten Datenverarbeitungseinrichtungen (EP 2, EP 3) zu empfangen und einerseits von der zweiten Daten¬ verarbeitungseinrichtung empfangene und andererseits von der ersten Datenverarbeitungseinrichtung bereitgestellte und/oder einer anderen zweiten Datenverarbeitungseinrich¬ tung empfangene Audio- und/oder Videodaten zu mischen und/oder einer Auswahl zu unterziehen und die gemischten und/oder ausgewählten Audio- und/oder Videodaten an die zu- mindest eine zweite Datenverarbeitungseinrichtung (EP 2, EP 3) weiterzuleiten .
9. Computerprogrammprodukt zum Bereitstellen und Erwei¬ tern einer Anwendung, insbesondere Browser-Anwendung, auf einer zweiten Datenverarbeitungseinrichtung, das ausgelegt ist :
- der zweiten Datenverarbeitungseinrichtung (EP 2, EP 3) die Fähigkeit zu verleihen, Steuersignale mit einer zentra¬ len Datenverarbeitungseinrichtung (K-A) auszutauschen und Audio- und/oder Videosignale an eine erste Datenverarbei¬ tungseinrichtung (EP 1K) außerhalb der zentralen Datenver¬ arbeitungseinrichtung (K-A) zu übermitteln.
10. Computerprogrammprodukt zum Bereitstellen und Erwei- tern einer Anwendung, insbesondere Konferenzschaltungsan¬ wendung, auf einer dritten Datenverarbeitungseinrichtung, das ausgelegt ist: - der dritten Datenverarbeitungseinrichtung die Fähigkeit zu verleihen, von einer ersten Datenverarbeitungseinrich¬ tung (EP 1K) eine Information zu erhalten, die aussagt, dass diese erste Datenverarbeitungseinrichtung Audio- und/oder Videodaten von zweiten Datenverarbeitungseinrich¬ tungen (EP2, EP3) zu empfangen und mischen und/oder einer Auswahl unterziehen kann und die gemischten und/oder ausge¬ wählten Audio- und/oder Videodaten an die zumindest eine zweite Datenverarbeitungseinrichtung (EP2, EP3) weiterzu- leiten, wobei die dritte Datenverarbeitungseinrichtung (K- A) bei Erhalt einer solchen Information die Aufgabe eines solchen Mischens und/oder einer Auswahl Unterziehens an die erste Datenverarbeitungseinrichtung (EP 1K) überträgt.
EP18718136.7A 2017-04-13 2018-04-12 Verfahren zum führen einer audio- und/oder videokonferenz Ceased EP3610642A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017108017.1A DE102017108017A1 (de) 2017-04-13 2017-04-13 Verfahren zum Führen einer Audio- und/oder Videokonferenz
PCT/EP2018/059464 WO2018189337A1 (de) 2017-04-13 2018-04-12 Verfahren zum führen einer audio- und/oder videokonferenz

Publications (1)

Publication Number Publication Date
EP3610642A1 true EP3610642A1 (de) 2020-02-19

Family

ID=62002129

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18718136.7A Ceased EP3610642A1 (de) 2017-04-13 2018-04-12 Verfahren zum führen einer audio- und/oder videokonferenz

Country Status (5)

Country Link
US (2) US11444821B2 (de)
EP (1) EP3610642A1 (de)
CN (1) CN110546947A (de)
DE (1) DE102017108017A1 (de)
WO (1) WO2018189337A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201918314D0 (en) * 2019-12-12 2020-01-29 Issured Ltd MEA: connexus - a platform agnostic video interview platform that uses blockchain for retention of evidential integrity

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HU186472B (en) 1982-02-12 1985-08-28 Lajos Oroszlany Electric thermometer, in particular for the blinds and men of defective vision
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
US6418214B1 (en) * 1996-09-25 2002-07-09 British Telecommunications Public Limited Company Network-based conference system
DE19717167A1 (de) * 1997-04-23 1998-10-29 Ibm Webbrowser-basiertes Konferenzsystem
CN100393092C (zh) 1998-11-16 2008-06-04 西门子公司 使多点连接成为可能的电话多媒体终端机
EP1014666A1 (de) 1998-12-21 2000-06-28 Siemens Aktiengesellschaft Verfahren zum Realisieren von Multipunktverbindungen zwischen mehreren Endgeräten eines H.323-Datenkommunikationsnetzes
US6782413B1 (en) 2000-02-11 2004-08-24 Microsoft Corporation Distributed conference bridge
US7653013B1 (en) * 2000-06-01 2010-01-26 Nortel Networks Limited Conferencing systems with enhanced capabilities
NO20013497D0 (no) * 2001-07-13 2001-07-13 Ericsson Telefon Ab L M Dynamisk distribuering av deltagere i sentraliserte IP- telefonkonferanser
US7701882B2 (en) * 2003-02-10 2010-04-20 Intercall, Inc. Systems and methods for collaborative communication
US7899170B2 (en) 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US20060294186A1 (en) * 2005-06-27 2006-12-28 Samsung Electronics Co., Ltd. System and method for enriched multimedia conference services in a telecommunications network
US8817668B2 (en) 2006-09-15 2014-08-26 Microsoft Corporation Distributable, scalable, pluggable conferencing architecture
US8885010B2 (en) * 2010-03-04 2014-11-11 Telefonica, S.A. Multipoint conference method that does not use a server
US8395654B2 (en) * 2011-01-03 2013-03-12 Alcatel Lucent Offload of server-based videoconference to client-based video conference
US20140122600A1 (en) 2012-10-26 2014-05-01 Foundation Of Soongsil University-Industry Cooperation Conference server in a system for providing a conference service in rtcweb
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
US20150161087A1 (en) * 2013-12-09 2015-06-11 Justin Khoo System and method for dynamic imagery link synchronization and simulating rendering and behavior of content across a multi-client platform
CN104917620A (zh) 2014-03-10 2015-09-16 华为技术有限公司 一种对等网络会议接入方法、客户端及系统
US9549152B1 (en) * 2014-06-09 2017-01-17 Google Inc. Application content delivery to multiple computing environments using existing video conferencing solutions
DE102014012355A1 (de) * 2014-08-25 2016-02-25 Unify Gmbh & Co. Kg Verfahren zur Steuerung einer Multimedia-Anwendung, Softwareprodukt und Vorrichtung
US20160112472A1 (en) * 2014-10-21 2016-04-21 Avaya Inc. System and method for managing communication sessions
US9917746B2 (en) * 2014-11-04 2018-03-13 Futurewei Technologies, Inc. Adaptive allocation of server resources
US20170359187A1 (en) * 2016-06-13 2017-12-14 Logmein, Inc. Scalable real-time videoconferencing over WebRTC

Also Published As

Publication number Publication date
WO2018189337A1 (de) 2018-10-18
US11444821B2 (en) 2022-09-13
US20210120051A1 (en) 2021-04-22
CN110546947A (zh) 2019-12-06
US20220391452A1 (en) 2022-12-08
DE102017108017A1 (de) 2018-10-18

Similar Documents

Publication Publication Date Title
DE60038516T2 (de) Verfahren und System zum Bandbreitenreduktion von Multimedien-Konferenzen
DE102004053597B4 (de) Verfahren zum automatischen Erzeugen und/oder Steuern einer Telekommunikations-Konferenz mit einer Vielzahl von Teilnehmern, Telekommunikations-Konferenz-Endgerät und Telekommunikations-Konferenz-Servereinrichtung
DE60132387T2 (de) Richtlinien-Koordination in einem Kommunikationsnetz
DE102005002803B3 (de) Kommunikationssystem mit einer Konferenz-Servereinrichtung, einer Konferenz-Steuereinheit, mehreren Moderator-Einheiten, mehreren Telekommunikations-Einrichtungen und einem Verfahren zum Steuern einer Konferenz
DE112006001922T5 (de) Verfahren und Vorrichtung zur Vergabe von Zugangsberechtigungen ("Floor-Control") in einem Kommunikationssystem
WO2006108379A1 (de) Verfahren zum bilden einer gemeinsamen kommunikationssitzung, verfahren zum bilden einer ersten kommunikationssitzung und einer zweiten kommunikationssitzung aus einer gemeinsamen kommunikationssitzung und kommunikationssitzungs-steuerungs-server
DE102007056725A1 (de) Verfahren zum bedingten Aufbauen einer Telekommunikationskonferenzsitzung, Telekommunikationskonferenz-Anordnung, und Telekommunikationskonferenzsitzungs-Server
DE102006021375B4 (de) Verfahren zum Aufbau einer Push-to-talk-Kommunikationsverbindung
DE102005049077B4 (de) Verfahren zum Übertragen von Mediendaten, Kommunikationsnetzwerk-Einheit und Computerprogrammelement
DE102004063298B4 (de) Verfahren zum rechnergestützten Verwalten von Kommunikationsrechten zum Kommunizieren mittels mehrerer unterschiedlicher Kommunikationsmedien in einer Telekommunikations-Konferenz mit mehreren Telekommunikations-Einrichtungen
DE60312138T2 (de) Sichere fernsteuerung
EP3610642A1 (de) Verfahren zum führen einer audio- und/oder videokonferenz
DE102007058948A1 (de) Verfahren zum Ermitteln von mindestens einem Teilnehmergerät für eine Telekommunikationskonferenzsitzung, Telekommunikationskonferenz-Anordnung, und Telekommunikationskonferenzsitzungs-Server
EP3016341A1 (de) Verfahren und Anordnung zur effizienten Gestaltung von Web basierten Kommunikationsdiensten
DE102010021770B9 (de) Verfahren und Vorrichtung zum Anfordern einer Medien-Replikation in einer kollaborativen Kommunikationssitzung und Verfahren und Vorrichtung zum Zuweisen eines Kommunikations-Mediums einer kollaborativen Kommunikationssitzung
DE102008029142B3 (de) Verfahren zur Ermittlung aktiver Kommunikationssitzungen und Kommunikationssitzungs-Informationsserver
DE102005043006B4 (de) Kommunikationssystem, Kommunikationssitzungs-Server-Einheit, Medienverteilungs-Einheit und Verfahren zum Übertragen von Daten im Rahmen einer Kommunikationssitzung
EP1001596B1 (de) Multimedia-Endgerät für Telefonie zum Ermöglichen von Multipunktverbindungen
DE60320099T2 (de) Vorrichtung und verfahren zum verteilen von gestreamten echtzeit-informationen zwischen clients
EP3016344B1 (de) Intelligenter media-gateway switch für transparentes routen und verketten von medienströmen
DE102022119070B3 (de) Medienwiedergabevorrichtung, Verfahren zum Betreiben einer Medienwiedergabevorrichtung und Fahrzeug
DE102017110431A1 (de) Verfahren zum Übertragen von Informationen
DE102007009135B4 (de) Verteilte Konferenz über Verbindung zwischen PBX und Konferenzbrücke
EP3959850B1 (de) Verfahren zum bereitstellen von verbindungsherstellungsdaten sowie anordnung mit einer mehrzahl von kommunikationsservern und einem vermittler
DE102010017925A1 (de) Verfahren und Vorrichtung zum Zuweisen einer Kontroll-Rolle einer kollaborativen Kommunikationssitzung und Verfahren und Vorrichtung zum Anfordern einer Kontroll-Rolle einer kollaborativen Kommunikationssitzung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201021

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY PATENTE GMBH & CO. KG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20220225