DE102022000776A1

DE102022000776A1 - Virtuelle akustische Zuschauerkulisse

Info

Publication number: DE102022000776A1
Application number: DE102022000776.2A
Authority: DE
Inventors: Stephan Schneider
Original assignee: Reelway GmbH
Current assignee: Reelway GmbH
Priority date: 2021-09-08
Filing date: 2022-03-01
Publication date: 2023-03-09

Abstract

2. Kurzfassung
2.1 Technisches Problem der Erfindung = technische Aufgabe und Zielsetzung Zuschauer und Zuhörer eines live übertragenen oder aufgezeichneten Ereignisses können derzeit weder untereinander noch mit den Akteuren eines Live-Ereignisses in direkter Weise interagieren. Den Akteuren wie den Zuschauern oder Zuhörern können die Zuschauerkulisse eines Sportstadions oder einer Konzerthalle nicht erleben.
2.2 Lösung des Problems bzw. der technischen Aufgabe
Die Zuhörer oder Zuschauer können sich während der Übertragung eines Ereignisses direkt akustisch äußern. Die Äußerungen aller Zuschauer oder Zuhörer werden in Echtzeit durch einen individuellen akustischen Eigenschaftsvektor bewertet und zu einem mehrkanaligen Summensignal zusammenaddiert. Zusätzlich können Operatoren akustisches Material einspielen oder Einfluss auf das Summensignal nehmen. Dieses Summensignal wird an die Zuschauer und Zuhörer zurück übertragen und lässt sie eine virtuelle Zuschauerkulisse erleben. Bei einem live produzierten oder aufgeführten Ereignis kann das Summensignal zusätzlich den Akteuren präsentiert werden, so dass auch diese eine virtuelle Zuschauerkulisse erleben können.
2.3 Anwendungsgebiet
Die Erfindung lässt sich bei allen durch elektronische oder digitale Medien live übertragenen oder aufgezeichneten und synchron verbreiteten Ereignissen wie Sport-, Musik- oder Kulturveranstaltungen sowie Gottesdienste und Messen anwenden.

Description

1 Einteilung
Die Erfindung betrifft den Bereich des digitalen Nachrichten-, Unterhaltungs- und Erziehungswesens und realisiert eine erweiterte Interaktionsmöglichkeiten sowie ein besonderes akustisches Erlebnis sowohl für die zuschauenden und zuhörenden Personen als auch für die agierenden Künstler:innen oder Sportler:innen.
Die Erfindung erzeugt einen digitalen Datenstrom bestehend aus digitalen Audiosignalen, welche aus den live gesendeten Äußerungen einer Vielheit von Zuschauern eines Live- oder aufgezeichneten Ereignisses gebildet und als akustische Simulation eines physisch vorhandenen oder bloß simulierten akustischen Raumes und als simuliertes akustisches Live-Erlebnis an die Zuschauer und an die Akteure des Live-Ereignisses zurück gesendet wird.
2 Stand der Technik
In der Vergangenheit wurden vielfache Anstrengungen unternommen, die Zuschauer einer Livesendung mit in das Geschehen einzubeziehen. Die ersten Ansätze in dieser Richtung setzten auf das (Festnetz-)Telefon als zweiten Kommunikations(rück)kanal. Eine der beliebtesten Sendungen mit diesem Ansatz war das Wunschkonzert „Vom Telefon zum Mikrophon“, das der damalige Südwestfunk in den achtziger Jahren ausstrahlte.
Um das Jahr 2010 wurde begonnen, den Zuschauern mit dem Konzept des „Second Screen“, also mit Hilfe eines zweiten internetfähigen Gerätes, Werbung oder zusätzliche Informationen zur Sendung anzubieten, wie zum Beispiel statistische Daten wie Trefferquote zu den Spielern eines Fußball- oder Basketballspiels. Über sozialen Netzwerke können die Zuschauer:innen während der Sendung Kommentare abzugeben oder die Sendung und ihre Akteure zu bewerten. Manche Sendungen bauen dieses Feedback in das Sendungskonzept ein, indem z.B. Experten in der Sendung Zuschauerfragen beantworten, die über soziale Netzwerke gestellt wurden.
Viele Streaming-Dienste und -Plattformen haben Chatfunktionen integriert, so dass die Zuschauer während einer Livesendung Textkommentare und Symbole („emoticons“) eingeben und veröffentlichen können. Dabei können alle Teilnehmer die Kommentare der anderen lesen und ggf. weiter kommentieren.
Einen Schritt weiter geht die „myApplause^®“ App, die auf dem Smartphone des Zuschauers installiert wird und die sich in verschiedenen Event-Plattformen integrieren lässt: hier kann der Zuschauer:in oder Zuhörerin über die App den Künstlern auf der Bühne oder im Studio während einer Livesendung Kommentare, Rufen, Klatschen in Echtzeit zukommen lassen.
Zum alljährlichen Neujahrskonzert hat der ORF im Jahr 2021 den Zuhörern ermöglicht, über ihre Smartphones und über eine spezielle Applikation den Musikern im Saal Beifall zu spenden. Die Applikation hatte dazu das Klatschen der Zuschauer aufgenommen und an einen Verbund von mehreren Servern geschickt, die den Beifall zusammengeführt und mit 20 Lautsprechen im Konzertsaal ausgestrahlt haben.
Allen genannten Verfahren ist gemein, dass sie dem Zuschauer erlauben, akustisch oder mit Kommentaren oder Emoticons mit den Künstlern in Verbindung zu treten und Emotionen mit anderen Zuschauern zu teilen. Eine echte akustische Interaktion der Zuschauer sowohl untereinander als auch mit den Künstler:innen oder Sportler:innen fehlt hingegen.
3 Dokumente
Das Dokument: DE 10 2016 200 370 A1 von Ford Global Technologies, LLC, Dearborn, Mich., US, eingereicht am 14.01.2016, legt ein Verfahren offen, in dem Personen in einem Fahrzeug akustisch simuliert werden.
In dem Dokument: Vorländer, M., Auralization: fundamentals of acoustics, modelling, simulation, algorithms and acoustic virtual reality. Springer, 2008, sind Verfahren zur Modelling und Simulation akustischer Räume und zur Gewinnung der Impulsantworten beschrieben, darunter auch die Raytracing-Methode.
In dem Dokument Google Handbuch:

https://developers.google.com/web/fundamentals/media/recordingvideo#access_the_camera_interactively ist die Funktion getUserMedia() beschrieben.

4 Verbesserung durch die Erfindung
Die Erfindung holt den einzelne(n) Zuschauerin aus der Vereinsamung vor dem Video- oder Computerbildschirm und erzeugt eine virtuelle Stadion- oder Konzertsaalatmosphäre aus den akustischen Äußerungen aller Zuschauer:innen. Die Erfindung gibt ihm oder ihr die Möglichkeit, das Geschehen live mit anderen Zuschauern zu erleben und direkt mit anderen Zuschauern zu interagieren. Die akustische Simulation sorgt dabei für einen räumlichen Höreindruck. Die Zuschauer haben durch die Erfindung die Möglichkeit, aktiv, d.h. mit Rufen, Singen o.ä. und mit virtuellen oder physischen Musik- und Geräuschinstrumenten wie Hupen, Trommeln etc. am Geschehen teilzunehmen und eine echte Stadion- oder Konzertsaalatmosphäre zu erleben. Die Künstler:innen oder Sportler:innen erhalten auf ihre Aktionen und Darbietungen eine direkte akustische Antwort ihrer Zuschauer:innen und Zuhörerinnen.
Figurenliste
Die Erfindung wird im Folgenden zunächst als abstrakte technische Lösung, danach als praktisches Ausführungsbeispiel unter Bezugnahme auf Figuren näher erläutert. Hierbei zeigt

1 eine schematische Darstellung der abstrakten technischen Lösung.
2 zwei Beispiele für akustische Räume, (2.0) zeigt das Schema eines Fußballstadions, während (2.0a) einen Konzertsaal, jeweils mit beispielhaft eingezeichneten Positionen von Zuschauern und Zuhörern und (virtuellen) Mikrofonen.
3 eine schematische Darstellung eines praktischen Ausführungsbeispiels im Rahmen der Live-Übertragung eines Basketballspieles als Videostrom über das öffentliche Internet.

6 Technische Lösung
Im Folgenden ist die technische Lösung mit Hilfe der 1 beschrieben.
Der Zuschauer oder eine Mehrzahl von Zuschauern (1.1) nimmt wie gewohnt über ein Endgerät (1.2), sei es ein traditionelles Fernseh- oder Radiogerät oder ein computergestütztes Endgerät wie ein Laptop oder Tablet an dem Ereignis (1.4) durch ein oder mehrere Anzeigen von Bewegtbildern und durch ein ein- oder mehrkanaliges Tonsignal vermittels eines Übertragungssystems (1.3) teil.
Die Erfindung nimmt die akustischen Äußerungen des oder der Zuschauer mit einem Aufnahmegerät (1.5) in einem computergestützten Endgerät (1.6) auf, welches mit dem unter vorgenannten Endgerät (1.2) identisch sein kann, aber nicht muss, digitalisiert diese und verwandelt sie in einen Echtzeit-Strom von digitalen Daten.
Die digitalen Audiodaten werden im computergestützten Endgerät durch einen Filteralgorithmus (1.7) mit einem sog. „akustischen Eigenschaftsvektor“ bewertet, den das Endgerät zuvor über ein Datenfernübertragungsnetz von einem zentralen Server oder von einer Anordnung aus mehreren Servern (1.8) heruntergeladen hat.
Die Serveranordnung sucht den akustische Eigenschaftsvektor aus einer Datenbank (1.9) mit voraus berechneten Raumimpulsantwort heraus bzw. interpoliert den Eigenschaftsvektor aus benachbarten Raumimpulsantwort, wobei der virtuelle Ort des Zuschauers als Eingangsgröße dient.
Neben den oben beschriebenen akustischen Äußerungen, die von einem Mikrofon aufgezeichnet, haben die Zuschauer (1.1) zu jeder Zeit die Möglichkeit, synthetische oder aufgezeichnete Audiodaten (in der Zeichnung 1 symbolisiert durch das Horn 1.10) beliebiger zeitlicher Dauer in den in Abschnitt 4.2 erzeugten digitalen Datenstrom einzufügen.
Zusätzlich zu den Zuschauern senden Operatoren (1.11) zusätzliche synthetische oder aufgezeichnete Audiodaten über ihre computergestützten Endgeräte (1.6) an die Serveranordnung (1.12). Weiterhin senden die Operatoren (1.11) Kontrolldaten und Befehle über eine Kommandoschnittstelle (1.13) an die Serveranordnung (1.12).
Die digitalen Audiodatenströme der Zuschauer oder der Operatoren werden in Echtzeit an eine Serveranordnung (1.12) geschickt, welche alle Datenströme aufaddiert und wiederum mit einem akustischen Eigenschaftsvektor (1.13) bewertet.
Die bewerteten Zwischensummen der Server aus der Serveranordnung (1.12) werden in einem Computerserver (1.14) aufaddiert und mittels eines signalverarbeitenden Algorithmus (1.15) in ein mehrkanaliges Audiosignal (1.16) umgewandelt.
Das mehrkanalige Audiosignal (1.16) wird über ein Beschallungssystem (1.17) an das Ereignis (1.4) übertragen. Weiterhin wird das Audiosignal in die Übertragung des Ereignisses in (1.18) eingespeist sowie - alternativ oder zusätzlich über eine Serveranordnung (1.19) an die computergestützten Endgeräte (1.6) der Zuschauer (1.1) und Operatoren (1.11) mit Hilfe eines lokalen Beschallungssystems (1.21) zu Gehör gegeben.
7 Technische Lösungselemente für das Ausführungsbeispiel
Im Folgenden sind einige der Basistechnologien beschrieben und referenziert, die für das Ausführungsbeispiel der Erfindung im darauffolgenden Abschnitt verwendet werden. Zur Anschauung dient 2.
7.1 Medien- und Echtzeitübertragung im Internet
Für die Übertragung von Audio- und Videoströmen über das öffentliche Internet haben sich die RTSP (Real Time Streaming Protocol) und RTMP (Real Time Media Transport) Protokolle etabliert, die auf dem Real Time Protocol (RTP) basieren.
Um die Zuschauer über ein Datenfernübertragungsnetz wie beispielhaft das öffentliche Internet miteinander verbinden zu können, nutzt das Ausführungsbeispiel der Erfindung die Echtzeitübertragung über Internet wie sie beispielweise auch bei Video- und Audiokonferenzsystemen verwendet werden. Die dazu notwendigen Übertragungsprotokolle sind als WebRTC (Web Real-Time Communication, deutsch „Web-Echtzeitkommunikation“) standardisiert. RTP-Streaming-Protokolle können mit dem WebRTC-Standard interagieren.
Streaming- und WebRTC-Server
Software zum Streaming ist mittlerweile weit verbreitet und kostengünstig zu erhalten. Darüber hinaus können solche Server von allen größeren Cloud-Anbietern gemietet werden. Diese Server beherrschen in der Regel auch das bitraten-adaptive Streaming.
Bei den Servern, die für WebRTC benötigt werden, ist ein differenzierter Blick notwendig: da die WebRTC-Protokolle auch peer-to-peer, also z.B. zwischen zwei Web Browsern funktionieren, werden WebRTC-Server für die folgenden Zwecke benötigt:

- Herstellen von ausfallsicheren Verbindungen durch Firewalls und Sicherheitsschichten (TURN and STUN-Server)
- Signalisierung
- Medienverarbeitung, wie z.B. Synchronisieren, Mischen und Aufzeichnen von Medienströmen In der Regel vereinen WebRTC Server alle drei Funktionen in einer Software. Für das Ausführungsbeispiel der Erfindung wird ein WebRTC Media Server eingesetzt, wie er von verschiedenen Firmen angeboten wird. Dieser Server kann mit Hilfe sog. „Plugins“ - also Softwaremodulen, an seine jeweilige Aufgabe angepasst werden. Alternativ bieten Cloud-Provider WebRTC-Dienste auch als „Communication Plattform as a Service“ (CPaaS) an.

Kaskadierung der Server
Die Leistung eines WebRTC-Servers ist in der Regel durch die Bandbreite der Netzwerkanbindung und durch die Prozessorleistung begrenzt. Ein handelsüblicher Server kann zwischen 200 und 400 Audiostreams als Eingangssignale dauerhaft und mit akzeptablen Verzögerungszeiten zwischen 400 und 1.000 ms verarbeiten. Bei höheren Zuschauerzahlen müssen die Server kaskadiert werden, indem eine erste Schicht von Servern jeweils 200 bis 400 Einzelströme aufsummiert und diese Zwischensumme an einen zweiten Server weiterleitet, der aus bis zu 400 Zwischensummen das endgültige Summensignal bildet. Mit einer zweistufigen Kaskadierung lassen sich auf diese Weise 200 × 200 = 40.000 bis 400 × 400 = 160.000 Eingangsströme verarbeiten. Gegenüber einem einfachen Server verdoppelt sich die Verzögerungszeit bei einer einfachen Kaskadierung. Noch höhere Zuschauerzahlen lassen sich durch weitere Kaskadierungsstufen bewältigen - allerdings auf Kosten zusätzlicher Verzögerungen. Dank der Cloud-Technologie lassen sich die Vielzahl an notwendigen Servern für die Dauer des Ereignisses einfach mieten und können danach wieder abgebaut werden.
Video- und Audioaufzeichnung in einem Internet Browser
Parallel zu der Entwicklung der Echtzeitprotokolle für die Datenübertragung im Internet wurden auch die Web-Browser für WebRTC ertüchtigt. Eine Vielzahl von Browsern unterstützen derzeit WebRTC. Mit Hilfe der API-Funktion getUserMedia() hat ein im Browser laufendes (JavaScript)Programm direkten Zugriff auf die eingebaute (oder externe) Kamera und auf das eingebaute (oder externe) Mikrofon des Laptops oder Tablets. In der Regel wird der Benutzer aus Gründen des Datenschutzes und des Schutzes der Privatsphäre vorher um Genehmigung gebeten, bevor das Programm auf die eingebaute Kamera und das eingebaute Mikrofon des Laptops zugreift.
7.2 Akustische Simulation
Die Erfindung nutzt akustische Simulationsverfahren, um für die Zuschauer und Zuhörer (2.1, 2.2) einen akustischen Raum, wie etwa einen Konzertsaal (2.0a) oder ein Fußballstadion (2.0) zu simulieren. Verfahren, Musik oder Sprache räumlich klingen zu lassen, werden schon seit sehr langer Zeit eingesetzt.
Eines der modernsten Verfahren, welches ein sehr realistisches Klangerlebnis ermöglicht, ist der sog. „Faltungshall“. Dabei wird das Audiosignal, also der aufgezeichnete und gesampelte Schallereignis f(t) mit der Impulsantwort des akustischen Raumes g(t) gemäß untenstehender Gleichung (für kausale Signale) gefaltet, um das Schallereignis s(t) im Raum darzustellen: $s (t) = f (t) * g (t) = \int_{0}^{t} f (τ) g (t - τ) d τ$
Die momentan präzisesten Verfahren setzen für jede Schallquelle mehrere Impulsantworten („multiple impulse response“, MIR) an und berücksichtigen damit auch die Abstrahlcharakteristik der jeweiligen Schallquelle in horizontaler und vertikaler Richtung. Das „Vienna Symphonic Library^®“ nutzt dieses Verfahren, um den Klang klassischer Instrumente in berühmten Konzertsälen möglichst realistisch nachzuahmen.
Für diese Verfahren werden an einer oder mehreren Positionen virtuelle Mikrofone (2.3) angenommen.
Berechnung des Faltungshalls
Die Berechnung einer Faltung im Zeitbereich ist sehr rechenaufwändig. Die Berechnung der zeitdiskreten Faltung s(n) des Tonsignals f(t) mit der Impulsantwort des akustischen Raumes g(t) nach der Gleichung $s (n) = f (n) * g (n) = \sum_{k} f (k) g (n - k)$
erfordert einen Rechenaufwand der Größenordnung O(n, k) = O(n × /c), d.h. die Berechnung der Faltung eines 10-sekündigen Tonsignals f mit einer Abtastrate h von 44,1 kHz und einer Impulsantwort von 5 Sekunden, ebenfalls mit h=44,1 kHz abgetastet, erfordert f × g × h × h = 97 Milliarden Rechenoperationen oder rund 1,9 Milliarden Rechenoperationen je Sekunde^2.
Aus diesem Grund wird die Faltung gerne im Frequenzbereich durchgeführt. An die Stelle der rechenaufwändigen Faltung tritt eine deutlich einfachere Punktmultiplikation S(Ω) = F(Ω) × G(Ω), wobei F(Ω) und G(Ω) die zeitdiskreten Fouriertransformierten der Zeitsignale f(n) und g(n) sind, die nach den folgenden Gleichungen berechnet werden: $F (Ω) = \sum_{n = 0}^{k} f (n) e^{- j Ω n}$
$G (Ω) = \sum_{n = 0}^{k} g (n) e^{- j Ω n}$
Trotz der dabei erforderlichen Fouriertransformationen liegt die Komplexität der Berechnung im Frequenzbereich bei O(n log k), ist also deutlich weniger aufwändig.
Gewinnung der Raumimpulsantwort (RIR - room impulse response)
Die Raumimpulsantworten, die einen akustischen Raum simulieren, können entweder durch Messung in einem realen Raum wie einem Konzertsaal oder durch mathematische Berechnung gewonnen werden. Wie bei der akustischen Simulation werden bei der Messung von Raumimpulsantworten Verfahren im Zeitbereich von Verfahren im Frequenzbereich unterschieden.
Messung der Raumimpulsantworten
Bei einer Messung im Zeitbereich wird ein lautes Knall- oder Knackgeräusch erzeugt und das Raumecho mit einem Mikrophon und einem Digitalrecorder aufgezeichnet. Nach Glättung ist entspricht die Aufzeichnung genau der Raumimpulsantwort. Bei einer Messung im Frequenzbereich wird entweder ein breitbandiges Rauschsignal, welches alle Frequenzanteile enthält, oder ein Sinussignal mit variabler Frequenz („sinus sweep“) über eine Lautsprecheranordnung abgestrahlt. Für die Messung einer Raumakustik sind spezielle Messmikrofone bekannter Hersteller sowie Softwarepakete zur Echtzeitmessung und -analyse kommerziell erhältlich.
Mit zunehmender Größe des Raumes wird die Messung der RIR zu Herausforderung. Für eine genaue Messung ist ein hoher Signal-Rausch-Abstand notwendig, gleichzeitig müssen vor allem bei öffentlichen Gebäuden Umgebungsgeräusche überdeckt werden. Die dazu notwendigen hohen Schallpegel lassen sich bei einer Messung im Frequenzbereich zum Beispiel in einem Sportstadion kaum oder nur mit sehr hohem Aufwand erreichen.
Berechnung der Raumimpulsantworten
Zur Berechnung der Raumimpulsantworten physischer oder virtueller Räume stehen eine Reihe von Verfahren zur Verfügung, die in der einschlägigen Literatur detailliert beschrieben sind. Es werden geometrische Methoden (Raytracing, Spiegelquellen-Methode) und wellenbasierte Methoden (finite Elemente, Wellenleiter-Methode) unterschieden. Für die praktische Berechnung stehen ausgefeilte Programmpakete zur Verfügung, entweder als Ergänzungsmodule für große Finite Elemente-Software oder spezielle Software zur Berechnung der Raumakustik.
Interpolation von Raumimpulsantworten
Für eine bestmögliche Annäherung der Simulation zu einer realen Akustik benötigt jeder Zuschauer eine, auf seinen individuellen Standort im akustischen Raum zugeschnittene Impulsantwort. Mit handelsüblicher Technik ist die Speicherung von 60.- 100.000 Impulsantworten für die Zuschauer eines Fußballstadions keine Herausforderung. Um den Rechenaufwand bei der Berechnung der Impulsantworten zu minimieren, werden Interpolationsalgorithmen eingesetzt.
Berechnung mehrkanaliger Ausgabesignale
Um aus dem Summensignal ein für die Übertragung und Darbietung über Kopfhörer, Laptop-Lautsprecher oder PA-Anlage geeignetes stereofonisches oder mehrkanaliges Audiosignal zu gewinnen, existieren eine Vielzahl von Algorithmen. An dieser Stelle sei insbesondere auf die schon in den Siebzigern entwickelten Ambisonics-Verfahren und -Formate hingewiesen.
8 Ausführungsbeispiel
Ein Ausführungsbeispiel der Erfindung sieht wie folgt aus, zur Erläuterung dient 3:

Ein Basketballspiel (3.1) in einer Sporthalle wird als Live-Stream (3.2) kostenlos oder gegen eine Gebühr über das öffentliche Internet angeboten. Dazu wird das Spiel über eine oder mehrere Videokameras (3.3) und Mikrophone (3.4) aufgenommen, die an einen handelsüblichen Laptop (3.5) angeschlossen sind. Die auf dem Laptop befindliche, kostenlos erhältliche Software „OBS Studio“ wandelt die Video- und Audiosignale in einen Live-Stream (Datenstrom) um und sendet ihn über das öffentliche Internet an die in der Microsoft Azure befindliche Serveranordnung (3.0).
Der oder die Zuschauer (3.3) haben in ihrem Laptop (3.6) mit ihrem handelsüblichen Internet-Browser (Google Chrome, Mozilla Firefox, 3.9) eine HTMLS-Webseite (3.10) ausgewählt, über die sie den Live-Stream in einem HTML5-Videoplayer (3.11) ansehen und mithören können. Der Live-Stream wird in der Regel von mehreren Computer-Servern (3.0) erzeugt und über ein Content Delivery Network (CDN) über das RTP-Protokoll an eine große Zuschauermenge im Internet verteilt. Das Video wird über den Bildschirm (3.7) den Zuschauern präsentiert, die Ausgabe des Tons erfolgt über ein Tonübertragungssystem (3.8), in unserem Fall über zwei handelsübliche Aktivboxen.

Unser(e) Zuschauer:innen (3.3) entschließen sich, auch die virtuelle Zuschauerkulisse in Anspruch zu nehmen, die entweder kostenlose oder kostenpflichtig über dieselbe HTML5-Seite (3.10) angeboten wird. Die Zuschauer wählen sich einen Sitzplatz (oder bekommen ihn zugeteilt), zum Beispiel in der Fankurve ihres Heimatvereins und starten den Teilnahmeprozess mit einem Mausklick auf den „Teilnahme“-Knopf (3.12) in der HTML5-Seite.
Die Teilnahme-Anfrage des individuellen Zuschauers wird zusammen mit der Nummer des (virtuellen) Sitzplatzes im Stadion an einen Computer-Server (3.13) in der öffentlichen Cloud, welcher mit einer Online-Datenbank (SQL, 3.14) verbunden ist, geschickt. Mit der Nummer des Sitzplatzes wird in der Datenbank nach der Raumimpulsantwort gesucht, die diesem Sitzplatz entspricht.
Die Raumimpulsantworten werden vorab nach einem akustischen Modell der Basketballhalle mit der Raytracing-Methode berechnet. Für 50 Sitzplätze, also rund 1/8 der verfügbaren Sitzplätze wurde eine Raumimpulsantwort per Modellierung berechnet und in der Datenbank (3.14) gespeichert. Für die restlichen rund 350 Sitzplätze wurde die Impulsantwort durch Interpolation (gewichteter Mittelwert) von vier benachbarten Raumimpulsantworten im Frequenzbereich berechnet und ebenfalls in der Datenbank (3.14) gespeichert. Die gesuchte Raumimpulsantwort wird an den Internet-Browser des Zuschauers zurückgegeben.
Mit der Raumimpulsantworten wird die Audio-Aufzeichnung im Internet-Browser des Zuschauers aktiviert. Über ein eingebautes Mikrofon (3.15) des Laptops (3.6) gelangt das Tonsignal in das Endgerät, wird dort in einen digitalen Datenstrom umgewandelt. Der digitale Audiostrom wird wie in Abschnitt 5.3 beschrieben und begründet im Frequenzbereich mit der Raumimpulsantwort des virtueller Basketball-Halle bewertet (3.16).
Über das Hupen-Symbol (3.26) auf der HTML-Seite (3.10) kann der Zuschauer (3.3) eine Audiodatei, die ein aufgezeichnetes (gesampeltes) Hupensignal enthält abspielen und in den Audiostrom (3.17) einfügen. Die gesampelte Audiodatei wird beim Öffnen der HTML-Seite (3.10) vom Server (3.0) über das öffentliche Internet geladen.
Der mit der Raumimpulsantwort bewertete Audiostream (3.17) wird über das öffentliche Internet an einen Computer-Server (3.18) gesendet, der in der öffentlichen Cloud gehostet ist. Auf diesem Server wird die oben vorgestellte WebRTC Serversoftware betrieben. Ein Audio-Plugin (3.19) nimmt die Vielheit von Audiostreams (3.17) entgegen und summiert diese auf, ein weiteres Ausgabe-Plugin (3.20) berechnet aus den Eingangssignalen ein künstliches Stereosignal, welches wieder als Audiodatenstrom (3.21) im RTP-Protokoll über das öffentliche Internet abrufbar ist.
Operatoren und Kommentatoren (3.27) des Veranstalters oder des Streamingunternehmens können über Laptops (3.28) ebenfalls akustische Äußerungen, Werbe- und Tonmaterial, wie z.B. Beifall als Audiostrom an den Computerserver (3.18) senden. Zusätzlich haben die Operatoren die Möglichkeit, über die Administrationsschnittstelle (3.29) kontrollierend einzugreifen und z.B. Störer oder Störungen (z.B. Echos oder akustische Rückkoppelungen) auszublenden und den Klang (Lautstärke, Klangfarbe, Nachhall) zu beeinflussen.
In einer kaskadierten Anordnung von Servern wie oben beschrieben, berechnet die erste Schicht an Servern (3.18) eine gewichtete Zwischensumme der Audiostreams, die von den Zuschauer-Endgeräten an die Installation von Computer-Servern geschickt werden. In den weiteren Schichten der kaskadierten Anordnungen wird in mehreren Schritten die Endsumme aus allen Audioströmen aller Zuschauer gebildet.
Mit dem Audiostream (3.21) wird wie folgt verfahren: Ein Audiostream wird als zusätzliche Audioquelle in der Streaming-Software eingespeist und mit dem Livesignal aus (3.4) gemischt. Es wird damit ein Bestandteil des Livestreams (3.2). Ein weiterer Audiostream wird von einem weiteren Laptop (3.22) angefordert, auf dem eine einfache Streaming-Player-Software installiert ist. Dieser Player fordert den Audiostream (3.21) über das Internet an und wandelt ihn in ein elektrisches (Stereo-)Audiosignal um, welches in die PA-Anlage (Audio-Leistungsverstärker, 3.23) der Sporthalle eingespeist wird. Über die Hallenlautsprecher (3.24) wird das Tonsignal in die Basketballhalle ausgestrahlt. Ein dritter Audiostream (3.21) kann vom Browser der Zuschauer (3.3) angefordert werden, indem er den Schiebeschalter (3.25) betätigt und so das alleinige Summensignal der Zuschauer (3.3) anstelle des gemischten Livesignals (3.2) auswählt.
Bei der Auswahl und Aufstellung des Mikrofons (3.4) wurde darauf geachtet, dass es im Zusammenspiel mit der Hallenanlage (3.24 und 3.25) nicht zu akustischen Rückkoppelungen kommt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016200370 A1 [0009]

Claims

Verfahren und Vorrichtung zur Erzeugung einer akustischen Simulation einer Zuschauermenge, die sich in einem physikalischen oder virtuellen akustischen Raum befindet, gekennzeichnet durch ein computergestütztes Endgerät, über das der/die Zuschauer(in) über einen akustischen und / oder visuellen Datenstrom (Videostream) an einem Geschehen, wie zum Beispiel einem Fußballspiel teilnimmt, weiterhin gekennzeichnet durch ein Datenfernübertragungsnetz, welches das computergestützte Endgerät des Zuschauers mit einem oder mehreren Computerservern in Echtzeit verbindet, besonders gekennzeichnet durch eine akustische Aufnahmevorrichtung im computergestützten Endgerät, welches die akustischen Äußerungen des oder der Zuschauer in Echtzeit aufnimmt, in einen digitalen Datenstrom verwandelt und als Eingangsdatenstrom über das Datenfernübertragungsnetz an die genannten Computerserver zurücksendet, weiterhin besonders gekennzeichnet durch eine programmgesteuerte Mischeinrichtung in den genannten Computerservern, welche die Eingangsdatenströme aller Zuschauer gewichten und daraus ein Summensignal bilden, weiterhin besonders gekennzeichnet durch eine nachfolgende Bearbeitung des oben genannten Summensignals durch eine programmgesteuerte Rechenvorschrift auf den oben genannten Computerservern, die einen tatsächlich physisch existierenden oder virtuellen Raum akustisch nachbildet und den daraus gewonnenen Ausgangssignalstrom über das Datenfernübertragungsnetz wieder dem computergestützten Endgerät des Zuschauers zusendet, so dass diese die Simulation einer Zuschauermenge als Sinneseindruck erfahren können.
Verfahren und Vorrichtung nach 1, wobei die Eingangsdatenströme der Zuschauer zur Vermeidung von Überlastung an eine kaskadiertes System von Computerservern geleitet werden, wodurch in mehreren Teilschritten Teilsummen der Eingangssignale gebildet werden, welche im weiteren Fortschritt des Verfahrens zu dem Summensignal addiert werden.
Verfahren und Vorrichtung nach 1, wobei das akustische Summensignal von einem oder mehreren menschlichen Operator(inn)en interaktiv in Echtzeit oder nach einem Ablaufplan in den akustischen Parametern verändert, mit zusätzlichen Signalen wie Musik, Geräuschen wie Beifall gemischt werden.
Verfahren und Vorrichtung nach 1., wobei der/die Zuschauer(in) virtuelle Lärm- und Musikinstrumente, wie zum Beispiel Fanfaren, Trommeln oder Hupen dem akustischen Eingangssignal interaktiv und in Echtzeit beimischen kann.
Verfahren und Vorrichtung nach 1., wobei der Eingangsdatenstrom des computergestützten Zuschauerendgerätes bereits im diesem Endgerät durch eine signalverarbeitende Rechenvorschrift bearbeitet wird, welche einen Teil der akustischen Simulation erstellt und das Eingangssignal nach der ersten Bearbeitung an die genannten Computerserver weiterleitet.
Verfahren und Vorrichtung nach 1., wobei aus dem Summensignal ein mehrkanaliges Audiosignal nach den gängigen, für die Übertragung und Ausstrahlung geeigneten Standards gebildet, d.h. errechnet wird.
Verfahren und Vorrichtung nach 1, wobei dass das Summensignal der Zuschaueräußerungen zusätzlich an das Geschehen übertragen wird und den dortigen Akteuren, Sportlern als auch Künstlern akustisch dargeboten wird, so dass diese die virtuelle Zuschauerkulisse als Sinneseindruck erfahren können.
Verfahren und Vorrichtung nach 5., wobei die signalverarbeitende Rechenvorschrift durch einen Eigenschaftsvektor gesteuert wird, welcher zuvor von den genannten Computerservern über das Datenfernübertragungsnetz in die computergestützte Endgerät des Zuschauers geladen wird, um dann von der signalverarbeitenden Rechenvorschrift in dem computergestützten Endgerät auf das Eingangssignal angewendet zu werden.
Verfahren und Vorrichtung nach 8., wobei der Eigenschaftsvektor durch Interpolation zuvor gemessener Stützwerte bei physikalischen Räumen oder zuvor errechneter Stützwerte bei simulierten akustischen Räumen in den oben genannten Computerservern errechnet wird.