DE102005006487A1

DE102005006487A1 - Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten

Info

Publication number: DE102005006487A1
Application number: DE102005006487A
Authority: DE
Inventors: Manfred RÜRUP
Original assignee: SP4 SOUND PROJECT GmbH
Current assignee: SP4 SOUND PROJECT GmbH
Priority date: 2005-02-12
Filing date: 2005-02-12
Publication date: 2006-08-24
Also published as: WO2006084747A3; WO2006084747A2; EP1847047A2; US20080140238A1

Abstract

Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz, wobei mindestens eine erste Rechnereinheit über einen Audioeingang Audiodaten empfängt und an die zweite Rechnereinheit weiterleitet, das Verfahren weist folgende Schritte auf: DOLLAR A - Die Audiodaten der ersten Rechnereinheit werden mit Zeitmarken versehen, DOLLAR A - eine zweite Rechnereinheit wird zum Abspielen weiterer Audiodaten initialisiert, die ebenfalls mit Zeitmarken versehen sind, DOLLAR A - in einem Speicher werden die Audiodaten der mindestens zwei Rechnereinheiten zwischengespeichert und über die Zeitmarken einander zugeordnet.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz.

Aus DE 697 10 569 T2 ist ein Verfahren zur Wiedergabe von Musik in Echtzeit bei einer Client-Serverstruktur (Mehrfachknoten-Struktur) bekannt. Das Verfahren schlägt für sogenannte MIDI-Daten vor, Steuerdaten für die Erzeugung eines Musiktons vorzusehen, diese in Datenblöcke zu zerlegen, einen Rückgewinnungsdatenblock zur Rückgewinnung der Steuerdaten zu generieren, den Datenblock über ein Kommunikationsnetzwerk zu übertragen und den Rückgewinnungsdatenblock ebenfalls über das Kommunikations netzwerk zu übertragen. Bei dieser Client-Serverstruktur werden also die Ansteuerdaten für ein Musikinstrument über einen Server verteilt, der es einem Publikum mit mehreren Zuhörern ermöglicht einem Konzert zu folgen, indem aus den Steuerdaten bei jedem Zuhörer eine Musik aus den MIDI-Daten erzeugt wird. Ferner wird vorgeschlagen, den MIDI-Daten eine fortlaufende Sequenznummer für die einzelnen Pakete zuzuordnen, die die Reihenfolge der Pakete festhält und die erlaubt diese nach der Übertragung neu zu ordnen. Diese MIDI-Daten enthalten in ihrem Header auch Zeitdaten, die die Musikspielzeit der nachfolgenden MIDI-Daten angibt. Die Musikspielzeit erlaubt es, zusammen mit der Information über die Größe der MIDI-Daten, diese mit der vorgesehenen Geschwindigkeit abzuspielen.

Aus DE 101 46 887 A1 ist ein Verfahren zur Synchronisation von digitalen Datenströmen mit Audiodaten auf zwei oder mehreren Datenverarbeitungsgeräten bekannt. Hierzu generiert eines der Datenverarbeitungsgeräte ein Steuersignal, das eine absolute Zeitposition in einem Datenstrom beschreibt. Bei dem bekannten Verfahren sind die Datenverarbeitungsgeräte über eine ASIO-Schnittstelle direkt miteinander verbunden.

Der Erfindung liegt die technische Aufgabe zugrunde ein Verfahren bereitzustellen, mit dem Audiodaten von entfernt liegenden Rechnereinheiten zeitgenau zusammengefügt werden können. Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.

Das Verfahren bezieht sich auf das Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz. Dabei wird eine Peer-2-Peer Verbindung zwischen den Rechnereinheiten hergestellt. Bei dem erfindungsgemäßen Verfahren empfängt eine erste Rechnereinheit Audiodaten beispielsweise von einem Instrument oder einem Mikrofon über einen Audioeingang. Den Audiodaten der ersten Rechnereinheit werden Zeitmarken zugeordnet. Eine zweite Rechnereinheit, die nur über das Datennetz mit der ersten Rechnereinheit verbunden ist, wird zum Abspielen weiterer Audiodaten initialisiert. Die weiteren Audiodaten sind ebenfalls mit Zeitmarken versehen. In einem Speicher werden die Audiodaten der mindestens zwei Rechnereinheiten zwischengespeichert und anhand ihrer Zeitmarken einander zugeordnet, so daß ein synchrones Abspielen der Audiodaten möglich ist. Das erfindungsgemäße Verfahren erlaubt es, einem Sänger oder Musiker Audiodaten über ein paketvermitteltes Datennetz zu schicken und diese synchronisiert mit anderen Audiodaten abzuspielen. Hierdurch können beispielsweise bei Aufnahmen und bei der Bearbeitung von Audiodaten die Teilnehmer sich an getrennten Orten befinden, wobei trotz der Verzögerung über das Datennetz die Audiodaten synchron miteinander abgespielt werden.

In einer bevorzugten Ausgestaltung weisen die Zeitmarken fortlaufende Sample-Nummern auf, die sich auf einen Anfangszeitpunkt beziehen. Die samplegenaue Synchronisation in den Audiodaten liefert eine Übereinstimmung im Bereich von 10 bis 20 Mikrosekunden, abhängig von der Abtastrate in den Audiodaten.

In einer bevorzugten Ausgestaltung ist der Anfangszeitpunkt durch die erste Rechnereinheit festgesetzt. Hierzu wird der Anfangszeitpunkt der von der Rechnereinheit empfangenen Audiodaten relativ zu dem Anfangszeitpunkt in den weiteren Audiodaten definiert. Um die Setzung des Anfangszeitpunkts genau durchführen zu können, befindet sich eine Kopie der weiteren Audiodaten auf der ersten Rechnereinheit. Unter Umständen kann hier auch vorgesehen sein, daß lediglich eine Kopie vom Anfang der weiteren Audiodaten vorliegt, so daß samplegenau die Audiodaten mit den weiteren Audiodaten abgestimmt werden können. Bevorzugt sind die weiteren Audiodaten auf der zweiten Rechnereinheit belegt, wo sie dann mit dem Empfang der Audiodaten zusammengeführt werden.

Als besonders hilfreich hat es sich erwiesen, zusammen mit den Audiodaten auch Informationen zu der Rechnereinheit aufzuzeichnen. Diese Informationen können dabei helfen, die Rechnereinheiten besser aufeinander abzustimmen.

Das erfindungsgemäße Verfahren ist nicht auf einen zusätzlichen Datenstrom beschränkt, vielmehr können auch mehrere Audiodaten beispielsweise die Instrumente einer Band oder eines Orchesters nach dem erfindungsgemäßen Verfahren zusammengeführt werden.

Gerade bei Gesang und/oder Instrumenten werden das Mikrofon oder die zugehörigen Instrumente mit der ersten Rechnereinheit verbunden und die empfangenen Audiodaten dort aufgezeichnet, nachdem sie mit Zeitmarken versehen wurden. Hierzu ist es beson ders vorteilhaft, wenn auch die weiteren Audiodaten in der ersten Rechnereinheit abgespielt werden, während zugleich die neuen Audiodaten aufgenommen werden.

Das erfindungsgemäße Verfahren wird nachfolgend anhand eines Ausführungsbeispiels näher erläutert:
1 zeigt die Synchronisation von zwei zeitlich versetzten Audiodaten.
2 zeigt einen prinzipiellen Aufbau einer bei dem Verfahren verwendeten Instanz.
3 zeigt den bei einer Verbindung aufgebauten Kommunikationspfad.
Die vorliegende Erfindung betrifft ein Verfahren zur Synchronisation von Audiodaten, so daß Musiker mit Hilfe des Verfahrens über das Internet miteinander in Kontakt treten und über eine direkte Datenverbindung miteinander musizieren können. Die Zusammenarbeit erfolgt über eine Peer-2-Peer Verbindung mit dem mehrere Musiker zeitgenau zusammenarbeiten können.
Kernpunkt dieser Zusammenarbeit ist, daß Audiodaten der Teilnehmer miteinander synchronisiert werden. Bei dem Verfahren bringt der Teilnehmer A sein System in den Abspielmodus, dieser Zustand wird dann dem zweiten Teilnehmer B übermittelt. Von diesem Zeitpunkt an werden die vom Teilnehmer B empfangenen Daten nicht direkt zum Abspielen weitergeleitet, sondern solange zwischengespeichert, bis auch Teilnehmer B sein System in den Abspielzustand versetzt hat. 1 zeigt eine Zeitreihe 10, die den Daten des Systems A entspricht. Im Zeitpunkt 12 wird das System von Teilnehmer B auf Start geschaltet. Das System B bleibt weiterhin im Ruhezustand und wird erst mit einem Startsignal 14 zu einem späteren Zeitpunkt 14 gestartet. Nach dem Startsignal 14 sind die einzelnen Samples fortlaufend innerhalb eines Pakets einander zugeordnet. Nachdem auch das System B mit dem Startsignal 14 in seinen Abspielmodus versetzt wird, werden die Audiodaten gemäß ihrer Zeitinformation synchron zur Zeitleiste von B umgewandelt und ausgegeben. Die Genauigkeit beim Ausgeben entspricht ungefähr einer zeitlichen Auflösung eines Samples, also ungefähr 10 bis 20 Mikrosekunden. Die Übereinstimmung der Daten ermöglicht es, daß beispielsweise Musiker und Produzent, obwohl räumlich getrennt, innerhalb eines Authoring-Systems zusammen arbeiten, beispielsweise auf einer Digital Audio Workstation (DAW). Bei einer entsprechenden Übertragungsgeschwindigkeit, können gezielt auch Aufnahmen vorgenommen werden, bei denen eine Person die empfangenen Daten kommentiert. Während die Daten mit vorhandenen Audiodaten zeitgenau zusammengefaßt werden, erfolgt durch die Übertragung eine Verzögerung von wenigen Sekunden, die immer noch ein interaktives Arbeiten erlauben.
Zu einer möglichen Weiterentwicklung kann auch der Empfänger B aus den empfangenen Daten ein Steuersignal generieren, welches er an einen Sequencer des Systems A schickt, um diesen automatisch zu starten. Dann wird System B automatisch gestartet, nachdem A gestartet wurde und die beiden zusätzlichen Leerlaufzeitschritte 16 in 1 können entfallen.
2 zeigt einen schematischen Aufbau in einem DML-Netzwerk im (DML = Digital Musician Link). Als eine erste Instanz sind ein Audioinput 18 und ein Videoinput 20 vorgesehen. Audioinput 18 und Videoinput 20 enthalten Daten von einem anderen Teilnehmer 22 (Peer). Die empfangenen Eingangsdaten werden wie in dem in 2 dargestellten Ausführungsbeispiel an zwei Plug-In Instanzen weitergeleitet. Jede Instanz kann beispielsweise für eine Spur bei der Aufzeichnung stehen. Die Instanzen 24 und 26 greifen auf bestehende Technik beispielsweise für die Peer-2-Peer Kommunikation zurück. Die Audiodaten und die Videodaten der Eingänge liegen jeweils an den Instanzen 24 und 26 an. Zusätzlich liegen an den Instanzen noch Videosignale einer Kamera 26 an, die ebenfalls an den Peer 22 übertragen werden. Hinsichtlich der Bandbreitenverteilung und Priorisierung des erfindungsgemäßen Verfahrens, werden Audiodaten mit einer höheren Priorität übertragen als Videodaten. Der Audio Output 30 wird an einen Peer 22 weitergeleitet, wo er dann wie vorstehend beschrieben synchronisiert wird.
Zur Abstimmung des Abspielens an dem System hat es sich als hilfreich erwiesen, neben den Audiodaten, und möglicherweise Videodaten auch Daten zum Betriebszustand des Systems weiterzuleiten. Beispielsweise darüber, ob ein Transport gestartet wurde oder gerade aktuell der Stopmodus vorliegt. Ferner können zusätzlich periodisch Informationen zwischen den Beteiligten ausgetauscht werden, um eventuelle Unterschiede in ihren Systemen abgleichen zu können.
Da die Audio Plug-in Instanzen 24 und 26 von einer übergeordneten Anwendung, beispielsweise einem Sequencer oder einem DAW im allgemeinen in die Kanäle eingeschleift werden, ist das in 2 dargestellte Beispiel so ausgestaltet, daß mehrere Instanzen des DML Plug-In Applikation vom Benutzer erzeugt werden können und zwar für jeden Kanal, von dem aus Audio-Daten gesendet oder von dem Audio-Daten empfangen werden sollen.
3 zeigt ein Beispiel für eine Benutzerschnittstelle mit einer solchen Plug-in Instanz. In 3 dargestellt liegen die Eingangsdaten eines Teilnehmers A an dem Eingang 32 an. Die eingehenden Daten, die beispielsweise auch Videodaten enthalten, werden in 34 dargestellt und abgespielt. Sofern über eine Auswahl 36 festgelegt wird, daß die eingehenden Daten 32 auch gesendet werden sollen, werden diese in der Stufe 38 zum senden aufgearbeitet. Die aufgearbeiteten Daten werden an den zweiten Teilnehmer gesendet, wo diese Daten, als Audiodaten oder als Audio- und Videodaten in der Ausgabeeinheit 40 dargestellt werden. Die von dem zweiten Teilnehmer aufgenommenen Audiodaten werden als Daten 42 an den ersten Teilnehmer gesendet und über eine Einheit 44 empfangen. Die Daten der Empfangseinheit 44 werden mit den aufgenommenen Enddaten 32 zusammengeführt und als Ausgangsdaten 46 weitergeleitet. Zur Synchronisation beider Daten, werden die Eingangsdaten 32 zwischengespeichert, bis die zugeordneten Daten 42 empfangen wurden.
Der vorstehende Ablauf bietet die Möglichkeit, durch eine entsprechende Einstellung in 36 das Senden der Daten zu unterdrücken (Mute On Play). Hierdurch kann eine Art „talkback" Funktionalität erzielt werden, damit der Produzent nicht während der Aufnahme für den Sänger oder Musiker hörbar ist, was aufgrund der zeitlichen Verzögerung störend sein kann. Über die Auswahl 48 (THRU) kann der Benutzer ebenfalls einstellen, ob ein zusendender Kanal selbst gehört werden soll. Alternativ können die Eingangs-Samples des Kanals durch die empfangenen Samples des verbundenen Partners ersetzt werden soll.
Über den Auswahlschalter 48 wird also ausgewählt, ob die ursprünglich aufgenommenen Daten 32 unverändert direkt abgespielt werden sollen, oder ob diese Daten synchronisiert mit an den Daten des zweiten Teilnehmers 40 abgespielt werden sollen. Ist beispielsweise über den Auswahlschalter 36 ausgewählt, daß die eingehenden Audiodaten 32 nicht gesendet werden soll, so kann in Stufe 38 immer noch Signale zur Synchronisation des Abspielens mit beispielsweise Videodaten vorgenommen werden.
Das in den 2 dargestellte Konzept sieht vor, daß alle Plug-In-Instanzen 24 und 26 ein gemeinsames Objekt verwenden (DML Network in 2). Das gemeinsame Objekt faßt alle Ströme der sendenden Plug-In-Instanzen zusammen und sendet in diese als einen gemeinsamen Strom. Ebenso werden empfangene Datenströme an alle empfangenen Instanzen weitergeleitet. Eine ähnliche Funktion erfüllt das gemeinsame Objekt im Hinblick auch auf die Videodaten, die nicht zusammengefügt werden, sondern als Datenstrom von der Kamera gesendet werden. Die eigenen Videodaten des Benutzers werden ebenfalls an die jeweiligen Plug-In-Instanzen weitergeleitet.
Die Videodaten werden im Kern wie die Audiodaten synchronisiert. Das heißt, wenn beide Teilnehmer das Transportsystem gestartet haben (vergl. 3), hört der zuletzt gestartete Benutzer nicht nur die Audiodaten des oder der anderen Teilnehmer synchron mit seiner Zeitleiste, sondern sieht auch die Kamera des Partners synchron zu seiner Zeitbasis, dieses ist beispielsweise für Tanz und Ballett wichtig.
Das erfindungsgemäße Verfahren sei nachfolgend an einem Beispiel erläutert: Computer A wird von einem Produzenten benutzt und Computer B von einem Sänger. Beide haben eine Instanz des Plug-In in ihren Mikrofon-Eingangs-Kanal eingeschleift. Beide senden und empfangen (talkback), der Produzent hat „Mute On Play" 36 aktiviert. Im Ruhezustand können A und B sich unterhalten. Beide haben außerdem schon ein gleiches oder ein ähnliches Playback in ihrem Zeitleistenprojekt der übergeordneten Applikation.
Der Sänger startet den Verbindungsaufbau auf seinem Computer und beginnt zu seinem Playback zu singen. Auf der Seite des Produzenten (Computer A) geschieht folgendes:

– Die Daten seines Mikrofonkanals werden nicht mehr gesendet (Mute On Play), um den Sänger nicht zu stören. Das Videobild des Sängers steht,
– der Produzent hört den Sänger nicht mehr,
– Audio- und Videodaten werden mit den empfangenen Zeitmarken gespeichert.

Nun startet der Produzent seinerseits seinen Sequencer, wie bereits erwähnt, kann dies auch automatisch erfolgen. Der Sequencer des Produzenten nimmt nun auf, wobei für den Produzenten folgendes gilt: Seine Mikrofon-Samples werden weiterhin unterdrückt, da der Sänger mittlerweile weiter vorangekommen ist. Lediglich wenn der Produzent auch „Mute On Play" aufhebt kann er beispielsweise zum Abbruch der Aufnahme auffordern. Der Produzent hört den Sänger synchron zu dem auf seinem Rechner gespeicherten Playback. Ferner werden die Videodaten synchron mit dem beim Produzenten gespeicherten Playback abgespielt.
Wenn beispielsweise an die Stelle des Sängers ein Instrumentalist tritt, kann für diesen eine zweite Instanz des Plug-In in den Gitarrenkanal eingeschleift sein. Es würde dann ein Mikrofonkanal für Sprache und Talkback vorgesehen sein, in dem während der Aufnahme ebenfalls „Mute On Play" eingeschaltet ist, damit der Produzent während der Aufnahme nur digital hört. Der Gitarrenkanal ist über TRANSMIT desiniert.
In der Umsetzung sieht das erfindungsgemäße Verfahren vor, daß beispielsweise ein VMNAudioPacket definiert ist. In dem AudioPacket ist als Zähler die samplePosition definiert. Die samplePosition gibt, wenn das Verfahren nicht läuft die aktuelle Position auf der Zeitskala an. Wenn das Projekt läuft, gibt samplePosition die Position des Packets relativ zu einem fortlaufenden (ewigen) Zähler an. Dieser fortlaufende Zähler wird über einen spezifisches Startsignal definiert, wobei der Zähler auf 0 gesetzt wird, wenn der Packetzähler auf 0 gesetzt ist. Je nach Betriebsmodus des Verfahrens wird also die Position des Packets berechnet.

Claims

Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz, wobei mindestens eine erste Rechnereinheit über einen Audioeingang Audiodaten empfängt und an die zweite Rechnereinheit weiterleitet, das Verfahren weist folgende Schritte auf: – die Audiodaten der ersten Rechnereinheit werden mit Zeitmarken versehen, – eine zweite Rechnereinheit wird zum Abspielen weiterer Audiodaten initialisiert, die ebenfalls mit Zeitmarken versehen sind, – in einem Speicher werden die Audiodaten der mindestens zwei Rechnereinheiten zwischengespeichert und über die Zeitmarken einander zugeordnet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Zeitmarken mit fortlaufenden Sample-Nummern versehen sind, die sich auf einen Anfangszeitpunkt beziehen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Anfangszeitpunkt durch die erste Rechnereinheit gesetzt wird, indem der Anfangszeitpunkt der Audiodaten der ersten Rechnereinheit bezogen auf den Anfangszeitpunkt der weiteren Audiodaten definiert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die weiteren Audiodaten auf der zweiten Rechnereinheit abgelegt sind.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die weiteren Audiodaten von der ersten Rechnereinheit an die zweite Rechnereinheit gesendet werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß mit den Audiodaten Informationen zu dem Betriebszustand der Rechner aufgezeichnet werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß von mehr als zwei Rechnereinheiten Audiodaten zusammengeführt werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß auf den Rechnereinheiten eine Sequencersoftware vorgesehen ist, die eine Bearbeitung der Audiodaten erlaubt.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die erste Rechnereinheit die Audiodaten von einem Mikrophon und/oder einem Instrument empfängt, das mit der Rechnereinheit verbunden ist.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die erste Rechnereinheit die weiteren Audiodaten abspielt, während die Audiodaten empfangen werden.