-
Die
Erfindung betrifft ein Verfahren zum Bearbeiten von Audio- und/oder
Videodaten. Des weiteren betrifft die Erfindung eine digitale Audio-
und/oder Videobearbeitungsvorrichtung, ein Computerprogramm und
einen digitalen Datenträger,
die zur Ausführung
des Verfahrens geeignet sind.
-
Hintergrund der Erfindung
-
Es
sind digitale Audiobearbeitungsprogramme bekannt, die eine Nachbearbeitung
und Editierung eines Audiomaterials ermöglichen. Eine solche Nachbearbeitung
kann auch eine Sprechererkennung umfassen.
-
Für die Kommunikation
mit externen Geräten besitzen
digitale Audiobearbeitungsprogramme Schnittstellen. Ein Beispiel
einer solchen Schnittstelle ist die sogenannte VST-Schnittstelle
(VST-Virtual Studio Technology). Mit Hilfe einer Schnittstelle zu
einem Audiobearbeitungsprogramm können Erweiterungen – sogenannte
Plug-ins – für das Audiobearbeitungsprogramm
bereitgestellt werden. Ein Plug-in erweitert dabei die Funktionalität eines
Audiobearbeitungsprogramms oder allgemein eines Softwareprodukts.
Häufig
werden optionale Funktionen wie Audioeffekte in Plug-ins ausgelagert.
Auch Standardfunktionen können
jedoch in Plug-Ins ausgelagert werden.
-
Plug-Ins
stellen eine „Black
Box” hinsichtlich der
vorgenommenen Änderungen
der Eingangsdaten dar. Es können
lediglich vorab bestimmte Einstellungen des Plug-Ins vorgegeben
werden.
-
In
der Audiobearbeitung dient eine sogenannte Automation dazu, bestimmte
Parameter eines Audiomaterials, beispielsweise Panorama-, Lautstärke-, Surround-
oder AUX-Parameter,
im zeitlichen Verlauf zu ändern.
Eine Automationskurve ist eine Kurve, die die vorgenommenen Veränderungen in
Abhängigkeit
von der Zeit darstellt.
-
Für den Bereich
der Videobearbeitung sowie der kombinierten Audio- und Videobearbeitung
gelten die obigen Anmerkungen entsprechend.
-
Der
Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Bearbeiten
von Audio- und/oder Videodaten
sowie eine digitale Audio- und/oder Videobearbeitungsvorrichtung
zur Verfügung
zu stellen, die die Möglichkeiten
der Audio- und/oder Videobearbeitung verbessern.
-
Zusammenfassung der Erfindung
-
Diese
Aufgabe wird erfindungsgemäß durch ein
Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung
mit den Merkmalen des Anspruchs 12 gelöst. Ausgestaltungen der Erfindung sind
in den Unteransprüchen
angegeben.
-
Danach
ist vorgesehen, dass Audio- und/oder Videodaten durch ein Plug-In
Softwareprogramm (nachfolgend als Plug-In bezeichnet) bearbeitet
und/oder analysiert werden. Es werden Steuerdaten erzeugt, die die
durch das Plug-In durchgeführte Bearbeitung
und/oder Analyse zumindest teilweise angeben. Die Steuerdaten oder
davon abgeleitete Daten werden in einer bearbeitbaren Form dem Host-Programm
bereitgestellt. Durch die Bereitstellung der Steuerdaten in einer
bearbeitbaren Form ist es möglich,
die durch das Plug-In geänderten
Daten darzustellen und erneut zu editieren. Das Plug-In ist keine „Black
Box” mehr,
sondern die vorgenommenen Änderungen
sind für
den Anwender darstellbar und editierbar, können somit kontrolliert und
ggf. weiter bearbeitet werden.
-
Als
Steuerdaten werden dabei sämtliche
Daten bezeichnet, die sich auf eine durch das Plug-In vorgenommene
Bearbeitung und/oder Analyse beziehen. Beispielsweise kann es sich
um Daten handeln, die die Unterschiede zwischen den Ausgangsdaten
und den durch das Plug-In bereitgestellten Daten ganz oder teilweise
angeben oder kodieren. Ein Beispiel hierfür ist, dass die Steuerdaten
die Veränderung
eines Lautstärkewertes
angeben. Ebenso kann es sich um Daten handeln, die nur die geänderten
Daten betreffen, beispielsweise die Hüllkurve des geänderten
Signals angeben.
-
Beispiele
für eine
Bearbeitung von Audiodaten mittels eines Plug-Ins sind etwa eine
Lautstärkenänderung,
eine Tonlagenänderung,
die Verteilung zwischen rechtem und linken Kanal eines 2-Kanal-Systems
sowie verschiedenste Effekte wie etwa ein Raum- oder Halleffekt. Beispiele für eine Analyse von
Audiodaten sind eine Sprechererkennung oder eine semantische Analyse
(Worterkennung).
-
Das
erfindungsgemäße Verfahren
kann sowohl bei reinen Audio-Systemen, bei reinen Video-Systemen
als auch bei gemischten Systemen mit Audio und/oder Videodaten ausgeführt werden.
-
Ein
Plug-In im Sinne der vorliegenden Erfindung ist jedes Computerprogramm,
das Aufgaben erfüllt
oder Bearbeitungen vornimmt, die einem anderen Programm, dem Host-Programm, zur Verfügung gestellt
werden.
-
In
einer Ausgestaltung der Erfindung ist vorgesehen, dass die Steuerdaten
dazu genutzt werden, die Bearbeitung und/oder Analyse der Audio- und/oder
Videodaten erneut zu ändern
und die Änderung
zu speichern. Hierzu erfolgt beispielsweise die Änderung der Bearbeitung des
Plug-Ins im sogenannten WRITE-Modus, d. h. alle Änderungen werden aufgezeichnet
und eine eventuell bereits existierende Automation wird überschrieben.
Anschließend wird
der READ-Modus eingestellt. Die Daten werden nun erneut durch das
Plug-In bearbeitet, nun jedoch auf der Basis der zuvor geänderten
Bearbeitung und/oder Analyse und ohne erneute Änderungen.
-
In
einer weiteren Ausführungsvariante
ist vorgesehen, dass die Steuerdaten oder davon abgeleitete Daten
in einer durch einen menschlichen Bearbeiter bearbeitbaren Form
im Host-Programm vorliegen. Insbesondere kann vorgesehen sein, dass
die durchgeführte
Bearbeitung und/oder Analyse in Form einer editierbaren Kurve oder
Spur im Host-Programm
dargestellt wird. Die Editierbarkeit dieser Kurve ermöglicht die Änderung
und Überprüfung der
zuvor automatisch durch das Plug-In durchgeführten Änderungen.
-
Das
Bearbeiten mindestens eines Teils der Audio- und/oder Videodaten
durch ein Plug-In
umfasst in einer Ausgestaltung der Erfindung ein Ändern des
zeitlichen Verlaufs mindestens eines Parameters der Audio- und/oder
Videodaten, auch als Automation bezeichnet. Es wird aus den Steuerdaten
mindestens eine editierbare Automationskurve (auch als Automationsspur
oder Steuerdatenspur bezeichnet) bereitgestellt.
-
Die
Audio- und/oder Videodaten in dem Host-Programm können in
Form einer oder mehrerer Audio- und/oder Videospuren bereitgestellt
werden. Eine Bearbeitung kann eine oder mehrere der Spuren betreffen.
Beispielsweise wird durch die Automation mindestens ein Parameter
mindestens einer Spur geändert.
-
In
einer weiteren Ausgestaltung ist vorgesehen, dass für jede bearbeitete
Spur mindestens eine Automationskurve zusammen mit der entsprechenden
Audio- oder Videospur in einem Editor des Host-Programms in editierbarer
Weise dargestellt wird.
-
Zur
Bereitstellung der Steuerdaten sieht eine Ausführungsvariante der Erfindung
vor, dass die Steuerdaten im Plug-In erzeugt, an das Host-Programm
gegeben und dort dargestellt werden. Die Erzeugung der Steuerdaten
im Plug-In erfolgt beispielsweise durch eine entsprechende Ausgestaltung
der Plug-In Software, wobei die durch das Plug-In erfolgten Änderungen
der Eingangsdaten erfasst und als Steuerdaten ausgegeben werden.
-
In
einem Ausführungsbeispiel
der vorliegenden Erfindung umfasst das Bereitstellen der Steuerdaten
das Erzeugen einer neuen Spur im Host-Programm. Die Steuerdaten
des Plug-Ins werden dabei vom Host-Programm als neuer Parameter
aufgefasst, der dann beispielsweise in einem Editor des Host-Programm
dargestellt wird und bearbeitet werden kann.
-
In
einem weiteren Ausführungsbeispiel
umfasst das Analysieren mindestens eines Teils der Audio- und/oder
Videodaten durch ein Plug-In Softwareprogramm eine automatische
Sprechererkennung und ist das in bearbeitbarer Form bereitgestellte
Ergebnis der Analyse änderbar
ist. Beispielsweise nimmt die Sprerchererkennung eine Zuordnung
einer Spur einer Audiodatei zu einer einer Mehrzahl von Personen
vor. Das Ergebnis dieser Analyse ist änderbar, indem die erfolgte
Zuordnung durch einen Bearbeiter geändert werden kann.
-
In
einer weiteren Ausgestaltung erfolgt das Erzeugen und Bereitstellen
von Steuerdaten nur in einem von zwei Betriebsmodi des Plug-Ins,
wobei in dem anderen Betriebsmodus die durch das Plug-In durchgeführte Bearbeitung
und/oder Analyse nicht bearbeitbar ist. Nur in einem der Betriebsmodi
ist somit eine durch das Plug-In durchgeführte Parameteränderung
mittels des aufgezeichneten und editierbaren Automatisierungssignal änderbar.
Es kann damit der Betriebsmodus umgeschaltet werden, nachdem im
einem ersten Durchlauf ein Automatisierungssignal erzeugt und mittels
diesem eine Änderung
vorgenommen wurde. Es erfolgt nun keine erneute Analyse der Eingangsdaten
mehr.
-
Die
Erfindung betrifft des weiteren eine digitale Audio- und/oder Videobearbeitungsvorrichtung. Diese
weist auf:
- – ein Plug-In Softwareprogramm
(Plug-In) zum Bearbeiten und/oder Analysieren mindestens eines Teils
der Audio- und/oder Videodaten eines Host-Programms,
- – Mittel
zum Erzeugen von Steuerdaten, die die durch das Plug-In durchgeführte Bearbeitung und/oder
Analyse zumindest teilweise angeben,
- – Mittel
zum Bereitstellen der Steuerdaten oder davon abgeleiteter Daten
in einer bearbeitbaren Form dem Host-Programm.
-
Das
Host-Programm und das Plug-In kommunizieren über eine normierte Schnittstelle
miteinander, beispielsweise eine VST-Schnittstelle.
-
Des
weiteren umfasst die Erfindung ein digitales Audio- und/oder Videobearbeitungsprogramm mit
Programmcode zur Durchführung
des beschriebenen Verfahrens sowie einen digitalen Datenträger mit
durch einen Computer ausführbaren
Programmcode zur Durchführung
des beschriebenen Verfahrens.
-
Beschreibung eines Ausführungsbeispiels
der Erfindung
-
Die
Erfindung wird nachfolgend unter Bezugnahme auf die Figuren der
Zeichnung anhand mehrerer Ausführungsbeispiele
näher erläutert. Es
zeigen
-
1 eine
Audiospur zusammen mit einer Automationsspur, die die durch einen
Plug-In vorgenommenen Änderungen
angibt;
-
2 die
Audiospur zusammen mit einer Automationsspur, die editiert und dabei
geändert wurde,
um bestimmte Entscheidungen des Plug-In zu modifizieren;
-
3A schematisch
Komponenten einer erfindungsgemäßen Audiobearbeitungsvorrichtung zum
Erzeugen von Steuerdaten und deren Bereitstellung in editierbarer
Form, wobei die Vorrichtung in einem Schreib-/Analysemodus dargestellt
ist;
-
3B schematisch
die Änderung
von Analysedaten der Vorrichtung der 3A in
einem Editiermodus; und
-
3C die
Audiobearbeitungsvorrichtung der 3A im
Lesemodus.
-
Die 1 zeigt
eine Audiospur 1, die in einem Editor eines Host-Programms
dargestellt ist und das Ausgangsmaterial für eine Bearbeitung darstellt, die
durch ein Plug-In durchgeführt
wird. Bei dem Host-Programm kann es sich um eine übliche Audiobearbeitungssoftware
wie z. B. Cubase® handeln. Das Host-Programm
und das Plug-In kommunizieren dabei über eine normierte Schnittstelle,
beispielsweise eine VST-Schnittstelle.
-
Anders
als bei im Stand der Technik bekannten Plug-Ins wird das Ergebnis
der durch das Plug-In erfolgten Bearbeitung in editierbarer Weise
durch den Editor des Host-Programms
dargestellt. Das Plug-In nimmt allgemein eine zeitliche Änderung
mindestens eines Parameters des Ausgangsmaterials vor. Die Änderungen
werden in einer Automationskurve im Editor dargestellt. Eine solche
Automationskurve kann auch als Automationsspur oder Steuerdatenspur
bezeichnet werden. Die 1 zeigt in der unteren Hälfte eine
solche Automationskurve 2.
-
Ein
Bearbeiter kann nun die durch das Plug-In vorgenommenen Änderungen
prüfen
und ggf. durch Manipulation ändern.
Beispielsweise arbeitet in der 1 der durch
das Plug-In ausgeführte Algorithmus
an einer Stelle X fehlerhaft. Ein Bearbeiter kann dies durch Abspielen
des geänderten
Audiomaterials akustisch und/oder mit geübtem Auge an der Automationskurve 2 erkennen.
Gemäß der 2 wird
die fehlerhafte Stelle X geändert,
indem die Automationskurve 2' an
dieser Stelle geändert
wird. Die im Stand der Technik nicht erkennbaren und damit nicht
diskutierbaren Entscheidungen des Plug-In können
somit editiert und geändert
werden. Nach einer solchen Änderung
wird das Plug-In vom SCHREIB-(WRITE)Modus, in dem die Änderungen aufgezeichnet
werden, in den LESE-(READ)Modus gesetzt, in dem die vorgenommenen Änderungen nachvollzogen
und dargestellt werden.
-
Die
in den 1 und 2 dargestellte Automation betrifft
beispielsweise eine Lautstärkeregelung,
die ein Plug-In automatisch an einem Eingangssignal vornimmt. Beispielsweise
werden Lautstärkespitzen
herausgefiltert. Wenn die Automationskurve 2 den Wert Null
annimmt, erfolgte keine Änderung der
Lautstärke.
Wenn die Automationskurve 2 negative Werte annimmt, wurde
die Lautstärke
reduziert. Wenn die Automationskurve 2 positive Werte annimmt
(was in den 1 und 2 nicht
der Fall ist), wurde die Lautstärke
erhöht.
Die Automationskurve 2 zeigt also die vorgenommene Lautstärkeänderung an.
Entsprechende Automationskurven können beispielsweise auch für die Aufteilung
eines Audiosignals auf einen rechten und linken oder einen vorderen
und hinteren Lautsprecher erfolgen.
-
Die
Veränderung
des Lautstärkewertes
wird als Steuersignal im Plug-In erfasst und dem Host-Programm mitgeteilt.
Aus dem Steuersignal erzeugt das Host-Programm die entsprechende
Automationskurve 2, die editierbar ist, so dass das Ergebnis
der Plug-In Berechnung änderbar
ist, d. h. dem Bearbeiter die Parameteränderungen zum Editieren zur
Verfügung
stehen. So ist an der Stelle X der 1, an der
ein hoher Lautstärkepegel
vorliegt, keine Reduzierung der Lautstärke erfolgt, sondern erst dahinter.
Ein Bearbeiter kann dies durch Abspielen des geänderten Audiomaterials akustisch
und/oder optisch an der Automationskurve 2 erkennen und
die fehlerhafte Stelle X entsprechend der Automationskurve 2' der 2 ändern.
-
Die 3A bis 3C zeigen
schematisch Komponenten einer Audio-Bearbeitungsvorrichtung zur Erzeugung
von Steuerdaten, die eine durch ein Plug-In durchgeführte Bearbeitung
und/oder Analyse betreffen, und zwar in einem Schreib-/Analyse-Modus (3A),
in einem Editier-Modus (3B) und in
einem Lesemodus (3C).
-
Gemäß der 3A ist
eine Audio-Analyse-Routine 10 vorgesehen, die eine Bearbeitung
von Audiodaten vornimmt, die der Audio-Analyse-Routine 10 an
einem Audiodaten-Eingang 11 bereitgestellt werden.
Bei der Audio-Analyse-Routine 10 handelt es sich insbesondere
um eine Plug-In-Software. Grundsätzlich
kann die Audio-Analyse-Routine jedoch auch in anderer Weise als
als Plug-In, beispielsweise als Subroutine bereitgestellt werden.
-
Zur
Bearbeitung der über
den Audiodaten-Eingang 11 bereitgestellten Eingangsdaten
liest die Audio-Analyse-Routine 10 Benutzerparameter 12 ein.
Diese können
statisch oder zeitabhängig
bereitgestellt werden. Auf der Basis der programmierten Routine 10 und
der Benutzerparameter 12 werden bearbeitete Audiodaten
erzeugt und an einem Audiodaten-Ausgang 13 bereitgestellt.
Gleichzeitig werden zeitlich synchron zu den Audiodaten Steuerdaten
von der Audio-Analyse-Routine 10 erstellt und beispielsweise
in einem Editor in Form einer Automationsspur bereitgestellt. Die
Steuerdaten sind in den 3A, 3B und 3C als
Analysedaten bezeichnet.
-
Gemäß der 3B,
die den Editiermodus der Vorrichtung angibt, kann ein Benutzer nun
die geschriebenen Analysedaten händisch
verändern,
beispielsweise um Fehler der Audio-Analyse-Routine 10 zu
beheben. Die geänderten
Analysedaten sind mit dem Bezugszeichen 14' bezeichnet. Die Änderung der
Analysedaten erfolgt beispielsweise in einem Editor eines Host-Programms
zur Audioberarbeitung, wie in Bezug auf die 1 und 2 beschrieben.
-
Gemäß der 3C werden
nun in einem Lesemodus die geänderten
Analysedaten 14' von
der Audio-Analyse-Routine 10 eingelesen. Die Benutzerparameter 12 werden
dagegen nicht erneut eingelesen. Die am Audiodaten-Eingang 11 bereitgestellten Audiodaten
werden nun durch die Audio-Analyse-Routine 10 und entsprechend
der Vorgaben der geänderten
Analysedaten 14' bearbeitet
und die Bearbeitung wird am Audiodaten-Ausgang 13 bereitgestellt.
Im Lesemodus erfolgt somit eine Datenbearbeitung durch die Audio-Analyse-Routine 10 entsprechend
der durch den Benutzer bearbeiteten Automationskurve.
-
Die
internen Steuerdaten, auf deren Basis das Host-Programm eine editierbare
Automationskurve erstellt, werden von der Audio-Analyse-Routine 10 an
das Host-Programm
gegeben und das Host-Programm erzeugt zu diesen Daten in einem Ausführungsbeispiel
eine neue Spur, die Automationsspur. Grundsätzlich kann die Darstellung
der Steuerdaten jedoch auch in anderer Weise erfolgen. Das Host-Programm fasst die übergebenen
Steuerdaten dabei als neuen Parameter auf, der in editierbarer Weise
dargestellt wird. Damit ist das zwischenzeitliche Bearbeiten (Editieren)
der Automationsspur durch den Benutzer möglich. Die automatisch durch das
Plug-In erzeugten Ergebnisse und dessen Algorithmus können durch
den Benutzer überprüft und auf Wunsch
geändert
werden, wie in der 3b angegeben. Im Lesemodus erfolgt
nun keine erneute Analyse der Eingangsdaten mehr. Die Reaktion des
Algorithmus folgt vielmehr den abgespeicherten Daten 14 der
Automationskurve.
-
Ein
weiteres Ausführungsbeispiel
der Erfindung betrifft die Änderungsmöglichkeit
einer durch ein Plug-In durchgeführten
Analyse. Die Analyse betrifft beispielsweise eine Sprechererkennung.
Das Ergebnis der Sprechererkennung wird in editierbarer Weise dargestellt.
Durch eine Änderung
können
Fehler der Zuordnung korrigiert werden (z. B. war der Sprecher nicht
die Person A, sondern die Person B).
-
Die
Erfindung beschränkt
sich in ihrer Ausgestaltung nicht auf die vorstehend dargestellten
Ausführungsbeispiele.
Beispielsweise können
ebenso Videodaten oder kombinierte Audio- und Videodaten bearbeitet
und vorgenommene Bearbeitungen in editierbaren Automationskurven
dargestellt werden.