DE102016115449B4 - Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt - Google Patents

Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt Download PDF

Info

Publication number
DE102016115449B4
DE102016115449B4 DE102016115449.0A DE102016115449A DE102016115449B4 DE 102016115449 B4 DE102016115449 B4 DE 102016115449B4 DE 102016115449 A DE102016115449 A DE 102016115449A DE 102016115449 B4 DE102016115449 B4 DE 102016115449B4
Authority
DE
Germany
Prior art keywords
sound
virtual
receiver
audio signal
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016115449.0A
Other languages
English (en)
Other versions
DE102016115449A1 (de
Inventor
Alfons Martin
Patrick Schreiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE102016115449.0A priority Critical patent/DE102016115449B4/de
Publication of DE102016115449A1 publication Critical patent/DE102016115449A1/de
Application granted granted Critical
Publication of DE102016115449B4 publication Critical patent/DE102016115449B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal (22, 32, 112, 113), vorzugsweise einem Sprachsignal, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal (22, 32, 112, 113) einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist, dadurch gekennzeichnet, dass zur Erzeugung des Raumklangs simuliert wird, dass das Audiosignal (22, 32, 112, 113) von einer in einem virtuellen Raum (1) positionierten virtuellen Schallquelle (20, 30) ausgehend auf ein ebenfalls im virtuellen Raum (1) angeordnetes Empfängerpaar (10) mit zwei konstant voneinander beabstandeten, im virtuellen Raum (1) eine vordefinierte Bewegung ausführenden Empfängerelementen (12, 13) eintrifft.

Description

  • Die Erfindung geht aus von einem Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, vorzugsweise einem Sprachsignal, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist.
  • Zur Erzeugung des Raumklangs ist es im Stand der Technik bekannt, interaurale Zeitdifferenzen entsprechend der gewünschten Relativposition zwischen Schallquelle und Empfänger zu wählen. Problematisch dabei ist, dass der Empfänger anhand der interauralen Zeitdifferenzen die scheinbare relative Position der Schallquelle zum Empfänger nicht eindeutig bestimmen kann. Beispielsweise kann er nicht immer eindeutig unterscheiden, ob die Schallquelle scheinbar vor oder hinter ihm positioniert sein soll.
  • Aus der US 6 611 603 B1 ist eine Steuervorrichtung zur Erzeugung eines Raumklangs bekannt. Dazu wird das monaurale Audiosignal unter Verwendung von Head-Related Transfer Functions (HRTFS) gefiltert. Um einen guten Raumklangeindruck erzeugen zu können, müssen jedoch die verwendeten HRTFS genau auf den Empfänger, im Falle eines Hörers beispielsweise auf seine Kopfgröße bzw. seinen Ohrabstand, abgestimmt werden.
  • Aus der US 2010 0183159 A1 ist ein Verfahren bekannt, durch das ein Audiosignal erzeugt wird, bei dem eine in einem virtuellen Raum positionierte virtuelle Schallquelle, von der das Audiosignal scheinbar ausgesandt wird, scheinbar dynamisch bewegt wird. Insbesondere wird die Position der virtuellen Schallquelle in Abhängigkeit der Blickrichtung eines Empfängers, in diesem Falle insbesondere eines in einem Cockpit sitzenden Piloten, alternierend variiert. Sobald der Pilot seinen Kopf jedoch entsprechend der Richtung ausrichtet, aus der er das Audiosignal scheinbar wahrnimmt, wird die Position der virtuellen Schallquelle nicht mehr verändert. Dadurch soll der Pilot weniger kognitive Kapazität aufwenden müssen, um auf zusätzliche (Lage-)Informationen eines auditiv unterstützten, visuellen Warnsignals hingewiesen zu werden.
  • Aus der US 2013 / 0 208 926 A1 ist ein Verfahren zur Raumklangerzeugung bekannt, bei dem eine Position eines Hörers ermittelt und unter Verwendung dieser Positionsinformation mittels einer Head-Related Transfer Function ein dreidimensionaler Raumklang erzeugt wird. Insbesondere ist vorgesehen, eine Head-Related Transfer Function individuell auf den Hörer abzustimmen.
  • Die Fachveröffentlichung „Auditory perception of the listening position in virtual rooms using static and dynamic binaural synthesis“ A. Neidhardt, et al., AES Convention Paper 9517, 4.-7. Juni 2016, Paris, Frankreich offenbart ein Hörexperiment zur Bestimmung von Hörpositionen innerhalb eines virtuellen Raums, wobei ein Teilnehmer eine statische Situation und eine dynamische Situation mit Head-Tracking beurteilen konnte.
  • Insbesondere für Technologien zur Schaffung einer virtuellen Realität ist es besonders wünschenswert, nicht nur visuell, sondern auch akustisch eine möglichst hohe Realitätsnähe erzeugen zu können. Dazu ist es wünschenswert, Raumklänge zu erzeugen, die einen möglichst natürlichen räumlichen Klangeindruck, insbesondere in Bezug auf die scheinbare Relativposition einer Schallquelle zu einem Empfänger, erzeugen.
  • Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und ein Computerprogrammprodukt anzubieten, mit dem ein Raumklang mit verbessertem Raumklangeindruck aus einem Audiosignal erzeugt werden kann. Des Weiteren ist es Aufgabe der vorliegenden Erfindung, besonders vorteilhafte Verwendung eines solchen Verfahrens bzw. eines solchen Computerprogrammprodukts anzugeben.
  • Gelöst wird die Aufgabe durch ein Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, vorzugsweise einem Sprachsignal, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist, wobei zur Erzeugung des Raumklangs simuliert wird, dass das Audiosignal von einer in einem virtuellen Raum positionierten virtuellen Schallquelle ausgehend auf ein ebenfalls im virtuellen Raum angeordnetes Empfängerpaar mit zwei konstant voneinander beabstandeten, im virtuellen Raum eine Bewegung ausführenden Empfängerelementen eintrifft.
  • Das Audiosignal kann beispielsweise ein Sprachsignal aufweisen. Es kann auch ein Musiksignal, beispielsweise einer Filmmusik, und/oder ein sonstiges Klang- bzw. Soundeffektsignal, beispielsweise ein natürliches Geräusch, ein Hintergrundgeräusch und/oder einen künstlich erzeugten Soundeffekt, aufweisen.
  • Untersuchungen haben ergeben, dass natürliche Personen oftmals unwillkürlich oder willkürlich Kopfbewegungen ausführen, durch die sie in die Lage versetzt werden, eine real existierende Schallquelle präziser zu orten. Insbesondere können sie durch die Bewegung in die Lage versetzt werden zu unterscheiden bzw. zu erkennen, ob ein von ihnen empfangenes Audiosignal von einer Schallquelle stammt, die sich in einem vor oder hinter ihnen liegenden Halbraum befindet.
  • Dem erfinderischen Gedanken entsprechend kann somit ein derartiges Verhalten simuliert werden, um einen Raumklang mit verbessertem Raumklangeffekt aus einem Audiosignal zu erzeugen. Besonders vorteilhaft ist dabei, dass aufgrund der Bewegung des Empfängerpaars ein besonders natürlicher Raumklangeindruck geschaffen werden kann.
  • Insbesondere kann ein Raumklang als Ergebnis einer Simulation erzeugt werden. Dazu kann von einem virtuellen Raum ausgegangen werden, in dem eine virtuelle Schallquelle sowie ein Empfängerpaar entsprechend der bestimmten Relativposition positioniert werden können. Das Empfängerpaar kann den Empfänger repräsentieren. Das Empfängerpaar weist zwei Empfängerelemente auf, die in konstantem Abstand zueinander angeordnet sind. Beispielsweise kann das Empfängerpaar einen Kopf einer Person repräsentieren, die das Audiosignal bzw. den Raumklang hört bzw. empfängt. Dann können die zwei Empfängerelemente beispielsweise den zwei Ohren des Kopfes entsprechen. Somit kann eine Bewegung des Kopfes und der beiden Ohren im virtuellen Raum sowie der durch die Bewegung entstehende Höreindruck simuliert werden. Auch kann dem Empfängerpaar eine Vorderseite und eine Rückseite zugeordnet werden. Dann kann ein vorderer und ein hinterer Halbraum des Empfängerpaars definiert werden. Somit kann bestimmt werden, ob die virtuelle Schallquelle vor oder hinter dem Empfängerpaar positioniert ist.
  • Die Positionen der virtuellen Schallquelle und/oder des virtuellen Empfängers können in Abhängigkeit von der gewünschten Relativposition der virtuellen Schallquelle zum Empfänger gewählt werden. Zur Wahl bzw. Festlegung der Positionen können auch noch weitere Kriterien herangezogen werden. Beispielsweise können die virtuelle Schallquelle und/oder das Empfängerpaar mit vordefinierbaren Abständen von Begrenzungen des virtuellen Raums, beispielsweise virtuellen Wänden, Decken oder Böden des virtuellen Raums und/oder weiteren virtuellen Objekten angeordnet werden.
  • Besonders bevorzugt ist es, wenn zur Erzeugung des Raumklangs eine translatorische und/oder eine rotatorische Bewegung des Empfängerpaars innerhalb des virtuellen Raums entlang einer vordefinierten Bahn simuliert werden. Derartige Bewegungen können einfach simuliert werden und können dennoch zur Verbesserung des Raumklangeindrucks beitragen.
  • Vorteilhaft ist des Weiteren, wenn die Bewegung eine Bewegung in einer durch das Empfängerpaar und die virtuelle Schallquelle aufgespannten Ausbreitungsebene umfasst. Dadurch kann sichergestellt werden, dass die Bewegung zumindest eine Bewegungskomponente aufweist, durch die die Abstände der Empfängerelemente zur virtuellen Schallquelle unterschiedlich variiert werden.
  • Auch kann vorgesehen sein, dass die Bewegung oszillierend ist und/oder eine vordefinierte Anzahl an Wiederholungen umfasst. Sie kann auch beispielsweise über eine vorgebbare Zeitdauer hinweg, beispielsweise zwei Sekunden, ausgeführt werden.
  • Insbesondere kann auch vorgesehen sein, dass die Bewegung eine Rotation um bis zu +/- 5°, beispielsweise um +/- 2°, relativ zur Ausgangslage des Empfängerpaars um eine zur Ausbreitungsebene senkrechte Rotationsachse umfasst. Beispielsweise kann vorgesehen sein, zu Beginn des Audiosignals das Empfängerpaar zunächst nach links, dann nach rechts und anschließend wieder in seine Ausgangsstellung um die Rotationsachse zu drehen. Auch kann beispielsweise eine Rechts-LinksBewegung vorgesehen sein. Auch kann das Empfängerpaar insbesondere in der Ausbreitungsebene in einer vordefinierten Richtung und/oder um eine vordefinierte Distanz verlagert bzw. translatorisch bewegt werden.
  • Die Vorn-/Hinten-Unterscheidung lässt sich weiter verbessern, wenn zusätzlich die virtuelle Schallquelle im virtuellen Raum bewegt wird.
  • Es kann auch vorgesehen sein, mehrere Raumklänge für mehrere Audiosignale zu erzeugen. Dazu können mehrere virtuelle Schallquellen mit ihren Relativpositionen zu einem Empfängerpaar simuliert werden. Dabei können die virtuellen Schallquellen ebenfalls bewegt werden.
  • Die erzeugten Raumklänge können anschließend für den Empfänger zu einem Gesamtraumklang gemischt werden. Beispielsweise können die virtuellen Schallquellen gleichartig in die gleiche Richtung verlagert werden.
  • Eine besonders einfache und effiziente Erzeugung des Raumklangs lässt sich erreichen, wenn eine Laufzeit, insbesondere eine simulierte Schalllaufzeit von der virtuellen Schallquelle zu wenigstens einem der Empfängerelemente, variiert wird. Somit kann eine interaurale Laufzeitdifferenz erzeugt werden.
  • Auch kann zur Raumklangerzeugung eine interaurale Pegeldifferenz erzeugt werden. Insbesondere wenn der zu erzeugende Raumklang wenigstens zwei Kanäle aufweist, beispielsweise einen linken und einen rechten Kanal, kann hierfür wenigstens eine Amplitude eines in einen Kanal des Raumklangs eingespeisten Signals variiert werden.
  • Die Detailtreue des zu erzeugenden Raumklangs lässt sich weiter verbessern, wenn dem Raumklang ein Echo-, Nachhall- und/oder Dopplereffekt hinzugefügt wird. Insbesondere bei großer Detailtreue und/oder je nach gewählter Methode der Raumklangerzeugung kann dadurch beispielsweise ein zusätzlicher Ausbreitungsweg des Audiosignals von der virtuellen Schallquelle zum virtuellen Empfänger simuliert werden.
  • Auch kann der Raumklang mittels wenigstens einer Head-Related Transfer Function, insbesondere eines Blauertschen Bandes, erzeugt und/oder modifiziert werden. Beispielsweise kann für eine hinter dem Empfängerpaar positionierte virtuelle Schallquelle das von ihr scheinbar ausgesendete Audiosignal in einem Frequenzbereich um 1 kHz in seiner Amplitude angehoben werden.
  • In einer besonders vorteilhaften Variante des Verfahrens kann vorgesehen werden, zur Definition der Bahn der Bewegung eine Bewegung eines reellen Objekts, vorzugsweise einer natürlichen Person oder eines von dieser bewegten Objekts, aufzuzeichnen. Somit kann beispielsweise eine unwillkürliche oder willkürliche Bewegung einer natürlichen Person aufgezeichnet werden. Anhand dieser aufgezeichneten Bewegung kann dann die Bahn der Bewegung des Empfängerpaars bzw. der Empfängerelemente simuliert werden. Somit kann die Natürlichkeit des Raumklangeindrucks noch weiter verbessert werden.
  • In den Rahmen der Erfindung fällt auch eine Verwendung des Verfahrens gemäß der Erfindung in einer Multimediavorrichtung, beispielsweise in einer Telekonferenzvorrichtung oder in einem Onlinespiel, zur Herstellung und/oder Wiedergabe eines Audiosignals, insbesondere für ein Hörbuch und/oder für einen Film.
  • Das Verfahren kann beispielsweise bei der Herstellung und/oder Wiedergabe von Hörbüchern, Hörspielen, von audiovisuellen Laufbildern, insbesondere Filmmaterial, von Tonträgern, beispielsweise der Musikindustrie, und/oder bei der Herstellung bzw. der Ausführung von Computer- bzw. Videospielen verwendet werden.
  • Beispielsweise kann das Verfahren besonders vorteilhaft in einer Multimediavorrichtung verwendet werden, die eine virtuelle Realität erzeugt. Die Multimediavorrichtung kann virtuelle Objekte simulieren, von denen Audiosignale ausgesandt und von einem Empfänger empfangen werden. Der Empfänger kann als Nutzer der Multimediavorrichtung einen erzeugten Raumklang hören. Somit kann er in die Lage versetzt werden, akustisch präziser wahrzunehmen, ob sich die virtuellen Objekte virtuell vor oder hinter ihm befinden.
  • Der erzeugte Raumklangeindruck kann, insbesondere zur Herstellung einer virtuellen Realität, auch mit einem entsprechenden visuellen Eindruck gekoppelt werden. Somit können virtuelle Objekte beispielsweise als vor einem Nutzer liegend visuell dargestellt werden und ein Raumklangeindruck von eindeutig vor dem Nutzer befindlichen virtuellen Schallquellen erzeugt werden.
  • In den Rahmen der Erfindung fällt des Weiteren ein Computerprogrammprodukt zur Ausführung auf einer Rechnereinheit, wobei das Computerprogrammprodukt eingerichtet ist, einen Raumklang aus einem Audiosignal zu erzeugen, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist, wobei der Raumklang ausgebildet ist zu simulieren, dass das Audiosignal scheinbar von einer in einem virtuellen Raum positionierten virtuellen Schallquelle ausgehend auf ein ebenfalls im virtuellen Raum angeordnetes Empfängerpaar mit wenigstens zwei, voneinander konstant beabstandeten, im virtuellen Raum eine Bewegung ausführenden Empfängerelementen eintrifft. Dadurch ergibt sich eine besonders einfache Möglichkeit, das erfindungsgemäße Verfahren zu implementieren.
  • Insbesondere kann eine Instanz des Computerprogrammprodukts auf einer Rechnereinheit ausführbar installiert sein. Besonders vorteilhaft ist es, wenn die Rechnereinheit eine Audio-Schnittstelle, beispielsweise einen Stereokopfhörer oder ein Stereolautsprecherpaar, aufweist. Dann kann der erzeugte Raumklang über die Audio-Schnittstelle an einen die Audio-Schnittstelle nutzenden Benutzer übermittelt werden.
  • Es kann auch vorgesehen sein, dass die Rechnereinheit mit einer Bildwiedergabeeinheit verbunden ist. Dann kann das Computerprogrammprodukt ausgebildet sein, einen virtuellen Raum mit entsprechend der bestimmten Relativposition angeordneter virtueller Schallquelle und/oder entsprechend angeordnetem Empfängerpaar darzustellen. Die virtuelle Schallquelle und/oder das Empfängerpaar können insbesondere als Avatare dargestellt werden. Somit kann dem Benutzer ein dem Raumklangeindruck entsprechender visueller Eindruck verschafft werden.
  • Das Computerprogrammprodukt kann auch ausgebildet sein, in einem Internetbrowser ausgeführt zu werden. Auch kann vorgesehen werden, dass das Computerprogrammprodukt oder Teile des Computerprogrammprodukts ausgebildet sind, auf einem zentralen Server ausgeführt zu werden. So können beispielsweise besonders rechenleistungsbedürftige Teile auf den zentralen Server ausgelagert werden und erzeugte Raumklänge an die Recheneinheit übertragen werden.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung von Varianten und Ausführungsbeispielen der Erfindung, anhand der Figuren der Zeichnung, die erfindungswesentliche Einzelheiten zeigt, sowie aus den Ansprüchen. Die dort gezeigten Merkmale sind nicht notwendig maßstäblich zu verstehen und derart dargestellt, dass die erfindungsgemäßen Besonderheiten deutlich sichtbar gemacht werden können. Die verschiedenen Merkmale können je einzeln für sich oder zu mehreren in beliebigen Kombinationen bei Varianten der Erfindung verwirklicht sein.
  • In der schematischen Zeichnung sind Ausführungsbeispiele der Erfindung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
  • Es zeigen:
    • 1 eine schematische Darstellung eines virtuellen Raums mit einem Empfängerpaar und zwei virtuellen Schallquellen, wobei sich das Empfängerpaar in einer Ausgangslage befindet;
    • 2 eine schematische Darstellung des virtuellen Raums der 1, wobei das Empfängerpaar im Uhrzeitersinn rotiert worden ist;
    • 3 eine schematische Darstellung des virtuellen Raums der 1, wobei das Empfängerpaar im Gegenuhrzeigersinn rotiert worden ist;
    • 4 eine schematische Darstellung einer Rechnereinheit, auf der ein Computerprogrammprodukt ausführbar installiert ist.
  • Anhand der 1 bis 3 soll zunächst erläutert werden, wie ein Raumklang erfindungsgemäß erzeugt werden kann, der bei einem Empfänger den Eindruck erzeugt, dass ein von ihm gehörtes Audiosignal einer ersten Schallquelle entstammt, die vor ihm positioniert zu sein scheint. Desgleichen wird im Folgenden erläutert, wie für den Empfänger ein weiterer Raumklang erzeugt wird, der dem Empfänger den Eindruck vermittelt, dass eine zweite Schallquelle scheinbar hinter ihm angeordnet ist.
  • Dazu ist in der 1 zunächst eine Aufsicht auf einen virtuellen Raum 1 dargestellt. In dem virtuellen Raum 1 ist ein Empfängerpaar 10 an einer Position 11 angeordnet. Das Empfängerpaar 10 repräsentiert den Benutzer bzw. den Empfänger.
  • Das Empfängerpaar 10 weist zwei Empfängerelemente 12, 13 auf, die rechts- bzw. linksseitig der Position 11 in einem vorgegebenen, konstanten Abstand d zueinander angeordnet sind. Senkrecht zu einer durch die beiden Empfängerelemente 12, 13 verlaufenden Achse a ist eine Richtung x gekennzeichnet. In der in der 1 dargestellten Situation entspricht die Richtung x einer Hörrichtung bzw. Empfangsrichtung e des Empfängerpaares 10. In der Darstellung der 1 ergibt sich somit ein vorderer Halbraum V, der sich entlang der Empfangsrichtung e vor der Achse a befindet. Entgegen der Empfangsrichtung e ergibt sich des Weiteren ein hinter dem Empfängerpaar 10 liegender hinterer Halbraum H.
  • Eine erste virtuelle Schallquelle 20 ist im vorderen Halbraum V an einer Position 21 angeordnet. Es soll nun ein Raumklang für den Empfänger erzeugt werden, der den Eindruck vermittelt, dass ein Audiosignal 22 von der ersten Schallquelle 20 ausgeht und beim Empfänger bzw. bei dem ihn repräsentierenden Empfängerpaar 10 eintrifft.
  • Des Weiteren ist eine zweite virtuelle Schallquelle 30 an einer Position 31 im hinteren Halbraum H positioniert. Analog zum ersten Audiosignal 22 soll ausgehend von der zweiten Schallquelle 30 ein zweites Audiosignal 32 bzw. ein zugehöriger Raumklang erzeugt werden, bei dem dem Empfänger der Eindruck vermittelt wird, dass das Audiosignal 32 von hinten auf den Empfänger bzw. das ihm zugeordnete Empfängerpaar 10 eintrifft.
  • Jedoch ist in der in der 1 dargestellten Situation eine Vorn-Hinten-Unterscheidung für das Empfängerpaar 10 bzw. den Empfänger wie im Folgenden erläutert zunächst nicht oder nur schlecht möglich.
  • Der 1 sind Abstände l1, r1, l2, r2 zu entnehmen. Der Abstand l1 entspricht dem Abstand der ersten Position 22 zum linksseitigen Empfängerelement 13. Der Abstand r1 entspricht dem Abstand der ersten Position 22 zum rechtseitigen Empfängerelement 12. Analog entsprechen die Abstände 12, r2 den Abständen der zweiten Position 31 vom Empfängerelement 13 bzw. 12. Zu erkennen ist, dass in der 1 die Abstände l1, r1, l2, r2 jeweils gleich lang sind. Ein von der ersten Position 22 abgestrahltes erstes Audiosignal 22 würde also gleichzeitig an den Empfängerelementen 12 bzw. 13 eintreffen. Auch das zweite Audiosignal 32 würde ausgehend von der zweiten Position 31 gleichzeitig an den Empfängerelementen 12, 13 eintreffen. Eine Unterscheidung eines von vom eintreffenden Audiosignals von einem von hinten eintreffenden Audiosignal ist somit zunächst nicht allein anhand von Schalllaufzeitunterschieden bzw. unterschiedlichen Eintreffzeitpunkten des Audiosignals bei den Empfängerelementen 12, 13 möglich.
  • In den 2 und 3 ist jeweils eine der 1 entsprechende Situation dargestellt. Die Situationen der 2 und 3 unterscheiden sich lediglich dadurch, dass das Empfängerpaar 10 mit seinen Empfängerelementen 12, 13 um einen Winkel α aus der Ausgangsrichtung x nach rechts (2) bzw. um einen Winkel β nach links (3) um eine senkrechte Achse durch die Position 11 gedreht ist. Zu erkennen ist, dass in diesen beiden Situationen die Abstände l1, r1, l2, r2 jeweils nicht mehr gleich lang sind. Insbesondere ist in der 2 der Abstand r1 größer als der Abstand l1. Desgleichen ist der Abstand l2 größer als der Abstand r2. In der 3 ist dagegen der Abstand l1 größer als der Abstand r1 und der Abstand r2 größer als der Abstand l2.
  • Simuliert man nun die Schallausbreitung des ersten Audiosignals 22, würde in der 2 das erste Audiosignal 22 zunächst am linksseitigen Empfängerelement 13 und erst anschließend am rechtsseitigen Empfängerelement 12 eintreffen. Umgekehrt würde das zweite Audiosignal 32 zunächst am rechtsseitigen Empfängerelement 12 und anschließend am linksseitigen Empfängerelement 13 eintreffen. Während der rotatorischen Bewegung des Empfängerpaars 10 entsteht somit der Eindruck, dass das erste Audiosignal 22 kontinuierlich früher am linksseitigen Empfängerelement 13 als beim rechtsseitigen Empfängerelement 12 eintrifft. Umgekehrt trifft das zweite Audiosignal 32 umso später am linksseitigen Empfängerelement 13 gegenüber dem rechtsseitigen Empfängerelement 12 ein, je weiter die Bewegung des Empfängerpaars 10 fortschreitet. Analog, jedoch mit umgekehrten Verhältnissen, verhält sich die Wahrnehmung im Falle der Situation der 3.
  • Durch die rotatorischen Bewegungen des Empfängerpaars 10 um eine Achse durch die Position 11, wobei die Achse senkrecht durch eine durch die Schallquelle 20 und die Empfängerelemente 12, 13 definierte Ausbreitungsebene verläuft, wird somit eine Unterscheidung zwischen vorn und hinten ermöglicht.
  • Anhand des ersten Audiosignals 22 soll nun im Detail erläutert werden, wie aus einem Audiosignal ein Raumklang erzeugt wird.
  • Dazu wird zunächst eine vordefinierte rotatorische Bewegung des Empfängerpaars 10 im virtuellen Raum 1 schrittweise simuliert. Zu jedem Schritt werden die resultierenden Abstände l1, r1 ermittelt. Entsprechend der Abstände l1, r1 wird nun ein zweikanaliger Raumklang erzeugt. Dabei wird in jeden Kanal des Raumklangs das erste Audiosignal 22 eingespeist. Jedoch erfolgt die Einspeisung mit einem Zeitversatz zwischen den beiden Kanälen des Raumklangs. Der Zeitversatz bzw. die Zeitdifferenz entspricht der Laufzeitdifferenz, die sich aus Schalllaufzeiten der (zumeist unterschiedlich langen) Abstände l1, r1 jeweils ergeben. Mit anderen Worten wird eine interaurale Laufzeitdifferenz erzeugt, die der Schalllaufzeit des Wegunterschiedes zwischen dem Abstand l1 und dem Abstand r1 entspricht.
  • Zusätzlich kann der erzeugte Raumklang weiter dadurch verbessert werden, dass entsprechend den Wegdifferenzen zwischen den Abständen l1 und r1 die Amplituden der in die Kanäle des Raumklangs eingespeisten zeitversetzten Audiosignale variiert werden. Mit anderen Worten wird zusätzlich eine interaurale Pegeldifferenz zwischen den beiden Kanälen des Raumklangs erzeugt.
  • Der 3 ist des Weiteren zu entnehmen, dass gemäß der dargestellten Ausführungsform auch noch weitere raumklangfördernde Effekte zur Erzeugung des Raumklangs simuliert bzw. generiert werden. Insbesondere wird wie der 3 zu entnehmen ist, ein zweiter Ausbreitungsweg 3 simuliert. Entlang des zweiten Ausbreitungsweges 3 trifft das erste Audiosignal 22 auf einen Wandpunkt 2 des virtuellen Raums 1. An diesem Wandpunkt 2 wird das erste Audiosignal 22 einem Echo entsprechend reflektiert und gelangt auf diesem alternativen Weg zu den Empfängerelementen 12 und 13. Dabei ist der 3 zu entnehmen, dass eine Abschattung des Empfängerelements 12 durch den Kopf eines Menschen zu simulieren ist. Mit anderen Worten wird das durch den zweiten Ausbreitungsweg 3 beschriebene Echo mit wesentlich stärkerer Amplitude in den linksseitigen Kanal des Raumklangs im Vergleich zum rechtsseitigen Kanal des Raumklangs eingespeist.
  • In einer weiteren Variante des erfindungsgemäßen Verfahrens wird abschließend der erzeugte Raumklang mittels einer Head-Related Transfer Function gefiltert bzw. modifiziert. Die Head-Related Transfer Function ist dabei entsprechend der Relativposition zwischen der ersten Position 21 und der Position 11 des Empfängerpaars 10 und unter Berücksichtigung des Abstandes d der beiden Empfängerelemente 12, 13 zueinander gewählt. Der Abstand d ist dazu wiederum entsprechend einem Ohrabstand eines Hörers des zu erzeugenden Raumklangs gewählt.
  • In dieser Variante der Erfindung entspricht die vom Empfängerpaar 10 zurückgelegte Bahn einer natürlichen Bewegung einer natürlichen Person. Dazu wird vorab einer natürlichen Person ein Audiosignal von einer realen Schallquelle ausgehend vorgespielt. Gleichzeitig wird mittels geeigneter Aufzeichnungsvorrichtungen protokolliert, welche Bewegungen der Kopf der Person vollzieht. Insbesondere werden rotatorische und translatorische Bewegungen des Kopfes, während das Audiosignal bei der natürlichen Person eintrifft, aufgezeichnet. Anschließend wird zur Erzeugung des Raumklangs die aufgezeichnete Bahn als Bahn der Bewegung des Empfängerpaars 10 reproduziert.
  • In einer alternativen Variante des Verfahrens wird die Bahn manuell vordefiniert. Insbesondere wird die Bahn definiert als mit einer vordefinierten Anzahl von Wiederholungen auszuführenden Rotation um eine durch die Position 11 verlaufende Rotationsachse von bis zu +/- 5° von der Ausgangsrichtung x ausgehend in einer durch das Empfängerpaar 10 bzw. die Empfängerelemente 12, 13 und die erste Schallquelle 20 aufgespannte Ausbreitungsebene. Mit anderen Worten ist in dieser Variante eine Rechts-Links-Rotation des Empfängerpaars 10 um einen Winkel bis zu α bzw. bis zu β von 5° definiert.
  • Die 4 zeigt eine Multimediavorrichtung 100, bei der das erfindungsgemäße Verfahren verwendet wird. Zu erkennen ist eine Rechnereinheit 105, auf der ein erfindungsgemäßes Computerprogrammprodukt 101 ausführbar installiert ist. Die Rechnereinheit 105 ist mit einer Bildwiedergabeeinheit 102 verbunden. Zudem ist die Rechnereinheit 105 mit einer Audio-Schnittstelle 103, in diesem Fall einem Stereo-Kopfhörer, verbunden. Die Audio-Schnittstelle 103 wird von einem Empfänger bzw. Benutzer 104 getragen. Somit hört der Benutzer 104 den durch das Computerprogrammprodukt 101 bzw. die Rechnereinheit 105 erzeugten Raumklang. Das Computerprogrammprodukt 101 ist eingerichtet, je einen Raumklang aus zwei verschiedenen Audiosignalen 112, 113 zu bilden. Insbesondere wird für den Benutzer 104 der Eindruck erzeugt, dass das Audiosignal 112 von einer vor ihm befindlichen und das Audiosignal 113 von einer hinter ihm befindlichen Schallquelle stammen.
  • Diese Relativpositionen werden gemäß der 4 auch visuell mittels der Bildwiedergabeeinheit 102 durch das Computerprogrammprodukt 101 dargestellt. Dazu wird ein virtueller Raum 114 mit einem dem Benutzer 104 zugeordneten Avatar 110 mit Empfängerelementen 115, 116 in der Bildebene der Bildwiedergabeeinheit 102 dargestellt. In einer vor dem Avatar 110 befindlichen Bildebene ist ein Avatar 111 abgebildet. Dieser repräsentiert die scheinbar vor dem Benutzer 104 liegende virtuelle Schallquelle, die scheinbar das Audiosignal 112 abstrahlt. Für das Audiosignal 113 ist kein dem Avatar 111 entsprechender Avatar dargestellt, da dieser in einer nicht dargestellten Bildebene hinter dem Avatar 110 angeordnet sein müsste.
  • Zur Erzeugung der beiden Raumklänge wird eine Bewegung des Avatars 110 mitsamt seiner Empfängerelemente 115, 116 simuliert. Die so erzeugten Raumklänge werden zunächst gemischt und anschließend über die Audio-Schnittstelle 103 dem Benutzer 104 vorgespielt. Somit kommt der Benutzer 104 in den besonderen Genuss der erfindungsgemäß verbesserten Raumklänge, durch die er insbesondere leichter zwischen scheinbar vor und hinter ihm liegenden Schallquellen unterscheiden kann. Zudem bekommt er einen den Raumklängen bzw. dem Gesamtraumklang entsprechenden visuellen Eindruck vermittelt.

Claims (15)

  1. Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal (22, 32, 112, 113), vorzugsweise einem Sprachsignal, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal (22, 32, 112, 113) einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist, dadurch gekennzeichnet, dass zur Erzeugung des Raumklangs simuliert wird, dass das Audiosignal (22, 32, 112, 113) von einer in einem virtuellen Raum (1) positionierten virtuellen Schallquelle (20, 30) ausgehend auf ein ebenfalls im virtuellen Raum (1) angeordnetes Empfängerpaar (10) mit zwei konstant voneinander beabstandeten, im virtuellen Raum (1) eine vordefinierte Bewegung ausführenden Empfängerelementen (12, 13) eintrifft.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Erzeugung des Raumklangs eine translatorische und/oder eine rotatorische Bewegung der Empfängerelemente (12, 13) innerhalb des virtuellen Raums (1) entlang einer vordefinierten Bahn simuliert werden.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung eine Bewegung in einer durch das Empfängerpaar (10) und die virtuelle Schallquelle (20, 30) aufgespannten Ausbreitungsebene umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung oszillierend ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung eine vordefinierte Anzahl an Wiederholungen umfasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung eine Rotation um bis zu +/-5° relativ zur Ausgangslage x des Empfängerpaars (10) um eine zur Ausbreitungsebene senkrechte Rotationsachse umfasst.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich die virtuelle Schallquelle (20, 30) im virtuellen Raum (1) bewegt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung des Raumklangs eine Laufzeit, insbesondere eine simulierte Schalllaufzeit von der virtuellen Schallquelle (20, 30) zu wenigstens einem der Empfängerelemente (12, 13), variiert wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung des Raumklangs eine Amplitude eines in einen Kanal des Raumklangs eingespeisten Signals variiert wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem Raumklang ein Echo-, Nachhall- und/oder Dopplereffekt hinzugefügt wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Raumklang mittels wenigstens einer Head-Related Transfer Function, insbesondere eines Blauertschen Bandes, erzeugt und/oder modifiziert wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Definition einer Bahn der simulierten Bewegung der zwei Empfängerelemente (12, 13) eine Bewegung eines reellen Objekts, vorzugsweise einer natürlichen Person oder eines von dieser bewegten Objekts, aufgezeichnet wird.
  13. Verfahren nach Anspruch 1, bei dem die Erzeugung des Raumklangs folgende Schritte aufweist: Ermitteln von Abständen der in dem virtuellen Raum (1) positionierten virtuellen Schallquelle (20, 30) von den zwei Empfängerelementen (12, 13) zu Schritten einer vordefinierten simulierten Bewegung der zwei Empfängerelemente (12, 13); Erzeugen des Raumklangs für jeden Schritt der vordefinierten simulierten Bewegung, wobei eine Einspeisung des Audiosignals (22, 32) der virtuellen Schallquelle (20, 30) in zwei Kanäle des Raumklangs mit einem Zeitversatz oder einer Amplitudenvariation vorgenommen wird, wobei der Zeitversatz einer Laufzeitdifferenz entspricht, die sich aus unterschiedlich großen Abständen der virtuellen Schallquelle (20, 30) von den zwei Empfängerelementen (12, 13) in dem Schritt ergibt, oder wobei die Amplitudenvariation einer Wegedifferenz zwischen den Abständen der virtuellen Schallquelle (20, 30) von den zwei Empfängerelementen (12, 13) entspricht.
  14. Verwendung des Verfahrens nach einem der vorhergehenden Ansprüche in einer Multimediavorrichtung (100), beispielsweise in einer Telekonferenzvorrichtung oder in einem Onlinespiel, zur Herstellung und/oder Wiedergabe einer Audioaufnahme, insbesondere für ein Hörbuch und/oder einen Film.
  15. Computerprogrammprodukt (101) zur Ausführung auf einer Rechnereinheit (105), wobei das Computerprogrammprodukt (101) eingerichtet ist, einen Raumklang aus einem Audiosignal (22, 32, 112, 113) zu erzeugen, wobei der Raumklang bei einem Empfänger den Eindruck vermittelt, dass das Audiosignal (22, 32, 112, 113) einer Schallquelle entstammt, die eine bestimmte Relativposition zum Empfänger aufweist, dadurch gekennzeichnet, dass der Raumklang ausgebildet ist zu simulieren, dass das Audiosignal (22, 32, 112, 113) scheinbar von einer in einem virtuellen Raum (1) positionierten virtuellen Schallquelle (20, 30) ausgehend auf ein ebenfalls im virtuellen Raum (1) angeordnetes Empfängerpaar (12, 13) mit wenigstens zwei, voneinander konstant beabstandeten, im virtuellen Raum (1) eine vordefinierte Bewegung ausführenden Empfängerelementen (12, 13) eintrifft.
DE102016115449.0A 2016-08-19 2016-08-19 Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt Active DE102016115449B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016115449.0A DE102016115449B4 (de) 2016-08-19 2016-08-19 Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016115449.0A DE102016115449B4 (de) 2016-08-19 2016-08-19 Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt

Publications (2)

Publication Number Publication Date
DE102016115449A1 DE102016115449A1 (de) 2018-02-22
DE102016115449B4 true DE102016115449B4 (de) 2020-02-20

Family

ID=61082574

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016115449.0A Active DE102016115449B4 (de) 2016-08-19 2016-08-19 Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt

Country Status (1)

Country Link
DE (1) DE102016115449B4 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611603B1 (en) * 1997-06-23 2003-08-26 Harman International Industries, Incorporated Steering of monaural sources of sound using head related transfer functions
US20100183159A1 (en) * 2008-11-07 2010-07-22 Thales Method and System for Spatialization of Sound by Dynamic Movement of the Source
US20130208926A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611603B1 (en) * 1997-06-23 2003-08-26 Harman International Industries, Incorporated Steering of monaural sources of sound using head related transfer functions
US20100183159A1 (en) * 2008-11-07 2010-07-22 Thales Method and System for Spatialization of Sound by Dynamic Movement of the Source
US20130208926A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEIDHARDT, A. et al.: Auditory perception of the listening position in virtual rooms using static and dynamic binaural synthesis. Audio Engineering Society Convention Paper Presented at the 140th Convention, 2016 June 4–7, Paris, France.http://www.aes.org/e-lib/browse.cfm?elib=18216 *

Also Published As

Publication number Publication date
DE102016115449A1 (de) 2018-02-22

Similar Documents

Publication Publication Date Title
DE69511246T2 (de) Binaurale synthese, kopfbezogene ubertragungsfunktionen und ihre verwendungen
EP3005737B1 (de) Mischpult, verfahren und computerprogramm zum bereitstellen eines tonsignals
EP1652405B1 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
AT394650B (de) Elektroakustische anordnung zur wiedergabe stereophoner binauraler audiosignale ueber kopfhoerer
DE102016103331A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug
EP0429971B1 (de) Verfahren und Vorrichtung zur Herstellung subliminaler Tonaufnahmen
EP0040739B1 (de) Vorrichtung für die Wiedergabe einer Tonaufnahme über Kopfhörer
EP4078993A1 (de) Verfahren und system zur übermittlung und wiedergabe akustischer informationen
DE102016115449B4 (de) Verfahren zur Erzeugung eines Raumklangs aus einem Audiosignal, Verwendung des Verfahrens sowie Computerprogrammprodukt
WO2016206815A1 (de) Verfahren zur schallwiedergabe in reflexionsumgebungen, insbesondere in hörräumen
DE19900961A1 (de) Verfahren und Vorrichtung zur Wiedergabe von Mehrkanaltonsignalen
DE102011108788B4 (de) Verfahren zur Verarbeitung eines Audiosignals, Audiowiedergabesystem und Verarbeitungseinheit zur Bearbeitung von Audiosignalen
DE2126677B1 (de) Kopfhörer zur Wiedergabe stereophoner Darbietungen
EP3267621B1 (de) Verfahren zur erzeugung eines an einen realen endpunkt zu übermittelnden gesamtraumklangs, verwendung des verfahrens sowie telekonferenzsystem
DE2503778C3 (de) Tonübertragungssystem mit mindestens vier Kanälen und mit einer Tonaufnahmeeinrichtung
EP2503799B1 (de) Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
DE1762727C3 (de) Verfahren zur Erzeugung von Hörempfindungen in gewünschten Richtungen
DE1927401C3 (de) Verfahren zur hörrichtigen Aufnahme und Wiedergabe von Schallereignissen und Vorrichtung zu seiner Durchführung
DE102013100289A1 (de) Verfahren zur Simulation einer virtuellen Umgebung
DE102010009170B4 (de) Verfahren zum Verarbeiten und/oder Mischen von Tonspuren
DE2503778B2 (de) Tonuebertragungssystem mit mindestens vier kanaelen und mit einer tonaufnahmeeinrichtung
WO2018172213A1 (de) Verfahren zur erzeugung und ausgabe eines akustischen mehrkanalsignals
DE2542990A1 (de) Verfahren zur aufnahme und wiedergabe von akustischen ereignissen in 3d stereofonie und vorrichtungen hierzu
DE29824282U1 (de) Anordnung zur räumlichen Wiedergabe eines Stereosignales
WO2000025549A2 (de) Verfahren zur räumlichen wiedergabe eines stereosignales und anordnung zur durchführung des verfahrens

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANG, DE

Free format text: FORMER OWNER: QLIPS GMBH, 72770 REUTLINGEN, DE

R082 Change of representative

Representative=s name: KOHLER SCHMID MOEBUS PATENTANWAELTE PARTNERSCH, DE

Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER, SCHE, DE

R081 Change of applicant/patentee

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANG, DE

Free format text: FORMER OWNER: QLIPS GMBH, 72622 NUERTINGEN, DE

R082 Change of representative

Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER, SCHE, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final