DE112019001916T5

DE112019001916T5 - Audioverarbeitungsvorrichtung, audioverarbeitungsverfahren und programm

Info

Publication number: DE112019001916T5
Application number: DE112019001916.3T
Authority: DE
Inventors: Kenji Nakano
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-04-10
Filing date: 2019-02-04
Publication date: 2020-12-24
Also published as: US11477595B2; WO2019198314A1; CN111937414A; US20210168549A1

Abstract

Es ist eine Audioverarbeitungsvorrichtung bereitgestellt, die Folgendes aufweist: eine transaurale Verarbeitungseinheit zum Durchführen einer transauralen Verarbeitung an einem bestimmten Audiosignal; und eine Korrekturverarbeitungseinheit zum Durchführen einer Korrekturverarbeitung an dem Audiosignal, das der transauralen Verarbeitung unterzogen wurde, wobei die Korrekturverarbeitung gemäß einer Änderung der Zuhörposition durchgeführt wird.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Audioverarbeitungsvorrichtung, ein Audioverarbeitungsverfahren und ein Programm.
[Stand der Technik]
Es werden Audioverarbeitungsvorrichtungen vorgeschlagen, die eine Verzögerungsverarbeitung in Bezug auf ein Audiosignal und eine Verarbeitung zum Ändern eines Ortes der Klangbildlokalisierung gemäß einer Änderung der Position eines Benutzers, der ein Zuhörer ist, durchführen (siehe beispielsweise PTL 1 und PTL 2 unten).
[Zitatliste]
[Patentliteratur]

[PTL 1] JP 2007-142856A
[PTL 2] JP H09-46800A

[Kurzdarstellung]
[Technisches Problem]
Währenddessen wird ein transaurales Wiedergabesystem vorgeschlagen, das ein binaurales Signal mit einer Lautsprechereinrichtung anstelle von Kopfhörern wiedergibt. Die oben in PTL 1 und PTL 2 beschriebenen Techniken berücksichtigen nicht die Tatsache, dass ein Effekt der transauralen Verarbeitung entsprechend einer Änderung einer Position eines Zuhörers abnimmt.
In Anbetracht dessen besteht eine Aufgabe der vorliegenden Offenbarung darin, eine Audioverarbeitungsvorrichtung, ein Audioverarbeitungsverfahren und ein Programm bereitzustellen, die eine Korrekturverarbeitung in Bezug auf ein Audiosignal durchführen, das einer transauralen Verarbeitung entsprechend einer Änderung einer Position eines Zuhörers unterzogen wurde.
[Lösung des Problems]
Die vorliegende Offenbarung ist zum Beispiel eine Audioverarbeitungsvorrichtung, die Folgendes aufweist: eine transaurale Verarbeitungseinheit, die dazu ausgelegt ist, eine transaurale Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal durchzuführen; und eine Korrekturverarbeitungseinheit, die dazu ausgelegt ist, eine Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal durchzuführen, das der transauralen Verarbeitung unterzogen wurde.
Die vorliegende Offenbarung ist zum Beispiel ein Audioverarbeitungsverfahren, das Folgendes aufweist:

eine transaurale Verarbeitungseinheit, die eine transaurale Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal durchführt; und
eine Korrekturverarbeitungseinheit, die eine Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal durchführt, das der transauralen Verarbeitung unterzogen wurde.

Die vorliegende Offenbarung ist zum Beispiel
ein Programm, das einen Computer veranlasst, ein Audioverarbeitungsverfahren auszuführen, das Folgendes aufweist:
eine transaurale Verarbeitungseinheit, die eine transaurale Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal durchführt; und
eine Korrekturverarbeitungseinheit, die eine Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal durchführt, das der transauralen Verarbeitung unterzogen wurde.
[Vorteilhafte Effekte der Erfindung]
Gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung kann verhindert werden, dass ein Effekt einer transauralen Verarbeitung aufgrund einer Änderung einer Position eines Zuhörers verringert wird. Es ist anzumerken, dass der oben beschriebene vorteilhafte Effekt nicht notwendigerweise einschränkend ist und beliebige der in der vorliegenden Offenbarung beschriebenen vorteilhaften Effekte zutreffen können. Darüber hinaus versteht es sich, dass der Inhalt der vorliegenden Offenbarung gemäß den beispielhaft dargelegten vorteilhaften Effekten nicht in begrenzter Weise zu interpretieren ist.
Figurenliste

[1] 1A und 1B sind Diagramme zur Erläuterung eines Problems, das in einer Ausführungsform berücksichtigt werden sollte.
[2] 2A und 2B sind Diagramme zur Erläuterung eines Problems, das in der Ausführungsform berücksichtigt werden sollte.
[3] 3A und 3B sind Diagramme, die eine zeitbasierte Wellenform von Übertragungsfunktionen gemäß der Ausführungsform zeigen.
[4] 4A und 4B sind Diagramme, die Frequenz-Amplituden-Charakteristiken von Übertragungsfunktionen gemäß der Ausführungsform zeigen.
[5] 5A und 5B sind Diagramme, die Frequenz-Phasen-Charakteristiken von Übertragungsfunktionen gemäß der Ausführungsform zeigen.
[6] 6 ist ein Diagramm zur Erläuterung eines Überblicks über die Ausführungsform.
[7] 7 ist ein Diagramm zur Erläuterung eines Überblicks über die Ausführungsform.
[8] 8 ist ein Diagramm zur Erläuterung eines Konfigurationsbeispiels einer Audioverarbeitungsvorrichtung gemäß einer ersten Ausführungsform.
[9] 9 ist ein Diagramm zur Erläuterung eines Beispiels einer Übertragungsfunktion von einer Lautsprechervorrichtung zu einem Dummy-Kopf.
[10] 10 ist ein Diagramm, das ein Konfigurationsbeispiel einer Klangbildlokalisierungsverarbeitungs-Filtereinheit gemäß der Ausführungsform zeigt.
[11] 11 ist ein Diagramm, das ein Konfigurationsbeispiel einer Transauralsystem-Filtereinheit gemäß der Ausführungsform zeigt.
[12] 12 ist ein Diagramm zur Erläuterung eines Konfigurationsbeispiels und dergleichen einer Lautsprecherneuanordnungsverarbeitungseinheit gemäß der Ausführungsform.
[13] 13 ist ein Diagramm zur Erläuterung eines Konfigurationsbeispiels einer Audioverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform.
[14] 14 ist ein Diagramm zum Erläutern eines Betriebsbeispiels der Audioverarbeitungsvorrichtung gemäß der zweiten Ausführungsform.

[Beschreibung der Ausführungsformen]
Nachfolgend werden Ausführungsformen und dergleichen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben. Die Beschreibung wird in der folgenden Reihenfolge gegeben.
<Problem, das in der Ausführungsform berücksichtigt werden sollte>
<Überblick der Ausführungsform>
<Erste Ausführungsform>
<Zweite Ausführungsform>
<Modifikationen>
Es versteht sich, dass die im Folgenden beschriebenen Ausführungsformen und dergleichen bevorzugte spezifische Beispiele der vorliegenden Offenbarung sind und Inhalte der vorliegenden Offenbarung nicht auf die Ausführungsformen und dergleichen beschränkt sind.
<Problem, das in der Ausführungsform berücksichtigt werden sollte>
Um das Verständnis der vorliegenden Offenbarung zu erleichtern, wird zunächst ein Problem beschrieben, das in der Ausführungsform berücksichtigt werden sollte. Es wird gesagt, dass bei der sogenannten transauralen Wiedergabe ein Bereich (im Folgenden gegebenenfalls als ein Dienstbereich bezeichnet), in dem ein Effekt davon erzielt wird, extrem eng und lokalisiert (punktförmig) ist. Eine Abnahme eines transauralen Effekts wird insbesondere dann signifikant, wenn ein Zuhörer in Bezug auf eine Lautsprechereinrichtung, die ein Audiosignal wiedergibt, nach links oder rechts abweicht.
Selbst wenn der Dienstbereich lokalisiert ist, sollte daher die Verwendbarkeit wesentlich verbessert werden, wenn der Dienstbereich gemäß einer Zuhörposition eines Zuhörers zu der Zuhörposition bewegt werden kann, und folglich, wenn ein transauraler Effekt an verschiedenen Positionen erzielt werden kann.
Im Allgemeinen beinhaltet eine denkbare Technik als ein Verfahren zum Bewegen eines Dienstbereichs das Abgleichen von Ankunftszeiten oder Signalpegeln von Audiosignalen bei einem Zuhörer von mehreren Lautsprechereinrichtungen (zum Beispiel bei einem Fall von Zweikanal-Lautsprechereinrichtungen, zwei). Solche Verfahren reichen jedoch nicht aus, um einen transauralen Effekt zufriedenstellend zu erzielen. Dies liegt daran, dass das oben beschriebene Verfahren diese Anforderung nicht erfüllen kann, obwohl ein Beobachtungswinkel von einem Zuhörer zu einer Lautsprechereinrichtung mit einem Beobachtungswinkel gemäß einem Dienstbereich abgeglichen wird, der für die Erzielung eines transauralen Effekts wesentlich ist.
Dieser Punkt wird unter Bezugnahme auf 1 erläutert. Die 1A und 1B sind Diagramme, die schematisch Lautsprechereinrichtungen und eine Zuhörposition eines Zuhörers zeigen, wenn eine transaurale Wiedergabe eines Zweikanal-Audiosignals durchgeführt wird. Ein L(Links)-Kanal-Audiosignal (im Folgenden gegebenenfalls als ein transaurales Signal bezeichnet), das einer transauralen Verarbeitung unterzogen wurde, wird einer Lautsprechereinrichtung SPL (im Folgenden gegebenenfalls als eine reale Lautsprechereinrichtung SPL bezeichnet), die eine tatsächliche Lautsprechereinrichtung ist, zugeführt und von dieser wiedergegeben. Zusätzlich wird ein transaurales R(Rechts)-Kanal-Signal, das einer transauralen Verarbeitung unterzogen wurde, einer Lautsprechereinrichtung SPR (nachstehend gegebenenfalls als eine reale Lautsprechereinrichtung SPR bezeichnet), die eine tatsächliche Lautsprechereinrichtung ist, zugeführt und von dieser wiedergegeben. Die Zuhörposition ist beispielsweise auf eine Verlängerung einer Mittelachse von zwei realen Lautsprechereinrichtungen festgelegt (auf einer Achse, die durch einen Mittelpunkt zwischen den beiden realen Lautsprechereinrichtungen verläuft und ungefähr parallel zu einer Strahlungsrichtung des Tons ist). Mit anderen Worten, aus der Sicht des Zuhörers sind die beiden realen Lautsprechereinrichtungen an Positionen angeordnet, die ungefähr symmetrisch sind.
Ein Winkel (in der vorliegenden Patentschrift gegebenenfalls als Beobachtungswinkel bezeichnet), der durch mindestens drei Punkte, die als Eckpunkte Positionen von zwei Lautsprechereinrichtungen aufweisen (im vorliegenden Beispiel Positionen der realen Lautsprechereinrichtungen SPL und SPR), und die Zuhörposition des Zuhörers U gebildet wird, wird durch A [Grad] repräsentiert. Es wird angenommen, dass der in 1A gezeigte Beobachtungswinkel A [Grad] ein Winkel ist, bei dem ein Effekt der transauralen Wiedergabe erhalten wird. Mit anderen Worten ist die in 1A gezeigte Zuhörposition eine Position, die einem Dienstbereich entspricht. Der Beobachtungswinkel A [Grad] ist beispielsweise ein im Voraus festgelegter Winkel, und basierend auf Einstellungen, die dem Beobachtungswinkel A [Grad] entsprechen, wird eine Signalverarbeitung durchgeführt, die für die Durchführung einer transauralen Wiedergabe optimiert ist.
1B zeigt einen Zustand, in dem sich ein Zuhörer U zurückgegangen ist und die Zuhörposition vom Dienstbereich abgewichen ist. Entsprechend einer Änderung der Zuhörposition des Zuhörers U ändert sich der Beobachtungswinkel von A [Grad] auf B [Grad] (wobei A > B). Da die Zuhörposition vom Dienstbereich abgewichen ist, nimmt der Effekt der transauralen Wiedergabe ab.
Dieses Phänomen kann wie folgt interpretiert werden. Es gibt eine signifikante Differenz zwischen HRTF {HAI, HA2}, einer kopfbezogenen Übertragungsfunktion (HRTF: Head Related Transfer Funktion) von den realen Lautsprechereinrichtungen SPL und SPR zum Zuhörer U in einem Fall, in dem die Zuhörposition des Zuhörers U dem Dienstbereich entspricht, wie in 2A gezeigt, und HRTF {HB1, HB2}, einer kopfbezogenen Übertragungsfunktion von den realen Lautsprechereinrichtungen SPL und SPR zum Zuhörer U in einem Fall, in dem die Zuhörposition von dem Dienstbereich abgewichen ist, wie in 2B gezeigt. Es ist zu beachten, dass HRTF eine Impulsantwort ist, die in der Nähe eines Eingangs zu einem Gehörgang eines Zuhörers in Bezug auf ein Impulssignal gemessen wird, das von einer beliebig angeordneten Schallquelle emittiert wird.
Spezifische Beispiele für HRTF {HAI, HA2} und HRTF {HB1, HB2} werden unter Bezugnahme auf die 3 bis 5 beschrieben. 3A zeigt eine zeitbasierte Wellenform von HRTF {HAI, HA2}. Ein Beobachtungswinkel beträgt beispielsweise 24 [Grad]. 3B zeigt eine zeitbasierte Wellenform von HRTF {HB1, HB2}. Ein Beobachtungswinkel beträgt beispielsweise 12 [Grad]. In beiden Fällen beträgt die Abtastfrequenz 44,1 [kHz].
Wie in 3A gezeigt, wird in Bezug auf HA1 ein früherer Anstieg des Pegels im Vergleich zu HA2 beobachtet, da ein Abstand von einer realen Lautsprechereinrichtung zu den Ohren kurz ist. Anschließend wird ein Anstieg des HA2-Pegels beobachtet. In Bezug auf HA2 ist das Niveau des Anstiegs kleiner als das von HA1, da der Abstand von einer realen Lautsprechereinrichtung zu einem Ohr zunimmt und da das Ohr aus Sicht der realen Lautsprechereinrichtung ein abgeschirmtes Ohr ist.
Wie in 3B gezeigt, werden in Bezug auf HB1 und HB2 ähnliche Änderungen wie HA1 und HA2 beobachtet. Aufgrund einer Rückwärtsbewegung des Zuhörers U nimmt jedoch eine Abstandsdifferenz von der Lautsprechereinrichtung zu jedem Ohr ab. Daher sind eine Verzögerung des Anstiegszeitpunkts der Signalpegel und eine Differenz der Signalpegel nach dem Anstieg im Vergleich zu HA1 und HA2 geringer.
4A zeigt Frequenz-Amplituden-Charakteristiken von HRTF {HAI, HA2}, und 4B zeigt Frequenz-Amplituden-Charakteristiken von HRTF {HB1, HB2} (es ist zu beachten, dass 4 durch ein doppeltes logarithmisches Diagramm repräsentiert wird und 5, die später beschrieben wird, durch ein semilogarithmisches Diagramm repräsentiert wird). In den 4A und 4B zeigt eine Abszisse die Frequenz und eine Ordinate die Amplitude (Signalpegel) an. Wie in 4A gezeigt, wird in allen Bändern eine Pegeldifferenz zwischen HA1 und HA2 beobachtet. Zusätzlich wird, wie in 4B gezeigt, in allen Frequenzbändern eine Pegeldifferenz zwischen HB1 und HB2 in ähnlicher Weise beobachtet. Im Fall von HB1 und HB2 ist jedoch eine Pegeldifferenz kleiner als eine Pegeldifferenz zwischen HA1 und HA2, da eine Differenz zwischen den Abständen von einer realen Lautsprechereinrichtung zu jedem Ohr kleiner ist.
5A zeigt die Frequenz-Phase-Charakteristiken von HRTF {HAI, HA2}, und 5B zeigt die Frequenz-Phase-Charakteristiken von HRTF {HB1, HB2}. In den 5A und 5B zeigt eine Abszisse die Frequenz und eine Ordinate die Phase an. Wie in 5A gezeigt, wird eine Phasendifferenz zwischen HA1 und HA2 beobachtet, je höher das Frequenzband ist. Zusätzlich wird, wie in 5B gezeigt, eine Phasendifferenz zwischen HB1 und HB2 beobachtet, je höher das Frequenzband ist. Im Fall von HB1 und HB2 ist jedoch eine Phasendifferenz kleiner als eine Phasendifferenz zwischen HA1 und HA2, da eine Differenz zwischen den Abständen von einer realen Lautsprechereinrichtung zu jedem Ohr kleiner ist.
[Überblick der Ausführungsform]
Um das oben beschriebene Problem zu lösen, das berücksichtigt werden sollte, wird es in Bezug darauf, dass der Zuhörer U von einem Dienstbereich abgewichen ist, ausreichen, eine Umgebung zu schaffen, in der ein Audiosignal an den Ohren des Zuhörers U mit Charakteristiken von HRTF {HA1, HA2} anstelle von HRTF {HB1, HB2} von einer realen Lautsprechereinrichtung ankommt, die an einer Position angeordnet ist, an der der Beobachtungswinkel A [Grad] beträgt. Mit anderen Worten, wie in 6 gezeigt, reicht es aus, eine Umgebung zu schaffen, in der der Beobachtungswinkel A [Grad] beträgt, indem die realen Lautsprechereinrichtungen SPL und SPR bewegt werden. In der Realität können die realen Lautsprechereinrichtungen SPL und SPR selbst jedoch nicht physisch bewegt werden, oder es ist schwierig oder unpraktisch, dies zu tun, wie in 6 gezeigt. Daher werden in der vorliegenden Ausführungsform, wie in 7 gezeigt, imaginäre Lautsprechereinrichtungen (im Folgenden gegebenenfalls als virtuelle Lautsprechereinrichtungen bezeichnet) VSPL und VSPR festgelegt. Zusätzlich wird eine Korrekturverarbeitung durchgeführt, bei der Positionen der beiden realen Lautsprechereinrichtungen SPL und SPR virtuell an Positionen der beiden virtuellen Lautsprechereinrichtungen VSPL und VSPR neu angeordnet werden, sodass ein Winkel, der durch die Positionen der virtuellen Lautsprechereinrichtungen VSPL und VSPR und die Zuhörposition gebildet wird, mit dem Beobachtungswinkel A [Grad] übereinstimmt. Es ist zu beachten, dass in der folgenden Beschreibung die Korrekturverarbeitung gegebenenfalls als Lautsprecherneuanordnungsverarbeitung bezeichnet wird.
<Erste Ausführungsform>
(Konfigurationsbeispiel der Audioverarbeitungsvorrichtung)
8 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Audioverarbeitungsvorrichtung (einer Audioverarbeitungsvorrichtung 1) gemäß einer ersten Ausführungsform zeigt. Beispielsweise weist die Audioverarbeitungsvorrichtung 1 eine Klangbildlokalisierungsverarbeitungs-Filtereinheit 10, eine Transauralsystem-Filtereinheit 20, eine Lautsprecherneuanordnungsverarbeitungseinheit 30, eine Steuereinheit 40 und einen Positionsdetektionssensor 50, der ein Beispiel für die Sensoreinheit ist, und reale Lautsprechereinrichtungen SPL und SPR auf. Die Audioverarbeitungsvorrichtung 1 wird beispielsweise mit Audiosignalen von zwei Kanälen versorgt. Aus diesem Grund weist, wie in 8 gezeigt, die Audioverarbeitungsvorrichtung 1 einen Linkskanal-Eingangsanschluss Lin, der die Versorgung eines Linkskanal-Audiosignals empfängt, und einen Rechtskanal-Eingangsanschluss Rin, der die Versorgung eines Rechtskanal-Audiosignals empfängt, auf.
Die Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 ist ein Filter, das die Verarbeitung der Lokalisierung eines Klangbildes an einer beliebigen Position durchführt. Die Transauralsystem-Filtereinheit 20 ist ein Filter, das eine transaurale Verarbeitung in Bezug auf ein Audiosignal Lout1 und ein Audiosignal Rout1 durchführt, die von der Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 ausgegeben werden.
Die Lautsprecherneuanordnungsverarbeitungseinheit 30, die ein Beispiel für die Korrekturverarbeitungseinheit ist, ist ein Filter, das eine Lautsprecherneuanordnungsverarbeitung entsprechend einer Änderung einer Zuhörposition in Bezug auf ein Audiosignal Lout2 und ein Audiosignal Rout2 durchführt, die von der Transauralsystem-Filtereinheit 20 ausgegeben werden. Ein Audiosignal Lout3 und ein Audiosignal Rout3, die von der Lautsprecherneuanordnungsverarbeitungseinheit 30 ausgegeben werden, werden jeweils den realen Lautsprechereinrichtungen SPL und SPR zugeführt, und ein vorbestimmter Ton wird wiedergegeben. Der vorbestimmte Ton kann ein beliebiger Ton wie etwa Musik, eine menschliche Stimme, ein natürliches Geräusch oder eine Kombination davon sein.
Die Steuereinheit 40 besteht aus einer CPU (Zentralverarbeitungseinheit) oder dergleichen und steuert die jeweiligen Einheiten der Audioverarbeitungsvorrichtung 1. Die Steuereinheit 40 weist einen Speicher auf (nicht veranschaulicht). Beispiele des Speichers beinhalten einen ROM (Nur-Lese-Speicher), der ein von der Steuereinheit 40 auszuführendes Programm speichert, und einen RAM (Direktzugriffsspeicher), der als ein Arbeitsspeicher verwendet wird, wenn die Steuereinheit 40 das Programm ausführt. Obwohl Einzelheiten später beschrieben werden, ist die Steuereinheit 40 mit einer Funktion zum Berechnen eines Beobachtungswinkels ausgestattet, der ein Winkel ist, der durch die Zuhörposition des Zuhörers U, wie durch den Positionsdetektionssensor 50 detektiert, und die realen Lautsprechereinrichtungen SPL und SPR gebildet wird. Zusätzlich erfasst die Steuereinheit 40 eine HRTF gemäß dem Beobachtungswinkel. Die Steuereinheit 40 kann eine HRTF gemäß dem Beobachtungswinkel aus ihrem eigenen Speicher erfassen oder kann eine HRTF gemäß dem Beobachtungswinkel erfassen, der in einem anderen Speicher gespeichert ist. Alternativ kann die Steuereinheit 40 eine HRTF gemäß dem Beobachtungswinkel über ein Netzwerk oder dergleichen erfassen.
Der Positionsdetektionssensor 50 besteht beispielsweise aus einer Bildgebungseinrichtung und ist ein Sensor, der eine Position des Zuhörers U, oder mit anderen Worten die Zuhörposition, detektiert. Der Positionsdetektionssensor 50 selbst kann unabhängig sein oder in eine andere Vorrichtung wie etwa einen Fernsehapparat eingebaut sein, der ein Video anzeigt, das gleichzeitig mit Ton wiedergegeben werden soll, der von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben wird. Ein Detektionsergebnis des Positionsdetektionssensors 50 wird der Steuereinheit 40 zugeführt.
(Klangbildlokalisierungsverarbeitungs - Filtereinheit)
Nachfolgend wird jede Einheit der Audioverarbeitungsvorrichtung 1 ausführlich beschrieben. Zunächst wird vor der Beschreibung der Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 ein Prinzip der Klangbildlokalisierungsverarbeitung beschrieben. 9 ist ein Diagramm zur Erläuterung eines Prinzips der Klangbildlokalisierungsverarbeitung.
Wie in 9 gezeigt, wird in einem vorbestimmten Wiedergabeschallfeld angenommen, dass eine Position eines Dummy-Kopfes DH eine Position des Zuhörers U ist, und für den Zuhörer U an einer Position des Dummy-Kopfes DH sind die realen Lautsprechereinrichtungen SPL und SPR tatsächlich an den linken und rechten virtuellen Lautsprecherpositionen (Positionen, an denen angenommen wird, dass Lautsprecher vorhanden sind) installiert, an denen ein Klangbild lokalisiert werden soll.
Zusätzlich werden Töne, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, in beiden Ohrabschnitten des Dummy-Kopfes DH gesammelt, und eine HRTF, die eine Übertragungsfunktion ist, die angibt, wie sich Töne, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, beim Erreichen beider Ohrabschnitte des Dummy-Kopfes DH ändern, soll vorab gemessen werden.
Wie in 9 gezeigt, wird in der vorliegenden Ausführungsform eine Übertragungsfunktion von Ton von der realen Lautsprechereinrichtung SPL zu einem linken Ohr des Dummy-Kopfes DH mit M11 bezeichnet und eine Übertragungsfunktion von Ton von der realen Lautsprechereinrichtung SPL zu einem rechten Ohr des Dummy-Kopfes DH wird mit M12 bezeichnet. In ähnlicher Weise wird eine Übertragungsfunktion von Ton von der realen Lautsprechereinrichtung SPR zum linken Ohr des Dummy-Kopfes DH mit M12 bezeichnet und eine Übertragungsfunktion von Ton von der realen Lautsprechereinrichtung SPR zum rechten Ohr der Dummy-Kopfes DH wird mit M11 bezeichnet.
In diesem Fall wird die Verarbeitung unter Verwendung der im Voraus gemessenen HRTF durchgeführt, wie oben unter Bezugnahme auf 9 beschrieben, und Ton basierend auf einem Audiosignal nach der Verarbeitung wird in der Nähe der Ohren des Zuhörers U wiedergegeben. Dementsprechend kann ein Klangbild von Ton, der von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben wird, an einer beliebigen Position lokalisiert werden.
Während der Dummy-Kopf DH zum Messen der HRTF verwendet wird, ist die Verwendung des Dummy-Kopfes DH nicht einschränkend. Eine Person kann tatsächlich aufgefordert werden, sich in das Wiedergabeschallfeld zu setzen, in dem die HRTF gemessen werden soll, und die HRTF des Tons kann gemessen werden, indem ein Mikrofon in der Nähe der Ohren der Person platziert wird. Des Weiteren ist die HTRF nicht auf eine gemessene HTRF beschränkt und kann durch eine Computersimulation oder dergleichen berechnet werden. Eine Lokalisierungsposition eines Klangbildes ist nicht auf zwei Positionen von links und rechts beschränkt und kann beispielsweise fünf Orte sein (Positionen, die einem Audiowiedergabesystem mit fünf Kanälen entsprechen (insbesondere Mitte, vorne links, vorne rechts, hinten links und hinten rechts)), wobei in diesem Fall die HRTF jeweils von einer realen Lautsprechereinrichtung, die an jeder Position platziert ist, zu beiden Ohren des Dummy-Kopfes DH erhalten wird. Zusätzlich zu einer Vorwärts-Rückwärts-Richtung kann eine Position, an der ein Klangbild lokalisiert werden soll, in einer Aufwärts-Abwärts-Richtung wie etwa einer Decke (über dem Dummy-Kopf DH) festgelegt werden.
Ein Teil, der eine Verarbeitung mittels HRTF von Ton durchführt, die im Voraus durch eine Messung oder dergleichen erhalten wurde, um ein Klangbild an einer vorbestimmten Position zu lokalisieren, ist die in 8 gezeigte Klangbildlokalisierungsverarbeitungs-Filtereinheit 10. Die Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 gemäß der vorliegenden Ausführungsform kann Audiosignale von zwei (linken und rechten) Kanälen verarbeiten und besteht, wie in 10 gezeigt, aus vier Filtern 101, 102, 103 und 104 und zwei Addierern 105 und 106.
Das Filter 101 verarbeitet, mit HRTF: M 11, ein Audiosignal des Linkskanals, das über den Linkskanal-Eingangsanschluss Lin geliefert wurde, und führt das verarbeitete Audiosignal dem Addierer 105 für den Linkskanal zu. Zusätzlich verarbeitet das Filter 102, mit HRTF: M12, das Audiosignal des Linkskanals, das über den Linkskanal-Eingangsanschluss Lin geliefert wurde, und führt das verarbeitete Audiosignal dem Addierer 106 für den Rechtskanal zu.
Darüber hinaus verarbeitet das Filter 103, mit HRTF: M12, ein Audiosignal des Rechtskanals, das über den Rechtskanal-Eingangsanschluss Rin geliefert wurde, und führt das verarbeitete Audiosignal dem Addierer 105 für den Linkskanal zu. Zusätzlich verarbeitet das Filter 104, mit HRTF: M11, das Audiosignal des Rechtskanals, das über den Rechtskanal-Eingangsanschluss Rin geliefert wurde, und führt das verarbeitete Audiosignal dem Addierer 106 für den Rechtskanal zu.
Dementsprechend wird ein Klangbild lokalisiert, sodass ein Ton gemäß einem vom Addierer 105 für den Linkskanal ausgegebenen Audiosignal und ein Ton gemäß einem vom Addierer 106 für den Rechtskanal ausgegebenen Audiosignal von linken und rechten virtuellen Lautsprecherpositionen wiedergegeben werden, an denen das Klangbild lokalisiert werden soll. Ein Audiosignal Lout 1 wird vom Addierer 105 ausgegeben und ein Audiosignal Rout1 wird vom Addierer 106 ausgegeben.
(Transauralsystem - Filtereinheit)
Selbst wenn die Klangbildlokalisierungsverarbeitung durch die Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 durchgeführt wurde, wie dies schematisch in 8 gezeigt ist, kann es Fälle geben, wenn die Wiedergabe von den realen Lautsprechereinrichtungen SPL und SPR durchgeführt wird, die von den Ohren des Zuhörers U getrennt sind, bei denen ein Klangbild des wiedergegebenen Tons durch HRTF {HB1, HB2} im tatsächlichen Wiedergabeschallfeld beeinflusst wird und nicht genau an einer Zielposition lokalisiert werden kann.
In Anbetracht dessen werden in der vorliegenden Ausführungsform durch das Durchführen einer Verarbeitung unter Verwendung der Transauralsystem-Filtereinheit 20 in Bezug auf Audiosignale, die von der Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 ausgegeben werden, Töne, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, genau lokalisiert, als ob sie von einer vorbestimmten Position wiedergegeben werden.
Die Transauralsystem-Filtereinheit 20 ist ein Schallfilter (zum Beispiel ein FIR-Filter (Finite Impulse Response - endliche Impulsantwort)), das durch Anwenden eines transauralen Systems gebildet wird. Das transaurale System ist eine Technik, die versucht, unter Verwendung einer Lautsprechereinrichtung einen ähnlichen Effekt zu erzielen wie ein binaurales System, das ein System zur präzisen Wiedergabe von Ton in der Nähe von Ohren unter Verwendung von Kopfhörern ist.
Für die Beschreibung des transauralen Systems unter Verwendung des in 8 gezeigten Falls als ein Beispiel, werden in Bezug auf Töne, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, durch das Aufheben eines Effekts von HRTF {HB1, HB2} bei Tönen, die von jeder realen Lautsprechereinrichtung bis zu jedem der linken und rechten Ohren des Zuhörers U wiedergegeben werden, Töne, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, präzise wiedergegeben.
In Bezug auf den von den realen Lautsprechereinrichtungen SPL und SPR wiederzugebenden Ton hebt daher die in 8 gezeigte Transauralsystem-Filtereinheit 20 einen Effekt der HRTF in einem Wiedergabeschallfeld auf, um ein Klangbild des Tons genau zu lokalisieren, der von den realen Lautsprechereinrichtungen SPL und SPR an einer vorbestimmten virtuellen Position wiedergegeben werden soll.
Wie in 11 gezeigt, ist die Transauralsystem-Filtereinheit 20 mit Filtern 201, 202, 203 und 204 und Addierern 205 und 206 ausgestattet, die Audiosignale gemäß einer inversen Funktion der HRTF {HB1, HB2} von den realen Lautsprechereinrichtungen SPL und SPR zum linken und rechten Ohr des Zuhörers U verarbeiten, um einen Effekt der HRTF von den realen Lautsprechereinrichtungen SPL und SPR zu dem linken und rechten Ohr des Zuhörers U aufzuheben. Es sollte beachtet werden, dass in der vorliegenden Ausführungsform in den Filtern 201, 202, 203 und 204 eine Verarbeitung durchgeführt wird, die auch inverse Filtercharakteristiken berücksichtigt, um die Wiedergabe eines natürlicheren Wiedergabetons zu ermöglichen.
Jedes der Filter 201, 202, 203 und 204 führt eine vorbestimmte Verarbeitung unter Verwendung eines durch die Steuereinheit 40 festgelegten Filterkoeffizienten durch. Insbesondere bildet jedes Filter der Transauralsystem-Filtereinheit 20 eine inverse Funktion der HRTF {HB1, HB2} basierend auf von der Steuereinheit 40 gesetzten Koeffizientendaten, und hebt den Effekt der HRTF {HB1, HB2} in einem Wiedergabeschallfeld auf, indem ein Audiosignal gemäß der inversen Funktion verarbeitet wird.
Zusätzlich wird die Ausgabe des Filters 201 an den Addierer 205 für einen Linkskanal geliefert, und die Ausgabe des Filters 202 wird an den Addierer 206 für einen Rechtskanal geliefert. Gleichermaßen wird die Ausgabe des Filters 203 an den Addierer 205 für den Linkskanal geliefert, und die Ausgabe des Filters 204 wird an den Addierer 206 für den Rechtskanal geliefert.
Weiterhin addiert jeder der Addierer 205 und 206 die zu ihm gelieferten Audiosignale. Ein Audiosignal Lout2 wird vom Addierer 205 ausgegeben. Zusätzlich wird ein Audiosignal Rout2 vom Addierer 206 ausgegeben.
(Lautsprecherneuanordnungsverarbeitungseinheit)
Wie oben beschrieben, verringert sich ein Effekt der transauralen Verarbeitung durch die Transauralsystem-Filtereinheit 20, wenn die Zuhörposition des Zuhörers U vom Dienstbereich abweicht. In Anbetracht dessen wird in der vorliegenden Ausführungsform verhindert, dass der Effekt der transauralen Verarbeitung abnimmt, indem eine Lautsprecherneuanordnungsverarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 durchgeführt wird.
12 ist ein Diagramm, das ein Konfigurationsbeispiel und dergleichen der Lautsprecherneuanordnungsverarbeitungseinheit 30 zeigt. Die Lautsprecherneuanordnungsverarbeitungseinheit 30 weist ein Filter 301, ein Filter 302, ein Filter 303, ein Filter 304, einen Addierer 305, der eine Ausgabe des Filters 301 und eine Ausgabe des Filters 303 addiert, und einen Addierer 306, der eine Ausgabe des Filters 302 und eine Ausgabe des Filters 304 addiert, auf In der vorliegenden Ausführungsform wird, da die realen Lautsprechereinrichtungen SPL und SPR an symmetrischen Positionen angeordnet sind, ein gleicher Filterkoeffizient C1 für die Filter 301 und 304 und ein gleicher Filterkoeffizient C2 für die Filter 302 und 303 eingestellt.
In ähnlicher Weise wie in den vorherigen Beispielen wird eine HRTF für die Ohren des Zuhörers U, der sich an einer vom Dienstbereich abweichenden Zuhörposition befindet, mit HRTF {HB1, HB2} bezeichnet. Zusätzlich wird eine HRTF für die Ohren des Zuhörers U, der sich an einer Zuhörposition befindet, die dem Dienstbereich entspricht, mit HRTF {HA1, HA2} bezeichnet. Die Positionen der virtuellen Lautsprechereinrichtungen VSPL und VSPR, die in 12 durch gepunktete Linien dargestellt sind, geben Positionen an, an denen ein Beobachtungswinkel mit der Position des Zuhörers U A [Grad] beträgt, oder mit anderen Worten eine Position, an der ein Beobachtungswinkel ermöglicht, dass ein Effekt der transauralen Verarbeitung erhalten wird.
Durch das Einstellen der Filterkoeffizienten C1 und C2 basierend beispielsweise auf den folgenden Gleichungen (1) und (2) ordnet die Steuereinheit 40 die Positionen der realen Lautsprechereinrichtungen SPL und SPR virtuell zu Lautsprechereinrichtungen VSPL und VSPR neu an, die Positionen virtueller Lautsprechereinrichtungen sind. Die Filterkoeffizienten C1 und C2 sind Filterkoeffizienten zum Korrigieren eines Winkels, der eine Abweichung in Bezug auf den Beobachtungswinkel A [Grad] darstellt, auf den Beobachtungswinkel A [Grad].
$C 1 = (HB 1 * HA 1 - HB 2 * HA 2) / (HB1 * HB1 - HB2 * HB2)$
$C2 = (HB 1 * HA2 - HB 2 * HA1) / (HB1 * HB1 - HB2 * HB2)$
Aufgrund der Lautsprecherneuanordnungsverarbeitungseinheit 30, die eine Filterverarbeitung basierend auf den Filterkoeffizienten C1 und C2 durchführt, kann verhindert werden, dass der Effekt der transauralen Verarbeitung abnimmt, selbst wenn die Zuhörposition des Zuhörers U vom Dienstbereich abweicht. Mit anderen Worten kann, selbst wenn die Zuhörposition des Zuhörers U vom Dienstbereich abweicht, eine Verschlechterung eines Klangbildlokalisierungseffekts in Bezug auf den Zuhörer U verhindert werden.
(Betriebsbeispiel der Audioverarbeitungsvorrichtung)
Als Nächstes wird ein Betriebsbeispiel der Audioverarbeitungsvorrichtung 1 beschrieben. Die Klangbildlokalisierungsverarbeitung durch die Klangbildlokalisierungsverarbeitungs-Filtereinheit 10 und die transaurale Verarbeitung durch die Transauralsystem-Filtereinheit 20 werden in Bezug auf ein Audiosignal eines Linkskanals, das von dem Linkskanal-Eingangsanschluss Lin eingegeben wird, und ein Audiosignal eines Rechtskanals, das vom Rechtskanal-Eingangsanschluss Rin eingegeben wird, durchgeführt. Die Audiosignale Lout2 und Rout2 werden von der Transauralsystem-Filtereinheit 20 ausgegeben. Die Audiosignale Lout2 und Rout2 sind transaurale Signale, die einer transauralen Verarbeitung unterzogen wurden.
Andererseits werden Sensorinformationen, die sich auf die Zuhörposition des Zuhörers U beziehen, von dem Positionsdetektionssensor 50 an die Steuereinheit 40 geliefert. Basierend auf der Zuhörposition des Zuhörers U, wie aus den Sensorinformationen erhalten, berechnet die Steuereinheit 40 einen Winkel, der durch die realen Lautsprechereinrichtungen SPL und SPR und die Zuhörposition des Zuhörers U gebildet wird, oder mit anderen Worten einen Beobachtungswinkel. Wenn der berechnete Beobachtungswinkel ein Beobachtungswinkel ist, der einem Dienstbereich entspricht, wird ein Ton, der auf den Audiosignalen Lout2 und Rout2 basiert, von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben, ohne dass die Lautsprecherneuanordnungsverarbeitungseinheit 30 eine Verarbeitung durchführt.
Wenn der berechnete Beobachtungswinkel kein Beobachtungswinkel ist, der einem Dienstbereich entspricht, wird eine Lautsprecherneuanordnungsverarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 durchgeführt. Beispielsweise erfasst die Steuereinheit 40 die HRTF {HB1, HB2} gemäß dem berechneten Beobachtungswinkel. Wenn beispielsweise der Beobachtungswinkel, der dem Dienstbereich entspricht, 15 [Grad] beträgt, hat die Steuereinheit 40 die HRTF {HB1, HB2} gespeichert, die jedem Winkel im Bereich von beispielsweise 5 bis 20 [Grad] entspricht, und liest die HRTF {HB1, HB2} entsprechend dem berechneten Beobachtungswinkel. Es ist zu beachten, dass eine Winkelauflösung oder mit anderen Worten, in welcher Art von Winkelinkrement (zum Beispiel 1 oder 0,5 [Grad]) die HRTF {HB1, HB2} gespeichert werden soll, zweckmäßig eingestellt werden kann.
Zusätzlich speichert die Steuereinheit 40 die HRTF {HAI, HA2}, die einem Beobachtungswinkel entspricht, der dem Dienstbereich entspricht. Weiterhin ordnet die Steuereinheit 40 die gelesene HRTF {HB1, HB2} und die vorab gespeicherte HRTF {HAI, HA2} den oben beschriebenen Gleichungen (1) und (2) zu, um die Filterkoeffizienten C1 und C2 zu erhalten. Darüber hinaus werden die erhaltenen Filterkoeffizienten C1 und C2 in geeigneter Weise bei den Filtern 301 bis 304 der Lautsprecherneuanordnungsverarbeitungseinheit 30 gesetzt. Die Lautsprecherneuanordnungsverarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 wird unter Verwendung der Filterkoeffizienten C1 und C2 durchgeführt. Ein Audiosignal Lout3 und ein Audiosignal Rout3 werden von der Lautsprecherneuanordnungsverarbeitungseinheit 30 ausgegeben. Das Audiosignal Lout3 wird von der realen Lautsprechereinrichtung SPL wiedergegeben, und das Audiosignal Rout3 wird von der realen Lautsprechereinrichtung SPR wiedergegeben.
Gemäß der oben beschriebenen ersten Ausführungsform kann verhindert werden, dass der Effekt der transauralen Verarbeitung abnimmt, selbst wenn die Zuhörposition des Zuhörers U vom Dienstbereich abweicht.
<Zweite Ausführungsform>
Als Nächstes wird eine zweite Ausführungsform beschrieben. In der zweiten Ausführungsform wird einer Konfiguration, die gleich oder homogen zu der der ersten Ausführungsform ist, dasselbe Bezugszeichen zugewiesen. Zusätzlich können in der ersten Ausführungsform beschriebene Gegenstände auch auf die zweite Ausführungsform angewendet werden, sofern nicht ausdrücklich etwas anderes angegeben ist.
In der ersten Ausführungsform wird ein Fall angenommen, in dem die Zuhörposition des Zuhörers U in einer Vorwärts-Rückwärts-Richtung von einem Dienstbereich abweicht. Mit anderen Worten wird ein Fall angenommen, in dem eine annähernd symmetrische Anordnung der realen Lautsprechereinrichtungen SPL und SPR in Bezug auf die Zuhörposition des Zuhörers U beibehalten wird, selbst wenn die Zuhörposition von einem Dienstbereich abweicht. Der Zuhörer U kann sich jedoch in Bezug auf eine Lautsprechereinrichtung zusätzlich zu der Vorwärts-Rückwärts-Richtung in einer Links-Rechts-Richtung bewegen. Mit anderen Worten wird auch ein Fall angenommen, in dem die Zuhörposition nach der Bewegung eine Position ist, die vom Dienstbereich abgewichen ist, und die annähernd symmetrische Anordnung der realen Lautsprechereinrichtungen SPL und SPR in Bezug auf die Zuhörposition nicht beibehalten wird. Die zweite Ausführungsform ist eine Ausführungsform, die einem solchen Fall entspricht.
(Konfigurationsbeispiel der Audioverarbeitungsvorrichtung)
13 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Audioverarbeitungsvorrichtung (einer Audioverarbeitungsvorrichtung 1a) gemäß der zweiten Ausführungsform zeigt. Die Audioverarbeitungsvorrichtung 1a unterscheidet sich von der Audioverarbeitungsvorrichtung 1 gemäß der ersten Ausführungsform darin, dass die Audioverarbeitungsvorrichtung 1a eine Audioverarbeitungseinheit 60 aufweist. Die Audioverarbeitungseinheit 60 ist beispielsweise in einer Stufe nach der Lautsprecherneuanordnungsverarbeitungseinheit 30 bereitgestellt.
Die Audioverarbeitungseinheit 60 führt eine vorbestimmte Audioverarbeitung an den Audiosignalen Lout3 und Rout3 durch, die von der Lautsprecherneuanordnungsverarbeitungseinheit 30 ausgegeben werden. Die vorbestimmte Audioverarbeitung ist zum Beispiel eine Verarbeitung zum Veranlassen, dass Ankunftszeiten, zu denen Audiosignale, die jeweils von zwei realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, eine gegenwärtige Zuhörposition erreichen, ungefähr gleich sind, und/oder eine Verarbeitung zum Veranlassen, dass Pegel von Audiosignalen, die jeweils von den beiden realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, ungefähr gleich sind. Es sollte beachtet werden, dass ungefähr gleich zu sein einschließt, vollständig gleich zu sein, und bedeutet, dass die Ankunftszeiten oder Schallpegel, die von den beiden realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, einen Fehler enthalten können, der gleich oder kleiner als eine Schwelle ist, die dem Zuhörer U kein Unbehagen vermittelt.
Die Audiosignale Lout4 und Rout4, die Audiosignale sind, die einer Audioverarbeitung durch die Audioverarbeitungseinheit 60 unterzogen werden, werden von der Audioverarbeitungseinheit 60 ausgegeben. Das Audiosignal Lout4 wird von der realen Lautsprechereinrichtung SPL wiedergegeben, und das Audiosignal Rout4 wird von der realen Lautsprechereinrichtung SPR wiedergegeben.
(Betriebsbeispiel der Audioverarbeitungsvorrichtung)
Als Nächstes wird ein Betriebsbeispiel der Audioverarbeitungsvorrichtung 1a unter Bezugnahme auf 14 beschrieben. 14 zeigt einen Zuhörer U, der einem Ton an einer Zuhörposition PO1 (mit einem Beobachtungswinkel von A [Grad]), die einem Dienstbereich entspricht, zuhört. Es soll nun einen Fall angenommen werden, in dem sich beispielsweise der Zuhörer U zu einer Zuhörposition PO2 auf einer diagonal nach hinten linken Seite in 14 bewegt, und die Zuhörposition vom Dienstbereich abweicht. Die Bewegung des Zuhörers U wird von dem Positionsdetektionssensor 50 detektiert. Vom Positionsdetektionssensor 50 detektierte Sensorinformationen werden der Steuereinheit 40 zugeführt.
Basierend auf den vom Positionsdetektionssensor 50 gelieferten Sensorinformationen identifiziert die Steuereinheit 40 die Zuhörposition PO2. Zusätzlich stellt die Steuereinheit 40 eine virtuelle Lautsprechereinrichtung VSPL1 so ein, dass sich ein vorbestimmter Ort auf einem virtuellen Liniensegment, das sich von der Zuhörposition PO2 nach vorne erstreckt (insbesondere im Allgemeinen auf einem virtuellen Liniensegment, das sich in einer Richtung erstreckt, in die sich das Gesicht des Zuhörers U gedreht ist), ungefähr in der Mitte zwischen der virtuellen Lautsprechereinrichtung VSPL1 und der realen Lautsprechereinrichtung SPR befindet. In der Situation, wie sie in 14 gezeigt ist, beträgt ein Beobachtungswinkel, der durch die Zuhörposition PO2 des Zuhörers U, der realen Lautsprechereinrichtung SPR und der virtuellen Lautsprechereinrichtung VSPL1 gebildet wird, B [Grad], der kleiner als A [Grad] ist, und ein transauraler Effekt nimmt ab. Daher wird die Verarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 durchgeführt, sodass der Beobachtungswinkel B [Grad] zu A [Grad] wird.
Da die Verarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 bereits in der ersten Ausführungsform beschrieben wurde, wird hier nur eine kurze Beschreibung gegeben. Die Steuereinheit 40 erfasst eine HRTF {HB1, HB2} gemäß dem Beobachtungswinkel B [Grad]. Die Steuereinheit 40 erfasst Filterkoeffizienten C1 und C2 basierend auf den in der ersten Ausführungsform beschriebenen Gleichungen (1) und (2) und setzt die erfassten Filterkoeffizienten C1 und C2 in geeigneter Weise bei den Filtern 301, 302, 303 und 304 der Lautsprecherneuanordnungsverarbeitungseinheit 30. Basierend auf den Filterkoeffizienten C1 und C2 wird die Verarbeitung durch die Lautsprecherneuanordnungsverarbeitungseinheit 30 durchgeführt, sodass Positionen der realen Lautsprechereinrichtungen SPL und SPR virtuell an den Lautsprechereinrichtungen VSPL2 und VSPR2 neu angeordnet werden, und Audiosignale Lout3 und Rout3 werden von der Lautsprecherneuanordnungsverarbeitungseinheit 30 ausgegeben.
Die Audioverarbeitungseinheit 60 führt eine bestimmte Audioverarbeitung an den Audiosignalen Lout3 und Rout3 gemäß der Steuerung durch die Steuereinheit 40 aus. Beispielsweise führt die Audioverarbeitungseinheit 60 eine Audioverarbeitung durch, um zu veranlassen, dass Ankunftszeiten, zu denen Audiosignale, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, die Zuhörposition PO2 erreichen, ungefähr gleich sind. Beispielsweise führt die Audioverarbeitungseinheit 60 eine Verzögerungsverarbeitung an dem Audiosignal Lout3 durch, um zu veranlassen, dass Ankunftszeiten, zu denen Audiosignale, die jeweils von den beiden realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, die Zuhörposition PO2 erreichen, ungefähr gleich sind.
Es sollte beachtet werden, dass ein Verzögerungsbetrag auf Basis einer Abstandsdifferenz zwischen der realen Lautsprechereinrichtung SPL und der virtuellen Lautsprechereinrichtung VSPL zweckmäßig eingestellt werden kann. Zusätzlich kann zum Beispiel ein Verzögerungsbetrag eingestellt werden, sodass, wenn ein Mikrofon an der Zuhörposition PO2 des Zuhörers U angeordnet ist, die Ankunftszeiten der jeweiligen Audiosignale von den realen Lautsprechereinrichtungen SPL und SPR, wie durch das Mikrofon an der Zuhörposition PO2 detektiert, ungefähr gleich gemacht werden. Das Mikrofon kann ein eigenständiges Mikrofon sein, oder es kann ein Mikrofon verwendet werden, das in eine andere Vorrichtung eingebaut ist, wie etwa eine Fernbedienungseinrichtung eines Fernsehapparats oder ein Smartphone. Gemäß der Verarbeitung werden die Ankunftszeiten von Tönen, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, in Bezug auf den Zuhörer U an der Zuhörposition PO2 ungefähr gleich gemacht. Es ist zu beachten, dass die Verarbeitung zum Anpassen von Signalpegeln oder dergleichen bei Bedarf von der Audioverarbeitungseinheit 60 durchgeführt werden kann.
Gemäß der Verarbeitung durch die Audioverarbeitungseinheit 60 werden die Ankunftszeiten, zu denen Audiosignale, die von den realen Lautsprechereinrichtungen SPL und SPR wiedergegeben werden, die Zuhörposition PO2 erreichen, ungefähr gleich gemacht. Ein Audiosignal Lout4 und ein Audiosignal Rout4 werden von der Audioverarbeitungseinheit 60 ausgegeben. Das Audiosignal Lout4 wird von der realen Lautsprechereinrichtung SPL wiedergegeben, und das Audiosignal Rout4 wird von der realen Lautsprechereinrichtung SPR wiedergegeben. Die oben beschriebene zweite Ausführungsform erzeugt auch einen ähnlichen Effekt wie die erste Ausführungsform.
(Modifikationen der zweiten Ausführungsform)
Während in der obigen zweiten Ausführungsform ein Beispiel beschrieben wurde, in dem eine Verzögerungsverarbeitung durchgeführt wird, um die reale Lautsprechereinrichtung SPL mit größerem Abstand von einer Position der virtuellen Lautsprechereinrichtung VSPL1 anzuordnen, kann eine Verzögerungsverarbeitung durchgeführt werden, um zu veranlassen, dass die reale Lautsprechereinrichtung SPR sich der Position der virtuellen Lautsprechereinrichtung VSPL1 nähert.
<Modifikationen>
Während eine Ausführungsform der vorliegenden Offenbarung oben spezifisch beschrieben wurde, versteht es sich, dass der Inhalt der vorliegenden Offenbarung nicht auf die oben beschriebene Ausführungsform beschränkt ist und dass verschiedene Modifikationen basierend auf den technischen Ideen der vorliegenden Offenbarung vorgenommen werden können.
In der oben beschriebenen Ausführungsform können die Audioverarbeitungsvorrichtungen 1 und 1a ohne den Positionsdetektionssensor 50 konfiguriert sein. In diesem Fall wird eine Kalibrierung (Justierung) vor dem Zuhören von Ton (der möglicherweise mit Video synchronisiert ist), der ein Inhalt ist, durchgeführt. Zum Beispiel wird die Kalibrierung wie folgt durchgeführt. Der Zuhörer U gibt ein Audiosignal an einer vorbestimmten Zuhörposition wieder. Zu diesem Zeitpunkt führt die Steuereinheit 40 eine Steuerung durch, um die HRTF {HB1, HB2} gemäß dem Beobachtungswinkel zu ändern, oder mit anderen Worten, die Filterkoeffizienten C1 und C2 in Bezug auf die Lautsprecherneuanordnungsverarbeitungseinheit 30 zu ändern, und das Audiosignal wiederzugeben. Der Zuhörer U gibt eine Anweisung an die Audioverarbeitungsvorrichtung aus, sobald ein vorbestimmtes Lokalisierungsgefühl hinsichtlich der Hörempfindung erzielt wird. Nach dem Empfang der Anweisung stellt die Audioverarbeitungsvorrichtung die Filterkoeffizienten C1 und C2 für die Lautsprecherneuanordnungsverarbeitungseinheit 30 ein. Wie oben beschrieben, kann eine Konfiguration übernommen werden, in der Einstellungen, die sich auf die Lautsprecherneuanordnungsverarbeitung beziehen, vom Benutzer konfiguriert werden.
Nach der Kalibrierung wird der tatsächliche Inhalt wiedergegeben. Gemäß dem vorliegenden Beispiel kann der Positionsdetektionssensor 50 überflüssig werden. Da der Zuhörer U Einstellungen basierend auf seiner eigenen Hörempfindung konfiguriert, kann der Zuhörer U außerdem das Gefühl gewinnen, überzeugt zu sein. Alternativ kann bei einer Kalibrierung unter der Annahme, dass sich die Zuhörposition nach der Kalibrierung nicht wesentlich ändert, verhindert werden, dass die Filterkoeffizienten C1 und C2 geändert werden, selbst wenn die Zuhörposition abweicht.
Anstatt eine Kalibrierung durchzuführen, kann die in der Ausführungsform beschriebene Verarbeitung in Echtzeit durchgeführt werden, während die Wiedergabe des Inhalts fortschreitet. Das Durchführen der oben beschriebenen Verarbeitung, selbst wenn die Zuhörposition leicht abweicht, kann jedoch ein Gefühl von Unbehagen in Bezug auf das Hörempfinden erzeugen. In Anbetracht dessen kann die in der Ausführungsform beschriebene Verarbeitung so konfiguriert sein, dass sie durchgeführt wird, wenn die Zuhörposition des Zuhörers U um einen vorbestimmten Betrag oder mehr abweicht.
Die Filterkoeffizienten C1 und C2, die für die Lautsprecherneuanordnungsverarbeitungseinheit 30 eingestellt werden sollen, können durch ein anderes Verfahren als die zuvor beschriebenen Gleichungen (1) und (2) berechnet werden. Beispielsweise können die Filterkoeffizienten C1 und C2 durch ein vereinfachtes Verfahren als das Berechnungsverfahren unter Verwendung der Gleichungen (1) und (2) berechnet werden. Zusätzlich können als die Filterkoeffizienten C1 und C2 vorab berechnete Filterkoeffizienten verwendet werden. Ferner können aus den Filterkoeffizienten C1 und C2, die zwei gegebenen Beobachtungswinkeln entsprechen, Filterkoeffizienten C1 und C2, die einem Beobachtungswinkel zwischen den beiden Beobachtungswinkeln entsprechen, durch Interpolation berechnet werden.
Wenn mehrere Zuhörer durch den Positionsdetektionssensor 50 detektiert werden, kann die oben beschriebene Verarbeitung durchgeführt werden, indem eine Zuhörposition eines Zuhörers priorisiert wird, der sich an einer Zuhörposition befindet, an der zwei Lautsprechereinrichtungen symmetrische Positionen einnehmen.
Die vorliegende Offenbarung kann auch auf Audiosignale wiedergebende Mehrkanalsysteme außer Zweikanalsystemen angewendet werden. Zusätzlich ist der Positionsdetektionssensor 50 nicht auf eine Bildgebungseinrichtung beschränkt und kann andere Sensoren sein. Beispielsweise kann der Positionsdetektionssensor 50 ein Sensor sein, der eine Position eines Senders detektiert, der vom Benutzer getragen wird.
Konfigurationen, Verfahren, Schritte, Formen, Materialien, numerische Werte und dergleichen, die in der oben beschriebenen Ausführungsform dargestellt sind, sind lediglich Beispiele, und bei Bedarf können verschiedene Konfigurationen, Verfahren, Schritte, Formen, Materialien, numerische Werte und dergleichen verwendet werden. Die oben beschriebene Ausführungsform und die Modifikationen können nach Bedarf kombiniert werden. Zusätzlich kann die vorliegende Offenbarung ein Verfahren, ein Programm oder ein das Programm speicherndes Medium sein. Beispielsweise wird das Programm in einem vorbestimmten Speicher gespeichert, der in einer Audioverarbeitungsvorrichtung enthalten ist.
Die vorliegende Offenbarung kann auch die folgenden Konfigurationen annehmen.

(1) Eine Audioverarbeitungsvorrichtung, die Folgendes umfasst:
- eine transaurale Verarbeitungseinheit, die dazu ausgelegt ist, eine transaurale Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal durchzuführen; und
- eine Korrekturverarbeitungseinheit, die dazu ausgelegt ist, eine Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal durchzuführen, das der transauralen Verarbeitung unterzogen wurde.
(2) Die Audioverarbeitungsvorrichtung nach (1), wobei die Änderung der Zuhörposition eine Abweichung zwischen einem Winkel, der durch mindestens drei Punkte, die als Eckpunkte Positionen von zwei Lautsprechereinrichtungen aufweisen, und die Zuhörposition gebildet wird, und einem vorbestimmten Winkel ist.
(3) Die Audioverarbeitungsvorrichtung nach (2), wobei der vorbestimmte Winkel ein im Voraus festgelegter Winkel ist.
(4) Die Audioverarbeitungsvorrichtung nach (2) oder (3), wobei die Korrekturverarbeitungseinheit dazu ausgelegt ist, eine Verarbeitung zum virtuellen Neuanordnen von Positionen von zwei realen Lautsprechereinrichtungen zu Positionen von zwei virtuellen Lautsprechereinrichtungen durchzuführen, sodass ein Winkel, der durch die Positionen der virtuellen Lautsprechereinrichtungen und der Zuhörposition gebildet wird, mit dem vorbestimmten Winkel übereinstimmt.
(5) Die Audioverarbeitungsvorrichtung nach einem von (2) bis (4), wobei die Korrekturverarbeitungseinheit aus einem Filter besteht, und die Korrekturverarbeitungseinheit dazu ausgelegt ist, eine Korrekturverarbeitung unter Verwendung eines Filterkoeffizienten durchzuführen, der einen Winkel korrigiert, bei dem die Abweichung zu dem vorbestimmten Winkel aufgetreten ist.
(6) Die Audioverarbeitungsvorrichtung nach (4), wobei die Zuhörposition auf eine vorbestimmte Position auf einer Achse eingestellt wird, die einen Mittelpunkt zwischen den beiden realen Lautsprechereinrichtungen durchläuft.
(7) Die Audioverarbeitungsvorrichtung nach (4) oder (6), die eine Verarbeitung zum Veranlassen, dass Ankunftszeiten, zu denen Audiosignale, die jeweils von den beiden realen Lautsprechereinrichtungen wiedergegeben werden, die Zuhörposition erreichen, ungefähr gleich sind, und/oder eine Verarbeitung zum Veranlassen, dass Pegel von Audiosignalen, die jeweils von den beiden realen Lautsprechereinrichtungen wiedergegeben werden, ungefähr gleich sind, durchführt.
(8) Die Audioverarbeitungsvorrichtung nach einem von (1) bis (7), die Folgendes umfasst:
- eine Sensoreinheit, die dazu ausgelegt ist, die Zuhörposition zu detektieren.
(9) Die Audioverarbeitungsvorrichtung nach einem von (1) bis (8), die Folgendes umfasst:
- eine reale Lautsprechereinrichtung, die dazu ausgelegt ist, ein Audiosignal wiederzugeben, das einer Korrekturverarbeitung durch die Korrekturverarbeitungseinheit unterzogen wurde.
(10) Die Audioverarbeitungsvorrichtung nach einem von (1) bis (9), die derart konfiguriert ist, dass Einstellungen in Bezug auf die Korrekturverarbeitung von einem Benutzer vorgenommen werden müssen.
(11) Ein Audioverarbeitungsverfahren, das Folgendes umfasst:
- Durchführen, durch eine transaurale Verarbeitungseinheit, einer transauralen Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal; und Durchführen, durch eine Korrekturverarbeitungseinheit, einer Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal, das der transauralen Verarbeitung unterzogen wurde.
(12) Ein Programm, das einen Computer veranlasst, ein Audioverarbeitungsverfahren auszuführen, das Folgendes umfasst:
- Durchführen, durch eine transaurale Verarbeitungseinheit, einer transauralen Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal; und
- Durchführen, durch eine Korrekturverarbeitungseinheit, einer Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal, das der transauralen Verarbeitung unterzogen wurde.

Bezugszeichenliste

1, 1a: Audioverarbeitungsvorrichtung
20: Transauralsystem-Filtereinheit
30: Lautsprecherneuanordnungsverarbeitungseinheit
40: Steuereinheit
50: Positionsdetektionssensor
SPL, SPR: Reale Lautsprechereinrichtung
VSPL, VSPR: Virtuelle Lautsprechereinrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007142856 A [0002]
JP H0946800 A [0002]

Claims

Audioverarbeitungsvorrichtung, die Folgendes umfasst: eine transaurale Verarbeitungseinheit, die dazu ausgelegt ist, eine transaurale Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal durchzuführen; und eine Korrekturverarbeitungseinheit, die dazu ausgelegt ist, eine Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal durchzuführen, das der transauralen Verarbeitung unterzogen wurde.
Audioverarbeitungsvorrichtung nach Anspruch 1, wobei die Änderung der Zuhörposition eine Abweichung zwischen einem Winkel, der durch mindestens drei Punkte, die als Eckpunkte Positionen von zwei Lautsprechereinrichtungen aufweisen, und die Zuhörposition gebildet wird, und einem vorbestimmten Winkel ist.
Audioverarbeitungsvorrichtung nach Anspruch 2, wobei der vorbestimmte Winkel ein im Voraus festgelegter Winkel ist.
Audioverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrekturverarbeitungseinheit dazu ausgelegt ist, eine Verarbeitung zum virtuellen Neuanordnen von Positionen von zwei realen Lautsprechereinrichtungen zu Positionen von zwei virtuellen Lautsprechereinrichtungen durchzuführen, sodass ein Winkel, der durch die Positionen der virtuellen Lautsprechereinrichtungen und der Zuhörposition gebildet wird, mit dem vorbestimmten Winkel übereinstimmt.
Audioverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrekturverarbeitungseinheit aus einem Filter besteht, und die Korrekturverarbeitungseinheit dazu ausgelegt ist, eine Korrekturverarbeitung unter Verwendung eines Filterkoeffizienten durchzuführen, der einen Winkel korrigiert, bei dem die Abweichung zu dem vorbestimmten Winkel aufgetreten ist.
Audioverarbeitungsvorrichtung nach Anspruch 4, wobei die Zuhörposition auf eine vorbestimmte Position auf einer Achse eingestellt wird, die einen Mittelpunkt zwischen den beiden realen Lautsprechereinrichtungen durchläuft.
Audioverarbeitungsvorrichtung nach Anspruch 4, die eine Verarbeitung zum Veranlassen, dass Ankunftszeiten, zu denen Audiosignale, die jeweils von den beiden realen Lautsprechereinrichtungen wiedergegeben werden, die Zuhörposition erreichen, ungefähr gleich sind, und/oder eine Verarbeitung zum Veranlassen, dass Pegel von Audiosignalen, die jeweils von den beiden realen Lautsprechereinrichtungen wiedergegeben werden, ungefähr gleich sind, durchführt.
Audioverarbeitungsvorrichtung nach Anspruch 1, die Folgendes umfasst: eine Sensoreinheit, die dazu ausgelegt ist, die Zuhörposition zu detektieren.
Audioverarbeitungsvorrichtung nach Anspruch 1, die Folgendes umfasst: eine reale Lautsprechereinrichtung, die dazu ausgelegt ist, ein Audiosignal wiederzugeben, das einer Korrekturverarbeitung durch die Korrekturverarbeitungseinheit unterzogen wurde.
Audioverarbeitungsvorrichtung nach Anspruch 1, die derart konfiguriert ist, dass Einstellungen in Bezug auf die Korrekturverarbeitung von einem Benutzer vorgenommen werden müssen.
Audioverarbeitungsverfahren, das Folgendes umfasst: Durchführen, durch eine transaurale Verarbeitungseinheit, einer transauralen Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal; und Durchführen, durch eine Korrekturverarbeitungseinheit, einer Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal, das der transauralen Verarbeitung unterzogen wurde.
Programm, das einen Computer veranlasst, ein Audioverarbeitungsverfahren auszuführen, das Folgendes umfasst: Durchführen, durch eine transaurale Verarbeitungseinheit, einer transauralen Verarbeitung in Bezug auf ein vorbestimmtes Audiosignal; und Durchführen, durch eine Korrekturverarbeitungseinheit, einer Korrekturverarbeitung gemäß einer Änderung einer Zuhörposition in Bezug auf das Audiosignal, das der transauralen Verarbeitung unterzogen wurde.