DE112019005379T5

DE112019005379T5 - Signalverarbeitungseinrichtung, signalverarbeitungsverfahren und programm

Info

Publication number: DE112019005379T5
Application number: DE112019005379.5T
Authority: DE
Inventors: Ryutaro Watanabe; Toru Nakagawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2018-10-29
Filing date: 2019-10-16
Publication date: 2021-07-15
Also published as: JP2022008733A; WO2020090456A1

Abstract

Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungseinrichtung, ein Signalverarbeitungsverfahren und ein Programm, die einem Benutzer ermöglichen, virtuelle Klangquellen unter Berücksichtigung eines Effekts von visuellen Informationen wahrzunehmen.
Eine Klangsignalverarbeitungseinrichtung erfasst Informationen bezüglich eines Objekts, das die Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen, positioniert eine Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position, und positioniert eine Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht. Die vorliegende Technologie ist auf eine Klangsignalverarbeitungseinrichtung anwendbar, die, beispielsweise, auf einem fahrzeuginternen System gemountet ist.

Description

[Technisches Gebiet]
Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungseinrichtung, ein Signalverarbeitungsverfahren und ein Programm, insbesondere auf eine Signalverarbeitungseinrichtung, ein Signalverarbeitungsverfahren und ein Programm, die einem Benutzer ermöglichen, virtuelle Klangquellen unter Berücksichtigung eines Effekts von visuellen Informationen wahrzunehmen.
[Stand der Technik]
Klangbildlokalisierungsverarbeitung zum Lokalisieren eines von einem Lautsprecher emittierten Klangs bei einer vorbestimmten Position durch Verarbeitung von Klangsignalen (siehe beispielsweise Patent 1) ist bekannt. Klangbildlokalisierungsverarbeitung ermöglicht, beispielsweise, dem Benutzer, Klangausgabe von einem Lautsprecher hinter dem Benutzer wahrzunehmen, als ob der Klang von einer virtuellen Klangquellenposition ausgegeben würde, die sich von der Position des Lautsprechers unterscheidet, beispielsweise einer Position vor dem Benutzer.
[Zitierliste]
[Patentliteratur]
[PTL 1]
Japanisches Patent, offengelegt, Nr. 2003-111200
[Kurzdarstellung]
[Technisches Problem]
Allerdings beeinflussen visuelle Informationen in hohem Maße die Wahrnehmung von virtuellen Klangquellen. Beispielsweise wurde das folgende Phänomen bestätigt. In einem Fall, bei dem es ein Objekt nahe eines Ortes einer virtuellen Klangquelle gibt, wird das Objekt als eine Position der virtuellen Klangquelle wahrgenommen.
Die vorliegende Technologie wurde im Hinblick auf diesen Umstand entwickelt und ermöglicht einem Benutzer, virtuelle Klangquellen unter Berücksichtigung von visuellen Informationen wahrzunehmen.
[Lösung für das Problem]
Gemäß einem Aspekt der vorliegenden Technologie wird eine Signalverarbeitungseinrichtung bereitgestellt, eine Objektinformationserfassungseinheit, die ausgelegt ist zum Erfassen von Informationen bezüglich eines Objekts, das die Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen, und eine Steuereinheit aufweisend, ausgelegt zum Durchführen von Steuerung des Positionierens einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und des Positionierens einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.
Gemäß einem Aspekt der vorliegenden Technologie wird ein Signalverarbeitungsverfahren bereitgestellt, das durch eine Signalverarbeitungseinrichtung ausgeführt wird, Erfassen von Informationen bezüglich eines Objekts, das die Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen, und Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht, aufweisend.
Gemäß einem Aspekt der vorliegenden Technologie wird ein Programm bereitgestellt, um einen Computer zu veranlassen, als eine Objektinformationserfassungseinheit, die ausgelegt ist zum Erfassen von Informationen bezüglich eines Objekts, das die Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen, und eine Steuereinheit, ausgelegt zum Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht, zu fungieren.
In einem Aspekt der vorliegenden Technologie werden Informationen bezüglich eines Objekts erfasst, das die Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen, und eine Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, wird auf eine erste Position positioniert, und eine Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, wird auf eine zweite Position positioniert, die der ersten Position entspricht.
Es ist anzumerken, dass das Programm bereitgestellt sein kann, indem es über ein Übertragungsmedium übertragen wird oder auf einem Aufzeichnungsmedium aufgezeichnet ist.
Es ist anzumerken, dass die Signalverarbeitungseinrichtung gemäß dem Aspekt der vorliegenden Technologie durch den Computer erreicht werden kann, der das Programm ausführt.
Ferner kann das Programm, das durch den Computer ausgeführt wird, um die Signalverarbeitungseinrichtung gemäß dem Aspekt der vorliegenden Technologie umzusetzen, bereitgestellt werden, indem es über eine Übertragungsmedium übertragen wird oder auf einem Aufzeichnungsmedium aufgezeichnet ist.
Die Signalverarbeitungseinrichtung kann eine unabhängige Einrichtung oder ein interner Block, der eine einzelne Einrichtung auslegt, sein.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Auslegungsbeispiel eines Klangverarbeitungssystems darstellt, das ausgelegt ist zum Durchführen von Klangbildlokalisierungsverarbeitung.
[2] 2 ist ein Diagramm, das Klangbildlokalisierungsverarbeitung darstellt.
[3] 3 ist ein Diagramm, das ein Prinzip von Klangbildlokalisierungsverarbeitung darstellt.
[4] 4 stellt Diagramme dar, die ein Beispiel veranschaulichen, bei dem das Klangverarbeitungssystem aus 1 auf ein fahrzeuginternes System angewendet wird.
[5] 5 ist ein Diagramm, das eine Gesamthimmel-Transferfunktionserfassung darstellt.
[6] 6 stellt Diagramme dar, die ein Problem veranschaulichen, das in dem Klangverarbeitungssystem auftreten kann.
[7] 7 ist ein Diagramm, das ein Problem veranschaulicht, das in dem Klangverarbeitungssystem auftreten kann.
[8] 8 ist ein Blockdiagramm, das ein Auslegungsbeispiel eines Klangverarbeitungssystems darstellt, auf das die vorliegende Technologie angewendet wird.
[9] 9 ist ein Blockdiagramm, das ein erstes Auslegungsbeispiel einer virtuellen Klangquellenpositionierungseinheit darstellt.
[10] 10 ist ein Flussdiagramm, das eine Verarbeitung für einen ersten virtuellen Klangquellenort darstellt.
[11] 11 ist ein Diagramm, das ein Verarbeitungsbeispiel der Verarbeitung für einen ersten virtuellen Klangquellenort darstellt.
[12] 12 ist ein Diagramm, das ein Verarbeitungsbeispiel der Verarbeitung für einen ersten virtuellen Klangquellenort darstellt.
[13] 13 ist ein Blockdiagramm, das ein zweites Auslegungsbeispiel der virtuellen Klangquellenpositionierungseinheit darstellt.
[14] 14 stellt Diagramme dar, die ein Verarbeitungsbeispiel einer Verarbeitung für einen zweiten virtuellen Klangquellenort veranschaulichen.
[15] 15 ist ein Flussdiagramm, das die Verarbeitung für einen zweiten virtuellen Klangquellenort darstellt.
[16] 16 ist ein Diagramm, das ein Verarbeitungsbeispiel der Verarbeitung für einen zweiten virtuellen Klangquellenort darstellt.
[17] 17 ist ein Diagramm, das ein modifiziertes Beispiel der Verarbeitung für einen virtuellen Klangquellenort darstellt.
[18] 18 ist ein Diagramm, das ein Auslegungsbeispiel eines Fahrzeugs darstellt, an dem das Klangverarbeitungssystem aus 8 montiert ist.
[19] 19 ist ein Blockdiagramm, das ein Auslegungsbeispiel einer Ausführungsform eines Computers darstellt, auf den die vorliegende Technologie angewendet wird.

[Beschreibung der Ausführungsform]
Jetzt wird ein Modus zum Ausführen der vorliegenden Technologie (im Folgenden als „Ausführungsform“ bezeichnet) beschrieben. Es ist anzumerken, dass die folgenden Punkte der Reihenfolge nach beschrieben werden.

1. Beschreibung der Klangbildlokalisierungsverarbeitung
2. Problem, das bei der Klangbildlokalisierung auftreten kann
3. Auslegungsbeispiel für Klangverarbeitungssystem
4. Erstes Auslegungsbeispiel für virtuelle Klangquellenpositionierungseinheit
5. Zweites Auslegungsbeispiel für virtuelle Klangquellenpositionierungseinheit
6. Modifiziertes Beispiel
7. Auslegungsbeispiel für Fahrzeug
8. Auslegungsbeispiel für Computer

<Beschreibung der
Klangbildlokalisierungsverarbeitung>
Zunächst dient, Bezug nehmend auf 1 bis 3, Klangbildlokalisierungsverarbeitung als die Voraussetzung eines Klangverarbeitungssystems, auf das die vorliegende Technologie wie beschrieben angewendet wird.
1 ist ein Blockdiagramm, das ein Auslegungsbeispiel eines Klangverarbeitungssystems darstellt, das ausgelegt ist zum Durchführen von Klangbildlokalisierungsverarbeitung.
Das Klangverarbeitungssystem aus 1 weist eine Klangquellenreproduktionseinrichtung 11, eine Klangverarbeitungseinrichtung 12, Verstärker 13L und 13R, einen linken Lautsprecher SL und einen rechten Lautsprecher SR auf.
Die Klangquellenreproduktionseinrichtung 11 reproduziert, beispielsweise, auf einem Aufzeichnungsmedium, wie etwa Compact-Discs (CDs) oder Festplatten als Klangquellen aufgezeichnete Musikdaten und führt linke und rechte Reproduktionsaudiosignale zur Klangverarbeitungseinrichtung 12 zu. Hier werden Reproduktionsaudiosignale für den linken Lautsprecher und Reproduktionsaudiosignale für den rechten Lautsprecher, die von der Klangquellenreproduktionseinrichtung 11 ausgegeben werden, als ein „Reproduktionsaudiosignal L“ bzw. ein „Reproduktionsaudiosignal R“ bezeichnet. Die zu reproduzierenden Typen von Musikdaten sind nicht speziell begrenzt, und Beispiele davon können Musikstücke, durch Personen oder Sprachsynthese erzeugte Klangnachrichten und elektronische Klänge, wie etwa Klingeltöne oder Summtöne aufweisen. Im Folgenden ist Reproduktionsklang, der der Einfachheit halber als ein Klang bezeichnet wird, nicht auf Klang beschränkt.
Die Klangverarbeitungseinrichtung 12 weist eine Klangbildlokalisierungsverarbeitungseinheit 20 und eine transaurale Systemverarbeitungseinheit 30 auf.
Die Klangverarbeitungseinrichtung 12 verarbeitet eingegebene linke und rechte Zwei-Kanal-Reproduktionsaudiosignale, sodass der Benutzer vom linken Lautsprecher SL und vom rechten Lautsprecher SR ausgegebenen Klang hört, als wenn der Klang von den Positionen eines linken virtuellen Lautsprechers VSL und eines rechten virtuellen Lautsprechers VSR emittiert würde, die durch die gestrichelten Linien in 1 angezeigt werden. Mit anderen Worten, die Klangverarbeitungseinrichtung 12 lokalisiert die Klangbilder des vom linken Lautsprecher SL und vom rechten Lautsprecher SR ausgegebenen Klangs, sodass der Benutzer den Eindruck hat, als würde der Klang vom linken virtuellen Lautsprecher VSL und vom rechten virtuellen Lautsprecher VSR emittiert.
Hier sind der linke Lautsprecher SL und der rechte Lautsprecher SR im Kopfstützenteil eines Sitzes ST, auf dem der Benutzer sitzt, bereitgestellt, wie beispielsweise in 2 dargestellt, und der reproduzierte Klang wird von Positionen hinter den Ohren des Benutzers ausgegeben. Im Gegensatz dazu sind der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR vor dem Benutzer positioniert, wie durch die gestrichelten Linien in 2 angezeigt. Es ist anzumerken, dass in einem Fall, in dem der linke und der rechte virtuelle Lautsprecher nicht speziell voneinander unterschieden werden, der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR einfach als ein „virtueller Lautsprecher VS“ bezeichnet werden.
Zurückkehrend zu 1 gibt die Klangverarbeitungseinrichtung 12 das der Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal L an den Verstärker 13L aus und gibt das der Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal R an den Verstärker 13R aus.
Der Verstärker 13L verstärkt das der Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal L und gibt das Resultat an den linken Lautsprecher SL aus. Der Verstärker 13R verstärkt das der Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal R und gibt das Resultat an den rechten Lautsprecher SR aus. Der linke Lautsprecher SL gibt das vom Verstärker 13L zugeführte Audiosignal als Klang aus. Der rechte Lautsprecher SR gibt das vom Verstärker 13R zugeführte Audiosignal als Klang aus. Der linke Lautsprecher SL und der rechte Lautsprecher SR können jeweils einen einzelnen Lautsprecher aufweisen, oder sie können jeweils ein HiFi-Lautsprecher sein, der einen Superhochtöner oder einen Tieftöner aufweist und in der Lage ist, qualitativ hochwertigen Klang zu emittieren.
Vor der Beschreibung der Klangbildlokalisierungsverarbeitungseinheit 20 wird das Prinzip der Klangbildlokalisierungsverarbeitung Bezug nehmend auf 3 beschrieben.
In einer vorbestimmten Bezugsumgebung wird ein Kunstkopf DH an einer Position bereitgestellt, die als die Position eines Zuhörers dient, und mit Bezug auf den Zuhörer an der Position des Kunstkopfs DH werden ein linker realer Lautsprecher SPL und ein rechter realer Lautsprecher SPR tatsächlich an den linken und rechten virtuellen Lautsprecherpositionen installiert, an denen Klangbilder lokalisiert werden sollen (Positionen, an denen anzunehmendermaßen Lautsprecher zu installieren sind).
Danach wird der vom linken realen Lautsprecher SPL und vom rechten realen Lautsprecher SPR ausgegebene Klang an den Ohrteilen des Kunstkopfes DH gesammelt, und Transferfunktionen (HRTF: kopfbezogene Transferfunktionen), die anzeigen, wie sich der vom linken realen Lautsprecher SPL und der vom rechten realen Lautsprecher SPR ausgegebene Klang ändert, wenn er die Ohrteile des Kunstkopfes DH erreicht, werden vorab gemessen. Es ist anzumerken, dass der Kunstkopf möglicherweise nicht verwendet wird und dass Klangtransferfunktionen mit Mikrofonen gemessen werden können, die nahe den Ohren einer tatsächlichen sitzenden Person angeordnet sind.
Hier wird, wie in 3 dargestellt, eine Klangtransferfunktion vom linken realen Lautsprecher SPL zum linken Ohr des Kunstkopfes DH mit M11 bezeichnet, und eine Klangtransferfunktion vom linken realen Lautsprecher SPL zum rechten Ohr des Kunstkopfes DH wird mit M12 bezeichnet. Ferner wird eine Klangtransferfunktion vom rechten realen Lautsprecher SPR zum linken Ohr des Kunstkopfes DH mit M21 bezeichnet, und eine Klangtransferfunktion vom rechten realen Lautsprecher SPR zum rechten Ohr des Kunstkopfes DH wird mit M22 bezeichnet.
In einer ähnlichen Weise wird vom linken Lautsprecher SL und vom rechten Lautsprecher SR, die im Kopfstützenteil des Sitzes ST aus 2 bereitgestellt sind, ausgegebener Klang an den Ohrteilen eines Zuhörers gesammelt, der auf dem Sitz ST sitzt, und Transferfunktionen (HRTF), die anzeigen, wie sich der vom linken Lautsprecher SL und vom rechten Lautsprecher SR ausgegebene Klang ändert, wenn er die Ohrteile des Zuhörers erreicht, werden vorab gemessen.
Wie in 1 dargestellt, wird eine Klangtransferfunktion vom linken Lautsprecher SL zum linken Ohr des Zuhörers mit G11 bezeichnet, und eine Klangtransferfunktion vom linken Lautsprecher SL zum rechten Ohr des Zuhörers wird mit G12 bezeichnet. Ferner wird eine Klangtransferfunktion vom rechten Lautsprecher SR zum linken Ohr des Zuhörers mit G21 bezeichnet, und eine Klangtransferfunktion vom rechten Lautsprecher SR zum rechten Ohr des Zuhörers wird mit G22 bezeichnet.
Die Klangbildlokalisierungsverarbeitungseinheit 20 aus 1 führt Verarbeitung mit vorab gemessenen Klangtransferfunktionen durch, um Klangbilder an vorbestimmten Positionen zu lokalisieren (Klangbildlokalisierungsverarbeitung). Die Klangbildlokalisierungsverarbeitungseinheit 20 weist vier Filter 21 bis 24 und zwei Additionseinheiten 25 und 26 auf.
Währenddessen führt die transaurale Systemverarbeitungseinheit 30 die Verarbeitung zum Entfernen der Effekte von Transferfunktionen im Reproduktionsklangfeld von vom linken Lautsprecher SL und vom rechten Lautsprecher SR ausgegebenem Klang durch. Die transaurale Systemverarbeitungseinheit 30 weist vier Filter 31 bis 34 und Additionseinheiten 35 und 36 auf.
Der Filter 21 der Klangbildlokalisierungsverarbeitungseinheit 20 verarbeitet das von der Klangquellenreproduktionseinrichtung 11 eingegebene Reproduktionsaudiosignal L mit der Transferfunktion M11 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal L zur Additionseinheit 25 für den linken Kanal zu. Ferner verarbeitet der Filter 22 das von der Klangquellenreproduktionseinrichtung 11 eingegebene Reproduktionsaudiosignal L mit der Transferfunktion M12 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal L zur Additionseinheit 26 für den rechten Kanal zu.
Der Filter 23 verarbeitet das von der Klangquellenreproduktionseinrichtung 11 eingegebene Reproduktionsaudiosignal R mit der Transferfunktion M21 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal L zur Additionseinheit 25 für den linken Kanal zu. Ferner verarbeitet der Filter 24 das von der Klangquellenreproduktionseinrichtung 11 eingegebene Reproduktionsaudiosignal R mit der Transferfunktion M22 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal R zur Additionseinheit 26 für den rechten Kanal zu.
Die Additionseinheit 25 für den linken Kanal addiert das der Filterverarbeitung durch den Filter 21 unterzogene Reproduktionsaudiosignal L und das der Filterverarbeitung durch den Filter 23 unterzogene Reproduktionsaudiosignal R zusammen und führt das durch die Addition erhaltene Audiosignal zu den Filtern 31 und 32 der transauralen Systemverarbeitungseinheit 30 zu.
Die Additionseinheit 26 für den rechten Kanal addiert das der Filterverarbeitung durch den Filter 22 unterzogene Reproduktionsaudiosignal L und das der Filterverarbeitung durch den Filter 24 unterzogene Reproduktionsaudiosignal R zusammen und führt das durch die Addition erhaltene Audiosignal zu den Filtern 33 und 34 der transauralen Systemverarbeitungseinheit 30 zu.
Der Filter 31 der transauralen Systemverarbeitungseinheit 30 verarbeitet, mit der inversen Funktion der Transferfunktion G11, das Reproduktionsaudiosignal von der Additionseinheit 25 für den linken Kanal der Klangbildlokalisierungsverarbeitungseinheit 20 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal zur Additionseinheit 35 für den linken Kanal zu. Ferner verarbeitet der Filter 32, mit der inversen Funktion der Transferfunktion G12, das Reproduktionsaudiosignal von der Additionseinheit 25 für den linken Kanal der Klangbildlokalisierungsverarbeitungseinheit 20 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal zur Additionseinheit 36 für den rechten Kanal zu.
Der Filter 33 verarbeitet, mit der inversen Funktion der Transferfunktion G21, das Reproduktionsaudiosignal von der Additionseinheit 26 für den rechten Kanal der Klangbildlokalisierungsverarbeitungseinheit 20 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal zur Additionseinheit 35 für den linken Kanal zu. Ferner verarbeitet der Filter 34, mit der inversen Funktion der Transferfunktion G22, das Reproduktionsaudiosignal von der Additionseinheit 26 für den rechten Kanal der Klangbildlokalisierungsverarbeitungseinheit 20 und führt das der Verarbeitung unterzogene Reproduktionsaudiosignal zur Additionseinheit 36 für den rechten Kanal zu.
Die Additionseinheit 35 für den linken Kanal addiert das der Filterverarbeitung durch den Filter 31 unterzogene Reproduktionsaudiosignal und das der Filterverarbeitung durch den Filter 33 unterzogene Reproduktionsaudiosignal zusammen und gibt das durch die Addition erhaltene Audiosignal zum Verstärker 13L für den linken Kanal als das Reproduktionsaudiosignal L aus.
Die Additionseinheit 36 für den rechten Kanal addiert das der Filterverarbeitung durch den Filter 32 unterzogene Reproduktionsaudiosignal und das der Filterverarbeitung durch den Filter 34 unterzogene Reproduktionsaudiosignal zusammen und gibt das durch die Addition erhaltene Audiosignal zum Verstärker 13R für den rechten Kanal als das Reproduktionsaudiosignal R aus.
Wie oben beschrieben, führt die Klangverarbeitungseinrichtung 12, auf dem Reproduktionsaudiosignal L und dem Reproduktionsaudiosignal R von der Klangquellenreproduktionseinrichtung 11, die Faltung der Transferfunktionen für die linke und die rechte virtuelle Lautsprecherposition durch, bei der die Klangbilder zu lokalisieren sind, und entfernt die Effekte der Transferfunktionen im Reproduktionsklangfeld. Damit können die vom linken Lautsprecher SL und vom rechten Lautsprecher SR ausgegebenen Klangbilder von Klang lokalisiert werden, sodass der Benutzer, der ein Zuhörer ist, den Eindruck haben kann, als würde der Klang vom linken virtuellen Lautsprecher VSL und vom rechten virtuellen Lautsprecher VSR emittiert.
4 stellt Beispiele dar, bei denen das Klangverarbeitungssystem aus 1 auf ein fahrzeuginternes System angewendet wird.
In dem Fall, in dem das Klangverarbeitungssystem aus 1 auf das fahrzeuginterne System angewendet wird, entspricht der Sitz ST, der den linken Lautsprecher SL und den rechten Lautsprecher SR aus 2 aufweist, dem Sitz eines Fahrzeugs, wie etwa eines Kraftfahrzeugs.
Zuerst werden, wie in A aus 4 dargestellt, in einer Bezugsumgebung, wie etwa einem Auditionsraum, die Klangtransferfunktionen M11, M12, M21 und M22 vom linken realen Lautsprecher SPL und vom rechten realen Lautsprecher SPR zu den Ohren eines Benutzers U gemessen. Die Positionen des linken realen Lautsprechers SPL und des rechten realen Lautsprechers SPR bezüglich der Position des Benutzers U in der Bezugsumgebung entsprechen den Positionen von virtuellen Lautsprechern (virtuellen Klangquellen) bei der Reproduktion. Es ist anzumerken, dass die Transferfunktionen M11, M12, M21 und M22 im Folgenden der Einfachheit halber auch als „M11 bis M22“ beschrieben werden.
In ähnlicher Weise werden, wie in B aus 4 dargestellt, die Klangtransferfunktionen G11, G12, G21 und G22 vom linken Lautsprecher SL und vom rechten Lautsprecher SR, die im Kopfstützenteil des Sitzes ST des Fahrzeugs, wie etwa eines Kraftfahrzeugs, für die Ohren des Benutzers bereitgestellt werden, gemessen. Es ist anzumerken, dass die Transferfunktionen G11, G12, G21 und G22 im Folgenden der Einfachheit halber auch als „G11 bis G22“ beschrieben werden.
Dann führt die in das Fahrzeug integrierte Klangverarbeitungseinrichtung 12 die oben erwähnte Klangbildlokalisierungsverarbeitung auf dem Reproduktionsaudiosignal L und dem Reproduktionsaudiosignal R von der Klangquellenreproduktionseinrichtung 11 durch, sodass, wie in C aus 4 dargestellt, der Benutzer U vom linken Lautsprecher SL und vom rechten Lautsprecher SR, die im Kopfstützenteil des Sitzes ST bereitgestellt sind, ausgegebenen Klang wahrnimmt, als würde der Klang von den gleichen Positionen wie dem linken realen Lautsprecher SPL und dem rechten realen Lautsprecher SPR in der Bezugsumgebung (linker virtueller Lautsprecher VSL und rechter virtueller Lautsprecher VSR) ausgegeben werden.
In einem Fall, in dem die Positionen der virtuellen Lautsprecher wunschgemäß geändert werden sollen, werden Transferfunktionen M11' bis M22' für neue Positionen der virtuellen Lautsprecher unter Verwendung der Transferfunktionen M11 bis M22 erzeugt, die in der Bezugsumgebung erfasst werden, die auf die Filter 21 bis 24 anzuwenden sind, sodass die Positionen der virtuellen Lautsprecher auf Positionen gesetzt werden können, die verschieden von den Lautsprecherpositionen in der Bezugsumgebung sind. Alternativ können Verstärkungsverarbeitung oder Verzögerungsverarbeitung auf Audiosignalen durchgeführt werden, die in die Filter 21 bis 24 eingegeben oder von diesen ausgegeben werden, sodass die Transferfunktionen M11' bis M22' für die neuen Positionen der virtuellen Lautsprecher erzeugt werden können.
Auch werden alternativ, in der Bezugsumgebung, wie in 5 dargestellt, Transferfunktionen für die Punkte auf einer um den Benutzer U zentrierten Sphäre vorab erfasst, um gehalten zu werden, und die Transferfunktionen M11' bis M22', die den neuen Positionen der virtuellen Lautsprecher entsprechen, werden ausgewählt, sodass die Positionen der virtuellen Lautsprecher auf gewünschte Positionen geändert werden können. Die schraffierten Kreise in 5 stellen Positionen dar, an denen die Transferfunktionen erfasst wurden.
<Problem, das bei der Klangbildlokalisierung auftreten kann>
Ein Problem, das bei der Klangbildlokalisierungsverarbeitung auftreten kann, das dem Benutzer ermöglicht, vorbestimmte Klangquellen wahrzunehmen, als ob der Klang von den Positionen von virtuellen Lautsprechern, wie oben beschrieben, ausgegeben würde, wird anhand eines beispielhaften fahrzeuginternen Systems beschrieben.
Hier wird davon ausgegangen, dass in der Klangverarbeitungseinrichtung 12, wie in A aus 6 dargestellt, die Transferfunktionen M11 bis M22 gemessen werden, sodass der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR an vorbestimmten linken und rechten Positionen bei einem Winkel von 30 Grad zu einer Vorwärtsrichtung FY des Benutzers U, die eine Bezugsrichtung ist, auf der horizontalen Ebene wahrgenommen werden.
Ferner ist, vom Benutzer U, eine Säule PL des Fahrzeugs in der Richtung des rechten virtuellen Lautsprechers VSR positioniert.
7 ist ein Fahrzeuginnenraumdiagramm, das die Position der Säule PL des Fahrzeugs darstellt.
Es ist bekannt, dass die Wahrnehmung von virtuellen Klangquellen in hohem Maße von einem Effekt von visuellen Informationen beeinflusst wird. Beispielsweise nimmt in einem Fall, bei dem es ein Objekt nahe der Richtung einer virtuellen Klangquelle gibt, der Benutzer in einigen Fällen das Objekt als die Position der virtuellen Klangquelle wahr. Im Folgenden werden Objekte, die durch visuelle Informationen beeinflusst werden, auch als ein „Objekt mit Wahrnehmungseffekt“ bezeichnet.
In dem Fall, bei dem die Säule PL in der Richtung des rechten virtuellen Lautsprechers VSR als ein Objekt mit Wahrnehmungseffekt positioniert ist, wie in A in 6 dargestellt, nimmt der Benutzer U, aufgrund des Effekts der Säule PL, den rechten virtuellen Lautsprecher VSR wahr, als wäre der rechte virtuelle Lautsprecher VSR an der Position der Säule PL, wie in B in 6 dargestellt. Mit anderen Worten, der Benutzer U nimmt die Position des rechten virtuellen Lautsprechers VSR als die Position eines virtuellen Lautsprechers VSR' wahr. Im Ergebnis geht die Symmetrie der virtuellen Lautsprecher VS, die ursprünglich symmetrisch lokalisierte Klangbilder haben, verloren aufgrund eines Unterschieds im Abstand oder Winkel zwischen dem linken und dem rechten Kanal, was in einem unnatürlichen und unkomfortablen Klangfeld resultiert.
Nun wird eine Beschreibung zur Auslegung eines Klangverarbeitungssystems gegeben, das dazu ausgelegt ist, den Wahrnehmungsfehler von virtuellen Klangquellen aufgrund des Effekts von visuellen Informationen wie mit 6 beschrieben, zu eliminieren.
<Auslegungsbeispiel für
Klangverarbeitungssystem>
8 ist ein Blockdiagramm, das ein Auslegungsbeispiel eines Klangverarbeitungssystems darstellt, auf das die vorliegende Technologie angewendet wird.
Es ist anzumerken, dass, in 8, Auslegungen entsprechend denen des in 1 dargestellten Klangverarbeitungssystems durch die gleichen Bezugszeichen bezeichnet werden, und dass die Beschriftung davon entsprechend ausgelassen wird.
Ein in 8 dargestelltes Klangverarbeitungssystem 50 weist die Klangquellenreproduktionseinrichtung 11, eine Klangsignalverarbeitungseinrichtung 70, die Verstärker 13L und 13R, den linken Lautsprecher SL und den rechten Lautsprecher SR auf. Die Klangsignalverarbeitungseinrichtung 70 weist eine Klangbild-Lokalisierungssignalverarbeitungseinheit 71, eine virtuelle Klangquellenpositionierungseinheit 72 und eine Filterkoeffizientenspeichereinheit 73 auf.
Das Klangverarbeitungssystem 50 aus 8 ist als ein Teil eines fahrzeuginternen Systems ausgelegt, das an einem Fahrzeug, wie etwa einem Kraftfahrzeug, wie im Beispiel aus 6 und 7, montiert ist.
Die Klangquellenreproduktionseinrichtung 11, die Klangbild-Lokalisierungssignalverarbeitungseinheit 71, die Verstärker 13L und 13R, der linke Lautsprecher SL und der rechte Lautsprecher SR, die in 8 von der gestrichelten Linie umgeben sind, entsprechen der Klangquellenreproduktionseinrichtung 11, der Klangverarbeitungseinrichtung 12, den Verstärkern 13L und 13R, dem linken Lautsprecher SL bzw. dem rechten Lautsprecher SR des in 1 dargestellten Klangverarbeitungssystems.
Daher hat die Klangbild-Lokalisierungssignalverarbeitungseinheit 71 eine ähnliche Auslegung wie die in 1 dargestellte Klangverarbeitungseinrichtung 12. Die Klangbild-Lokalisierungssignalverarbeitungseinheit 71 gibt das einer Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal L an den Verstärker 13L aus und gibt das einer Klangbildlokalisierungsverarbeitung unterzogene Reproduktionsaudiosignal R an den Verstärker 13R aus. Allerdings werden Filterkoeffizienten K11 bis K22, die als die Transferfunktionen M11 bis M22 der Filter 21 bis 24 der Klangbildlokalisierungsverarbeitungseinheit 20 verwendet werden, und Filterkoeffizienten L11 bis L22 die als die Transferfunktionen G11 bis G22 der Filter 31 bis 34 der transauralen Systemverarbeitungseinheit 30 verwendet werden, von der virtuellen Klangquellenpositionierungseinheit 72 zugeführt.
Der linke Lautsprecher SL und der rechte Lautsprecher SR sind im Kopfstützenteil des Sitzes bereitgestellt, auf dem der Benutzer in dem oben beschriebenen Beispiel sitzt. Ferner werden virtuelle Lautsprecher, die durch die Klangbild-Lokalisierungssignalverarbeitungseinheit 71 erzeugt werden, unter Verwendung des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR beschrieben, wie in dem oben beschriebenen Beispiel.
Die virtuelle Klangquellenpositionierungseinheit 72 erfasst Filterkoeffizienten K₀11 bis K₀22 und Filterkoeffizienten L₀11 bis L₀22, die als anfängliche Werte von der Filterkoeffizientenspeichereinheit 73 gespeichert werden. Ferner erfasst die virtuelle Klangquellenpositionierungseinheit 72 Positionsinformationen bezüglich des Sitzes, auf dem der Benutzer sitzt (Sitzpositionsinformation). Die Sitzpositionsinformation kann vom Fahrzeug über, beispielsweise, einen CAN-Kommunikationsbus (Controller Area Network) erfasst werden oder kann über GPS-Informationen (Globales Positionsbestimmungssystem) oder kabellose Kommunikation mit kurzer Reichweite, wie etwa WiFi, Bluetooth (registrierte Handelsmarke) oder NFC (Nahfeldkommunikation) erfasst werden. Da die Position des Benutzers aus der Position des Sitzes angegeben werden kann, entspricht die Sitzpositionsinformation der Benutzerpositionsinformation.
Die virtuelle Klangquellenpositionierungseinheit 72 bestimmt die Filterkoeffizienten K11 bis K22 durch Ändern der erfassten Filterkoeffizienten K₀11 bis K₀22, die die anfänglichen Werte sind, in Abhängigkeit von der Sitzpositionsinformation bezüglich des Benutzers, und führt die Filterkoeffizienten K11 bis K22 zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu. Ferner führt, bezüglich der Filterkoeffizienten L₀11 bis L₀22, die virtuelle Klangquellenpositionierungseinheit 72 die erfassten Filterkoeffizienten L₀11 bis L₀22, die die anfänglichen Werte sind, zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 so, wie sie sind, als die Filterkoeffizienten L11 bis L22 zu.
Das heißt, da Positionsbeziehungen zwischen der Position des Benutzers und dem linken Lautsprecher SL und dem rechten Lautsprecher SR, die in den Sitz integriert sind, nicht geändert werden, wenn der Benutzer im Sitz des Fahrzeugs sitzt, werden die Filterkoeffizienten L₀11 bis L₀22 so, wie sie sind, als Filterkoeffizienten L11 bis L22 zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zugeführt.
Währenddessen wird eine Positionsbeziehung zwischen der Position des Benutzers, der auf dem Sitz des Fahrzeugs sitzt, und der Position der Säule PL, die das Objekt mit Wahrnehmungseffekt ist, in Abhängigkeit von der Position des Benutzers geändert. Daher wird die Position der Säule PL, wie vom Benutzer gesehen, auf Grundlage der Position des Sitzes berechnet, und die Filterkoeffizienten K11 bis K22 basierend auf der Sitzpositionsinformation bezüglich des Benutzers werden aus den Filterkoeffizienten K₀11 bis K₀22 berechnet, sodass sich die Position der Säule PL und die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR nicht gegenseitig überlappen. Die Filterkoeffizienten K11 bis K22 werden zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zugeführt.
Die Filterkoeffizientenspeichereinheit 73 speichert die Filterkoeffizienten K₀11 bis K₀22 in der Bezugsumgebung, die gemessen wurden, wie Bezug nehmend auf 4 beschrieben, und die Filterkoeffizienten L₀11 bis L₀22 im Reproduktionsklangfeld als die anfänglichen Werte. Die Filterkoeffizienten K₀11 bis K₀22 entsprechen den Transferfunktionen M11 bis M22 von A in 4, und die Filterkoeffizienten L₀11 bis L₀22 entsprechen den Transferfunktionen G11 bis G22 von B in 4. In der Bezugsumgebung befinden sich der linke reale Lautsprecher SPL und der rechte reale Lautsprecher SPR auf der linken und der rechten Position in einem Winkel von, beispielsweise, 30 Grad zur Vorwärtsrichtung. Die Filterkoeffizienten K₀11 bis K₀22, die als die anfänglichen Werte gespeichert sind, werden mit Lautsprechern gemessen, die wie von den Produzenten der zu reproduzierenden Klangquellen beabsichtigt positioniert sind.
<Erstes Auslegungsbeispiel für virtuelle Klangquellenpositionierungseinheit>
9 ist ein Blockdiagramm, das ein erstes Auslegungsbeispiel der virtuellen Klangquellenpositionierungseinheit 72 darstellt.
Die virtuelle Klangquellenpositionierungseinheit 72 entsprechend dem ersten Auslegungsbeispiel weist eine Erfassungseinheit 81, eine Kopfpositionsschätzungseinheit 82, eine Säulenwinkelberechnungseinheit 83, und eine Filterkoeffizientenbestimmungseinheit 84 auf. Die Erfassungseinheit 81, die Kopfpositionsschätzungseinheit 82 und die Säulenwinkelberechnungseinheit 83 bilden eine Objektinformationserfassungseinheit 85, die ausgelegt ist zum Erfassen von Informationen bezüglich Objekten mit Wahrnehmungseffekt, die die Wahrnehmung von virtuellen Klangquellen beeinflussen. Die Filterkoeffizientenbestimmungseinheit 84 bildet eine Steuereinheit 86, die ausgelegt ist zum Steuern der Orte der virtuellen Lautsprecher VS, wie vom Benutzer aus gesehen, auf Grundlage von Informationen bezüglich Objekten mit Wahrnehmungseffekt.
Die Erfassungseinheit 81 erfasst die Sitzpositionsinformation bezüglich des Benutzers und die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die die anfänglichen Werte sind. Die durch die Erfassungseinheit 81 erfassten Informationen werden durch die Einheiten der virtuellen Klangquellenpositionierungseinheit 72 verteilt und genutzt.
Hier ist die Sitzpositionsinformation bezüglich des Benutzers, beispielsweise, eine Information, die eine Position in der Vorwärts- und in der Rückwärtsrichtung im bewegbaren Bereich anzeigt. Ferner sind die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR, die den Filterkoeffizienten K₀11 bis K₀22 entsprechen, die die anfänglichen Werte sind, wie in A in 6 dargestellt, linke und rechte Positionen, die einen Winkel von 30 Grad zur Vorwärtsrichtung FY des Benutzers U, was die Bezugsrichtung ist, auf der horizontalen Ebene haben und die um einen vorbestimmten Abstand in einer geraden Linie vom Benutzer entfernt sind.
Die Kopfpositionsschätzungseinheit 82 schätzt die Position des Kopfes des Benutzers auf Grundlage der erfassten Sitzpositionsinformation.
Es ist anzumerken, dass, in der vorliegenden Ausführungsform, der Einfachheit halber die Position des Sitzes nur in der Vorwärts- und Rückwärtsrichtung bewegbar ist, und dass die Position des Kopfes des Benutzers von der Oberfläche des Sitzes in der Aufwärts- und Abwärtsrichtung bei der Messung der Filterkoeffizienten L₀11 bis L₀22 im Reproduktionsklangfeld gemessen wird und daher bekannt ist.
Die Säulenwinkelberechnungseinheit 83 berechnet, auf Grundlage einer geschätzten Position des Kopfes des Benutzers, den Winkel (die Richtung) der Säule PL, wie vom Benutzer aus gesehen. Der Winkel der Säule PL, wie vom Benutzer aus gesehen, ist, wie in A in 6 dargestellt, nur ein Winkel zur Vorwärtsrichtung FY des Benutzers U, die die Bezugsrichtung ist, in der linken und rechten Richtung auf der horizontalen Ebene.
Die Filterkoeffizientenbestimmungseinheit 84 bestimmt die Filterkoeffizienten K11 bis K22 zum Steuern der Orte der virtuellen Lautsprecher VS, wie vom Benutzer aus gesehen. Speziell bestimmt die Filterkoeffizientenbestimmungseinheit 84, ob die Richtung (Position) des virtuellen Lautsprechers VS, wie vom Benutzer aus gesehen, und die Richtung der Säule PL, berechnet durch die Säulenwinkelberechnungseinheit 83, miteinander übereinstimmen oder nicht. Es ist anzumerken, dass, wenn der Benutzer auf dem Fahrersitz auf der rechten Seite sitzt, der virtuelle Lautsprecher VS, der in der Richtung der Säule PL positioniert werden kann, der rechte virtuelle Lautsprecher VSR ist, und dass es daher ausreicht zu bestimmen, ob die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL miteinander übereinstimmen oder nicht.
Dann, beim Bestimmen, dass die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL miteinander übereinstimmen, bestimmt die Filterkoeffizientenbestimmungseinheit 84 die Position des rechten virtuellen Lautsprechers VSR, sodass die Richtung des rechten virtuellen Lautsprechers VSR nicht mit der Richtung der Säule PL übereinstimmt. Darüber hinaus bestimmt die Filterkoeffizientenbestimmungseinheit 84 die Filterkoeffizienten K11 bis K22 entsprechend der bestimmten Position des rechten virtuellen Lautsprechers VSR und der Position des linken virtuellen Lautsprechers VSL, die dem entsprechen.
Beispielsweise können die Filterkoeffizienten K11 bis K22 unter Verwendung der Filterkoeffizienten K₀11 bis K₀22, die die anfänglichen Werte sind, wie oben beschrieben, berechnet und bestimmt werden. Alternativ werden in einem Fall, bei dem Filterkoeffizienten entsprechend mehreren Positionen vorab als die Punkte auf der Sphäre in 5 erfasst werden, Filterkoeffizienten entsprechend den Positionen der virtuellen Lautsprecher VS, die umpositioniert wurden, um nicht in der Richtung der Säule PL positioniert zu sein, von der Filterkoeffizientenspeichereinheit 73 erfasst, sodass die Filterkoeffizienten entsprechend den Positionen der umpositionierten virtuellen Lautsprecher VS bestimmt werden können. Ferner kann die Filterkoeffizientenbestimmungseinheit 84 die Verstärkungsverarbeitung oder Verzögerungsverarbeitung der Klangbildlokalisierungsverarbeitungseinheit 20 steuern, um dadurch Filterkoeffizienten entsprechend den Positionen der umpositionierten virtuellen Lautsprecher VS zu bestimmen.
Die Filterkoeffizientenbestimmungseinheit 84 führt die bestimmten Filterkoeffizienten K11 bis K22 zusammen mit den Filterkoeffizienten L11 bis L22 (Filterkoeffizienten L₀11 bis L₀22) zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu.
<Verarbeitung für ersten virtuellen Klangquellenort>
Bezug nehmend auf das Flussdiagramm aus 10 wird Verarbeitung für einen virtuellen Klangquellenort durch das erste Auslegungsbeispiel der virtuellen Klangquellenpositionierungseinheit 72 (Verarbeitung für ersten virtuellen Klangquellenort) beschrieben.
Zunächst erfasst, in Schritt S11, die Erfassungseinheit 81 die Sitzpositionsinformation bezüglich des Benutzers und die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die die anfänglichen Werte sind. Die erfassten Informationen werden durch die Einheiten der virtuellen Klangquellenpositionierungseinheit 72 verteilt und genutzt.
In Schritt S12 schätzt die Kopfpositionsschätzungseinheit 82 die Position des Kopfes des Benutzers auf Grundlage der erfassten Sitzpositionsinformation.
In Schritt S13 berechnet die Säulenwinkelberechnungseinheit 83 den Winkel der Säule PL, wie vom Benutzer ausgesehen, auf Grundlage der geschätzten Position des Kopfes des Benutzers.
In Schritt S14 bestimmt die Filterkoeffizientenbestimmungseinheit 84, ob die Richtung des virtuellen Lautsprechers VS, wie vom Benutzer aus gesehen, und die berechnete Richtung der Säule PL miteinander übereinstimmen oder nicht. Es ist anzumerken, dass, wenn der Benutzer auf dem Fahrersitz sitzt, der virtuelle Lautsprecher VS, der in der Richtung der Säule PL positioniert werden kann, der rechte virtuelle Lautsprecher VSR ist, und dass es daher ausreicht zu bestimmen, ob die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL miteinander übereinstimmen oder nicht.
In einem Fall, bei dem in Schritt S14 bestimmt wird, dass die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL nicht miteinander übereinstimmen, fährt die Verarbeitung bei Schritt S15 fort, wo die Filterkoeffizientenbestimmungseinheit 84 die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die als die anfänglichen Werte erfasst sind, so wie sie sind als die Filterkoeffizienten K11 bis K22 und die Filterkoeffizienten L11 bis L22 zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu. Die Verarbeitung für den virtuellen Klangquellenort endet dann.
Währenddessen fährt in einem Fall, bei dem in Schritt S14 bestimmt wird, dass die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL miteinander übereinstimmen, die Verarbeitung mit Schritt S16 fort, wo die Filterkoeffizientenbestimmungseinheit 84 die Position des linken oder rechten virtuellen Lautsprechers VS bestimmt (umpositioniert), sodass die Richtung des virtuellen Lautsprechers VS nicht mit der Richtung der Säule PL übereinstimmt. Noch spezieller bestimmt die Filterkoeffizientenbestimmungseinheit 84 die Position des rechten virtuellen Lautsprechers VSR, sodass die Richtung des rechten virtuellen Lautsprechers VSR nicht mit der Richtung der Säule PL übereinstimmt. Darüber hinaus bestimmt die Filterkoeffizientenbestimmungseinheit 84 die Position des linken virtuellen Lautsprechers VSL auf eine Position entsprechend der bestimmten Position des rechten virtuellen Lautsprechers VSR (symmetrische Position).
In Schritt S17 bestimmt die Filterkoeffizientenbestimmungseinheit 84 die Filterkoeffizienten K11 bis K22 entsprechend den Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR, die umpositioniert wurden. Dann führt die Filterkoeffizientenbestimmungseinheit 84 die bestimmten Filterkoeffizienten K11 bis K22 zusammen mit den Filterkoeffizienten L11 bis L22 (Filterkoeffizienten L₀11 bis L₀22) zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu. Die Verarbeitung für den virtuellen Klangquellenort endet dann.
Die Klangbildlokalisierungsverarbeitungseinheit 20 der Klangbild-Lokalisierungssignalverarbeitungseinheit 71 führt Klangbildlokalisierungsverarbeitung basierend auf den Filterkoeffizienten K11 bis K22 aus, gesteuert durch die Filterkoeffizientenbestimmungseinheit 84. Die transaurale Systemverarbeitungseinheit 30 der Klangbild-Lokalisierungssignalverarbeitungseinheit 71 führt transaurale Systemverarbeitung basierend auf den Filterkoeffizienten L11 bis L22 aus, gesteuert durch die Filterkoeffizientenbestimmungseinheit 84.
11 ist eine Draufsicht, die ein Beispiel dafür veranschaulicht, wie die virtuellen Lautsprecher VS in der Verarbeitung für den ersten virtuellen Klangquellenort in einem Fall positioniert werden, wo bestimmt wird, dass die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL nicht miteinander übereinstimmen.
In 11 wird die Sitzposition nach vorn bewegt, sodass die Richtung des rechten virtuellen Lautsprechers VSR nicht mit der Richtung der Säule PL übereinstimmt. In diesem Fall werden die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR nicht geändert (nicht umpositioniert), und der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR werden an linken und rechten Positionen bei einem Winkel von 30 Grad positioniert, wie in der Bezugsumgebung.
12 ist eine Draufsicht, die ein Beispiel dafür veranschaulicht, wie die virtuellen Lautsprecher VS in der Verarbeitung für den ersten virtuellen Klangquellenort in einem Fall positioniert werden, wo bestimmt wird, dass die Richtung des rechten virtuellen Lautsprechers VSR und die Richtung der Säule PL miteinander übereinstimmen.
In 12 wird die Sitzposition nach hinten bewegt, sodass die Richtung des rechten virtuellen Lautsprechers VSR mit der Richtung der Säule PL übereinstimmt. In diesem Fall werden die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf die Positionen eines linken virtuellen Lautsprechers VSL1 und eines rechten virtuellen Lautsprechers VSR1 geändert (umpositioniert), die nicht in der Richtung der Säule PL positioniert sind. Beispielsweise ist, wenn das Zentrum die Position des Kopfes des Benutzers U ist und die radiale Richtung die Vorwärtsrichtung FY und die Richtungen zu den virtuellen Lautsprechern VS aufweist, die umlaufende Richtung, in der die Winkel zwischen der Vorwärtsrichtung FY und den Richtungen zu den virtuellen Lautsprechern VS verringert sind und sich die Richtungen der virtuellen Lautsprecher VS der Vorwärtsrichtung FY, die die Bezugsrichtung ist, annähern, die Innenseite, und die entgegengesetzte Richtung ist die Außenseite. Dann werden, wie in 12 dargestellt, der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR auf Positionen bei einem Winkel von 10 Grad positioniert, der der weitestmögliche Winkel des Winkels von der Vorwärtsrichtung FY, die die Bezugsrichtung ist, zur Richtung des linken virtuellen Lautsprechers VSL1 oder des rechten virtuellen Lautsprechers VSR1 an der Innenseite der Richtung der Säule PL ist. Es ist anzumerken, dass, in einigen Fällen, die Positionen des linken virtuellen Lautsprechers VSL1 und des rechten virtuellen Lautsprechers VSR1 auf Positionen an der Außenseite der Richtung der Säule PL gesetzt werden können.
Sowohl in 11 als auch in 12 können die unter Berücksichtigung des Effekts von visuellen Informationen positionierten virtuellen Lautsprecher VS (virtuelle Klangquellen) wahrgenommen werden.
<Zweites Auslegungsbeispiel für virtuelle Klangquellenpositionierungseinheit>
13 ist ein Blockdiagramm, das ein zweites Auslegungsbeispiel der virtuellen Klangquellenpositionierungseinheit 72 darstellt.
Die virtuelle Klangquellenpositionierungseinheit 72 entsprechend dem zweiten Auslegungsbeispiel umfasst eine Erfassungseinheit 101, eine Objektdetektionseinheit 102, eine Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103 und eine Filterkoeffizientenbestimmungseinheit 104. Die Erfassungseinheit 101, die Objektdetektionseinheit 102 und die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103 bilden eine Objektinformationserfassungseinheit 105, die ausgelegt ist zum Erfassen von Informationen bezüglich Objekten mit Wahrnehmungseffekt, die die Wahrnehmung von virtuellen Klangquellen beeinflussen. Die Filterkoeffizientenbestimmungseinheit 104 bildet eine Steuereinheit 106, die ausgelegt ist zum Steuern der Orte der virtuellen Lautsprecher VS, wie vom Benutzer aus gesehen, auf Grundlage von Informationen bezüglich Objekten mit Wahrnehmungseffekt.
Die Erfassungseinheit 101 erfasst die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die die anfänglichen Werte sind.
Ferner erfasst die Erfassungseinheit 101 Sensordaten von der Sensorvorrichtung 111. Die Sensorvorrichtung 111 und die Erfassungseinheit 101 können miteinander unter Verwendung von fahrzeuginterner Kommunikation in Übereinstimmung mit beliebigen Standards, wie etwa CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Lokalbereichsnetzwerk) oder FlexRay (registrierte Handelsmarke), einem Weitbereichskommunikationsnetzwerk für kabellose sich bewegende Körper, wie etwa dem 4G-Netzwerk, oder kabelloser Kommunikation mit kurzer Reichweite, wie etwa WiFi, Bluetooth (registrierte Handelsmarke) oder NFC (Nahfeldkommunikation) kommunizieren. Die durch die Erfassungseinheit 101 erfassten Informationen werden durch die Einheiten der virtuellen Klangquellenpositionierungseinheit 72 verteilt und genutzt.
Die Sensorvorrichtung 111 umfasst einen oder mehrere Sensoren, wie etwa einen Bildsensor, ausgelegt zum Erfassen von Bildern, und einen Abstandsmesssensor, ausgelegt zum Messen von Abständen zu Objekten. Die Sensorvorrichtung 111 kann von einem beliebigen Typ sein, solange sie ein Sensor ist, der ausgelegt ist zum Ausgeben von Sensordaten, Daten aufweisend, die notwendig sind zum Erkennen (Detektieren) der Position des Benutzers oder der Positionen von Objekten. Die Sensorvorrichtung 111 ist eine Vorrichtung zum Erfassen von Positionsinformationen bezüglich des Benutzers und Positionsinformationen bezüglich Objekten. Die Sensorvorrichtung 111 kann eine Vorrichtung sein, die ausgelegt ist zum Ausgeben von Positionsinformationen bezüglich des Benutzers und Positionsinformationen bezüglich der Objekte selbst, oder kann eine Vorrichtung sein, die ausgelegt ist zum Ausgeben von Informationen zum Berechnen der Position des Benutzers und der Positionen von Objekten. Die Sensorvorrichtung 111 kann eine in einem vorbestimmten Platz im Fahrzeug installierte und als ein Teil des Fahrzeugs integrierte Vorrichtung sein oder kann eine vom Fahrzeug getrennte Vorrichtung sein. Beispielsweise kann die Sensorvorrichtung 111 eine Vorrichtung sein, die durch den Benutzer getragen wird (benutzergetragene Vorrichtung), wie eine Vorrichtung vom Brillentyp oder eine Vorrichtung vom Kontaktlinsentyp. Ferner ist die Sensorvorrichtung 111 nicht notwendigerweise eine einzelne Vorrichtung und kann als ein Teil der Funktion (Vorrichtung) einer vorbestimmten Einrichtung, beispielsweise als Kamera eines Smartphones, bereitgestellt sein.
Die Objektdetektionseinheit 102 führt Objekterkennungsverarbeitung unter Verwendung von Sensordaten aus, die durch die Erfassungseinheit 101 erfasst wurden, um Objekte in der Sicht des Kunden zu detektieren (erkennen). In einem Fall, bei dem die Sensorvorrichtung 111 eine benutzergetragene Vorrichtung ist, detektiert die Objektdetektionseinheit 102 die Positionen (Richtungen) von Objekten mit der Position des Kopfes des Benutzers, der ein Basispunkt ist. Die Positionsinformation bezüglich des Benutzers kann, beispielsweise, aus Sitzpositionsinformationen, GPS-Informationen von einer anderen Einrichtung oder Positionsinformationen, die von einer anderen Einrichtung über kabellose Kommunikation mit kurzer Reichweite, wie etwa WiFi, Bluetooth (registrierte Handelsmarke) oder NFC erhalten wurden, erfasst werden. Währenddessen detektiert in einem Fall, bei dem die Sensorvorrichtung 111 keine benutzergetragene Vorrichtung ist, die Objektdetektionseinheit 102 die Position des Kopfes des Benutzers und die Positionen von Objekten aus Sensordaten und detektiert die Positionen (Richtungen) der Objekte mit der Position des Kopfes des Benutzers, der ein Basispunkt ist, aus Positionsbeziehungen dazwischen.
Die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103 extrahiert Objekte mit Wahrnehmungseffekt aus den ein oder mehreren Objekten, die als in der Sicht des Benutzers befindlich detektiert wurden. Speziell extrahiert, beispielsweise, die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103, aus den detektierten ein oder mehreren Objekten, Objekte, die der Benutzer in der gleichen Richtung sieht, wie die Position des linken virtuellen Lautsprechers VSL oder des rechten virtuellen Lautsprechers VSR, was den Filterkoeffizienten K₀11 bis K₀22 entspricht, die als die anfänglichen Werte erfasst wurden, in einem vorbestimmten Bereich als Objekte mit Wahrnehmungseffekt. Hier kann die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103 Objekte ausschließen, die um einen vorbestimmten Wert oder mehr von einem Benutzer entfernt sind und daher als weit vom Benutzer entfernt bestimmt werden, da die Effekte der Objekte auf die Wahrnehmung der Klangquellen ignorierbar sind.
Die Filterkoeffizientenbestimmungseinheit 104 bestimmt die Filterkoeffizienten K11 bis K22 zum Steuern der Orte der virtuellen Lautsprecher VS, wie vom Benutzer aus gesehen. Speziell bestimmt die Filterkoeffizientenbestimmungseinheit 104 die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf Positionen, die nicht die Positionen von extrahierten Objekten mit Wahrnehmungseffekt überlappen. Beispielsweise ändert die Filterkoeffizientenbestimmungseinheit 104 die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf Positionen an der Innen- oder Außenseite der Richtung eines Objekts mit Wahrnehmungseffekt und bestimmt die Filterkoeffizienten K11 bis K22 entsprechend den neuen Positionen des rechten virtuellen Lautsprechers VSR und des linken virtuellen Lautsprechers VSL. Die Filterkoeffizientenbestimmungseinheit 104 führt die bestimmten Filterkoeffizienten K11 bis K22 zusammen mit den Filterkoeffizienten L11 bis L22 (Filterkoeffizienten L₀11 bis L₀22) zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu.
A in 14 stellt einen Zustand dar, in dem ein Objekt mit Wahrnehmungseffekt OBJ1 an zumindest einer der Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR positioniert ist, die den Filterkoeffizienten entsprechen, die die anfänglichen Werte sind, und der Benutzer nimmt die Position des rechten virtuellen Lautsprechers VSR aufgrund des Effekts der visuellen Informationen als die Position des Objekts mit Wahrnehmungseffekt OBJ1 wahr.
In einem solchen Zustand kann, in einem Fall, bei dem Objekte OBJ2 und OBJ3, die symmetrisch in unterschiedlichen Richtungen vom Objekt mit Wahrnehmungseffekt OBJ1 positioniert sind, durch die Objektdetektionseinheit 102 detektiert wurden, wie beispielsweise in B in 14 dargestellt, die Filterkoeffizientenbestimmungseinheit 104 die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf die Positionen der symmetrisch positionierten Objekte OBJ2 und OBJ3 ändern (umpositionieren). B in 14 stellt einen Zustand dar, in dem die Positionen der Objekte OBJ2 und OBJ3 als die Positionen eines linken virtuellen Lautsprechers VSL2 und eines rechten virtuellen Lautsprechers VSR2 nach Umpositionierung gesetzt sind. Auf diese Weise können die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf symmetrisch positionierte Objekte umpositioniert werden durch Nutzung der Tatsache, dass der Benutzer durch visuelle Informationen beeinflusst ist. In diesem Fall werden der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR auf die symmetrischen Orte umpositioniert, sodass der Benutzer den reproduzierten Klang hören kann, ohne sich dabei unbehaglich zu fühlen.
<Verarbeitung für zweiten virtuellen Klangquellenort>
Bezug nehmend auf das Flussdiagramm aus 15 wird Verarbeitung für einen virtuellen Klangquellenort durch das zweite Auslegungsbeispiel der virtuellen Klangquellenpositionierungseinheit 72 (Verarbeitung für zweiten virtuellen Klangquellenort) beschrieben.
Zunächst erfasst, in Schritt S31, die Erfassungseinheit 101 Sensordaten und die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die die anfänglichen Werte sind. Die erfassten Informationen werden durch die Einheiten der virtuellen Klangquellenpositionierungseinheit 72 verteilt und genutzt.
In Schritt S32 führt die Objektdetektionseinheit 102 Objekterkennungsverarbeitung unter Verwendung von Sensordaten aus, um Objekte in der Sicht des Kunden zu detektieren (erkennen). In einem Fall, bei dem die Sensorvorrichtung 111 keine benutzergetragene Vorrichtung ist, detektiert, in Schritt S32, die Objektdetektionseinheit 102 auch die Position des Kopfes des Benutzers unter Verwendung der Objekterkennungsverarbeitung und detektiert Objekte in einem vorbestimmten Bereich von der Position des Kopfes des Benutzers, die ein Basispunkt ist, als Objekte in der Sicht des Benutzers.
In Schritt S33 extrahiert die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103 Objekte mit Wahrnehmungseffekt aus den ein oder mehreren Objekten, die als in der Sicht des Benutzers befindlich detektiert wurden. Speziell extrahiert die Extraktionseinheit für Objekte mit Wahrnehmungseffekt 103, aus den detektierten ein oder mehreren Objekten, Objekte, die der Benutzer in der gleichen Richtung sieht, wie die Position des linken virtuellen Lautsprechers VSL oder des rechten virtuellen Lautsprechers VSR, was den anfänglichen Werten entspricht, in einem vorbestimmten Bereich als Objekte mit Wahrnehmungseffekt. Es ist anzumerken, dass Objekte, die um einen vorbestimmten Wert oder mehr von einem Benutzer entfernt sind und daher als weit vom Benutzer entfernt bestimmt werden, ausgeschlossen werden können, da die Effekte der Objekte auf die Wahrnehmung der Klangquellen ignorierbar sind.
In Schritt S34 bestimmt die Filterkoeffizientenbestimmungseinheit 104, ob Objekte mit Wahrnehmungseffekt extrahiert wurden oder nicht.
In einem Fall, bei dem in Schritt S34 bestimmt wird, dass kein Objekt mit Wahrnehmungseffekt extrahiert wurde, fährt die Verarbeitung bei Schritt S35 fort, wo die Filterkoeffizientenbestimmungseinheit 104 die Filterkoeffizienten K₀11 bis K₀22 und die Filterkoeffizienten L₀11 bis L₀22, die als die anfänglichen Werte erfasst sind, so wie sie sind als die Filterkoeffizienten K11 bis K22 und die Filterkoeffizienten L11 bis L22 zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu. Die Verarbeitung für den virtuellen Klangquellenort endet dann.
Währenddessen fährt in einem Fall, bei dem in Schritt S34 bestimmt wird, dass Objekte mit Wahrnehmungseffekt extrahiert wurden, die Verarbeitung mit Schritt S36 fort, wo die Filterkoeffizientenbestimmungseinheit 104 bestimmt, ob die ein oder mehreren detektierten Objekte Objekte aufweisen, die symmetrisch in unterschiedlichen Richtungen von Objekten mit Wahrnehmungseffekt positioniert sind, oder nicht.
In einem Fall, bei dem in Schritt S36 bestimmt wird, dass es symmetrisch positionierte Objekte gibt, fährt die Verarbeitung bei Schritt S37 fort, wo die Filterkoeffizientenbestimmungseinheit 104 die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf die Positionen der symmetrisch positionierten Objekte bestimmt (umpositioniert).
Währenddessen fährt in einem Fall, bei dem in Schritt S36 bestimmt wird, dass es keine symmetrisch positionierten Objekte gibt, die Verarbeitung bei Schritt S38 fort, wo die Filterkoeffizientenbestimmungseinheit 104 die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR bestimmt (umpositioniert), sodass die Richtungen der virtuellen Lautsprecher VS die Objekte mit Wahrnehmungseffekt nicht überlappen. Außerdem werden in diesem Fall die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf symmetrische Positionen bestimmt.
In Schritt S39 bestimmt (berechnet) die Filterkoeffizientenbestimmungseinheit 104 die Filterkoeffizienten K11 bis K22 entsprechend dem linken virtuellen Lautsprecher VSL und dem rechten virtuellen Lautsprecher VSR, die umpositioniert wurden. Dann führt die Filterkoeffizientenbestimmungseinheit 104 die bestimmten Filterkoeffizienten K11 bis K22 zusammen mit den Filterkoeffizienten L11 bis L22 (Filterkoeffizienten L₀11 bis L₀22) zur Klangbild-Lokalisierungssignalverarbeitungseinheit 71 zu. Die Verarbeitung für den virtuellen Klangquellenort endet dann.
Die Klangbildlokalisierungsverarbeitungseinheit 20 der Klangbild-Lokalisierungssignalverarbeitungseinheit 71 führt Klangbildlokalisierungsverarbeitung basierend auf den Filterkoeffizienten K11 bis K22 aus, gesteuert durch die Filterkoeffizientenbestimmungseinheit 104. Die transaurale Systemverarbeitungseinheit 30 der Klangbild-Lokalisierungssignalverarbeitungseinheit 71 führt transaurale Systemverarbeitung basierend auf den Filterkoeffizienten L11 bis L22 aus, gesteuert durch die Filterkoeffizientenbestimmungseinheit 104.
Außerdem können mit der oben beschriebenen Verarbeitung für einen virtuellen Klangquellenort die unter Berücksichtigung des Effekts von visuellen Informationen positionierten virtuellen Lautsprecher VS (virtuelle Klangquellen) wahrgenommen werden.
Bei der oben beschriebenen Verarbeitung für einen zweiten virtuellen Klangquellenort positioniert die virtuelle Klangquellenpositionierungseinheit 72 in einem Fall, bei dem es ein Objekt mit Wahrnehmungseffekt in der Sicht des Benutzers und detektierte symmetrisch positionierte Objekte, die von dem Objekt mit Wahrnehmungseffekt verschieden sind, gibt, die Positionen der virtuellen Lautsprecher VS auf die symmetrisch positionierten Objekte um.
Hier kann, beispielsweise, in einem Fall, bei dem das Fahrzeug ein Head-up-Display aufweist, das ausgelegt ist zum Anzeigen von Bildern (virtuellen Bildern) auf der Windschutzscheibe oder im nach vorn gerichteten visuellen Feld, die Filterkoeffizientenbestimmungseinheit 104 das Head-up-Display (HUD) steuern, um die Bilder von symmetrischen Objekten anzuzeigen, und kann die Filterkoeffizienten K11 bis K22 zum Umpositionieren der virtuellen Lautsprecher VS an Positionen, an denen sich die virtuellen Lautsprecher VS und die symmetrischen Objekte gegenseitig überlappen, bestimmen. Das heißt, dass Objekte, auf die die virtuellen Lautsprecher VS positioniert (umpositioniert) sind, virtuelle Objekte sein können, die als Bilder angezeigt werden, die von den tatsächlichen Objekten in der Sicht des Benutzers verschieden sind.
Beispielsweise zeigt, wie in 16 dargestellt, das Head-up-Display, als symmetrische Objekte, die Bilder der Objekte OBJR und OBJL an, die wie Lautsprecher aussehen. Die Filterkoeffizientenbestimmungseinheit 104 berechnet die Filterkoeffizienten K11 bis K22 zum Ändern der Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf die Positionen der Bilder der Objekte OBJR und OBJL.
Auf diese Weise können die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR nicht nur auf Objekte umpositioniert werden, die durch die Objektdetektionseinheit 102 detektiert werden, sondern auch auf die Bilder von symmetrischen virtuellen Objekten, die angezeigt (erzeugt) werden, um in die Sicht des Benutzers einbezogen zu werden. Selbst in einem Fall, bei dem durch die Objektdetektionseinheit 102 detektierte Objekte keine symmetrischen Objekte aufweisen, können die virtuellen Lautsprecher VS auf Positionen umpositioniert werden, die für den Benutzer komfortabel sind.
Die virtuellen Lautsprecher VS können auf beliebige symmetrische Positionen auf zwei separaten Objekten oder einem einzelnen Objekt (das gleiche Objekt) umpositioniert werden. Beispielsweise können die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR auf die zwei symmetrischen Positionen am Lenkrad umpositioniert werden.
Ferner können in einem Fall, bei dem eine zu reproduzierende Klangquelle eine Klangnachricht ist, beispielsweise „rechts abbiegen“, die Filterkoeffizienten K11 bis K22 so gesteuert werden, dass ein Bild im Zusammenhang mit der Klangnachricht, beispielsweise ein Nach-rechts-Pfeilbild, nur an der Position des rechten virtuellen Lautsprechers VSR angezeigt wird, und dass der Benutzer die Klangnachricht nur von der Position des rechten virtuellen Lautsprechers VSR hört.
<Modifiziertes Beispiel>
Ein modifiziertes Beispiel der Verarbeitung für einen virtuellen Klangquellenort wird beschrieben.
In der oben beschriebenen Verarbeitung für den ersten und den zweiten virtuellen Klangquellenort werden, in dem Fall, bei dem bestimmt wird, dass die Richtung des virtuellen Lautsprechers VS und die Richtung des Objekts mit Wahrnehmungseffekt miteinander übereinstimmen, die virtuellen Lautsprecher VS auf Positionen (Richtungen) umpositioniert, die vom Objekt mit Wahrnehmungseffekt verschoben sind.
Allerdings können, in einem Fall, bei dem der linke virtuelle Lautsprecher VSL oder der rechte virtuelle Lautsprecher VSR durch ein Objekt mit Wahrnehmungseffekt beeinflusst werden, die Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR so umpositioniert werden, dass der linke virtuelle Lautsprecher VSL oder der rechte virtuelle Lautsprecher VSR auf die Position des Objekts mit Wahrnehmungseffekt umpositioniert wird.
Dies wird speziell mit einem Beispiel beschrieben, bei dem die Säule PL ein Objekt mit Wahrnehmungseffekt ist.
In einem Fall, bei dem, wie in 17 dargestellt, die Position des rechten virtuellen Lautsprechers VSR aufgrund des Effekts der Säule PL als die Position der Säule PL wahrgenommen wird, ändert (positioniert um) die virtuelle Klangquellenpositionierungseinheit 72 die Position des rechten virtuellen Lautsprechers VSR auf die Position eines rechten virtuellen Lautsprechers VSR3, das heißt, die Position der Säule PL. Dann ändert (positioniert um) die virtuelle Klangquellenpositionierungseinheit 72 auch die Position eines linken virtuellen Lautsprechers VSL3 auf eine Position, die symmetrisch zum rechten virtuellen Lautsprecher VSR3 ist. Auf diese Weise kann die Position des virtuellen Lautsprechers VS nicht auf eine Position geändert werden, die verschieden von der Position eines Objekts mit Wahrnehmungseffekt ist, kann aber auf die Position des Objekts mit Wahrnehmungseffekt geändert (umpositioniert) werden.
Wie oben beschrieben, weist die virtuelle Klangquellenpositionierungseinheit 72 des Klangverarbeitungssystems 50 aus 8 die Objektinformationserfassungseinheit (Objektinformationserfassungseinheit 85, 105), die ausgelegt ist zum Erfassen von Informationen bezüglich eines Objekts, das die Wahrnehmung der virtuellen Lautsprecher VS (virtuelle Klangquellen) beeinflusst, die mindestens zwei Kanäle aus dem ersten Kanal (beispielsweise rechter Kanal) und dem zweiten Kanal (beispielsweise linker Kanal) aufweisen, und die Steuereinheit (Steuereinheit 86, 106), ausgelegt zum Durchführen von Steuerung des Positionierens der Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, und des Positionierens der Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht, auf.
Es ist anzumerken, dass in den oben beschriebenen Beispielen der Verarbeitung für den ersten und zweiten virtuellen Klangquellenort, bezüglich der Positionsbeziehung zwischen der Säule PL, die das Objekt mit Wahrnehmungseffekt ist, und dem virtuellen Lautsprecher VS, ein Winkel zur Vorwärtsrichtung FY, die die Bezugsrichtung ist, in der linken und rechten Richtung auf der horizontalen Ebene nur bestimmt wird. Allerdings kann, ob die Säule PL und der virtuelle Lautsprecher VS in der gleichen Richtung positioniert sind, auch mit der Position des Sitzes in der Aufwärts- und Abwärtsrichtung und einem Winkel in der Erhöhungsrichtung bestimmt werden. Das heißt, ob der virtuelle Lautsprecher VS an einer Position ist, bei der der virtuelle Lautsprecher VS und ein Objekt mit Wahrnehmungseffekt einander überlappen oder nicht, kann im dreidimensionalen Raum statt in einer zweidimensionalen Ebene bestimmt werden. In einem Fall, bei dem eine Bestimmung im dreidimensionalen Raum erfolgt, kann die Richtung des virtuellen Lautsprechers VS auf der zweidimensionalen Ebene auf eine vom Objekt mit Wahrnehmungseffekt verschiedene Richtung geändert werden, oder die Aufwärts- und Abwärtsrichtungen (Erhöhungsrichtung) davon kann auf eine vom Objekt mit Wahrnehmungseffekt verschiedene Richtung geändert werden.
In dem oben beschriebenen Beispiel der Ausführungsform werden die Klangbilder der linken und rechten Zwei-Kanal-Audiosignale von der reproduzierten Klangquelle an den vorbestimmten virtuellen Lautsprecherpositionen lokalisiert. Selbstverständlich ist allerdings die vorliegende Technologie auch auf einen Fall anwendbar, wo Mehrkanal-Klangquellen, die nicht die Zwei-Kanal-Klangquellen sind, wie etwa 5.1- oder 7.1-Kanal-Klangquellen, reproduziert werden.
Mit dem Klangverarbeitungssystem 50 aus 8 können die unter Berücksichtigung des Effekts von visuellen Informationen positionierten virtuellen Lautsprecher VS (virtuelle Klangquellen) wahrgenommen werden.
<Auslegungsbeispiel für Fahrzeug>
18 ist ein Diagramm, das ein Auslegungsbeispiel eines Fahrzeugs darstellt, an dem das oben erwähnte Klangverarbeitungssystem 50 montiert ist.
Ein Fahrzeug 120 weist eine vorwärts erfassende Kamera 121, eine vordere Kamera-ECU (elektronische Steuereinheit) 122, eine Positionsinformationserfassungseinheit 123, eine Anzeigeeinheit 124, eine Kommunikationseinheit 125, einen Lenkmechanismus 126, einen Radar 127, einen Lidar 128, Seitwärtssichtkameras 129, Seitwärtssichtkamera-ECUs 130, eine integrierte ECU 131, eine Vorwärtssichtkamera 132, eine Vorwärtssichtkamera-ECU 133, eine Bremseinrichtung 134, eine Kraftmaschine 135, einen Leistungsgenerator 136, einen Fahrmotor 137, eine Batterie 138, eine Rückwärtssichtkamera 139, eine Rückwärtssichtkamera-ECU 140, eine Fahrzeuggeschwindigkeitsdetektionseinheit 141, Scheinwerfer 142, eine Audioeinheit 143 und einen Lautsprecher 144 auf.
Die im Fahrzeug 120 bereitgestellten Einheiten sind miteinander über einen CAN-Kommunikationsbus (Controller Area Network) oder andere Verbindungsleitungen verbunden. Hier sind allerdings der Bus und die anderen Verbindungsleitungen dargestellt, ohne voneinander unterschieden zu werden, damit die Figur leichter verständlich ist.
Die vorwärts erfassende Kamera 121 weist eine erfassungsspezifische Kamera auf, die, beispielsweise, nahe dem Rückspiegel im Inneren des Fahrzeugs angeordnet ist. Die vorwärts erfassende Kamera 121 erfasst die Vorwärtssicht des Fahrzeugs 120 als ein Subjekt und gibt die so erhaltenen Erfassungsbilder an die vordere Kamera-ECU 122 aus.
Die vordere Kamera-ECU 122 wendet in geeigneter Weise, beispielsweise, Verarbeitung zum Verbessern der Bildqualität auf ein Erfassungsbild an, das von der vorwärts erfassenden Kamera 121 zugeführt wurde, und führt dann Bilderkennung auf dem Erfassungsbild durch, um ein Objekt, wie etwa Straßenbegrenzungslinien oder Fußgänger aus dem Erfassungsbild zu detektieren. Die vordere Kamera-ECU 122 gibt das Bilderkennungsergebnis an den CAN-Kommunikationsbus aus.
Die Positionsinformationserfassungseinheit 123 weist ein Positionsinformationsmesssystem, beispielsweise ein GPS, auf. Die Positionsinformationserfassungseinheit 123 detektiert die Position des Fahrzeugs 120 und gibt Positionsinformationen, die das Detektionsergebnis anzeigen, an den CAN-Kommunikationsbus aus.
Die Anzeigeeinheit 124 weist, beispielsweise, eine Flüssigkristalltafel auf und ist bei einer vorbestimmten Position im Inneren des Fahrzeugs angeordnet, wie etwa am mittleren Teil der Instrumententafel oder an der Innenseite des Rückspiegels. Ferner kann die Anzeigeeinheit 124 ein Head-up-Display sein, das ausgelegt ist zum Projizieren von visuellen Informationen bezüglich einer vorbestimmten Projektionsoberfläche (beispielsweise der Windschutzscheibe des Fahrzeugs 120), oder sie kann die Anzeige des Fahrzeugnavigationssystems sein. Die Anzeigeeinheit 124 zeigt verschiedene Bilder unter Steuerung der integrierten ECU 131 an.
Die Kommunikationseinheit 125 sendet/empfängt Informationen an/von umgebenden Fahrzeugen, mobilen Endgeräteinrichtungen im Besitz von Fußgängern, Einheiten am Straßenrand und externen Servereinrichtungen über verschiedene Typen von kabelloser Kommunikation, wie etwa Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Fußgänger-Kommunikation oder Straße-zu-Fahrzeug-Kommunikation. Beispielsweise führt die Kommunikationseinheit 125 Straße-zu-Fahrzeug-Kommunikation durch, um Fahrzeugidentifizierungsinformationen zum Identifizieren des Fahrzeugs 120 an andere Einrichtungen, wie etwa RSUs, zu senden.
Der Lenkmechanismus 126 führt die Fahrtrichtungssteuerung durch, das heißt, die Lenkwinkelsteuerung des Fahrzeugs 120 in Reaktion auf Lenkradbetätigung durch den Fahrer oder von der integrierten ECU 131 zugeführten Steuersignalen. Der Radar 127 ist ein Abstandsmesssensor, der ausgelegt ist zum Messen von Abständen zu Objekten, wie etwa Fahrzeugen und Fußgängern, in der Vorwärts- und Rückwärtsrichtung, beispielsweise unter Verwendung elektromagnetischer Wellen, wie etwa Millimeterwellen, und zum Ausgeben der Ergebnisse der Messung der Abstände zu den Objekten an die integrierte ECU 131 oder ähnliches. Der Lidar 128 ist ein Abstandsmesssensor, der ausgelegt ist zum Messen von Abständen zu Objekten, wie etwa Fahrzeugen und Fußgängern, in der Vorwärts- und Rückwärtsrichtung, beispielsweise unter Verwendung von Licht, und zum Ausgeben der Ergebnisse der Messung der Abstände zu den Objekten an die integrierte ECU 131 oder ähnliches.
Die Seitwärtssichtkameras 129 sind, beispielsweise, Kameras, die im Inneren der Gehäuse der Seitenspiegel oder nahe den Seitenspiegeln angeordnet sind. Die Seitwärtssichtkameras 129 erfassen die Bilder der Seiten des Fahrzeugs 120, umfassend tote Winkel für den Fahrer (hier im Folgenden auch als ein „Seitwärtsbild“ bezeichnet), und führen die Bilder zu den Seitwärtssichtkamera-ECUs 130 zu.
Die Seitwärtssichtkamera-ECUs 130 wenden Bildverarbeitung zur Verbesserung der Bildqualität, wie etwa Weißabgleichsteuerung, auf von den Seitwärtssichtkameras 129 zugeführte Seitwärtsbilder an und führen die erhaltenen Seitwärtsbilder über ein Kabel, das vom CAN-Kommunikationsbus verschieden ist, zur integrierten ECU 131 zu.
Die integrierte ECU 131 umfasst mehrere ECUs, die an der Mitte des Fahrzeugs 120 angeordnet sind, wie etwa eine Fahrsteuerungs-ECU 151 und eine Batterie-ECU 152, und steuert den Betrieb des gesamten Fahrzeugs 120.
Beispielsweise ist die Fahrsteuerungs-ECU 151 eine ECU, die eine ADAS-Funktion (erweitertes Fahrassistenzsystem) oder eine Selbstfahrfunktion erreicht. Die Fahrsteuerungs-ECU 151 steuert das Fahren des Fahrzeugs 120 auf Grundlage eines Bilderkennungsergebnisses von der vorderen Kamera-ECU 122, von Positionsinformationen von der Positionsinformationserfassungseinheit 123, von verschiedenen Typen von Informationen, wie etwa Informationen zu umgebenden Fahrzeugen, die von der Kommunikationseinheit 125 zugeführt werden, von Messergebnissen vom Radar 127 und vom Lidar 128, eines Fahrzeuggeschwindigkeitsdetektionsergebnisses von der Fahrzeuggeschwindigkeitsdetektionseinheit 141 und ähnlichem. Das heißt, dass die Fahrsteuerungs-ECU 151 den Lenkmechanismus 126, die Bremseinrichtung 134, die Kraftmaschine 135, den Fahrmotor 137 und ähnliches steuert, um das Fahren des Fahrzeugs 120 zu steuern. Ferner steuert die Fahrsteuerungs-ECU 151 die Scheinwerfer 142 auf Grundlage eines Bilderkennungsergebnisses von der vorderen Kamera-ECU 122, wie etwa, ob die Scheinwerfer eines entgegenkommenden Fahrzeugs eingeschaltet sind oder nicht, zum Steuern der Lichtstrahlung der Scheinwerfer 142, wie etwa Umschalten zwischen Fernlicht und Abblendlicht.
Es ist anzumerken, dass die integrierte ECU 131 eine dedizierte ECU für jede der Funktionen, wie etwa die ADAS-Funktion, die Selbstfahrfunktion und die Lichtsteuerung, aufweisen kann.
Ferner steuert die Batterie-ECU 152 die Zufuhr oder ähnliches von Leistung durch die Batterie 138.
Die Vorwärtssichtkamera 132 weist eine Kamera auf, die, beispielsweise, nahe dem vorderen Grill angeordnet ist. Die Vorwärtssichtkamera 132 erfasst die Bilder der Vorwärtssicht des Fahrzeugs 120, umfassend tote Winkel für den Fahrer (hier im Folgenden auch als ein „Vorwärtsbild“ bezeichnet), und führt die Bilder zur Vorwärtssichtkamera-ECU 133 zu.
Die Vorwärtssichtkamera-ECU 133 wendet Bildverarbeitung zur Verbesserung der Bildqualität, wie etwa Weißabgleichsteuerung, auf von der Vorwärtssichtkamera 132 zugeführte Vorwärtsbilder an und führt die erhaltenen Vorwärtsbilder über ein Kabel, das vom CAN-Kommunikationsbus verschieden ist, zur integrierten ECU 131 zu.
Die Bremseinrichtung 134 arbeitet in Reaktion auf Bremsbetätigung durch den Fahrer oder Steuersignale, die von der integrierten ECU 131 zugeführt werden, und stoppt oder verlangsamt das Fahrzeug 120. Die Kraftmaschine 135 ist die Leistungsquelle des Fahrzeugs 120 und treibt in Reaktion auf Steuersignale an, die von der integrierten ECU 131 zugeführt werden.
Der Leistungsgenerator 136 wird durch die integrierte ECU 131 gesteuert und erzeugt Leistung in Abhängigkeit von Antreiben der Kraftmaschine 135. Der Fahrmotor 137 ist die Leistungsquelle des Fahrzeugs 120. Der Fahrmotor 137 empfängt die Zufuhr von Leistung vom Leistungsgenerator 136 oder der Batterie 138 und treibt in Reaktion auf Steuersignale an, die von der integrierten ECU 131 zugeführt werden. Es ist anzumerken, dass die Leistungsquelle, die angetrieben wird, während das Fahrzeug 120 fährt, in geeigneter Weise durch die integrierte ECU 131 zwischen der Kraftmaschine 135 und dem Fahrmotor 137 umgeschaltet wird.
Die Batterie 138 weist, beispielsweise, eine 12-V-Batterie, eine 200-V-Batterie oder ähnliches auf und führt unter Steuerung der Batterie-ECU 152 Leistung zu den Einheiten des Fahrzeugs 120 zu.
Die Rückwärtssichtkamera 139 weist eine Kamera auf, die, beispielsweise, nahe dem Kennzeichenschild an der Heckklappe angeordnet ist. Die Rückwärtssichtkamera 139 erfasst die Bilder der Rückwärtssicht des Fahrzeugs 120, umfassend tote Winkel für den Fahrer (hier im Folgenden auch als ein „Rückwärtsbild“ bezeichnet), und führt die Bilder zur Rückwärtssichtkamera-ECU 140 zu. Beispielsweise startet die Rückwärtssichtkamera 139, wenn der nicht dargestellte Schalthebel in die Rückwärtsgangposition (R) gebracht wird.
Die Rückwärtssichtkamera-ECU 140 wendet Bildverarbeitung zur Verbesserung der Bildqualität, wie etwa Weißabgleichsteuerung, auf von der Rückwärtssichtkamera 139 zugeführte Rückwärtsbilder an und führt die erhaltenen Rückwärtsbilder über ein Kabel, das vom CAN-Kommunikationsbus verschieden ist, zur integrierten ECU 131 zu.
Die Fahrzeuggeschwindigkeitsdetektionseinheit 141 ist ein Sensor, der ausgelegt ist zum Detektieren der Fahrzeuggeschwindigkeit des Fahrzeugs 120, und führt die Fahrzeuggeschwindigkeitsdetektionsergebnisse zur integrierten ECU 131 zu. Es ist anzumerken, dass die Fahrzeuggeschwindigkeitsdetektionseinheit 141 Beschleunigung oder Beschleunigungsdifferentiale aus den Fahrzeuggeschwindigkeitsdetektionsergebnissen berechnen kann. Beispielsweise wird die berechnete Beschleunigung verwendet, um die Zeit zu schätzen, bis das Fahrzeug 120 mit einem Objekt kollidiert.
Die Scheinwerfer 142 arbeiten in Reaktion auf Steuersignale, die von der integrierten ECU 131 zugeführt werden und gibt Lichtstrahlen aus, um den Vorderteil des Fahrzeugs 120 zu beleuchten.
Die Audioeinheit 143 liest und reproduziert, unter Steuerung der integrierten ECU 131, Klangquellen oder Videoquellen, die auf Aufzeichnungsmedien, wie etwa CDs (Compact Discs), DVDs (Digital Versatile Discs) oder Festplatten, aufgezeichnet sind, und gibt die Audiosignale oder die Videosignale aus. Der Lautsprecher 144 gibt Klang basierend auf durch die integrierte ECU 131 zugeführten Audiosignalen aus.
In dem wie oben beschrieben ausgelegten Fahrzeug 120 entspricht, beispielsweise, die Klangquellenreproduktionseinrichtung 11 des oben beschriebenen Klangverarbeitungssystems 50 der Audioeinheit 143, und die Klangsignalverarbeitungseinrichtung 70 entspricht, beispielsweise, einem Teil der integrierten ECU 131. Die Klangsignalverarbeitungseinrichtung 70 kann in die Audioeinheit 143 integriert sein.
Es ist anzumerken, dass, in der oben beschriebenen Ausführungsform, das Klangverarbeitungssystem, auf das die vorliegende Technologie angewendet wird, auf das fahrzeuginterne System angewendet wird, dass aber die vorliegende Technologie auf Systeme anwendbar ist, die keine fahrzeuginternen Systeme sind.
In dem auf ein System, das kein fahrzeuginternes System ist, angewendeten Klangverarbeitungssystem können Positionsinformationen bezüglich Objekten mit Wahrnehmungseffekt und des Benutzers aus GPS-Informationen oder über ein Weitbereichskommunikationsnetzwerk für kabellose, bewegliche Körper, wie etwa das 4G-Netzwerk, oder über kabellose Kommunikation mit kurzer Reichweite, wie etwa WiFi, Bluetooth (registrierte Handelsmarke) oder NFC erfasst werden.
In dem oben beschriebenen Klangverarbeitungssystem ist die Ausgabevorrichtung, die ausgelegt ist zum Ausgeben, als Klang, von der Klangbildlokalisierungsverarbeitung unterzogenen Audiosignalen, der Sitzlautsprecher (linker Lautsprecher SL und rechter Lautsprecher SR), bereitgestellt im Kopfstützenteil des Kraftfahrzeugsitzes. Die Ausgabevorrichtung ist allerdings nicht auf einen Sitzlautsprecher beschränkt und kann ein Ohrhörer, ein Kopfhörer, ein Schulterlautsprecher oder eine andere Ausgabevorrichtung sein. Ferner ist, selbst in einem Fall, bei dem die Ausgabevorrichtung in einem Sitz als ein Lautsprecher bereitgestellt ist, die Ausgabevorrichtung nicht nur auf einen Kraftfahrzeugsitz anwendbar, sondern auch, beispielsweise, auf einen in einem Vergnügungspark, einem Themenpark, einem Filmtheater oder einem Flugzeug platzierten Sitz oder auf einen Entspannungssessel oder Massagesessel, platziert in einer öffentlichen Bade- und Wellness-Einrichtung oder ähnlichem.
<Auslegungsbeispiel für Computer>
Die Serie von Verarbeitungsprozessen, einschließlich der oben beschriebenen Verarbeitung für den ersten und zweiten virtuellen Klangquellenort kann durch Hardware oder Software ausgeführt werden. In einem Fall, bei dem die Serie von Verarbeitungsprozessen durch Software ausgeführt wird, ist ein Programm, das die Software auslegt, auf einem Computer installiert. Hier weisen Beispiele des Computers Mikrocomputer, die in dedizierte Hardware integriert sind, und universelle Personalcomputer, die in der Lage sind, verschiedene Funktionen mit verschiedenen darauf installierten Programmen auszuführen, auf.
19 ist ein Blockdiagramm, das ein Auslegungsbeispiel der Hardware eines Computers darstellt, der ausgelegt ist zum Ausführen der oben erwähnten Serie von Verarbeitungsprozessen mit dem Programm.
Im Computer sind eine CPU (zentrale Verarbeitungseinheit) 301, ein ROM (Nur-Lese-Speicher) 302 und ein RAM (Direktzugriffsspeicher) 303 über einen Bus 304 miteinander verbunden.
Eine Eingabe/Ausgabe-Schnittstelle 305 ist ferner mit dem Bus 304 verbunden. Mit der Eingabe/Ausgabe-Schnittstelle 305 sind eine Eingabeeinheit 306, eine Ausgabeeinheit 307, eine Speichereinheit 308, eine Kommunikationseinheit 309 und ein Laufwerk 310 verbunden.
Die Eingabeeinheit 306 weist eine Tastatur, eine Maus, ein Mikrofon, ein Berührungsfeld, ein Eingabeendgerät oder ähnliches auf. Die Ausgabeeinheit 307 weist eine Anzeige, einen Lautsprecher, ein Ausgabeendgerät oder ähnliches auf. Die Speichereinheit 308 weist eine Festplatte, eine RAM-Disk, einen nichtflüchtigen Speicher oder ähnliches auf. Die Kommunikationseinheit 309 weist eine Netzwerkschnittstelle oder ähnliches auf. Das Laufwerk 310 treibt ein entfernbares Aufzeichnungsmedium 311, wie etwa eine Magnetplatte, eine optische Platte, eine magneto-optische Platte oder einen Halbleiterspeicher an.
In dem wie oben beschrieben ausgelegten Computer lädt, beispielsweise, die CPU 301 das in der Speichereinheit 308 gespeicherte Programm über die Eingabe/Ausgabe-Schnittstelle 305 und den Bus 304 in den RAM 303 und führt das Programm aus, um die oben beschriebene Serie von Verarbeitungsprozessen durchzuführen. Im RAM 303 werden ferner Daten, die für die CPU 301 notwendig sind, um verschiedene Typen von Verarbeitung auszuführen, in geeigneter Weise gespeichert.
Das Programm, das durch den Computer (CPU 301) ausgeführt wird, kann auf dem entfernbaren Aufzeichnungsmedium 311, das, beispielsweise, ein bereitzustellendes Systemmedium ist, aufgezeichnet sein. Ferner kann das Programm über ein kabelgebundenes oder kabelloses Übertragungsmedium, wie etwa ein Lokalbereichsnetzwerk, das Internet oder digitales Satellitenradio, bereitgestellt werden.
Im Computer kann das Programm über die Eingabe/Ausgabe-Schnittstelle 305 auf der Speichereinheit 308 installiert werden, wobei das entfernbare Aufzeichnungsmedium 311 auf dem Laufwerk 310 gemountet ist. Ferner kann das Programm durch die Kommunikationseinheit 309 empfangen werden, die über ein kabelgebundenes oder kabelloses Übertragungsmedium auf der Speichereinheit 308 zu installieren ist. Darüber hinaus kann das Programm vorab auf dem ROM 302 oder der Speichereinheit 308 installiert werden.
Hier werden die in den Flussdiagrammen beschriebenen Schritte in chronologischer Reihenfolge bzw. in der beschriebenen Reihenfolge durchgeführt, müssen aber nicht notwendigerweise in chronologischer Reihenfolge durchgeführt werden. Die Schritte können parallel durchgeführt werden oder können jeder zu einer entsprechenden Zeit durchgeführt werden, beispielsweise, wenn ein Aufruf erzeugt wird.
Es ist anzumerken, dass ein System hier eine Menge von mehreren Komponenten (Einrichtungen, Modulen (Teilen) oder ähnlichem) bedeutet, und dass es keine Rolle spielt, ob alle Komponenten in einem einzelnen Gehäuse untergebracht sind oder nicht. Daher sind sowohl mehrere Einrichtungen, die in separaten Gehäusen aufgenommen und über ein Netzwerk miteinander verbunden sind, als auch eine einzelne Einrichtung, in der mehrere Module in einem einzelnen Gehäuse aufgenommen sind, beides Systeme.
Die Ausführungsform der vorliegenden Technologie ist nicht auf die oben beschriebene Ausführungsform beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Kern der vorliegenden Technologie abzuweichen.
Beispielsweise kann ein Modus, der durch Kombinieren aller oder eines Teils der oben beschriebenen mehreren Auslegungsbeispiele erhalten wird, eingesetzt werden.
Beispielsweise kann die vorliegende Technologie als Cloud-Computing umgesetzt sein, bei dem eine Funktion durch mehrere Einrichtungen über ein Netzwerk gemeinsam genutzt und verarbeitet wird.
Ferner können die oben beschriebenen Schritte der Flussdiagramme durch eine einzelne Einrichtung ausgeführt oder durch mehrere Einrichtungen gemeinsam genutzt und ausgeführt werden.
Darüber hinaus können in einem Fall, bei dem mehrere Verarbeitungsprozesse in einem einzelnen Schritt enthalten sind, die in dem einzelnen Schritt enthaltenen mehreren Verarbeitungsprozesse durch eine einzelne Einrichtung ausgeführt oder durch mehrere Einrichtungen gemeinsam genutzt und ausgeführt werden.
Es ist anzumerken, dass die hier beschriebenen Effekte nur beispielhaft und nicht beschränkt sind und dass andere als die hier beschriebenen bereitgestellt sein können.
Es ist anzumerken, dass die vorliegende Technologie auch die folgenden Auslegungen annehmen kann.

(1) Eine Signalverarbeitungseinrichtung, Folgendes aufweisend:
- eine Objektinformationserfassungseinheit, ausgelegt zum Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und
- eine Steuereinheit, ausgelegt zum Durchführen von Steuerung des Positionierens einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und des Positionierens einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.
(2) Die Signalverarbeitungseinrichtung nach Punkt (1), wobei die Steuereinheit die erste Position auf eine Position positioniert, die von einer Position des Objekts verschieden ist.
(3) Die Signalverarbeitungseinrichtung nach Punkt (2), wobei die Objektinformationserfassungseinheit eine Richtung des Objekts, wie von einem Benutzer gesehen, erfasst, und wobei die Steuereinheit die Position der virtuellen Klangquelle, die den ersten Kanal aufweist, auf die erste Position in eine Richtung positioniert, die von der Richtung des Objekts verschieden ist.
(4) Die Signalverarbeitungseinrichtung nach Punkt (2), wobei die Objektinformationserfassungseinheit eine Position des Objekts, wie von einem Benutzer gesehen, erfasst.
(5) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (4), wobei die Objektinformationserfassungseinheit Informationen bezüglich Objekten in der Sicht eines Benutzers erfasst, und wobei die Steuereinheit die erste Position und die zweite Position auf Positionen positioniert, die die entsprechenden Objekte in der Sicht des Benutzers teilweise oder vollständig überlappen.
(6) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (5), wobei das Objekt, das die Wahrnehmung der virtuellen Klangquellen beeinflusst, virtuelle Objekte in der Sicht eines Benutzers aufweist, und wobei die Steuereinheit die erste Position und die zweite Position auf Positionen der virtuellen Objekte positioniert.
(7) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (6), wobei die Steuereinheit die erste Position auf eine Position des Objekts positioniert.
(8) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (7), wobei die Objektinformationserfassungseinheit eine Position des Objekts auf Grundlage der Positionsinformation bezüglich eines Sitzes erfasst.
(9) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (8), wobei die Objektinformationserfassungseinheit eine Position des Objekts aus von einer an einem Benutzer getragenen Vorrichtung ausgegebenen Sensordaten erfasst.
(10) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (9), wobei die Objektinformationserfassungseinheit eine Position des Objekts auf Grundlage der von einer Sensorvorrichtung, die ausgelegt ist zum Erfassen von beidem oder einem aus einem Benutzer und dem Objekt, ausgegebenen Sensordaten erfasst.
(11) Die Signalverarbeitungseinrichtung nach einem der Punkte (1) bis (10), wobei die Steuereinheit einen Filterkoeffizienten zum Positionieren der Positionen der virtuellen Klangquellen auf die erste Position und die zweite Position bestimmt.
(12) Die Signalverarbeitungseinrichtung nach Punkt (11), ferner aufweisend:
- eine Signalverarbeitungseinheit, ausgelegt zum Durchführen von Filterverarbeitung unter Verwendung des Filterkoeffizienten auf einem durch eine Reproduktionseinrichtung reproduzierten Audiosignal.
(12) Ein Signalverarbeitungsverfahren, ausgeführt durch eine Signalverarbeitungseinrichtung, Folgendes aufweisend:
- Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und
- Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.
(14) Ein Programm, um einen Computer zu veranlassen, zu fungieren als:
- eine Objektinformationserfassungseinheit, ausgelegt zum Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und
- eine Steuereinheit, ausgelegt zum Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.

Bezugszeichenliste

11:: Klangquellenreproduktionseinrichtung
12:: Klangverarbeitungseinrichtung
20:: Klangbildlokalisierungsverarbeitungseinheit
30:: Transaurale Systemverarbeitungseinheit
50:: Klangverarbeitungssystem
70:: Klangsignalverarbeitungseinrichtung
71:: Klangbild-Lokalisierungssignalverarbeitungseinheit
72:: Virtuelle Klangquellenpositionierungseinheit
73:: Filterkoeffizientenspeichereinheit
81:: Erfassungseinheit
82:: Kopfpositionsschätzungseinheit
83:: Säulenwinkelberechnungseinheit
84:: Filterkoeffizientenbestimmungseinheit
85:: Objektinformationserfassungseinheit
86:: Steuereinheit
101:: Erfassungseinheit
102:: Objektdetektionseinheit
103:: Extraktionseinheit für Objekte mit Wahrnehmungseffekt
104:: Filterkoeffizientenbestimmungseinheit
105:: Objektinformationserfassungseinheit
106:: Steuereinheit
111:: Sensorvorrichtung
120:: Fahrzeug
124:: Anzeigeeinheit
301:: CPU
302:: ROM
303:: RAM
306:: Eingabeeinheit
307:: Ausgabeeinheit
308:: Speichereinheit
309:: Kommunikationseinheit
310:: Laufwerk

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2003111200 [0003]

Claims

Signalverarbeitungseinrichtung, die Folgendes umfasst: eine Objektinformationserfassungseinheit, ausgelegt zum Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und eine Steuereinheit, ausgelegt zum Durchführen von Steuerung des Positionierens einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und des Positionierens einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit die erste Position auf eine Position positioniert, die von einer Position des Objekts verschieden ist.
Signalverarbeitungseinrichtung nach Anspruch 2, wobei die Objektinformationserfassungseinheit eine Richtung des Objekts, wie von einem Benutzer gesehen, erfasst, und wobei die Steuereinheit die Position der virtuellen Klangquelle, die den ersten Kanal aufweist, auf die erste Position in eine Richtung positioniert, die von der Richtung des Objekts verschieden ist.
Signalverarbeitungseinrichtung nach Anspruch 2, wobei die Objektinformationserfassungseinheit eine Position des Objekts, wie von einem Benutzer gesehen, erfasst.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Objektinformationserfassungseinheit Informationen bezüglich Objekten in der Sicht eines Benutzers erfasst, und wobei die Steuereinheit die erste Position und die zweite Position auf Positionen positioniert, die die entsprechenden Objekte in der Sicht des Benutzers teilweise oder vollständig überlappen.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei das Objekt, das die Wahrnehmung der virtuellen Klangquellen beeinflusst, virtuelle Objekte in der Sicht eines Benutzers aufweist, und wobei die Steuereinheit die erste Position und die zweite Position auf Positionen der virtuellen Objekte positioniert.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit die erste Position auf eine Position des Objekts positioniert.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Objektinformationserfassungseinheit eine Position des Objekts auf Grundlage der Positionsinformation bezüglich eines Sitzes erfasst.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Objektinformationserfassungseinheit eine Position des Objekts aus von einer an einem Benutzer getragenen Vorrichtung ausgegebenen Sensordaten erfasst.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Objektinformationserfassungseinheit eine Position des Objekts auf Grundlage der von einer Sensorvorrichtung, die ausgelegt ist zum Erfassen von beidem oder einem aus einem Benutzer und dem Objekt, ausgegebenen Sensordaten erfasst.
Signalverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit einen Filterkoeffizienten zum Positionieren der Positionen der virtuellen Klangquellen auf die erste Position und die zweite Position bestimmt, um so die Steuerung des Positionierens der Positionen der virtuellen Klangquellen durchzuführen.
Signalverarbeitungseinrichtung nach Anspruch 11, die ferner Folgendes umfasst: eine Signalverarbeitungseinheit, ausgelegt zum Durchführen von Filterverarbeitung unter Verwendung des Filterkoeffizienten auf einem durch eine Reproduktionseinrichtung reproduzierten Audiosignal.
Signalverarbeitungsverfahren, ausgeführt durch eine Signalverarbeitungseinrichtung, das Folgendes umfasst: Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.
Programm, um einen Computer zu veranlassen, zu fungieren als: eine Objektinformationserfassungseinheit, ausgelegt zum Erfassen von Informationen bezüglich eines Objekts, das Wahrnehmung von virtuellen Klangquellen beeinflusst, die mindestens zwei Kanäle aus einem ersten Kanal und einem zweiten Kanal aufweisen; und eine Steuereinheit, ausgelegt zum Positionieren einer Position der virtuellen Klangquelle, die den ersten Kanal aufweist und durch das Objekt beeinflusst ist, auf eine erste Position und Positionieren einer Position der virtuellen Klangquelle, die den zweiten Kanal aufweist, auf eine zweite Position, die der ersten Position entspricht.