DE112021003592T5 - Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm - Google Patents

Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm Download PDF

Info

Publication number
DE112021003592T5
DE112021003592T5 DE112021003592.4T DE112021003592T DE112021003592T5 DE 112021003592 T5 DE112021003592 T5 DE 112021003592T5 DE 112021003592 T DE112021003592 T DE 112021003592T DE 112021003592 T5 DE112021003592 T5 DE 112021003592T5
Authority
DE
Germany
Prior art keywords
sound source
sounds
output
hrtf
virtual sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021003592.4T
Other languages
English (en)
Inventor
Koyuru Okimoto
Toru Nakagawa
Masashi Fujihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of DE112021003592T5 publication Critical patent/DE112021003592T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/105—Earpiece supports, e.g. ear hooks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Abstract

Das vorliegende Merkmal bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Ausgabesteuerverfahren und ein Programm, mit denen sich ein Abstandsgefühl um eine Tonquelle herum angemessen wiedergeben lässt. Eine Informationsverarbeitungsvorrichtung gemäß dem vorliegenden Merkmal bewirkt, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die das Audio eines Inhalts bilden, und eine Ausgabevorrichtung für jeden Zuhörer Tönen einer virtuellen Tonquelle ausgibt, die sich von der vorgegebenen Tonquelle unterscheidet, wobei die Töne der virtuellen Tonquelle durch eine Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden. Die vorliegende Offenbarung ist auf ein Akustikverarbeitungssystem in einem Kino anwendbar.

Description

  • [Technisches Gebiet]
  • Das vorliegende Merkmal bezieht sich insbesondere auf eine Informationsverarbeitungsvorrichtung, ein Ausgabesteuerverfahren und ein Programm, mit denen sich ein Abstandsgefühl um eine Tonquelle herum angemessen wiedergeben lässt.
  • [Stand der Technik]
  • Es gibt eine Technik zur dreidimensionalen Wiedergabe eines Klangbilds in Kopfhörern unter Verwendung einer kopfbezogenen Übertragungsfunktion (HRTF), die mathematisch ausdrückt, wie ein Ton von der Tonquelle zum Ohr wandert.
  • Zum Beispiel offenbart PTL 1 eine Technik zum Wiedergeben von Stereoton unter Verwendung von HRTFs, gemessen mit einem Kunstkopf.
  • [Liste der Anführungen]
  • [Patentliteratur]
  • [PTL 1] JP 2009-260574 A
  • [Kurzdarstellung]
  • [Technisches Problem]
  • Während mit HRTFs ein Klangbild dreidimensional wiedergegeben werden kann, kann ein Klangbild mit sich änderndem Abstand, beispielsweise ein sich dem Hörer nähernder Ton oder ein sich vom Hörer entfernender Ton, nicht wiedergegeben werden.
  • Das vorliegende Merkmal wurde im Hinblick auf das Vorhergehende geschaffen und ermöglicht, dass ein Abstandsgefühl um eine Tonquelle herum angemessen wiedergegeben wird.
  • [Lösung des Problems]
  • Eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt des vorliegenden Merkmals weist eine Ausgabesteuereinheit auf, die dazu ausgelegt ist, zu bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die das Audio eines Inhalts bilden, und eine Ausgabevorrichtung für jeden Zuhörer Töne einer virtuellen Tonquelle ausgibt, die sich von der vorgegebenen Tonquelle unterscheidet, wobei die Töne der virtuellen Tonquelle durch eine Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
  • In einem Aspekt des vorliegenden Merkmals gibt ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle aus, die das Audio eines Inhalts bilden, und eine Ausgabevorrichtung für jeden Zuhörer zum Ausgeben der Töne einer virtuellen Tonquelle, die sich von der vorgegebenen Tonquelle unterscheidet, wobei die Töne der virtuellen Tonquelle durch eine Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
  • Figurenliste
    • [1] 1 veranschaulicht eine beispielhafte Konfiguration eines Akustikverarbeitungssystems gemäß einer Ausführungsform des vorliegenden Merkmals.
    • [2] 2 ist eine Ansicht zur Veranschaulichung des Prinzips einer Klangbildlokalisierungsverarbeitung.
    • [3] 3 ist eine externe Ansicht eines Ohrhörers.
    • [4] 4 ist eine Ansicht einer beispielhaften Ausgabevorrichtung.
    • [5] 5 veranschaulicht beispielhafte HRTFs, die in einer HRTF-Datenbank gespeichert sind.
    • [6] 5 veranschaulicht beispielhafte HRTFs, die in einer HRTF-Datenbank gespeichert sind.
    • [7] 7 ist eine Ansicht zur Veranschaulichung eines Beispiels, wie Töne wiedergegeben werden.
    • [8] 8 ist eine Draufsicht einer beispielhaften Anordnung von echten Lautsprechern in einem Kino.
    • [9] 9 ist eine Ansicht zur Veranschaulichung des Konzepts von Tonquellen im Kino.
    • [10] 10 ist eine Ansicht eines Beispiels des Publikums im Kino.
    • [11] 11 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung.
    • [12] 12 ist ein Flussdiagramm zur Veranschaulichung einer Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung mit der in 11 gezeigten Konfiguration.
    • [13] 13 ist eine Ansicht eines beispielhaften dynamischen Objekts.
    • [14] 14 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung.
    • [15] 15 ist ein Flussdiagramm zur Veranschaulichung einer Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung mit der in 14 gezeigten Konfiguration.
    • [16] 16 ist eine Ansicht eines beispielhaften dynamischen Objekts.
    • [17] 17 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung.
    • [18] 18 veranschaulicht Beispiele einer Verstärkungsanpassung.
    • [19] 19 ist eine Ansicht beispielhafter Tonquellen.
    • [20] 20 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung.
    • [21] 21 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung.
    • [22] 22 ist ein Flussdiagramm zur Veranschaulichung einer Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung mit der in 21 gezeigten Konfiguration.
    • [23] 23 ist eine Ansicht einer beispielhaften Konfiguration eines Hybrid-Akustiksystems.
    • [24] 24 ist eine Ansicht einer beispielhaften Installationsposition von Bordlautsprechern.
    • [25] 25 ist eine Ansicht einer beispielhaften virtuellen Tonquelle.
    • [26] 26 ist eine Ansicht eines beispielhaften Bildschirms.
    • [27] 27 ist ein Blockdiagramm einer beispielhaften Konfiguration eines Computers.
  • [Beschreibung der Ausführungsformen]
  • Im Folgenden wird eine Ausführungsweise des vorliegenden Merkmals beschrieben. Die Beschreibung erfolgt in der folgenden Reihenfolge.
    1. 1. Klangbildlokalisierungsverarbeitung
    2. 2. Mehrschichtige HRTF
    3. 3. Beispielhafte Anwendung eines Akustikverarbeitungssystems
    4. 4. Modifikationen
    5. 5. Weitere Beispiele
  • <Klangbildlokalisierungsverarbeitung>
  • 1 veranschaulicht eine beispielhafte Konfiguration eines Akustikverarbeitungssystems gemäß einer Ausführungsform des vorliegenden Merkmals.
  • Das in 1 gezeigte Akustikverarbeitungssystem weist eine Akustikverarbeitungsvorrichtung 1 und Ohrhörer (In-Ohr-Kopfhörer) 2, die von einem Benutzer U als Audiozuhörer getragen werden, auf. Die linke Einheit 2L, die den Ohrhörer 2 bildet, wird am linken Ohr des Benutzers U getragen, und die rechte Einheit 2R wird am rechten Ohr getragen.
  • Die Akustikverarbeitungsvorrichtung 1 und die Ohrhörer 2 sind drahtgebunden über Kabel oder drahtlos über einen vorgegebenen Kommunikationsstandard wie drahtloses LAN oder Bluetooth (eingetragene Marke) verbunden. Die Kommunikation zwischen der Akustikverarbeitungsvorrichtung 1 und den Ohrhörern 2 kann über ein tragbares Endgerät wie etwa ein vom Benutzer U mitgeführtes Smartphone ausgeführt werden. Audiosignale, die durch Wiedergabe eines Inhalts erhalten werden, werden in die Akustikverarbeitungsvorrichtung 1 eingegeben.
  • Beispielsweise werden Audiosignale, die durch Wiedergabe eines Filminhalts erhalten werden, in die Akustikverarbeitungsvorrichtung 1 eingegeben. Die Film-Audiosignale weisen verschiedene Tonsignale wie Sprache, Hintergrundmusik und Umgebungsgeräusche auf. Das Audiosignal weist ein Audiosignal L als Signal für das linke Ohr und ein Audiosignal R als Signal für das rechte Ohr auf.
  • Die Arten von Audiosignalen, die in dem Akustikverarbeitungssystem verarbeitet werden sollen, sind nicht auf Film-Audiosignale beschränkt. Verschiedene Arten von Tonsignalen, wie etwa durch Abspielen eines Musikinhalts erhaltene Töne, durch Abspielen eines Spielinhalts erhaltene Töne, Sprachnachrichten und elektronische Töne wie Klingel- und Signaltöne werden als Verarbeitungsziel verwendet. In der folgenden Beschreibung sin die vom Benutzer U gehörten Töne Audiotöne, während der Benutzer U andere Arten von Tönen als Audiotöne hört. Die oben beschriebenen verschiedenen Arten von Tönen, wie etwa Töne in einem Film, durch Spielen eines Spielinhalts erhaltene Töne, werden hier als Audiotöne beschrieben. Die oben beschriebenen verschiedenen Arten von Tönen, wie etwa Töne in einem Film, durch Spielen eines Spielinhalts erhaltene Töne, werden hier als Audiotöne beschrieben.
  • Die Akustikverarbeitungsvorrichtung 1 verarbeitet eingegebene Audiosignale so, als würde der gehörte Filmton von den Positionen eines linken virtuellen Lautsprechers VSL und eines rechten virtuellen Lautsprechers VSR, die durch die gestrichelten Linien im rechten Teil von 1 angegeben werden, emittiert. Anders ausgedrückt lokalisiert die Akustikverarbeitungsvorrichtung 1 das Klangbild der von den Ohrhörern 2 ausgegebenen Töne, sodass das Klangbild als Töne von dem linken virtuellen Lautsprecher VSL und dem rechten virtuellen Lautsprecher VSR wahrgenommen wird.
  • Wenn der linke virtuelle Lautsprecher VSL und der rechte virtuelle Lautsprecher VSR nicht unterschieden werden, werden sie gemeinsam als virtuelle Lautsprecher VS bezeichnet. In dem Beispiel in 1 befindet sich die Position der virtuellen Lautsprecher VS vor dem Benutzer U und die Anzahl der virtuellen Lautsprecher ist auf zwei eingestellt, aber die Position und Anzahl der virtuellen Tonquellen, die den virtuellen Lautsprechern VS entsprechen, können nach Bedarf mit Fortschreiten des Films geändert werden.
  • Die Faltungsverarbeitungseinheit 11 der Akustikverarbeitungsvorrichtung 1 führt eine Klangbildlokalisierungsverarbeitung an den Audiosignalen durch, um solche Audiotöne auszugeben, und die Audiosignale L und R werden an die linke Einheit 2L bzw. die rechte Einheit 2R ausgegeben.
  • 2 ist eine Ansicht zur Veranschaulichung des Prinzips einer Klangbildlokalisierungsverarbeitung.
  • In einer vorgegebenen Bezugsumgebung wird die Position eines Kunstkopfes DH als Zuhörerposition eingestellt. Im linken und rechten Ohrteil des Kunstkopfes DH sind Mikrofone installiert. Ein linker echter Lautsprecher SPL und ein rechter echter Lautsprecher SPR sind an den Positionen des linken und des rechten virtuellen Lautsprechers bereitgestellt, an denen ein Klangbild lokalisiert werden soll. Die echten Lautsprecher beziehen sich auf Lautsprecher, die tatsächlich bereitgestellt werden.
  • Von dem linken echten Lautsprecher SPL und dem rechten echten Lautsprecher SPR ausgegebener Schall wird an den Ohrteilen des Kunstkopfes DH erfasst, und eine Übertragungsfunktion (HRTF: kopfbezogene Übertragungsfunktion), die eine Änderung der Charakteristik des Schalls zwischen dem aus dem linken und rechten echten Lautsprecher SPL und SPR ausgegebenen Schall und dem an den Ohrteilen des Kunstkopfes DH ankommenden Schalls darstellt, wird im Voraus gemessen. Die Übertragungsfunktion kann gemessen werden, indem eine Person tatsächlich Platz nimmt und Mikrofone in der Nähe der Ohren der Person platziert werden, anstatt den Kunstkopf DH zu verwenden.
  • Es sei angenommen, dass die Schallübertragungsfunktion vom linken echten Lautsprecher SPL zum linken Ohr des Kunstkopfes DH M11 ist und die Schallübertragungsfunktion vom linken echten Lautsprecher SPL zum rechten Ohr des Kunstkopfes DH M12 ist, wie in 2 gezeigt. Es sei auch angenommen, dass die Schallübertragungsfunktion vom rechten echten Lautsprecher SPR zum linken Ohr des Kunstkopfes DH M21 ist und die Schallübertragungsfunktion vom rechten echten Lautsprecher SPR zum rechten Ohr des Kunstkopfes DH M22 ist.
  • Eine HRTF-Datenbank 12 in 1 speichert Informationen über HRTFs (Informationen über die HRTFs darstellende Koeffizienten) als die auf diese Weise im Voraus gemessenen Übertragungsfunktionen. Die HRTF-Datenbank 12 fungiert als eine Speichereinheit, die die HRTF-Informationen speichert.
  • Eine Faltungsverarbeitungseinheit 11 liest und erhält aus der HRTF-Datenbank 12 Koeffizientenpaare von HRTFs gemäß den Positionen des linken virtuellen Lautsprechers VSL und des rechten virtuellen Lautsprechers VSR zum Zeitpunkt der Ausgabe von Filmtönen und stellt die Filterkoeffizienten auf Filter 21 bis 24 ein.
  • Das Filter 21 führt eine Filterverarbeitung durch, um die Übertragungsfunktion M11 auf ein Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L an eine Additionseinheit 25 aus. Das Filter 22 führt eine Filterverarbeitung durch, um die Übertragungsfunktion M12 auf ein Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L an eine Additionseinheit 26 aus.
  • Das Filter 23 führt eine Filterverarbeitung durch, um die Übertragungsfunktion M21 auf ein Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R an die Additionseinheit 25 aus. Das Filter 24 führt eine Filterverarbeitung durch, um die Übertragungsfunktion M22 auf ein Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R an die Additionseinheit 26 aus.
  • Die Additionseinheit 25 als eine Additionseinheit für den linken Kanal addiert das durch das Filter 21 gefilterte Audiosignal L und das durch das Filter 23 gefilterte Audiosignal R und gibt das Audiosignal nach der Addition aus. Das Audiosignal wird nach der Addition an die Ohrhörer 2 übertragen und ein dem Audiosignal entsprechender Ton wird von der linken Einheit 2L der Ohrhörer 2 ausgegeben.
  • Die Additionseinheit 26 als eine Additionseinheit für den rechten Kanal addiert das durch das Filter 22 gefilterte Audiosignal L und das durch das Filter 24 gefilterte Audiosignal R und gibt das Audiosignal nach der Addition aus. Das Audiosignal wird nach der Addition an die Ohrhörer 2 übertragen und ein dem Audiosignal entsprechender Ton wird von der rechten Einheit 2R der Ohrhörer 2 ausgegeben.
  • Auf diese Weise führt die Akustikverarbeitungsvorrichtung 1 eine Faltungsverarbeitung an dem Audiosignal unter Verwendung einer HRTF gemäß der Position, an der ein Klangbild lokalisiert werden soll, durch, und das Klangbild des Schalls von den Ohrhörern 2 wird so lokalisiert, dass der Benutzer U wahrnimmt, dass das Klangbild von den virtuellen Lautsprechern VS emittiert wurde.
  • 3 ist eine externe Ansicht eines Ohrhörers.
  • Wie in dem Ballon in 3 vergrößert gezeigt, weist die rechte Einheit 2R eine Treibereinheit 31 und einen ringförmigen Befestigungsteil 33 auf, die über einen U-förmigen Schallkanal 32 miteinander verbunden sind. Die rechte Einheit 2R wird befestigt, indem der Befestigungsteil 33 um das äußere Ohrloch herum gedrückt wird, sodass das rechte Ohr zwischen dem Befestigungsteil 33 und der Treibereinheit 31 liegt.
  • Die linke Einheit 2L hat die gleiche Struktur wie die rechte Einheit 2R. Die linke Einheit 2L und die rechte Einheit 2R sind drahtgebunden oder drahtlos verbunden.
  • Die Treibereinheit 31 der rechten Einheit 2R empfängt ein von der Akustikverarbeitungsvorrichtung 1 übertragenes Audiosignal und erzeugt Schall gemäß dem Audiosignal und bewirkt, dass dem Audiosignal entsprechender Schall von der Spitze des Schallkanals 32 ausgegeben wird, wie durch Pfeil #1 angegeben. An der Verbindungsstelle des Schallkanals 32 und des Befestigungsteils 33 ist ein Loch ausgebildet, um Schall in Richtung des äußeren Ohrlochs auszugeben.
  • Der Befestigungsteil 33 hat eine Ringform. Zusammen mit den Tönen eines Inhalts, die von der Spitze des Schallkanals 32 ausgegeben werden, erreichen auch die Umgebungsgeräusche das äußere Ohrloch, wie durch Pfeil #2 angegeben.
  • Auf diese Weise sind die Ohrhörer 2 sogenannte Open-Ear Ohrhörer (offene Ohrhörer), die die Ohrlöcher nicht blockieren. Es kann eine andere Vorrichtung als die Ohrhörer 2 als zum Hören der Töne des Inhalts verwendete Ausgabevorrichtung verwendet werden.
  • 4 ist eine Ansicht einer beispielhaften Ausgabevorrichtung.
  • Als Ausgabevorrichtung, die zum Hören der Töne eines Inhalts verwendet wird, wird ein abgeschlossener Kopfhörer (Over-Ear-Kopfhörer), wie in 4 bei A gezeigt, verwendet. Zum Beispiel ist der in 4 bei A gezeigte Kopfhörer ein Kopfhörer mit der Funktion, Außengeräusche zu erfassen.
  • Ein schultermontierter Nackenlautsprecher, wie in 4 bei B gezeigt, wird als zum Hören der Töne eines Inhalts verwendete Ausgabevorrichtung verwendet. Die linke und rechte Einheit des Nackenlautsprechers sind mit Lautsprechern versehen und Töne werden zu den Ohren des Benutzers ausgegeben.
  • Alle Ausgabevorrichtungen, die in der Lage sind, Außengeräusche zu erfassen, wie der Ohrhörer 2, der Kopfhörer in 4 bei A und der Nackenlautsprecher in 4 bei B, können zum Hören der Töne eines Inhalts verwendet werden.
  • <Mehrschichtige HRTF>
  • 5 und 6 veranschaulichen beispielhafte HRTFs, die in der HRTF-Datenbank 12 gespeichert sind.
  • Die HRTF-Datenbank 12 speichert HRTF-Informationen über jede der Tonquellen, die in einer auf die Position des Bezugs-Kunstkopfes DH zentrierten Vollkugelform angeordnet sind.
  • Wie in 6 bei A und B separat gezeigt, sind mehrere Tonquellen an Positionen in einem Abstand a von der Position O des Kunstkopfes DH als Zentrum in einer Vollkugelform entfernt platziert, während mehrere Tonquellen an Positionen in einem Abstand b (a > b) vom Zentrum entfernt in einer Vollkugelform platziert sind. Auf diese Weise werden Schichten von Tonquellen, die um den Abstand b von der Position O als Zentrum entfernt positioniert sind, und Schichten von Tonquellen, die um den Abstand a von dem Zentrum entfernt positioniert sind, bereitgestellt. Tonquellen in der gleichen Schicht sind beispielsweise gleichmäßig beabstandet.
  • An jeder der so angeordneten Tonquellen wird eine HRTF gemessen, sodass die HRTF-Schicht B und die HRTF-Schicht A als HRTF-Schichten in der Vollkugelform ausgebildet werden. Die HRTF-Schicht A ist die äußere HRTF-Schicht und die HRTF-Schicht B ist die innere HRTF-Schicht.
  • In 5 und 6 repräsentieren die Schnittpunkte der Breiten- und Längengrade beispielsweise jeweils eine Tonquellenposition. Die HRTF einer bestimmten Tonquellenposition wird erhalten, indem eine Impulsantwort von der Position an den Positionen der Ohren des Kunstkopfes DH gemessen und das Ergebnis auf der Frequenzachse ausgedrückt wird.
  • Die folgenden Verfahren können verwendet werden, um HRTFs zu erhalten.
    1. 1. Ein echter Lautsprecher wird an jeder Tonquellenposition platziert und erfasst eine HRTF durch eine einzige Messung.
    2. 2. Echte Lautsprecher werden in unterschiedlichen Abständen platziert und erfassen HRTFs durch mehrere Messungen.
    3. 3. Eine akustische Simulation wird ausgeführt, um eine HRTF zu erhalten.
    4. 4. Für eine der HRTF-Schichten wird eine Messung unter Verwendung von echten Lautsprechern durchgeführt, und für die andere HRTF-Schicht wird eine Schätzung durchgeführt.
    5. 5. Eine Schätzung anhand von Ohrbildern wird unter Verwendung eines im Voraus durch maschinelles Lernen erstellten Inferenzmodells durchgeführt.
  • Während der Erstellung der mehreren HRTF-Schichten kann die Akustikverarbeitungsvorrichtung 1 die für die Klangbildlokalisierungsverarbeitung (Faltungsverarbeitung) verwendete HRTF zwischen den HRTFs in der HRTF-Schicht A und der HRTF-Schicht B umschalten. Sich dem Benutzer U nähernde oder sich von ihm wegbewegende Töne können durch Umschalten zwischen den HRTFs wiedergegeben werden.
  • 7 ist eine Ansicht zur Veranschaulichung eines Beispiels, wie Töne wiedergegeben werden.
  • Der Pfeil #11 stellt das Geräusch eines fallenden Objekts oberhalb des Benutzers U dar, und der Pfeil #12 stellt das Geräusch eines sich nähernden Objekts vor dem Benutzer U dar. Diese Arten von Tönen werden durch Umschalten der für die Klangbildlokalisierungsverarbeitung verwendeten HRTF von einer HRTF in der HRTF-Schicht A zu einer HRTF in der HRTF-Schicht B wiedergegeben.
  • Der Pfeil #13 stellt das Geräusch eines Objekts in der Nähe des Benutzers U dar, das zu den Füßen des Benutzers fällt, und der Pfeil #14 stellt das Geräusch eines Objekts hinter dem Benutzer U zu den Füßen des Benutzers dar, das sich von dem Benutzer wegbewegt. Diese Töne werden durch Umschalten der für die Klangbildlokalisierungsverarbeitung verwendeten HRTF von der HRTF in der HRTF-Schicht B zu der HRTF in der HRTF-Schicht A wiedergegeben.
  • Auf diese Weise kann die Akustikverarbeitungsvorrichtung 1 durch Umschalten der für die Klangbildlokalisierungsverarbeitung verwendeten HRTF von einer HRTF-Schicht zu einer anderen HRTF-Schicht verschiedene Arten von Tönen wiedergeben, die sich in der Tiefenrichtung ausbreiten, was sich beispielsweise durch herkömmliche VAD(Virtual Auditory Display)-Systeme nicht wiedergeben lässt.
  • Darüber hinaus können, da HRTFs für die in der Vollkugelform angeordneten Tonquellenpositionen erstellt werden, nicht nur sich oberhalb des Benutzers U ausbreitende Töne, sondern auch sich unterhalb des Benutzers U ausbreitende Töne wiedergegeben werden.
  • Im Vorhergehenden ist die Form der HRTF-Schichten eine Vollkugelform (kugelförmig), aber die Form kann eine Halbkugelform oder eine andere Form als eine Kugel sein. Beispielsweise können die Tonquellen in einer elliptischen Form oder einer Würfelform angeordnet sein, um die Bezugsposition zu umgeben, sodass mehrere HRTF-Schichten gebildet werden können. Anders ausgedrückt können, anstatt alle HRTF-Tonquellen, die eine HRTF-Schicht bilden, im gleichen Abstand vom Mittelpunkt anzuordnen, die Tonquellen in unterschiedlichen Abständen angeordnet sein.
  • Obgleich angenommen wird, dass die äußere HRTF-Schicht und die innere HRTF-Schicht die gleiche Form haben, können die Schichten unterschiedliche Formen haben.
  • Die mehrschichtige HRTF-Schicht kann zwei Schichten aufweisen, aber es können drei oder mehr HRTF-Schichten bereitgestellt werden. Der Abstand zwischen den HRTF-Schichten kann gleich oder unterschiedlich sein.
  • Obgleich angenommen wird, dass die Mittelposition der HRTF-Schicht die Position des Benutzers U ist, kann die HRTF-Schicht mit der Mittelposition als horizontal und vertikal von der Position des Benutzers U verschobener Position eingestellt werden.
  • Wenn nur unter Verwendung der mehreren HRTF-Schichten wiedergegebene Töne angehört werden, kann eine Ausgabevorrichtung wie ein Kopfhörer ohne eine externe Tonerfassungsfunktion verwendet werden.
  • Mit anderen Worten, die folgenden Kombinationen von Ausgabevorrichtungen sind verfügbar.
    1. 1. Ein abgeschlossener Kopfhörer wird als Ausgabevorrichtung für sowohl die unter Verwendung der HRTFs in der HRTF-Schicht A wiedergegebenen Töne als auch für die unter Verwendung der HRTFs in der HRTF-Schicht B wiedergegebenen Töne verwendet.
    2. 2. Offene Ohrhörer (Ohrhörer 2) werden als Ausgabevorrichtung für sowohl die unter Verwendung der HRTFs in der HRTF-Schicht A wiedergegebenen Töne als auch für die unter Verwendung der HRTFs in der HRTF-Schicht B wiedergegebenen Töne verwendet.
    3. 3. Echte Lautsprecher werden als Ausgabevorrichtung für die unter Verwendung der HRTFs in der HRTF-Schicht A wiedergegebenen Töne verwendet und offene Ohrhörer werden als Ausgabevorrichtung für die unter Verwendung der HRTFs in der HRTF-Schicht B wiedergegebenen Töne verwendet.
  • <Beispielhafte Anwendung von Akustikverarbeitungssystemen>
  • • Kinoakustiksystem
  • Das in 1 gezeigte Akustikverarbeitungssystemen wird zum Beispiel auf ein Kinoakustiksystem angewendet. Nicht nur die Ohrhörer 2, die von jedem Benutzer getragen werden, der als Zuschauer auf einem Sitzplatz sitzt, sondern auch echte Lautsprecher, die an vorgegebenen Positionen im Kino bereitgestellt sind, werden zum Ausgeben der Töne des Films verwendet.
  • 8 ist eine Draufsicht einer beispielhaften Anordnung von echten Lautsprechern in einem Kino.
  • Wie in 8 gezeigt, sind echte Lautsprecher SP1 bis SP5 hinter einem im vorderen Bereich des Kinos bereitgestellten Bildschirm S bereitgestellt. Hinter dem Bildschirm S sind auch echte Lautsprecher wie Subwoofer bereitgestellt.
  • Wie durch die gestrichelten Linien #21, #22 und #23 angegeben, sind auch an der linken und rechten Wand bzw. der Rückwand des Kinos echte Lautsprecher bereitgestellt. In 8 stellen die kleinen regelmäßigen quadratischen Rechtecke, die entlang der geraden Linien gezeigt sind, die die Wandoberflächen darstellen, die echten Lautsprecher dar.
  • Wie oben beschrieben, können die Ohrhörer 2 Außengeräusche erfassen. Jeder der Benutzer hört von den echten Lautsprechern ausgegebene Töne sowie von den Ohrhörern 2 ausgegebene Töne.
  • Das Ausgabeziel der Töne wird gemäß der Art einer Tonquelle gesteuert, sodass beispielsweise Töne von einer bestimmten Tonquelle von den Ohrhörern 2 ausgegeben werden und Töne von einer anderen Tonquelle von den echten Lautsprechern ausgegeben werden.
  • Beispielsweise wird der Sprachton einer in einem Videobild enthaltenen Figur von den Ohrhörern 2 ausgegeben, und Umgebungsgeräusche werden von den echten Lautsprechern ausgegeben.
  • 9 ist eine Ansicht zur Veranschaulichung des Konzepts von Tonquellen im Kino.
  • Wie in 9 gezeigt, werden virtuelle Tonquellen, die durch mehrere HRTF-Schichten reproduziert werden, als Tonquellen um den Benutzer herum zusammen mit hinter dem Bildschirm S und an der Wandfläche bereitgestellten echten Lautsprechern bereitgestellt. Die Lautsprecher, die in 9 durch die gestrichelten Linien entlang die HRTF-Schichten A und B darstellenden Kreisen angegeben sind, stellen die gemäß HRTFs reproduzierten virtuellen Tonquellen dar. 9 veranschaulicht die virtuelle Tonquelle zentriert auf den Benutzer, der an der Ursprungsposition der in dem Kino festgelegten Koordinaten sitzt, aber die virtuelle Tonquelle wird um jeden der an anderen Positionen sitzenden Benutzer herum auf die gleiche Weise unter Verwendung der mehreren HRTF-Schichten reproduziert.
  • Auf diese Weise kann somit, wie in 10 gezeigt, jeder der Benutzer, der einen Film ansieht, während er die Ohrhörer 2 trägt, die Töne der auf Grundlage der HRTFs reproduzierten virtuellen Tonquellen zusammen mit den Umgebungsgeräuschen und anderen von den echten Lautsprechern einschließlich der echten Lautsprecher SP1 und SP5 ausgegebenen Tönen hören.
  • In 10 stellen Kreise in verschiedenen Größen um den Benutzer herum, der die Ohrhörer 2 trägt, einschließlich farbige Kreise C1 bis C4, virtuelle Tonquellen dar, die auf Grundlage der HRTFs reproduziert werden sollen.
  • Auf diese Weise realisiert das in 1 gezeigte Akustikverarbeitungssystem ein Hybrid-Akustiksystem, bei dem Töne unter Verwendung der in dem Kino bereitgestellten echten Lautsprecher und der von jedem der Benutzer getragenen Ohrhörer 2 ausgegeben werden.
  • Da die offenen Ohrhörer 2 und die echten Lautsprecher kombiniert werden, können für jeden der Zuschauer optimierte Töne und allgemeine Töne, die von allen Zuschauern gehört werden, gesteuert werden. Die Ohrhörer 2 werden verwendet, um die für jeden der Zuschauer optimierten Töne auszugeben, und die echten Lautsprecher werden verwendet, um die von allen Zuschauern gehörten allgemeinen Töne auszugeben.
  • Im Folgenden werden die von den echten Lautsprechern ausgegebenen Töne gegebenenfalls in dem Sinne als Töne der echten Tonquellen bezeichnet, dass die Töne von den tatsächlich bereitgestellten Lautsprechern ausgegeben wird. Von den Ohrhörern 2 ausgegebene Töne sind die Töne der virtuellen Tonquellen, da es sich bei den Tönen um die Töne der auf Grundlage der HRTFs virtuell eingestellten Tonquellen handelt.
  • • Grundkonfiguration und Betrieb der Akustikverarbeitungsvorrichtung 1
  • 11 ist ein Diagramm einer beispielhaften Konfiguration einer Akustikverarbeitungsvorrichtung 1 als eine Informationsverarbeitungseinheit, die ein Hybrid-Akustiksystem implementiert.
  • Unter den in 11 gezeigten Elementen erhalten die gleichen Elemente wie die oben unter Bezugnahme auf 1 beschriebenen die gleichen Bezugszeichen. Auf eine redundante Beschreibung wird gegebenenfalls verzichtet.
  • Die Akustikverarbeitungsvorrichtung 1 weist eine Faltungsverarbeitungseinheit 11, die HRTF-Datenbank 12, eine Lautsprecherauswahleinheit 13 und eine Ausgabesteuereinheit 14 auf. Tonquelleninformationen als Informationen über jede Tonquelle werden in die Akustikverarbeitungsvorrichtung 1 eingegeben. Die Tonquelleninformationen weisen Tondaten und Positionsinformationen auf.
  • Die Tondaten werden als Tonwellenformdaten der Faltungsverarbeitungseinheit 11 und der Lautsprecherauswahleinheit 13 zugeführt. Die Positionsinformationen repräsentieren die Koordinaten der Tonquellenposition in einem dreidimensionalen Raum. Die Positionsinformationen werden der HRTF-Datenbank 12 und der Lautsprecherauswahleinheit 13 zugeführt. Auf diese Weise werden beispielsweise objektbasierte Audiodaten als Informationen über jede Tonquelle einschließlich eines Satzes von Tondaten und Positionsinformationen in die Akustikverarbeitungsvorrichtung 1 eingegeben.
  • Die Faltungsverarbeitungseinheit 11 weist eine HRTF-Anwendungseinheit 11L und eine HRTF-Anwendungseinheit 11R auf. Für die HRTF-Anwendungseinheit 11L und die HRTF-Anwendungseinheit 11R wird ein Paar von HRTF-Koeffizienten (ein L-Koeffizient und ein R-Koeffizient) entsprechend einer aus der HRTF-Datenbank 12 ausgelesenen Tonquellenposition eingestellt. Die Faltungsverarbeitungseinheit 11 wird für jede Tonquelle erstellt.
  • Die HRTF-Anwendungseinheit 11L führt eine Filterverarbeitung durch, um eine HRTF auf ein Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L an die Ausgabesteuereinheit 14 aus. Die HRTF-Anwendungseinheit 11R führt eine Filterverarbeitung durch, um eine HRTF auf ein Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R an die Ausgabesteuereinheit 14 aus.
  • Die HRTF-Anwendungseinheit 11L weist das Filter 21, das Filter 22 und die Additionseinheit 25 in 1 auf und die HRTF-Anwendungseinheit 11R weist das Filter 23, das Filter 24 und die Additionseinheit 26 in 1 auf. Die Faltungsverarbeitungseinheit 11 fungiert als eine Klangbildlokalisierungsverarbeitungseinheit, die eine Klangbildlokalisierungsverarbeitung durch Anwenden einer HRTF auf ein zu verarbeitendes Audiosignal durchführt.
  • Die HRTF-Datenbank 12 gibt an die Faltungsverarbeitungseinheit 11 ein Paar von HRTF-Koeffizienten entsprechend einer Tonquellenposition auf Grundlage von Positionsinformationen aus. Die HRTFs, die die HRTF-Schicht A oder die HRTF-Schicht B bilden, werden durch die Positionsinformationen identifiziert.
  • Die Lautsprecherauswahleinheit 13 wählt auf Grundlage der Positionsinformationen einen zum Ausgeben von Tönen zu verwendenden echten Lautsprecher aus. Die Lautsprecherauswahleinheit 13 erzeugt ein von dem ausgewählten echten Lautsprecher auszugebendes Audiosignal und gibt das Signal an die Ausgabesteuereinheit 14 aus.
  • Die Ausgabesteuereinheit 14 weist eine Ausgabesteuereinheit 14-1 für echte Lautsprecher und eine Ohrhörerausgabesteuereinheit 14-2 auf.
  • Die Ausgabesteuereinheit 14-1 für echte Lautsprecher gibt das von der Lautsprecherauswahleinheit 13 gelieferte Audiosignal an den ausgewählten echten Lautsprecher aus und das Audiosignal wird an den ausgewählten echten Lautsprecher als die Töne der echten Tonquelle ausgegeben.
  • Die Ohrhörerausgabesteuereinheit 14-2 gibt das Audiosignal L und das Audiosignal R, die von der Faltungsverarbeitungseinheit 11 geliefert werden, an die von jedem der Benutzer getragenen Ohrhörer 2 aus und bewirkt, dass die Ohrhörer die Töne der virtuellen Tonquelle ausgeben.
  • Ein Computer, der die Akustikverarbeitungsvorrichtung 1 mit einer solchen Konfiguration implementiert, ist beispielsweise an einer vorgegebenen Position in einem Kino bereitgestellt.
  • Bezug nehmend auf das Flussdiagramm in 12 wird die Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung 1 mit der in 11 gezeigten Konfiguration beschrieben.
  • In Schritt S1 erhalten die HRTF-Datenbank 12 und die Lautsprecherauswahleinheit 13 Positionsinformationen über Tonquellen.
  • In Schritt S2 erhält die Lautsprecherauswahleinheit 13 Lautsprecherinformationen, die den Positionen der Tonquellen entsprechen. Es werden Informationen über die Charakteristiken der echten Lautsprecher erfasst.
  • In Schritt S3 erfasst die Faltungsverarbeitungseinheit 11 aus der HRTF-Datenbank 12 gelesene Paare von HRTF-Koeffizienten gemäß den Positionen der Tonquellen.
  • In Schritt S4 ordnet die Lautsprecherauswahleinheit 13 Audiosignale den echten Lautsprechern zu. Die Zuordnung der Audiosignale basiert auf den Positionen der Tonquellen und den Positionen der installierten echten Lautsprecher.
  • In Schritt S5 ordnet die Ausgabesteuereinheit 14-1 für echte Lautsprecher die Audiosignale den echten Lautsprechern gemäß der Zuordnung durch die Lautsprecherauswahleinheit 13 zu und bewirkt, dass jedem der Audiosignale entsprechende Töne von den echten Lautsprechern ausgegeben werden.
  • In Schritt S6 führt die Faltungsverarbeitungseinheit 11 eine Faltungsverarbeitung an den Audiosignalen auf Grundlage der HRTFs durch und gibt die Audiosignale nach der Faltungsverarbeitung an die Ausgabesteuereinheit 14 aus.
  • In Schritt S7 überträgt die Ohrhörerausgabesteuereinheit 14-2 die Audiosignale nach der Faltungsverarbeitung an die Ohrhörer 2, um die Töne der virtuellen Tonquellen auszugeben.
  • Die obige Verarbeitung wird für jedes Sample von jeder Tonquelle wiederholt, das das Audio des Films bildet. Bei der Verarbeitung jedes Samples wird das Paar von HRTF-Koeffizienten gegebenenfalls gemäß den Positionsinformationen über die Tonquellen aktualisiert. Der Filminhalt weist sowohl Videodaten als auch Tondaten auf. Die Videodaten werden in einer weiteren Verarbeitungseinheit verarbeitet.
  • Durch die Verarbeitung kann die Akustikverarbeitungsvorrichtung 1 die für jeden der Zuschauer optimierten Töne und die allen Zuhörern gemeinsamen Töne steuern und das Abstandsgefühl um die Tonquellen herum angemessen wiedergeben.
  • Wenn zum Beispiel angenommen wird, dass sich ein Objekt in Bezug auf absolute Koordinaten in einem Kino bewegt, wie durch den Pfeil #31 in 13 angegeben, werden die Töne des Objekts von den Ohrhörern 2 ausgegeben, sodass das Benutzererlebnis je nach Sitzposition sogar für den gleichen Inhalt geändert werden kann.
  • In dem Beispiel in 13 ist ein Objekt so eingestellt, dass es sich von Position P1 auf dem Bildschirm S zu Position P2 im hinteren Bereich des Kinos bewegt. Die Position des Objekts in absoluten Koordinaten zu jedem Zeitpunkt wird in eine Position in Bezug auf die Position jedes Benutzersitzes umgewandelt, und eine HRTF (eine HRTF in der HRTF-Schicht A oder eine HRTF in der HRTF-Schicht B), die der umgewandelten Position entspricht, wird verwendet, um eine Klangbildlokalisierungsverarbeitung der von den Ohrhörern 2 jedes der Benutzer ausgegebenen Töne durchzuführen.
  • Ein Benutzer A, der an der Position P11 im vorderen rechten Bereich des Kinos sitzt, hört die von den Ohrhörern 2 ausgegeben Töne, was bewirkt, dass es dem Benutzer so vorkommt, als ob sich das Objekt diagonal links und nach hinten bewegt. Ein Benutzer B, der an Position P12 im hinteren linken Bereich des Kinos sitzt, hört die von den Ohrhörern 2 ausgegeben Töne und hat das Gefühl, als würde sich das Objekt von vorne diagonal rechts nach hinten bewegen.
  • Unter Verwendung der mehreren HRTF-Schichten oder unter Verwendung von offenen Ohrhörern und echten Lautsprechern als Audioausgabevorrichtungen kann die Akustikverarbeitungsvorrichtung 1 eine Ausgabesteuerung wie folgt ausführen.
    • 1. Eine Steuerung, die bewirkt, dass die Ohrhörer 2 die Töne einer Figur in einem Videobild ausgeben und echte Lautsprecher Umgebungsgeräusche ausgeben. In diesem Fall bewirkt die Akustikverarbeitungsvorrichtung 1, dass die Ohrhörer 2 die Töne ausgeben, die eine Tonquellenposition innerhalb eines vorgegebenen Bereichs von der Position der Figur auf dem Bildschirm S aufweisen.
    • 2. Eine Steuerung, die bewirkt, dass die Ohrhörer 2 Töne ausgeben, die im Hohlraum des Kinos vorhanden sind, und die echten Lautsprecher Umgebungsgeräusche ausgeben, die in einem Bed-Kanal enthalten sind. In diesem Fall bewirkt die Akustikverarbeitungsvorrichtung 1, dass die echten Lautsprecher die Töne einer Tonquelle mit einer Tonquellenposition innerhalb eines vorgegebenen Bereichs von der Position der echten Lautsprecher ausgeben und die Ohrhörer 2 die Töne einer virtuellen Tonquelle mit einer Tonquellenposition abseits der echten Lautsprecher außerhalb dieses Bereichs ausgeben.
    • 3. Eine Steuerung, die bewirkt, dass die Ohrhörer 2 die Töne eines dynamischen Objekts mit einer sich bewegenden Tonquellenposition ausgeben und die echten Lautsprecher die Töne eines statischen Objekts mit einer festen Tonquellenposition ausgeben.
    • 4. Eine Steuerung, die bewirkt, dass die echten Lautsprecher allgemeine Töne an alle Zuschauer ausgeben, wie beispielsweise Umgebungsgeräusche und Hintergrundmusik, und die Ohrhörer 2 für jeden der Benutzer optimierte Töne ausgeben, wie beispielsweise Töne in verschiedenen Sprachen und Töne mit einer gemäß der Sitzposition geänderten Tonquellenrichtung.
    • 5. Eine Steuerung, die bewirkt, dass die echten Lautsprecher Töne ausgeben, die in einer horizontalen Ebene vorhanden ist, die die Position aufweist, an der die echten Lautsprecher bereitgestellt sind, und die Ohrhörer 2 Töne ausgeben, die an einer vertikal zu der obigen horizontalen Ebene verschobenen Position vorhanden sind. In diesem Fall bewirkt die Akustikverarbeitungsvorrichtung 1, dass die echten Lautsprecher die Töne einer Tonquelle ausgeben, die auf derselben Höhe wie die Höhe der echten Lautsprecher positioniert ist, und die Ohrhörer 2 die Töne einer virtuellen Tonquelle mit einer Tonquellenposition auf einer anderen Höhe als die Höhe der echten Lautsprecher ausgeben. Beispielsweise wird ein vorgegebener Höhenbereich basierend auf der Höhe der echten Lautsprecher auf die gleiche Höhe wie die echten Lautsprecher eingestellt.
    • 6. Ein Steuerung, die bewirkt, dass die echten Lautsprecher die Töne eines im Kino vorhandenen Objekts ausgeben und die Ohrhörer 2 die Töne eines Objekts ausgeben, das an einer Position außerhalb der Wände des Kinos oder außerhalb und oberhalb der Decke vorhanden ist.
  • Auf diese Weise kann die Akustikverarbeitungsvorrichtung 1 verschiedene Arten von Steuerungen durchführen, die bewirken, dass die echten Lautsprecher die Töne einer vorgegebenen Tonquelle ausgeben, die das Audio eines Films bilden, und die Ohrhörer 2 die Töne einer anderen Tonquelle als die Töne einer virtuellen Tonquelle ausgeben.
  • • Beispiel 1 einer Ausgabesteuerung
  • Wenn das Audio eines Films Bed-Kanal-Töne und Objekttöne aufweist, können echte Lautsprecher verwendet werden, um die Bed-Kanal-Töne auszugeben, und die Ohrhörer 2 können verwendet werden, um die Objekttöne auszugeben. Anders ausgedrückt werden echte Lautsprecher verwendet, um die kanalbasierte Tonquelle auszugeben, und die Ohrhörer 2 werden verwendet, um die objektbasierte virtuelle Tonquelle auszugeben.
  • 14 ist ein Diagramm einer beispielhaften Konfiguration der Akustikverarbeitungsvorrichtung 1.
  • Unter den in 14 gezeigten Elementen erhalten die gleichen Elemente wie die oben unter Bezugnahme auf 11 beschriebenen die gleichen Bezugszeichen. Die gleiche Beschreibung wird nicht wiederholt. Gleiches gilt für 17, die unten beschrieben wird.
  • Die in 14 gezeigte Konfiguration unterscheidet sich von der in 11 gezeigten darin, dass anstelle der Lautsprecherauswahleinheit 13 eine Steuereinheit 51 bereitgestellt ist und eine Bed-Kanal-Verarbeitungseinheit 52 bereitgestellt ist. Der Bed-Kanal-Verarbeitungseinheit 52 werden Bed-Kanal-Informationen, die angeben, von welchem echten Lautsprecher die Töne einer Tonquelle auszugeben sind, als die Positionsinformationen der Tonquelle zugeführt.
  • Die Steuereinheit 51 steuert den Betrieb jedes Teils der Akustikverarbeitungsvorrichtung 1. Beispielsweise steuert die Steuereinheit 51 auf Grundlage der Attributinformationen der in die Akustikverarbeitungsvorrichtung 1 eingegebenen Tonquelleninformationen, ob die Töne einer Eingabetonquelle von dem echten Lautsprecher oder von den Ohrhörern 2 ausgegeben werden sollen.
  • Die Bed-Kanal-Verarbeitungseinheit 52 wählt die zur Tonausgabe zu verwendenden echten Lautsprecher auf Grundlage der Bed-Kanal-Informationen aus. Der zum Ausgeben von Tönen verwendete echte Lautsprecher wird unter den echten Lautsprechern, Links, Mitte, Rechts, Links Surround, Rechts Surround, ... identifiziert.
  • Bezug nehmend auf das Flussdiagramm in 15 wird die Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung 1 mit der in 14 gezeigten Konfiguration beschrieben.
  • In Schritt S11 erfasst die Steuereinheit 51 Attributinformationen über eine zu verarbeitende Tonquelle.
  • In Schritt S12 bestimmt die Steuereinheit 51, ob die zu verarbeitende Tonquelle eine objektbasierte Tonquelle ist.
  • Wenn in Schritt S12 bestimmt wird, dass die zu verarbeitende Tonquelle eine objektbasierte Tonquelle ist, wird die gleiche Verarbeitung wie die unter Bezugnahme auf 12 beschriebene Verarbeitung zum Ausgeben der Töne der virtuellen Tonquelle von den Ohrhörern 2 durchgeführt.
  • Anders ausgedrückt erhält die HRTF-Datenbank 12 in Schritt S13 die Positionsinformationen der Tonquelle.
  • In Schritt S14 erfasst die Faltungsverarbeitungseinheit 11 aus der HRTF-Datenbank 12 gelesene Paare von HRTF-Koeffizienten gemäß den Positionen der Tonquellen.
  • In Schritt S15 führt die Faltungsverarbeitungseinheit 11 eine Faltungsverarbeitung an einem Audiosignal von der objektbasierten Tonquelle durch und gibt das Audiosignal nach der Faltungsverarbeitung an die Ausgabesteuereinheit 14 aus.
  • In Schritt S16 überträgt die Ohrhörerausgabesteuereinheit 14-2 die Audiosignale nach der Faltungsverarbeitung an die Ohrhörer 2, um die Töne der virtuellen Tonquellen auszugeben.
  • Wird dagegen in Schritt S12 bestimmt, dass die zu verarbeitende Tonquelle keine objektbasierte Tonquelle, sondern eine kanalbasierte Tonquelle ist, erhält die Bed-Kanal-Verarbeitungseinheit 52 in Schritt S17 Bed-Kanal-Informationen und die Bed-Kanal-Verarbeitungseinheit 52 identifiziert den zur Tonausgabe zu verwendenden echten Lautsprecher basierend auf den Bed-Kanal-Informationen.
  • In Schritt S18 gibt die Ausgabesteuereinheit 14-1 für echte Lautsprecher das von der Bed-Kanal-Verarbeitungseinheit 52 gelieferte Bed-Kanal-Audiosignal an die echten Lautsprecher aus und bewirkt, dass die Signale als die Töne der echten Tonquelle ausgegeben werden.
  • Nachdem in Schritt S16 oder Schritt S18 ein Tonsample ausgegeben wurde, wird der Prozess in und nach Schritt S11 wiederholt.
  • Ein echter Lautsprecher kann verwendet werden, um nicht nur die Töne einer kanalbasierten Tonquelle, sondern auch die Töne einer objektbasierten Tonquelle auszugeben. In diesem Fall wird zusammen mit der Bed-Kanal-Verarbeitungseinheit 52 die Lautsprecherauswahleinheit 13 von 11 in der Akustikverarbeitungsvorrichtung 1 bereitgestellt.
  • • Beispiel 2 einer Ausgabesteuerung
  • 16 ist eine Ansicht eines beispielhaften dynamischen Objekts.
  • Es sei angenommen, dass sich ein dynamisches Objekt von Position P1 in der Nähe des Bildschirms S zu dem Benutzer bewegt, der an der Ursprungsposition sitzt, wie durch den Pfeil #41 angegeben. Die Bahn des dynamischen Objekts, das sich zum Zeitpunkt t1 zu bewegen beginnt, und die HRTF-Schicht A schneiden sich an Position P2 zum Zeitpunkt t2. Die Bahn des dynamischen Objekts und die HRTF-Schicht B schneiden sich an der Position P3 zum Zeitpunkt t3.
  • Wenn die Tonquellenposition in der Nähe der Position P1 liegt, werden die auszugebenden Töne des dynamischen Objekts aus dem echten Lautsprecher gehört, der sich in der Nähe der Position P1 befindet, und wenn die Tonquellenposition in der Nähe von Position P2 oder P3 liegt, werden die Töne hauptsächlich aus den Ohrhörern 2 gehört.
  • Wenn die Tonquellenposition in der Nähe von Position P2 liegt, werden für die auszugebenden Töne des dynamischen Objekts hauptsächlich die Position P2 entsprechenden Töne, die durch Klangbildlokalisierungsverarbeitung unter Verwendung der HRTF in der HRTF-Schicht A erzeugt werden, aus den Ohrhörern 2 gehört. Gleichermaßen werden, wenn die Tonquellenposition in der Nähe von Position P3 liegt, für die auszugebenden Töne des dynamischen Objekts hauptsächlich die Position P3 entsprechenden Töne, die durch Klangbildlokalisierungsverarbeitung unter Verwendung der HRTF in der HRTF-Schicht B erzeugt werden, über die Ohrhörer 2 gehört.
  • Auf diese Weise wird bei der Wiedergabe der Töne eines dynamischen Objekts die zur Ausgabe der Töne verwendete Vorrichtung von einem der echten Lautsprecher gemäß der Position des dynamischen Objekts zu den Ohrhörern 2 umgeschaltet. Darüber hinaus wird die HRTF, die für die Klangbildlokalisierungsverarbeitung an den von den Ohrhörern 2 auszugebenden Tönen verwendet wird, von einer HRTF in einer HRTF-Schicht zu einer HRTF in einer anderen HRTF-Schicht umgeschaltet.
  • Auf jeden Ton wird eine Überblendungsverarbeitung angewendet, um die Töne vor und nach dem Ausführen eines solchen Umschaltens zu verbinden.
  • 17 ist ein Diagramm einer beispielhaften Konfiguration der Akustikverarbeitungsvorrichtung 1.
  • Die in 17 gezeigte Konfiguration unterscheidet sich von der in 11 darin, dass eine Verstärkungsanpassungseinheit 61 und eine Verstärkungsanpassungseinheit 62 in einer der Faltungsverarbeitungseinheit 11 vorangehenden Stufe bereitgestellt sind. Ein Audiosignal und Tonquellenpositionsinformationen werden der Verstärkungsanpassungseinheit 61 und der Verstärkungsanpassungseinheit 62 zugeführt.
  • Die Verstärkungsanpassungseinheit 61 und die Verstärkungsanpassungseinheit 62 passen jeweils die Verstärkung eines Audiosignals gemäß der Position einer Tonquelle an. Das Audiosignal L, dessen Verstärkung durch die Verstärkungsanpassungseinheit 61 angepasst wurde, wird der HRTF-Anwendungseinheit 11L-A zugeführt, und das Audiosignal R wird der HRTF-Anwendungseinheit 11R-A zugeführt. Das Audiosignal L, dessen Verstärkung durch die Verstärkungsanpassungseinheit 62 angepasst wurde, wird der HRTF-Anwendungseinheit 11L-B zugeführt, und das Audiosignal R wird der HRTF-Anwendungseinheit 11R-B zugeführt.
  • Die Faltungsverarbeitungseinheit 11 weist die HRTF-Anwendungseinheiten 11L-A und 11R-A, die eine Faltungsverarbeitung unter Verwendung einer HRTF in der HRTF-Schicht A durchführen, und die HRTF-Anwendungseinheiten 11L-B und 11R-B, die eine Faltungsverarbeitung unter Verwendung einer HRTF in der HRTF-Schicht B durchführen, auf. Den HRTF-Anwendungseinheiten 11L-A und 11R-A wird ein Koeffizient für eine einer Tonquellenposition entsprechende HRTF in der HRTF-Schicht A aus der HRTF-Datenbank 12 zugeführt. Gleichermaßen wird den HRTF-Anwendungseinheiten 11L-B und 11R-B ein Koeffizient für eine einer Tonquellenposition entsprechende HRTF in der HRTF-Schicht B aus der HRTF-Datenbank 12 zugeführt.
  • Die HRTF-Anwendungseinheit 11L-A führt eine Filterverarbeitung durch, um die HRTF in der HRTF-Schicht A auf das von der Verstärkungsanpassungseinheit 61 zugeführte Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L aus.
  • Die HRTF-Anwendungseinheit 11R-A führt eine Filterverarbeitung durch, um die HRTF in der HRTF-Schicht A, die von der Verstärkungsanpassungseinheit 61 zugeführt wird, auf das Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R aus.
  • Die HRTF-Anwendungseinheit 11L-B führt eine Filterverarbeitung durch, um die HRTF in der HRTF-Schicht B auf das von der Verstärkungsanpassungseinheit 62 zugeführte Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L aus.
  • Die HRTF-Anwendungseinheit 11R-B führt eine Filterverarbeitung durch, um die HRTF in der HRTF-Schicht B auf das von der Verstärkungsanpassungseinheit 62 zugeführte Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R aus.
  • Das von der HRTF-Anwendungseinheit 11L-A ausgegebene Audiosignal L und das von der HRTF-Anwendungseinheit 11L-B ausgegebene Audiosignal L werden addiert, dann der Ohrhörerausgabesteuereinheit 14-2 zugeführt und an die Ohrhörer 2 ausgegeben. Das von der HRTF-Anwendungseinheit 11R-A ausgegebene Audiosignal R und das von der HRTF-Anwendungseinheit 11R-B ausgegebene Audiosignal R werden addiert, dann der Ohrhörerausgabesteuereinheit 14-2 zugeführt und an die Ohrhörer 2 ausgegeben.
  • Die Lautsprecherauswahleinheit 13 passt die Verstärkung eines Audiosignals und die Lautstärke von von einem echten Lautsprecher auszugebenden Tönen gemäß der Position der Tonquelle an.
  • 18 veranschaulicht Beispiele einer Verstärkungsanpassung.
  • 18 bei A zeigt ein Beispiel einer Verstärkungsanpassung durch die Lautsprecherauswahleinheit 13. Die Verstärkungsanpassung durch die Lautsprecherauswahleinheit 13 wird so durchgeführt, dass, wenn sich ein Objekt in der Nähe der Position P1 befindet, die Verstärkung 100 % erreicht, und die Verstärkung allmählich verringert wird, wenn sich das Objekt von der Position P1 wegbewegt.
  • 18 bei B zeigt ein Beispiel einer Verstärkungsanpassung durch die Verstärkungsanpassungseinheit 61. Die Verstärkungsanpassung durch die Verstärkungsanpassungseinheit 61 wird so durchgeführt, dass die Verstärkung erhöht wird, wenn sich das Objekt der Position P2 nähert, und die Verstärkung 100 % erreicht, wenn sich das Objekt in der Nähe der Position P2 befindet. Als Ergebnis wird die Lautstärke des echten Lautsprechers ausgeblendet und die Lautstärke der Ohrhörer 2 eingeblendet, wenn sich die Position des Objekts von Position P1 zu Position P2 nähert.
  • Die Verstärkungsanpassung durch die Verstärkungsanpassungseinheit 61 wird so durchgeführt, dass die Verstärkung als Funktion des Abstands von der Position P2 allmählich verringert wird.
  • 18 bei C zeigt ein Beispiel einer Verstärkungsanpassung durch die Verstärkungsanpassungseinheit 62. Die Verstärkungsanpassung durch die Verstärkungsanpassungseinheit 62 wird so durchgeführt, dass die Verstärkung erhöht wird, wenn sich das Objekt der Position P3 nähert, und die Verstärkung 100 % erreicht, wenn sich das Objekt in der Nähe der Position P3 befindet. Auf diese Weise wird, wenn sich die Position des Objekts von Position P2 zu Position P3 nähert, die Lautstärke der Töne, die unter Verwendung der HRTF in der HRTF-Schicht A verarbeitet und von den Ohrhörern 2 ausgegeben wird, ausgeblendet und die Lautstärke der unter Verwendung der HRTF in der HRTF-Schicht B verarbeiteten Töne eingeblendet.
  • Durch derartiges Überblenden der Töne dynamischer Objekte können die Töne vor dem Umschalten und nach dem Umschalten auf natürliche Weise kontinuierlich sein, wenn Ausgabevorrichtungen umgeschaltet werden oder wenn zwischen HRTFs, die zur Klangbildlokalisierungsverarbeitung verwendet werden, umgeschaltet wird.
  • • Beispiel 3 einer Ausgabesteuerung
  • Zusätzlich zu Tondaten und Positionsinformationen können Größeninformationen, die die Größe einer Tonquelle angeben, in den Tonquelleninformationen enthalten sein. Die Töne einer Tonquelle mit einer großen Größe können durch eine Klangbildlokalisierungsverarbeitung unter Verwendung der HRTFs mehrerer Tonquellen wiedergegeben werden. Beispielsweise können die Töne einer großen Tonquelle durch eine Klangbildlokalisierungsverarbeitung unter Verwendung der HRTFs mehrerer Tonquellen wiedergegeben werden.
  • 19 ist eine Ansicht beispielhafter Tonquellen.
  • Wie in 19 farbig dargestellt, wird angenommen, dass eine Tonquelle VS in dem Bereich angeordnet ist, der die Positionen P1 und P2 aufweist. In diesem Fall wird die Tonquelle VS durch eine Klangbildlokalisierungsverarbeitung unter Verwendung der HRTF einer Tonquelle A1, die an Position P1 angeordnet ist, und der HRTF einer Tonquelle A2, die an Position P2 angeordnet ist, unter den HRTFs in der HRTF-Schicht A reproduziert.
  • 20 ist ein Diagramm einer beispielhaften Konfiguration der Akustikverarbeitungsvorrichtung 1.
  • Wie in 20 gezeigt, werden die Größeninformationen der Tonquelle zusammen mit den Positionsinformationen in die HRTF-Datenbank 12 und die Lautsprecherauswahleinheit 13 eingegeben. Das Audiosignal L der Tonquelle VS wird der HRTF-Anwendungseinheit 11L-A1 und der HRTF-Anwendungseinheit 11L-A2 zugeführt, und das Audiosignal R wird der HRTF-Anwendungseinheit 11R-A1 und der HRTF-Anwendungseinheit 11R-A2 zugeführt.
  • Die Faltungsverarbeitungseinheit 11 weist die HRTF-Anwendungseinheit 11L-A1 und die HRTF-Anwendungseinheit 11R-A1, die eine Faltungsverarbeitung unter Verwendung der HRTF der Tonquelle A1 durchführen, und die Tonquellen-HRTF-Anwendungseinheiten 11L-A2 und 11R-A2, die eine Faltungsverarbeitung unter Verwendung der HRTF der Tonquelle A2 durchführen, auf. Ein Koeffizient für die HRTF der Tonquelle A1 wird von der HRTF-Datenbank 12 an die HRTF-Anwendungseinheiten 11L-A1 und 11R-A1 geliefert. Ein Koeffizient für die HRTF der Tonquelle A2 wird von der HRTF-Datenbank 12 an die HRTF-Anwendungseinheiten 11L-A2 und 11R-A2 geliefert.
  • Die HRTF-Anwendungseinheit 11L-A1 führt eine Filterverarbeitung durch, um die HRTF der Tonquelle A1 auf das Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L aus.
  • Die HRTF-Anwendungseinheit 11R-A1 führt eine Filterverarbeitung durch, um die HRTF der Tonquelle A1 auf das Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R aus.
  • Die HRTF-Anwendungseinheit 11L-A2 führt eine Filterverarbeitung durch, um die HRTF der Tonquelle A2 auf das Audiosignal L anzuwenden, und gibt das gefilterte Audiosignal L aus.
  • Die HRTF-Anwendungseinheit 11R-A2 führt eine Filterverarbeitung durch, um die HRTF der Tonquelle A2 auf das Audiosignal R anzuwenden, und gibt das gefilterte Audiosignal R aus.
  • Das von der HRTF-Anwendungseinheit 11L-A1 ausgegebene Audiosignal L und das von der HRTF-Anwendungseinheit 11L-A2 ausgegebene Audiosignal L werden addiert, dann der Ohrhörerausgabesteuereinheit 14-2 zugeführt und an die Ohrhörer 2 ausgegeben. Das von der HRTF-Anwendungseinheit 11R-A1 ausgegebene Audiosignal R und das von der HRTF-Anwendungseinheit 11R-A2 ausgegebene Audiosignal R werden addiert, dann der Ohrhörerausgabesteuereinheit 14-2 zugeführt und an die Ohrhörer 2 ausgegeben.
  • Wie oben beschrieben, werden die Töne einer großen Tonquelle durch eine Klangbildlokalisierungsverarbeitung unter Verwendung der HRTFs mehrerer Tonquellen wiedergegeben.
  • Die HRTFs von drei oder mehr Tonquellen können für die Klangbildlokalisierungsverarbeitung verwendet werden. Ein dynamisches Objekt kann verwendet werden, um die Bewegung einer großen Tonquelle zu wiederzugeben. Wenn ein dynamisches Objekt verwendet wird, kann eine Überblendungsverarbeitung wie oben beschrieben nach Bedarf durchgeführt werden.
  • Anstatt mehrere HRTFs in derselben HRTF-Schicht zu verwenden, kann eine große Tonquelle durch eine Klangbildlokalisierungsverarbeitung unter Verwendung mehrerer HRTFs in unterschiedlichen HRTF-Schichten, wie etwa einer HRTF in der HRTF-Schicht A und einer HRTF in der HRTF-Schicht B, reproduziert werden.
  • • Beispiel 4 einer Ausgabesteuerung
  • Von Filmtönen können Hochfrequenztöne von den Ohrhörern 2 ausgegeben werden und Niederfrequenztöne von einem echten Lautsprecher ausgegeben werden.
  • Töne mit einer vorgegebenen Schwellenfrequenz oder darüber werden von den Ohrhörern 2 als Hochfrequenztöne ausgegeben, und Töne mit einer Frequenz unterhalb dieser Frequenz werden von einem echten Lautsprecher als Niederfrequenztöne ausgegeben. Zum Beispiel wird ein als echter Lautsprecher bereitgestellter Subwoofer verwendet, um Niederfrequenztöne auszugeben.
  • 21 ist ein Diagramm einer beispielhaften Konfiguration der Akustikverarbeitungsvorrichtung 1.
  • Die in 21 gezeigte Konfiguration der Akustikverarbeitungsvorrichtung 1 unterscheidet sich von der Konfiguration in 11 darin, dass die Vorrichtung ein HPF (Hochpassfilter) 71 in einer der Faltungsverarbeitungseinheit 11 vorausgehenden Stufe und ein LPF (Tiefpassfilter) 72 in einer der Lautsprecherauswahleinheit 13 vorausgehenden Stufe aufweist. Dem HPF 71 und dem LPF 72 wird ein Audiosignal zugeführt.
  • Das HPF 71 extrahiert ein Hochfrequenztonsignal aus dem Audiosignal und gibt das Signal an die Faltungsverarbeitungseinheit 11 aus.
  • Das LPF 72 extrahiert ein Niederfrequenztonsignal aus dem Audiosignal und gibt das Signal an die Lautsprecherauswahleinheit 13 aus.
  • Die Faltungsverarbeitungseinheit 11 unterzieht die von dem HPF 71 zugeführten Signale einer Filterverarbeitung an den HRTF-Anwendungseinheiten 11L und 11R und gibt das gefilterte Audiosignal aus.
  • Die Lautsprecherauswahleinheit 13 ordnet das von dem LPF 72 zugeführte Signal einem Subwoofer zu und gibt das Signal aus.
  • Bezug nehmend auf das Flussdiagramm in 22 wird die Wiedergabeverarbeitung durch die Akustikverarbeitungsvorrichtung 1 mit der in 21 gezeigten Konfiguration beschrieben.
  • In Schritt S31 erhält die HRTF-Datenbank 12 die Positionsinformationen der Tonquelle.
  • In Schritt S32 erfasst die Faltungsverarbeitungseinheit 11 aus der HRTF-Datenbank 12 gelesene Paare von HRTF-Koeffizienten gemäß den Positionen der Tonquellen.
  • In Schritt S33 extrahiert das HPF 71 ein Hochfrequenzkomponentensignal aus dem Audiosignal. Zudem extrahiert das LPF 72 ein Niederfrequenzkomponentensignal aus dem Audiosignal.
  • In Schritt S34 gibt die Lautsprecherauswahleinheit 13 das durch das LPF 72 extrahierte Signal an die Ausgabesteuereinheit 14-1 für echte Lautsprecher aus und bewirkt, dass die Niederfrequenztöne von dem Subwoofer ausgegeben werden.
  • In Schritt S35 führt die Faltungsverarbeitungseinheit 11 eine Faltungsverarbeitung an dem durch das HPF 71 extrahierten Hochfrequenzkomponentensignal durch.
  • In Schritt S36 überträgt die Ohrhörerausgabesteuereinheit 14-2 das Audiosignal nach der Faltungsverarbeitung durch die Faltungsverarbeitungseinheit 11 an die Ohrhörer 2 und bewirkt, dass die Hochfrequenztöne ausgegeben wird.
  • Die obige Verarbeitung wird für jedes Sample von jeder Tonquelle wiederholt, das das Audio des Films bildet. Bei der Verarbeitung jedes Samples wird das Paar von HRTF-Koeffizienten gegebenenfalls gemäß den Positionsinformationen über die Tonquellen aktualisiert.
  • <Modifikationen>
  • • Beispielhafte Ausgabevorrichtung
  • Obgleich angenommen wird, dass echte Lautsprecher, die in einem Kino installiert sind, und die offenen Ohrhörer 2 verwendet werden, kann ein Hybrid-Akustiksystem in Kombination mit beliebigen anderen Ausgabevorrichtungen implementiert werden.
  • 23 ist eine Ansicht einer beispielhaften Konfiguration eines Hybrid-Akustiksystems.
  • Wie in 23 gezeigt, können ein Nackenlautsprecher 101 und integrierte Lautsprecher 103L und 103R eines Fernsehgeräts 102 kombiniert werden, um ein Hybrid-Akustiksystem zu bilden. Der Nackenlautsprecher 101 ist eine schultermontierte Ausgabevorrichtung, die unter Bezugnahme auf 4 bei B beschrieben wird.
  • In diesem Fall werden die Töne einer virtuellen Tonquelle, die durch eine Klangbildlokalisierungsverarbeitung basierend auf einer HRTF erhalten werden, von dem Nackenlautsprecher 101 ausgegeben. Obgleich in 23 nur eine HRTF-Schicht gezeigt ist, können mehrere HRTF-Schichten um den Benutzer herum bereitgestellt werden.
  • Die Töne einer objektbasierten Tonquelle und einer kanalbasierten Tonquelle werden von den Lautsprechern 103L und 103R als die Töne einer echten Tonquelle ausgegeben.
  • Auf diese Weise können verschiedene Ausgabevorrichtungen, die für jeden Benutzer angefertigt werden und von dem Benutzer zu hörende Töne ausgeben können, als Ausgabevorrichtungen zum Ausgeben der Töne einer virtuellen Tonquelle, erhalten durch HRTF-basierte Klangbildlokalisierungsverarbeitung, verwendet werden.
  • Als Ausgabevorrichtungen zum Ausgeben der Töne einer echten Tonquelle können verschiedene Ausgabevorrichtungen verwendet werden, die sich von den in Kinos installierten echten Lautsprechern unterscheiden. Heimkinolautsprecher, Smartphones und der Lautsprecher von Tablets können verwendet werden, um eine echte Tonquelle auszugeben.
  • Das durch Kombinieren mehrerer Arten von Ausgabevorrichtungen implementierte Akustiksystem kann auch ein Hybrid-Akustiksystem sein, das es Benutzern ermöglicht, für jeden Benutzer unter Verwendung von HRTFs angepasste Töne und allgemeine Töne für alle Benutzer in demselben Raum zu hören.
  • Anstatt mehrerer Benutzer kann sich wie in 23 gezeigt nur ein Benutzer in dem Raum befinden.
  • Das Hybrid-Akustiksystem kann unter Verwendung von Fahrzeuglautsprechern umgesetzt werden.
  • 24 zeigt ein Beispiel der Installationsposition von Fahrzeuglautsprechern.
  • 24 zeigt die Konfiguration um den Fahrer- und Beifahrersitz eines Automobils. Lautsprecher SP11 bis SP16, angegeben durch farbige Kreise, sind an verschiedenen Positionen in dem Automobil installiert, beispielsweise um das Armaturenbrett herum vor dem Fahrer- und Beifahrersitz, in der Fahrzeugtür und in der Decke des Automobils.
  • Das Automobil ist außerdem mit Lautsprechern SP21L und SP21R über der Rückenlehne des Fahrersitzes und Lautsprecher SP22L und Lautsprecher SP22R über der Rückenlehne des Beifahrersitzes versehen, wie durch die schraffierten Kreise angegeben.
  • Lautsprecher sind in gleicher Weise an verschiedenen Positionen im hinteren Teil des Innenraums des Automobils bereitgestellt.
  • Ein an jedem Sitz installierter Lautsprecher wird zum Ausgeben der Töne einer virtuellen Tonquelle als Ausgabevorrichtung für den auf dem Sitz sitzenden Benutzer verwendet. Beispielsweise werden die Lautsprecher SP21L und SP21R verwendet, um Töne auszugeben, die von dem Benutzer U zu hören sind, der auf dem Fahrersitz sitzt, wie durch den Pfeil #51 in 25 angegeben. Der Pfeil #51 gibt an, dass die von den Lautsprechern SP21L und SP21R ausgegeben Töne der virtuellen Tonquelle zu dem Benutzer U ausgegeben werden, der auf dem Fahrersitz sitzt. Der den Benutzer U umgebende Kreis stellt eine HRTF-Schicht dar. Es wird nur eine HRTF-Schicht gezeigt, jedoch können mehrere HRTF-Schichten um den Benutzer herum angeordnet sein.
  • Gleichermaßen werden die Lautsprecher SP22L und SP22R dazu verwendet, Töne auszugeben, die von dem Benutzer zu hören sind, der auf dem Beifahrersitz sitzt.
  • Das Hybrid-Akustiksystem kann implementiert werden, indem an jedem Sitz installierte Lautsprecher für von einer virtuellen Tonquelle ausgegebene Töne verwendet werden und die anderen Lautsprecher für von einer echten Tonquelle ausgegebene Töne verwendet werden.
  • Bei der für von der virtuellen Tonquelle ausgegebene Töne verwendeten Ausgabevorrichtung kann es sich nicht nur um die von jedem Benutzer getragene Ausgabevorrichtung handeln, sondern auch um Ausgabevorrichtungen, die um den Benutzer herum installiert sind.
  • Auf diese Weise können Töne durch das Hybrid-Akustiksystem in verschiedenen Hörräumen, wie etwa einem Raum in einem Automobil oder einem Raum in einem Haus, sowie in einem Kino gehört werden.
  • <Weitere Beispiele>
  • 26 ist eine Ansicht eines beispielhaften Bildschirms.
  • Wie in 26 bei A gezeigt, kann ein akustisch durchlässiger Bildschirm, der es ermöglicht, echte Lautsprecher auf der Rückseite zu installieren, als Bildschirm S in einem Kino installiert sein, oder es kann eine Direktsichtanzeige, die keine Töne durchlässt, installiert sein, wie in 26 bei B gezeigt.
  • Wenn eine Anzeige, die keine Töne durchlässt, als Bildschirm S installiert ist, werden die Ohrhörer 2 verwendet, um Töne von einer Tonquelle wie der Stimme einer Person, die an einer Position auf dem Bildschirm S vorhanden ist, auszugeben.
  • Die Ausgabevorrichtung, wie zum Beispiel die Ohrhörer 2, die zum Ausgeben der Töne der virtuellen Tonquelle verwendet wird, kann eine Kopfverfolgungsfunktion aufweisen, die die Richtung des Gesichts des Benutzers detektiert. In diesem Fall wird die Klangbildlokalisierungsverarbeitung so durchgeführt, dass sich die Position des Klangbilds selbst dann nicht ändert, wenn sich die Richtung des Gesichts des Benutzers ändert.
  • Eine für jeden Zuhörer optimierte HRTF-Schicht und eine allgemeine HRTF-Schicht (eine Standard-HRTF-Schicht) können als HRTF-Schichten bereitgestellt sein. Die HRTF-Optimierung wird ausgeführt, indem mit einer Kamera ein Foto der Ohren des Zuhörers aufgenommen wird und die Standard-HRTF auf Grundlage des Ergebnisses einer Analyse des aufgenommenen Bildes angepasst wird.
  • Wenn eine HRTF-Optimierung durchgeführt wird, können nur HRTFs in einer gegebenen Richtung, wie etwa vorwärts, optimiert werden. Dadurch kann der für die Verarbeitung mit HRTFs benötigte Speicher reduziert werden.
  • Der hintere Nachhall der HRTF kann mit dem Nachhall des Kinos abgeglichen werden, um die Töne zu akklimatisieren. Als hinterer Nachhall der HRTF, Nachhall mit dem Publikum in dem Kino und Nachhall ohne das Publikum in dem Kino.
  • Das oben erwähnte Merkmal kann auf Produktionsstätten für verschiedene Inhalte wie Filme, Musik und Spiele angewendet werden.
  • • Beispielhafte Computerkonfiguration
  • Die oben beschriebene Reihe von Verarbeitungsschritten kann durch Hardware oder Software ausgeführt werden. Wenn die Reihe von Verarbeitungsschritten durch Software ausgeführt wird, wird ein Programm, das die Software bildet, von einem Programmaufzeichnungsmedium auf einem Computer, der in dedizierte Hardware eingebaut ist, oder auf einem Allzweck-Personal-Computer installiert. Die oben erwähnte Reihe von Prozessen kann durch Hardware oder Software ausgeführt werden.
  • 27 ist ein Blockdiagramm einer beispielhaften Konfiguration von Computerhardware, die die oben beschriebene Reihe von Verarbeitungsschritten unter Verwendung eines Programms ausführt.
  • Die Akustikverarbeitungsvorrichtung 1 wird durch den Computer mit der in 27 gezeigten Konfiguration implementiert. Die Funktionsteile der Akustikverarbeitungsvorrichtung 1 können durch mehrere Computer umgesetzt werden. Beispielsweise können der Funktionsteil, der die Tonausgabe an echte Lautsprecher steuert, und der Funktionsteil, der die Tonausgabe an die Ohrhörer 2 steuert, auf unterschiedlichen Computern umgesetzt werden.
  • Eine CPU (zentrale Verarbeitungseinheit) 301, ein Nur-Lese-Speicher (ROM) 302 und ein Direktzugriffsspeicher (RAM) 303 sind durch einen Bus 304 miteinander verbunden.
  • Eine Eingabe/Ausgabe-Schnittstelle 305 ist ferner mit dem Bus 304 verbunden. Eine Eingabeeinheit 306, die eine Tastatur und eine Maus umfasst, und eine Ausgabeeinheit 307, die eine Anzeige und einen Lautsprecher umfasst, sind mit der Eingabe/Ausgabe-Schnittstelle 305 verbunden. Darüber hinaus sind eine Speicherungseinheit 308, die eine Festplatte oder einen nichtflüchtigen Speicher umfasst, eine Kommunikationseinheit 309, die eine Netzwerkschnittstelle umfasst, ein Laufwerk 310, das einen Wechseldatenträger 311 antreibt, mit der Eingabe/Ausgabe-Schnittstelle 305 verbunden.
  • In dem Computer mit der oben beschriebenen Konfiguration lädt beispielsweise die CPU 301 ein in der Speicherungseinheit 308 gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 305 und den Bus 304 in den RAM 303 und führt das Programm aus, um die oben beschriebene Reihe von Verarbeitungsschritten durchzuführen.
  • Das durch die CPU 301 ausgeführte Programm ist beispielsweise auf einem Wechseldatenträger 311 aufgezeichnet oder wird über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein lokales Netzwerk, das Internet oder digitales Broadcasting zur Installation in der Speicherungseinheit 308 bereitgestellt.
  • Das durch den Computer ausgeführte Programm kann ein Programm sein, das mehrere Verarbeitungsschritte in zeitlicher Abfolge in der in der vorliegenden Beschreibung beschriebenen Reihenfolge durchführt, oder kann ein Programm sein, das mehrere Verarbeitungsschritte parallel oder zu erforderlichen Zeitpunkten durchführt, wie etwa wenn ein Aufruf erfolgt.
  • In der vorliegenden Beschreibung ist ein System eine Sammlung mehrerer Bestandteile (Vorrichtungen, Module (Komponenten), oder dergleichen), und alle Bestandteile können sich in demselben Gehäuse befinden oder nicht. Dementsprechend handelt es sich sowohl bei mehreren Vorrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk verbunden sind, als auch bei einer einzelnen Vorrichtung, in der mehrere Module in einem Gehäuse untergebracht sind, um Systeme.
  • Die in der vorliegenden Beschreibung beschriebenen Effekte sind lediglich Beispiele und sollen nicht einschränkend sein, und andere Effekte können erhalten werden.
  • Die Ausführungsformen des vorliegenden Merkmals sind nicht auf die zuvor genannten Ausführungsformen beschränkt, und es können verschiedene Änderungen vorgenommen werden, ohne von der Grundidee des vorliegenden Merkmals abzuweichen.
  • Beispielsweise kann die vorliegende Technik als Cloud-Computing konfiguriert sein, wobei sich mehrere Vorrichtungen eine Funktion über ein Netzwerk teilen und sie kooperativ verarbeiten.
  • Darüber hinaus kann jeder in dem obigen Flussdiagramm beschriebene Schritt durch eine Vorrichtung ausgeführt werden oder durch mehrere Vorrichtungen gemeinsam ausgeführt werden.
  • Ferner können in einem Fall, in dem ein Schritt mehrere Prozesse umfasst, die mehreren in dem einen Schritt enthaltenen Prozesse durch eine Vorrichtung ausgeführt werden oder durch mehrere Vorrichtungen gemeinsam ausgeführt werden.
  • • Kombinationsbeispiele von Komponenten
  • Das vorliegende Merkmal kann wie folgt konfiguriert sein.
    • (1) Eine Informationsverarbeitungsvorrichtung, aufweisend eine Ausgabesteuereinheit, die dazu ausgelegt ist, zu bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden, und eine Ausgabevorrichtung für jeden Zuhörer Töne einer virtuellen Tonquelle ausgibt, die sich von der vorgegebenen Tonquelle unterscheidet, wobei die Töne der virtuellen Tonquelle durch eine Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
    • (2) Die Informationsverarbeitungsvorrichtung nach (1), wobei die Ausgabesteuereinheit bewirkt, dass Kopfhörer als von jedem Zuhörer getragene Ausgabevorrichtung die Töne der virtuellen Tonquelle ausgeben, wobei die Kopfhörer Außengeräusche erfassen können.
    • (3) Die Informationsverarbeitungsvorrichtung nach (2), wobei der Inhalt Videobilddaten und Tondaten aufweist, und die Ausgabesteuereinheit bewirkt, dass die Kopfhörer die Töne der virtuellen Tonquelle mit einer Tonquellenposition innerhalb eines vorgegebenen Bereichs von der Position einer in dem Videobild enthaltenen Figur ausgeben.
    • (4) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher kanalbasierte Töne ausgibt und die Kopfhörer objektbasierte Töne der virtuellen Tonquelle ausgeben.
    • (5) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher Töne eines statischen Objekts ausgibt und die Kopfhörer Töne der virtuellen Tonquelle eines dynamischen Objekts ausgeben.
    • (6) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher allgemeine Töne ausgibt, die von mehreren der Zuhörer zu hören sind, und die Kopfhörer Töne ausgeben, die von jedem der Zuhörer zu hören sind, während die Richtung einer Tonquelle in Abhängigkeit von der Position des Zuhörers geändert wird.
    • (7) Informationsverarbeitungsvorrichtung nach (2), wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher Töne mit einer Tonquellenposition auf einer Höhe gleich der Höhe des Lautsprechers ausgibt, und die Kopfhörer Töne der virtuellen Tonquelle mit einer Tonquellenposition auf einer Höhe, die sich von der Höhe des Lautsprechers unterscheidet, ausgeben.
    • (8) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Ausgabesteuereinheit bewirkt, dass die Kopfhörer Töne der virtuellen Tonquelle mit einer von dem Lautsprecher entfernten Tonquellenposition ausgeben.
    • (9) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (8), wobei mehrere der virtuellen Tonquellen so angeordnet sind, dass die virtuellen Tonquellen in mehreren Schichten im gleichen Abstand von einer Bezugsposition als Mittelpunkt liegen, wobei die Informationsverarbeitungsvorrichtung ferner eine Speicherungseinheit aufweist, die Informationen über die Übertragungsfunktion speichert, die der Bezugsposition in jeder der virtuellen Tonquellen entspricht.
    • (10) Die Informationsverarbeitungsvorrichtung nach (9), wobei die Schichten der virtuellen Tonquellen durch Anordnen der mehreren virtuellen Tonquellen in einer Vollkugelform bereitgestellt werden.
    • (11) Die Informationsverarbeitungsvorrichtung nach (9) oder (10), wobei die virtuellen Tonquellen in derselben Schicht gleichmäßig beabstandet sind.
    • (12) Die Informationsverarbeitungsvorrichtung nach einem von (9) bis (11), wobei die mehreren Schichten der virtuellen Tonquellen eine Schicht der virtuellen Tonquellen aufweisen, bei denen jeweils die Übertragungsfunktion für jeden der Zuhörer angepasst ist.
    • (13) Die Informationsverarbeitungsvorrichtung nach einem von (9) bis (12), die ferner eine Klangbildlokalisierungsverarbeitungseinheit aufweist, die die Übertragungsfunktion auf ein Audiosignal als Verarbeitungsziel anwendet und Töne der virtuellen Tonquelle erzeugt.
    • (14) Die Informationsverarbeitungsvorrichtung nach (13), wobei die Klangbildlokalisierungsverarbeitungseinheit von der Ausgabevorrichtung auszugebende Töne von Tönen der virtuellen Tonquelle in einer vorgegebenen Schicht zu Tönen der virtuellen Tonquelle in einer anderen Schicht umschaltet.
    • (15) Die Informationsverarbeitungsvorrichtung nach (14), wobei die Ausgabesteuereinheit bewirkt, dass die Ausgabevorrichtung die Töne der virtuellen Tonquelle in der vorgegebenen Schicht und die Töne der virtuellen Tonquelle in der anderen Schicht, erzeugt basierend auf dem Audiosignal mit angepasster Verstärkung, ausgibt.
    • (16) Ein Ausgabesteuerverfahren, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes durchführt:
      • Bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden; und
      • Bewirken, dass eine Ausgabevorrichtung für jeden Zuhörer Töne einer sich von der vorgegebenen Tonquelle unterscheidenden virtuellen Tonquelle ausgibt,
      • wobei die Töne der virtuellen Tonquelle durch Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
    • (17) Ein Programm, das bewirkt, dass ein Computer eine Verarbeitung ausführt zum:
      • Bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden; und
      • Bewirken, dass eine Ausgabevorrichtung für jeden Zuhörer Töne einer sich von der vorgegebenen Tonquelle unterscheidenden virtuellen Tonquelle ausgibt,
      • wobei die Töne der virtuellen Tonquelle durch Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
  • Bezugszeichenliste
    • 1
    Akustikverarbeitungsvorrichtung
    2
    Ohrhörer
    11
    Faltungsverarbeitungseinheit
    12
    HRTF-Datenbank
    13
    Lautsprecherauswahleinheit
    14
    Ausgabesteuereinheit
    51
    Steuereinheit
    52
    Bed-Kanal-Verarbeitungseinheit
    61, 62
    Verstärkungsanpassungseinheit
    71
    HPF
    72
    LPF
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2009260574 A [0004]

Claims (17)

  1. Informationsverarbeitungsvorrichtung, umfassend eine Ausgabesteuereinheit, die dazu ausgelegt ist, zu bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden, und eine Ausgabevorrichtung für jeden Zuhörer Töne einer virtuellen Tonquelle ausgibt, die sich von der vorgegebenen Tonquelle unterscheidet, wobei die Töne der virtuellen Tonquelle durch eine Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
  2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit bewirkt, dass Kopfhörer als von jedem Zuhörer getragene Ausgabevorrichtung die Töne der virtuellen Tonquelle ausgeben, wobei die Kopfhörer Außengeräusche erfassen können.
  3. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei der Inhalt Videobilddaten und Tondaten aufweist, und die Ausgabesteuereinheit bewirkt, dass die Kopfhörer die Töne der virtuellen Tonquelle mit einer Tonquellenposition innerhalb eines vorgegebenen Bereichs von der Position einer in dem Videobild enthaltenen Figur ausgeben.
  4. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher kanalbasierte Töne ausgibt und die Kopfhörer objektbasierte Töne der virtuellen Tonquelle ausgeben.
  5. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher Töne eines statischen Objekts ausgibt und die Kopfhörer Töne der virtuellen Tonquelle eines dynamischen Objekts ausgeben.
  6. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher allgemeine Töne ausgibt, die von mehreren der Zuhörer zu hören sind, und die Kopfhörer Töne ausgeben, die von jedem der Zuhörer zu hören sind, während die Richtung einer Tonquelle in Abhängigkeit von der Position des Zuhörers geändert wird.
  7. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabesteuereinheit bewirkt, dass der Lautsprecher Töne mit einer Tonquellenposition auf einer Höhe gleich der Höhe des Lautsprechers ausgibt, und die Kopfhörer Töne der virtuellen Tonquelle mit einer Tonquellenposition auf einer Höhe, die sich von der Höhe des Lautsprechers unterscheidet, ausgeben.
  8. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabesteuereinheit bewirkt, dass die Kopfhörer Töne der virtuellen Tonquelle mit einer von dem Lautsprecher entfernten Tonquellenposition ausgeben.
  9. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei mehrere der virtuellen Tonquellen so angeordnet sind, dass die virtuellen Tonquellen in mehreren Schichten im gleichen Abstand von einer Bezugsposition als Mittelpunkt liegen, wobei die Informationsverarbeitungsvorrichtung ferner eine Speicherungseinheit umfasst, die Informationen über die Übertragungsfunktion speichert, die der Bezugsposition in jeder der virtuellen Tonquellen entspricht.
  10. Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Schichten der virtuellen Tonquellen durch Anordnen der mehreren virtuellen Tonquellen in einer Vollkugelform bereitgestellt werden.
  11. Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die virtuellen Tonquellen in derselben Schicht gleichmäßig beabstandet sind.
  12. Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die mehreren Schichten der virtuellen Tonquellen eine Schicht der virtuellen Tonquellen aufweisen, bei denen jeweils die Übertragungsfunktion für jeden der Zuhörer angepasst ist.
  13. Informationsverarbeitungsvorrichtung nach Anspruch 9, die ferner eine Klangbildlokalisierungsverarbeitungseinheit umfasst, die die Übertragungsfunktion auf ein Audiosignal als Verarbeitungsziel anwendet und Töne der virtuellen Tonquelle erzeugt.
  14. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei die Klangbildlokalisierungsverarbeitungseinheit von der Ausgabevorrichtung auszugebende Töne von Tönen der virtuellen Tonquelle in einer vorgegebenen Schicht zu Tönen der virtuellen Tonquelle in einer anderen Schicht umschaltet.
  15. Informationsverarbeitungsvorrichtung nach Anspruch 14, wobei die Ausgabesteuereinheit bewirkt, dass die Ausgabevorrichtung die Töne der virtuellen Tonquelle in der vorgegebenen Schicht und die Töne der virtuellen Tonquelle in der anderen Schicht, erzeugt basierend auf dem Audiosignal mit angepasster Verstärkung, ausgibt.
  16. Ausgabesteuerverfahren, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes durchführt: Bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden; und Bewirken, dass eine Ausgabevorrichtung für jeden Zuhörer Töne einer sich von der vorgegebenen Tonquelle unterscheidenden virtuellen Tonquelle ausgibt, wobei die Töne der virtuellen Tonquelle durch Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
  17. Ein Programm, das bewirkt, dass ein Computer eine Verarbeitung ausführt zum: Bewirken, dass ein in einem Hörraum bereitgestellter Lautsprecher Töne einer vorgegebenen Tonquelle ausgibt, die ein Audio eines Inhalts bilden; und Bewirken, dass eine Ausgabevorrichtung für jeden Zuhörer Töne einer sich von der vorgegebenen Tonquelle unterscheidenden virtuellen Tonquelle ausgibt, wobei die Töne der virtuellen Tonquelle durch Verarbeitung unter Verwendung einer Übertragungsfunktion, die einer Tonquellenposition entspricht, erzeugt werden.
DE112021003592.4T 2020-07-02 2021-06-18 Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm Pending DE112021003592T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-115136 2020-07-02
JP2020115136 2020-07-02
PCT/JP2021/023152 WO2022004421A1 (ja) 2020-07-02 2021-06-18 情報処理装置、出力制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
DE112021003592T5 true DE112021003592T5 (de) 2023-04-13

Family

ID=79316104

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021003592.4T Pending DE112021003592T5 (de) 2020-07-02 2021-06-18 Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm

Country Status (5)

Country Link
US (1) US20230247384A1 (de)
JP (1) JPWO2022004421A1 (de)
CN (1) CN115777203A (de)
DE (1) DE112021003592T5 (de)
WO (1) WO2022004421A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004130A1 (ja) * 2022-06-30 2024-01-04 日本電信電話株式会社 利用者装置、共通装置、それらによる方法、およびプログラム
CN116744216B (zh) * 2023-08-16 2023-11-03 苏州灵境影音技术有限公司 基于双耳效应的汽车空间虚拟环绕声音频系统及设计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260574A (ja) 2008-04-15 2009-11-05 Sony Ericsson Mobilecommunications Japan Inc 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806658B1 (de) * 2013-05-24 2017-09-27 Barco N.V. Vorrichtung und Verfahren zur Wiedergabe von Audiodaten einer akustischen Szene
EP3657822A1 (de) * 2015-10-09 2020-05-27 Sony Corporation Tonausgabevorrichtung und tonerzeugungsverfahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260574A (ja) 2008-04-15 2009-11-05 Sony Ericsson Mobilecommunications Japan Inc 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末

Also Published As

Publication number Publication date
US20230247384A1 (en) 2023-08-03
WO2022004421A1 (ja) 2022-01-06
JPWO2022004421A1 (de) 2022-01-06
CN115777203A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
DE60304358T2 (de) Verfahren zur verarbeitung von audiodateien und erfassungsvorrichtung zur anwendung davon
EP3149969B1 (de) Ermittlung und nutzung hörraumoptimierter übertragungsfunktionen
DE69726262T2 (de) Tonaufnahme- und -wiedergabesysteme
DE69734934T2 (de) Verfahren und vorrichtung zur projektion von schallquellen auf lautsprechern
EP1652405B1 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
DE69434887T2 (de) Audiowiedergabeeinrichtung
DE60125664T2 (de) Vorrichtung und Verfahren zur Verarbeitung von Klangsignalen
CN106797525A (zh) 用于生成和回放音频信号的方法和设备
DE102006017791A1 (de) Wiedergabegerät und Wiedergabeverfahren
DE102016101316B4 (de) Informationsverarbeitungsverfahren und elektronisches Gerät
DE102014221301A1 (de) Modifizieren eines Audiopanoramas zur Anzeige des Vorliegens von Gefahr oder anderer interessierender Ereignisse
DE112021003592T5 (de) Informationsverarbeitungsvorrichtung, Ausgabesteuerverfahren und Programm
CN109195063B (zh) 一种立体声发生系统及方法
DE102016103331A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug
US20220394418A1 (en) Spatial repositioning of multiple audio streams
DE102019107302A1 (de) Verfahren zum Erzeugen und Wiedergeben einer binauralen Aufnahme
DE19911507A1 (de) Verfahren zur Verbesserung dreidimensionaler Klangwiedergabe
DE112019003189T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
DE102011003450A1 (de) Erzeugung von benutzerangepassten Signalverarbeitungsparametern
DE112019006727T5 (de) Audiosystem, audiowiedergabeeinrichtung, servereinrichtung, audiowiedergabeverfahren und audiowiedergabeprogramm
DE102022205633A1 (de) Räumliche audiosteuerung
DE102018211133A1 (de) Audioeinrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Audioeinrichtung für ein Fahrzeug
DE112021004727T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsendgerät, informationsverarbeitungsverfahren und programm
DE112021004887T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
DE3512155A1 (de) Elektroakustische anordnung fuer richtungsorientiertes, raeumliches hoeren