DE112019004193T5

DE112019004193T5 - Audiowiedergabevorrichtung, audiowiedergabeverfahren und audiowiedergabeprogramm

Info

Publication number: DE112019004193T5
Application number: DE112019004193.2T
Authority: DE
Inventors: Tetsu Magariyachi; Kazunobu Ookuri
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-08-21
Filing date: 2019-06-25
Publication date: 2021-07-15
Also published as: WO2020039734A1; CN112567769B; CN112567769A

Abstract

Eine Audiowiedergabevorrichtung weist einen ersten Dekodierer, der ein erstes Signal, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert, einen zweiten Dekodierer, der ein zweites Signal, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer Raumkoordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert, und einen Addierer auf, der das Audiosignal der Vielzahl von Kanälen, das durch den ersten Dekodierer dekodiert wurde, und das Audiosignal der Vielzahl von Kanälen, das durch den zweiten Dekodierer dekodiert wurde, addiert.

Description

TECHNISCHES SACHGEBIET
Die vorliegende Offenbarung bezieht sich auf eine Audiowiedergabevorrichtung, ein Audiowiedergabeverfahren und ein Audiowiedergabeprogramm.
STAND DER TECHNIK
Üblicherweise ist in einer Audiowiedergabevorrichtung ein Modus bekannt, in dem ein Audiosignal in einem Stereomodus (Zweikanal) und auch in einem Mehrkanalmodus mit einer erhöhten Anzahl von Lautsprechern wiedergegeben wird. Bei der Wiedergabe von Audiosignalen unter Verwendung eines solchen Mehrkanalverfahrens kann das Schallfeld zum Zeitpunkt der Schallerfassung dreidimensional wiedergegeben werden, und dem Hörer kann ein Schallfeld mit einem realistischen Gefühl bereitgestellt werden.
Hinsichtlich der Audiowiedergabe mit einem solchen Mehrkanalverfahren offenbart das Patentdokument 1 ein Verfahren zur Kodierung eines Audiosignals unter Verwendung von Ambisonics höherer Ordnung (engl. „Higher Order Ambisonics“, HOA).
ZITIERLISTE
PATENTDOKUMENT
Patentdokument 1: Japanische offengelegte Patentanmeldung Nr. 2012-133366
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In einem solchen Bereich ist es erwünscht, dass die Klangqualität der Audiowiedergabe verbessert wird.
Eines der Ziele der vorliegenden Offenbarung besteht darin, eine Audiowiedergabevorrichtung, ein Audiowiedergabeverfahren und ein Audiowiedergabeprogramm bereitzustellen, die die Klangqualität von wiedergegebenem Audio verbessern.
PROBLEMLÖSUNGEN
Bei der vorliegenden Offenbarung handelt es sich um eine Audiowiedergabevorrichtung, aufweisend, zum Beispiel,
einen ersten Dekodierer, der ein erstes Signal, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert,
einen zweiten Dekodierer, der ein zweites Signal, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert, und
einen Addierer, der das vom ersten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen und das vom zweiten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen addiert.
Bei der vorliegenden Offenbarung handelt es sich um ein Audiowiedergabeverfahren, aufweisend, zum Beispiel,

Dekodieren eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen, Dekodieren eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen, und
Addieren des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des ersten Dekodierers dekodiert wurden, und des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des zweiten Dekodierers dekodiert wurden.

Bei der vorliegenden Offenbarung handelt es sich um ein Audiowiedergabeprogramm, das eine Informationsverarbeitungsvorrichtung zum Ausführen folgender Vorgänge veranlasst, zum Beispiel,
erste Dekodierverarbeitung des Dekodierens eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen,
zweite Dekodierverarbeitung des Dekodierens eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen, und
Additionsverarbeitung des Addierens des Audiosignals der Vielzahl von Kanälen, das vom ersten Dekodierer dekodiert wurde, und des Audiosignals der Vielzahl von Kanälen, das vom zweiten Dekodierer dekodiert wurde.
WIRKUNGEN DER ERFINDUNG
Gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung ist es möglich, die Klangqualität der Audiowiedergabe zu verbessern. Die hier beschriebenen Wirkungen sind nicht notwendigerweise beschränkt und es kann sich dabei um jegliche in der vorliegenden Offenbarung beschriebenen Wirkungen handeln. Darüber hinaus schränken die illustrativ dargestellten Wirkungen die Interpretation des Umfangs der vorliegenden Offenbarung nicht ein.
Figurenliste

1 ist ein Diagramm, das eine Auslegung eines Audiosystems als ein Vergleichsbeispiel zeigt.
2 ist ein Diagramm zur Beschreibung einer Übersicht eines Audiosystems gemäß einer ersten Ausführungsform.
3 ist ein Diagramm, das die Frequenzkennlinie des Audiosystems gemäß der ersten Ausführungsform zeigt.
4 ist ein Diagramm, das eine Auslegung des Audiosystems gemäß der ersten Ausführungsform zeigt.
5 ist eine Ansicht, die ein Aufzeichnungsformat eines Aufzeichnungssignals zeigt, das im Audiosystem gemäß der ersten Ausführungsform verwendet wird.
6 ist ein Diagramm, das eine Auslegung eines Audiosystems gemäß einer zweiten Ausführungsform zeigt.
7 ist ein Diagramm, das eine Auslegung eines Audiosystems gemäß einer dritten Ausführungsform zeigt.
8 ist ein Diagramm, das eine Auslegung eines Audiosystems gemäß einer vierten Ausführungsform zeigt.
9 ist ein Diagramm, das eine Auslegung eines Audiosystems gemäß einer fünften Ausführungsform zeigt.
10 ist ein Diagramm, das die Frequenzkennlinie des Audiosystems gemäß der fünften Ausführungsform zeigt.
11 ist ein Diagramm, das eine Auslegung eines Audiosystems gemäß einer sechsten Ausführungsform zeigt.
12 ist eine Ansicht, die ein Aufzeichnungsformat eines im Audiosystem verwendeten Aufzeichnungssignals als eine Variation zeigt.

MODUS ZUR AUSFÜHRUNG DER ERFINDUNG
Ausführungsformen und dergleichen der vorliegenden Offenbarung werden im Folgenden mit Bezug auf die Zeichnungen beschrieben. Es ist zu beachten, dass für die Beschreibung die folgende Reihenfolge gilt.

<1. Ambisonics höherer Ordnung (Über HOA)>
<2. Erste Ausführungsform>
<3. Zweite Ausführungsform>
<4. Dritte Ausführungsform>
<5. Vierte Ausführungsform>
<6. Fünfte Ausführungsform>
<7. Sechste Ausführungsform>
<8. Variation>

Die im Folgenden beschriebenen Ausführungsformen und dergleichen sind bevorzugte Ausführungsformen der vorliegenden Offenbarung, und der Inhalt der vorliegenden Offenbarung ist nicht auf diese Ausführungsformen beschränkt.
<Ambisonics höherer Ordnung (Über HOA) >
In den letzten Jahren wurden im Bereich Audio die Entwicklung und Popularisierung von dreidimensionalem Klang, bei dem räumliche Informationen aus dem gesamten Umfang aufgenommen, übertragen und wiedergegeben werden, vorangetrieben. Die Fortschritte auf dem Gebiet der Übertragung in Bezug auf solchen dreidimensionalen Klang sind bemerkenswert, zum Beispiel der Plan für dreidimensionale Mehrkanaltonübertragung mit 22.2 Kanälen. Darüber hinaus wird auch im Bereich der virtuellen Realität die Wiedergabe eines Signals eines vollständig sphärischen Surround-Sounds zusätzlich zu einem vollständig sphärischen Surround-Bild möglich.
In diesem Umfeld hat ein Ausdrucksverfahren für dreidimensionale Audioinformationen, das sich flexibel einem beliebigen Aufzeichnungs- und Wiedergabesystem anpassen kann, mit dem Namen Ambisonics, Aufmerksamkeit erregt. Insbesondere werden Ambisonics mit einer Ordnung von zwei oder höher als Ambisonics höherer Ordnung (HOA) bezeichnet. Beim dreidimensionalen Mehrkanalton breiten sich die Schallinformationen zusätzlich zur Zeitachse auch auf der Raumachse aus. Bei Ambisonics werden Informationen durch das Ausführen von räumlicher Frequenzumwandlung (Transformation in Kugelfunktionen) in Bezug auf die Winkelrichtungen der dreidimensionalen Polarkoordinaten bewahrt. Dies kann als eine Entsprechung zur Zeit-Frequenz-Wandlung des Audiosignals in Bezug auf die Zeitachse angesehen werden. Der Vorteil dieses Verfahrens liegt in der Fähigkeit, Informationen von einer beliebigen Mikrofonanordnung zu einer beliebigen Lautsprecheranordnung zu kodieren und zu dekodieren, ohne die Anzahl von Mikrofonen und Lautsprechern zu begrenzen.
Andererseits weist die Aufzeichnung und die Wiedergabe in HOA folgende Probleme auf.

• Wenn ein Eingangssignal von einem kugelförmigen oder ringförmigen Mikrofonsatz (auch Mikrofonanordnung genannt) mit HOA kodiert wird, kommt es bei hohen Frequenzen, abhängig von der Anzahl und dem Abstand der Mikrofone und dem Radius der Anordnung, zu räumlichem Aliasing, und es ist unmöglich, das Schallfeld bei einer gewissen Frequenz oder höher korrekt aufzunehmen und wiederzugeben.
• Wenn ein Mikrofonsatz unter Verwendung eines realen Mikrofons aufgebaut ist, liegt diese Frequenz, die sich aus der realen Größe und der Anzahl der Mikrofone errechnet, innerhalb eines hörbaren Bandes, und daher tritt eine Verschlechterung der Klangqualität innerhalb eines wahrnehmbaren Frequenzbandes bei der Aufzeichnung und Wiedergabe durch die eHOA auf.

Im Folgenden werden zunächst die Details der HOA beschrieben. Die bei den HOA verwendete Kodierung lässt sich grob in zwei Arten einteilen. Die eine Art ist aufzeichnungsbasiert und die andere ist objektbasiert. Da die vorliegende Ausführungsform auf erstere Art abzielt, d. h. auf die aufzeichnungsbasierte, wird die aufzeichnungsbasierte Art beschrieben.
(Umwandlung von Mikrofonaufnahmesignal in HOA-Signal)
Eine gewisse Zeitfrequenz ω eines von einer ringförmigen oder kugelförmigen Mikrofonanordnung aufgenommenen Tonsignals wird durch die folgenden Ausdrücke in ein HOA-Signal A_m(ω) bzw. A_n ^m(ω) umgewandelt.
[Ausdruck 1] $A_{m} (ω) = \frac{1}{J_{m} (k a)} \sum_{q = 1}^{Q} P_{q} (ω) e^{- i m ϕ_{q}}$
$A_{n}^{m} (ω) = \frac{1}{J_{n} (k a)} \sum_{q = 1}^{Q} P_{q} (ω) Y_{n}^{m} (θ_{q}, ϕ_{q})$
Ausdruck (1) ist ein Ausdruck für eine ringförmige Mikrofonanordnung und Ausdruck (2) ist ein Ausdruck für eine kugelförmige Mikrofonanordnung. Dabei stehen φ_q und θ_q für einen Azimutwinkel und einen Elevationswinkel des q-ten Mikrofons, und P_q(ω) steht für den Schalldruck des q-ten Mikrofons. In Ausdruck (1) ist J_m(ka) eine Bessel-Funktion, m ist ihre Ordnung, k ist die Wellenzahl und a ist der Radius der Mikrofonanordnung. In Ausdruck (2) wird die Bessel-Funktion in Ausdruck (1) durch eine sphärische Bessel-Funktion ersetzt, und e^-imφq wird durch eine Kugelfunktion Y_n ^m(φ_q, θ_q) ersetzt. Dabei ist die Kugelfunktion wie folgt definiert.
[Ausdruck 3] $Y_{n}^{m} (θ, ϕ) = \sqrt{\frac{2 n + 1}{4 π} \frac{(n - m)!}{(n + m)!}} P_{n}^{m} (c o s θ) e^{i m ϕ}$
P_n ^m ist eine zugeordnete Legendre-Funktion. Es gibt verschiedene andere Definitionen von Kugelfunktionen, aber jegliche Definition hat keinen Einfluss auf die Absichten der vorliegenden Offenlegung, und diese Definition wird im Folgenden verwendet.
m und n sind die Ordnungen von HOA. Da es sich um eine Transformation des Schalldrucks P handelt, der für den Azimutwinkel und den Elevationswinkel eine stetige Funktion ist, existieren die Ordnungen m und n bis ins Unendliche. Bei einer Aufzeichnung mit einer kugelförmigen Mikrofonanordnung ist es jedoch unmöglich, den Schalldruck P als kontinuierliche Funktion zu erfassen. Daher besteht, ähnlich wie beim Abtasttheorem in der Zeitfrequenz, folgender Zusammenhang zwischen den reproduzierbaren HOA-Ordnungen M und N und der Anzahl Q der Mikrofone.
[Ausdruck 4] $Q \geq 2 M + 1$
[Ausdruck 5] $Q \geq {(N + 1)}^{2}$
Ausdruck (4) gilt für den Fall einer ringförmigen Mikrofonanordnung, und Ausdruck (5) gilt für den Fall einer kugelförmigen Mikrofonanordnung.
(Umwandlung von HOA-Signal in Audiosignal)
Bei der Umwandlung eines HOA-Signals in ein Audiosignal, bei einer gewissen Zeitfrequenz ω, gilt
[Ausdruck 6] $D_{i,2 D} (ω) = \frac{1}{2 π R} \sum_{m = - N}^{N} \frac{A_{m} (ω)}{G_{m} (R, ω)} e^{i m β_{i}}$
für einen Fall mit zwei Dimensionen. Außerdem gilt
[Ausdruck 7] $D_{i,3 D} (ω) = \frac{1}{2 π R^{2}} \sum_{n = 0}^{N} \sum_{m = - n}^{n} \sqrt{\frac{2 n + 1}{4 π}} \frac{A_{n}^{m} (ω)}{G_{n}^{0} (R, ω)} Y_{n}^{m} (α_{i}, β_{i})$
für einen Fall mit drei Dimensionen.
Dabei ist R der Radius der Lautsprecheranordnung, α_i und β_i sind der Elevationswinkel und der Azimutwinkel des i-ten Lautsprechers, und G_m(R, ω) und G_n ⁰(R, ω) sind die HOA-Koeffizienten der unten dargestellten Übertragungsfunktion.
[Ausdruck 8] $G_{m} (R, ω) = - \frac{i}{4} H_{m}^{(2)} (k R)$
[Ausdruck 9] $G_{m}^{0} (R, ω) = - i k h_{m}^{(2)} (k R) Y_{n}^{0} (0,0)$
Dabei ist H_m ⁽²⁾ (kR) eine Hankel-Funktion der zweiten Art und h_n ⁽²⁾(kR) eine sphärische Hankel-Funktion der zweiten Art. Es ist zu beachten, dass die Umwandlungsgleichung, die für die Umwandlung zwischen dem HOA-Signal und dem Audiosignal verwendet wird, je nach Form der Mikrofonanordnung, der Form der Lautsprecheranordnung, der Richtcharakteristik und dergleichen unterschiedlich ist. Die nachfolgende Beschreibung der HOA-Kodierung und der HOA-Dekodierung soll diese verschiedenen Verfahren aufweisen und sich nicht auf eine beliebige davon beschränken.
(Räumliches Aliasing)
Wie bereits beschrieben, wird bei der Aufzeichnung mit einem Mikrofonsatz die Ordnung durch die Begrenzung der Anzahl der Mikrofone endlich. Daher tritt räumliches Aliasing auf, wenn ein Signal einer höheren Ordnung als diese gemischt wird. Wenn ein Signal mit räumlichem Aliasing mit der HOA kodiert oder dekodiert wird, wird ein Signal eines Raums wiedergegeben, der sich vom Aufzeichnungsraum unterscheidet. Die Auswirkung dieses Aliasings ist abhängig von der Zeitfrequenz und dem Radius des Mikrofons. Je tiefer die Zeitfrequenz wird und je kleiner der Mikrofonradius wird, desto kleiner wird ein HOA-Signal der höheren Ordnung. Das heißt, je kleiner der Mikrofonradius bei gleicher Zeitfrequenz wird, desto kleiner wird ein HOA-Signal höherer Ordnung, und desto kleiner wird der Effekt des Aliasings. Darüber hinaus wird die Auswirkung des Aliasings bei gleichem Mikrofonradius umso geringer, je niedriger die Zeitfrequenz ist.
In den verschiedenen nachfolgend beschriebenen Ausführungsformen besteht ein Ziel darin, Audiowiedergabe mit hoher Klangqualität durchzuführen, indem der Effekt des räumlichen Aliasings unterdrückt wird, der insbesondere bei hohen Frequenzen in Abhängigkeit von der Anzahl und dem Abstand der Mikrofone und dem Radius der Anordnung auftritt.
1 ist ein Diagramm, das eine Auslegung eines Audiosystems 1 als ein Vergleichsbeispiel zeigt. Dieses Vergleichsbeispiel ist eine herkömmliche Form, die nur die HOA verwendet, und ist dafür ausgelegt, mit einem HOA-Kodierer 22 und einen HOA-Dekodierer 31 ausgestattet zu sein. Der HOA-Kodierer 22 empfängt Audiosignale, die von einer Vielzahl von Mikrofonen aufgenommen werden, die in einem Mikrofonsatz 41 bereitgestellt sind. Hierbei ist der Mikrofonsatz 41 dafür ausgelegt ist, über eine Vielzahl von Mikrofonen zu verfügen, die in einer geeigneten Anordnung, wie etwa ringförmig, kugelförmig oder linienförmig, bereitgestellt sind. Der HOA-Kodierer 22 wandelt eine Vielzahl von Audiosignalen, die vom Mikrofonsatz 41 aufgenommen wurden, durch Ausführen von HOA-Kodierung in HOA-Signale in einem Raumfrequenzausdruck um.
Der HOA-Dekodierer 31 kann das empfangene HOA-Signal über einen beliebigen Lautsprechersatz 42 wiedergeben. Dabei weist der zu verwendende Lautsprechersatz 42 eine Vielzahl von Lautsprechern auf, die in einer geeigneten Anordnung wie etwa ringförmig, kugelförmig und linienförmig bereitgestellt sind. Außerdem muss die Anordnung des Lautsprechersatzes 42 nicht von der Mikrofonanordnung des zur Aufzeichnung verwendeten Mikrofonsatzes 41 abhängen. Dies liegt daran, dass das HOA-Signal in der Raumfrequenz ausgedrückt wird und das aufgenommene Schallfeld durch die Einstellung der Anordnung der Lautsprecher des Lautsprechersatzes 42 in Bezug auf den HOA-Dekodierer 31 wiedergegeben werden kann.
Bei dem in 1 gezeigten Audiosystem 1 besteht das Problem, dass aufgrund der physischen Begrenzung des Mikrofons im Mikrofonsatz 41 die Informationen des Schalls im Raum insbesondere im Hochfrequenzbereich nicht korrekt in einem HOA-Signal ausgedrückt werden können und eine Verschlechterung der Klangqualität auftritt. Außerdem besteht dieses Problem nicht nur bei den HOA, sondern auch bei einem Aufzeichnungssystem unter Verwendung eines Mehrfachmikrofons.
<Erste Ausführungsform>
2 ist ein Diagramm zur Beschreibung einer Übersicht des Audiosystems 1 gemäß der ersten Ausführungsform. Das Audiosystem 1 gemäß der ersten Ausführungsform ist dafür ausgelegt ist, einen Tiefpassfilter (LPF) 21, den HOA-Kodierer 22, den HOA-Dekodierer 31, einen Hochpassfilter (HPF) 23, einen Multiplizierer 33 und einen Addierer 34 aufzuweisen. Darüber hinaus verwendet das Audiosystem 1 eine Vielzahl von Mikrofonen, die im Mikrofonsatz 41 bereitgestellt sind, als Eingang und den Lautsprechersatz 42, in dem eine Vielzahl von Lautsprechern angeordnet ist, als Ausgang. Es ist zu beachten, dass in 2 das vom Mikrofonsatz 41 ausgegebene und über den LPF 21 in den HOA-Kodierer 22 eingegebene Audiosignal sowie das in den HPF 23 eingegebene Audiosignal so viele Kanäle haben wie im Mikrofonsatz 41 Mikrofone bereitgestellt sind. Dann hat das vom HOA-Dekodierer 31 ausgegebene und über den Addierer 34 an den Lautsprechersatz 42 ausgegebene Audiosignal so viele Kanäle wie im Lautsprechersatz 42 Lautsprecher angeordnet sind. In dem in 2 gezeigten Blockdiagramm ist daher eine Vielzahl von Kanälen der Einfachheit halber durch eine einzige Linie dargestellt.
In den HOA-Kodierer 22 wird eine Vielzahl von Audiosignalen eingegeben, die von der Vielzahl von Mikrofonen des Mikrofonsatzes 41 aufgenommen wurden. In der vorliegenden Ausführungsform werden für eine Vielzahl von Tonsignalen, die vom Mikrofonsatz 41 eingegeben werden, die Hochfrequenzanteile über den LPF 21 entfernt, um sich auf das Frequenzband zu beschränken, in dem die Tonsignale durch das HOA-Signal korrekt ausgedrückt werden können. Der HOA-Kodierer 22 wandelt eine Vielzahl von Audiosignalen, aus denen Hochfrequenzanteile durch den LPF 21 entfernt wurden, in HOA-Signale um, die in Raumfrequenzen ausgedrückt werden.
Der HOA-Dekodierer 31 dekodiert das vom HOA-Kodierer 22 ausgegebene HOA-Signal und gibt das dekodierte HOA-Signal über einen beliebigen Lautsprechersatz 42 wieder. Zu diesem Zeitpunkt wird unter der Vielzahl von Audiosignalen, die in den Mikrofonsatz 41 eingegeben werden, ein Hochfrequenzband, das nicht durch den HOA-Kodierer 22 ausgedrückt werden kann, über den HPF 23 auf nur eine Hochfrequenzkomponente begrenzt, einer Verstärkungsanpassung durch den Multiplizierer 33 unterzogen und dann durch den Addierer 34 zum Audiosignal nach der HOA-Dekodierung addiert und an den Lautsprechersatz 42 ausgegeben.
3 ist ein Diagramm, das die Frequenzkennlinie des Audiosystems 1 gemäß der ersten Ausführungsform zeigt. Bei den in 3 dargestellten Frequenzkennlinien gibt die durch die durchgezogene Linie dargestellte Tiefpasskennlinie die Kennlinie des LPF 21 an. Ferner gibt die Hochpasskennlinie, die durch die gestrichelte Linie dargestellt wird, die Kennlinie des HPF 23 an. Durch die Addition der Tiefpasskennlinie des LPF 21 und der Hochpasskennlinie des HPF 23 werden flache Frequenzverläufe über Frequenzen von der tiefen bis zur hohen Frequenz gebildet. Diese Kennlinien sind nur ein Beispiel, und je nach Auslegungsverfahren sind verschiedene Kennlinien möglich.
(Auslegung des Audiowiedergabesystems)
4 ist ein Diagramm, das eine Auslegung des Audiosystems 1 gemäß der ersten Ausführungsform zeigt. In 2 wurde eine Übersicht des Audiosystems 1 beschrieben. In der Realität ist das Audiosystem 1 dafür ausgelegt, in eine Aufzeichnungsvorrichtung 2, die auf der Aufzeichnungsseite bereitgestellt ist, und eine Wiedergabevorrichtung 3, die auf der Wiedergabeseite bereitgestellt ist, unterteilt zu sein. Das von der Aufzeichnungsvorrichtung 2 aufgezeichnete Aufzeichnungssignal wird auf einem Aufzeichnungsmedium aufgezeichnet oder über Kommunikation übertragen. Die Wiedergabevorrichtung 3 gibt das auf dem Aufzeichnungsmedium aufgezeichnete Aufzeichnungssignal oder das über die Kommunikation übertragene Aufzeichnungssignal wieder und gibt somit das Schallfeld zum Zeitpunkt der Aufzeichnung wieder.
Es ist zu beachten, dass in der vorliegenden Ausführungsform sowohl die Eingangsseite als auch die Ausgangsseite acht Kanäle (ch) aufweisen und acht Mikrofone m1 bis m8 für den Mikrofonsatz 41 und acht Lautsprecher s1 bis s8 für den Lautsprechersatz 42 verwendet werden. Die Mikrofone m1 bis m8 und die Lautsprecher s1 bis s8 sind so angeordnet, dass die Indexnummern der beiden einander entsprechen. Es ist zu beachten, dass in 4 die Zahl auf der Linie zwischen den Blöcken die Anzahl der Kanäle angibt.
Die Aufzeichnungsvorrichtung 2, die auf der Aufzeichnungsseite eines Audiosystems 1 angeordnet ist, weist den LPF 21, den HOA-Kodierer 22, den HPF 23 und den Kodierer 24 auf. Da der LPF 21, der HOA-Kodierer 22 und der HPF 23 denen ähnlich sind, die mit Bezug auf 2 beschrieben wurden, wird deren Beschreibung hier weggelassen. Der Kodierer 24 wandelt das durch den HPF 23 geleitete Audiosignal in ein Signal um, das der Raumkoordinate entspricht. Dabei bezieht sich das Verfahren zur Umwandlung des Audiosignals in ein der Raumkoordinate entsprechendes Signal auf ein Verfahren, das zum Zeitpunkt der Wiedergabe von der Raumkoordinate bei der Aufzeichnung abhängt, wie etwa Kodierung mit Pulscodemodulation (PCM), Kodierung mit adaptiver differentieller Pulscodemodulation (ADPCM) und Deltamodulation als Beispiele.
Andererseits unterscheidet sich der HOA-Kodierer 22 vom Kodierer 24 in der Hinsicht, dass er ein Verfahren zur Umwandlung eines vom LPF 21 eingegebenen Audiosignals in ein Signal darstellt, das einer Raumfrequenz entspricht. Durch Angabe der Raumkoordinate, in der das vom HOA-Kodierer 22 umgewandelte HOA-Signal wiedergegeben wird, d. h. der Position jedes Lautsprechers s1 bis s8 im Lautsprechersatz 42, kann der Klang an der Raumkoordinatenposition wiedergegeben werden.
Das als Ergebnis der Umwandlung durch den HOA-Kodierer 22 der Aufzeichnungsvorrichtung 2 erhaltene HOA-Signal und das als Ergebnis der Umwandlung durch den Kodierer 24 erhaltene Hochfrequenzsignal werden als Aufzeichnungssignale auf dem Aufzeichnungsmedium aufgezeichnet oder an die auf der Wiedergabeseite angeordnete Wiedergabevorrichtung 3 übertragen.
5 ist eine Ansicht, die das Aufzeichnungsformat eines Aufzeichnungssignals zeigt, das im Audiosystem 1 gemäß der ersten Ausführungsform verwendet wird. Das Aufzeichnungssignal ist dafür ausgelegt, einen Kopfbereich und einen Datenbereich aufzuweisen. Der Kopfbereich ist ein Teil, in dem verschiedene Arten von Meta-Informationen aufgezeichnet werden, die für die Wiedergabe des aufgenommenen Audiosignals erforderlich sind. In der vorliegenden Ausführungsform weisen die im Kopfbereich aufzuzeichnenden Meta-Informationen die Abtastrate, die Framelänge, die Anzahl der Frames, die Anzahl der Bandunterteilungen und die Bandinformationen für jedes Band (Informationen für erstes Band und Informationen für zweites Band) auf.
Die Abtastrate ist eine zum Zeitpunkt der Aufzeichnung verwendete Abtastrate, die entweder fest oder variabel sein kann. Die Framelänge ist eine Information, die die Länge des im Datenbereich aufgezeichneten Frames definiert. Die Framelänge kann ebenfalls entweder fest oder variabel sein. Die Anzahl der Frames (L) ist ein numerischer Wert, der die Anzahl der Frames definiert, die einen Block als Datensammlung im Datenbereich bilden. Die Anzahl der Bandunterteilungen ist eine Zahl, die die Anzahl der zu unterteilenden Bänder im Audiosystem 1 angibt, und in der vorliegenden Ausführungsform, wie in 4 beschrieben, ist die Anzahl der Bandunterteilungen „2“, da das Band durch den LPF 21 und den HPF 23 in zwei Bänder unterteilt wird.
Die Informationen für das erste Band sind Informationen bezüglich der Umwandlung der Niederfrequenzseite, d. h. des HOA-Kodierers 22, und weist in der vorliegenden Ausführungsform eine Grenzfrequenz, Raumbereichsinformationen, Signalbereichsinformationen, Kompressionsverfahrensinformationen und eine Ordnung auf. Die Grenzfrequenz entspricht der mit Bezug auf 3 beschriebenen Grenzfrequenz auf der Hochfrequenzseite des LPF 21. Die Raumbereichsinformationen weisen Informationen auf, die angeben, dass es sich bei dem Band um ein HOA-Signal handelt, und können auch Informationen über den zur Erfassung verwendeten Mikrofonsatz 41 aufweisen, z. B. Informationen über die Anordnung der Mikrofone m1 bis m8 im Mikrofonsatz 41, wie etwa kugelförmig, ringförmig, linear, nach innen gerichtet und nach außen gerichtet. Die Signalbereichsinformationen sind Informationen, die angeben, ob die Aufzeichnung auf der Zeitachse oder auf der Zeit-Frequenz-Achse erfolgt. Die Kompressionsverfahrensinformationen sind Informationen, die das Vorhandensein oder das Nichtvorhandensein von Kompression und das verwendete Kompressionsverfahren angeben. Die Ordnung ist die im HOA-Kodierer 22 verwendete Ordnung.
Auf der anderen Seite sind die Informationen für das zweite Band Informationen bezüglich der Umwandlung der Hochfrequenzseite, d. h. des Kodierers 24, und weisen in der vorliegenden Ausführungsform eine Grenzfrequenz, Raumbereichsinformationen, Signalbereichsinformationen, Kompressionsverfahrensinformationen und Kanalinformationen auf. Die Grenzfrequenz entspricht der mit Bezug auf 3 beschriebenen Grenzfrequenz auf der Niederfrequenzseite des HPF 23. Die Raumbereichsinformationen weisen Informationen auf, die angeben, dass es sich bei dem Band um ein vom Kodierer 24 kodiertes Signal handelt, und können auch Informationen über den zur Erfassung verwendeten Mikrofonsatz 41 aufweisen, z. B. Informationen über die Anordnung der Mikrofone m1 bis m8 im Mikrofonsatz 41, wie etwa kugelförmig, ringförmig, linear, nach innen gerichtet und nach außen gerichtet. Die Signalbereichsinformationen sind Informationen, die angeben, ob die Aufzeichnung auf der Zeitachse oder auf der Zeit-Frequenz-Achse erfolgt. Die Kompressionsverfahrensinformationen sind Informationen, die das Vorhandensein oder das Nichtvorhandensein von Kompression und das verwendete Kompressionsverfahren angeben. Die Kanalinformationen weisen die Anzahl der Kanäle und die Kanalkoordinate auf. Die Anzahl der Kanäle entspricht der Anzahl der Mikrofone im Mikrofonsatz 41 (in diesem Fall „8“). Des Weiteren ist die Kanalkoordinate eine Koordinate, die die räumliche Anordnung der Mikrofone m1 bis m8 im Mikrofonsatz 41 angibt.
Der Datenbereich speichert die vom HOA-Kodierer 22 und vom Kodierer 24 umgewandelten Signale. In der vorliegenden Ausführungsform werden für das erste Band (niedrige Frequenz) und das zweite Band (hohe Frequenz) Frameblöcke mit Frames durch die Anzahl der Frames (L) bereitgestellt. Die so im Frame aufgezeichneten Daten werden vom HOA-Dekodierer 31 oder vom Dekodierer 32 mit Bezug auf die im Kopfbereich beschriebenen Meta-Informationen in ein Tonsignal umgewandelt.
Es ist zu beachten, dass das oben beschriebene Aufzeichnungsformat auch eine Form aufweisen kann, in der gemeinsame Informationen der Bänder zusammengefasst werden. Darüber hinaus ist das oben beschriebene Aufzeichnungsformat lediglich ein Beispiel. Das Aufzeichnungsformat ist nicht auf diese Form beschränkt und kann in verschiedenen Formen ausgelegt werden.
Andererseits ist die Wiedergabevorrichtung 3, die auf der Wiedergabeseite des Audiosystems 1 angeordnet ist, dafür ausgelegt, den HOA-Dekodierer 31, den Dekodierer 32, den Multiplikator 33 und den Addierer 34 aufzuweisen. Der HOA-Dekodierer 31 dekodiert das vom HOA-Kodierer 22 kodierte HOA-Signal zu einem achtkanaligen Audiosignal. Zusätzlich dekodiert der Dekodierer 32 das vom Kodierer 24 kodierte Signal zu einem achtkanaligen Audiosignal. Der Addierer 34 addiert ein vom HOA-Dekodierer gebildetes Audiosignal und ein vom Dekodierer 32 gebildetes und geeeignet mit einem Koeffizienten multipliziertes Audiosignal mit dem Multiplizierer 33 für jeden Kanal und gibt es an den Lautsprechersatz 42 aus. Da in der vorliegenden Ausführungsform die Anzahl der Mikrofone m1 bis m8 des Mikrofonsatzes 41 und die Anzahl der Lautsprecher s1 bis s8 des Lautsprechersatzes 42 gleich ist, also acht, kann das Schallfeld zum Zeitpunkt der Schallerfassung durch Ausgabe des Signals des entsprechenden Kanals an die Lautsprecher s1 bis s8 wiedergegeben werden.
Das Audiosystem 1 gemäß der ersten Ausführungsform wurde oben beschrieben. Gemäß der ersten Ausführungsform ist es möglich, eine Verschlechterung des Audiosignals, die bei einer gewissen Frequenz oder höher durch einen Effekt des räumlichen Aliasings entsprechend der Anzahl und den Abständen der Mikrofone m1 bis m8 im Mikrofonsatz 41, dem Radius der Anordnung und dergleichen auftritt, für das HOA-Signal zu unterdrücken, das ein der Raumfrequenz entsprechendes Signal ist, und es ist möglich, das Schallfeld hochgenau zu erfassen und zu reproduzieren.
<Zweite Ausführungsform>
In der ersten Ausführungsform, wie mit Bezug auf 4 beschrieben, stimmt die Anzahl der Mikrofone m1 bis m8 im Mikrofonsatz 41 mit der Anzahl der Lautsprecher s1 bis s8 im Lautsprechersatz 42 überein. Es ist jedoch denkbar, dass aus Gründen der Zweckmäßigkeit auf der Wiedergabeseite o. ä. die Anordnung des Lautsprechersatzes 42 nicht analog zur Anordnung des Mikrofonsatzes 41 zum Zeitpunkt der Schallerfassung ausgelegt werden kann. Die im Folgenden beschriebene zweite und dritte Ausführungsform sind Ausführungsformen für einen Fall, dass die Anzahl der Mikrofone im Mikrofonsatz 41 nicht mit der Anzahl der Lautsprecher im Lautsprechersatz 42 übereinstimmt.
6 ist ein Diagramm, das die Auslegung des Audiosystems 1 gemäß der zweiten Ausführungsform zeigt. Die Auslegungen des Mikrofonsatzes 41 und der auf der Aufzeichnungsseite angeordneten Aufzeichnungsvorrichtung 2 sind ähnlich denen, die mit Bezug auf 4 beschrieben wurden, und eine Beschreibung derselben wird hier weggelassen. Der auf der Wiedergabeseite angeordnete Lautsprechersatz 42 unterscheidet sich von der in 4 gezeigten Auslegung dadurch, dass der Lautsprechersatz 42 mit einer Anzahl von Lautsprechern s1 bis s4 ausgelegt ist, die kleiner ist als die Anzahl (8) der Mikrofone m1 bis m8. Ein weiterer Unterschied besteht darin, dass die Wiedergabevorrichtung 3 zwischen dem Multiplizierer 33 und dem Addierer 34 mit einem Matrixabschnitt 35 bereitgestellt ist. Dann werden durch Angabe der Anzahl und der Position der Lautsprecher s1 bis s4 im Lautsprechersatz 42 Audiosignale für vier Kanäle entsprechend der Anordnung der Lautsprecher s1 bis s4 an den HOA-Dekodierer 31 ausgegeben.
Andererseits werden hinsichtlich der Audiosignale, die durch die Dekodierung durch den Dekodierer 32 ausgegeben werden, Audiosignale für acht Kanäle ausgegeben, die den Mikrofonen m1 bis m8 zum Zeitpunkt der Schallerfassung entsprechen. In der vorliegenden Ausführungsform wird das vom Dekodierer 32 ausgegebene Audiosignal vom Matrixabschnitt 35 als einem Umwandlungsabschnitt entsprechend der Anordnung der Lautsprecher s1 bis s4 des Lautsprechersatzes 42 gemischt. Insbesondere werden als ein Audiosignal, das am Lautsprecher s1 ausgegeben wird, die von den drei Mikrofonen m1, m2 und m8 erfassten Audiosignale gemischt. Zu diesem Zeitpunkt werden die von den Mikrofonen m2 und m8 erfassten Audiosignale mit einem Koeffizienten von 0,25 multipliziert. In ähnlicher Weise werden die von den drei Mikrofonen m2, m3 und m4 erfassten Audiosignale als ein Audiosignal an den Lautsprecher s2 ausgegeben und vom Matrixabschnitt 35 gemischt. Als ein Audiosignal, das an den Lautsprecher s3 ausgegeben wird, werden die von den drei Mikrofonen m4, m5 und m6 erfassten Audiosignale vom Matrixabschnitt 35 gemischt. Als ein Audiosignal, das an den Lautsprecher s4 ausgegeben wird, werden die von den drei Mikrofonen m6, m7 und m8 erfassten Audiosignale vom Matrixabschnitt 35 gemischt.
So kann der HOA-Dekodierer 31, der das Audiosignal auf der Grundlage des der Raumfrequenz entsprechenden Signals wiederherstellt, das Schallfeld entsprechend der Anordnungsform der Lautsprecher s1 bis s4 unabhängig von der Form der Schallerfassung, d. h. der Anordnungsform der Mikrofone m1 bis m8, wiedergeben, während der Dekodierer 32, der das Audiosignal auf der Grundlage des der Raumkoordinate entsprechenden Signals wiederherstellt, das Schallfeld mit dem Audiosignal abhängig von der Position der Mikrofone m1 bis m8 wiedergeben kann. In der vorliegenden Ausführungsform ist unter Berücksichtigung des Unterschieds zwischen beiden der Matrixabschnitt 35 als ein Umwandlungsabschnitt bereitgestellt, und die Anzahl der Kanäle des vom Dekodierer 32 ausgegebenen Audiosignals wird entsprechend der Anordnung der Lautsprecher s1 bis s4 des Lautsprechersatzes 42 umgewandelt, und somit kann das Schallfeld entsprechend der Anordnung der Lautsprecher s1 bis s4 auf der Wiedergabeseite wiedergegeben werden. Es ist zu beachten, dass die Auslegung des Matrixabschnitts 35 nicht auf ein Verfahren beschränkt ist und verschiedene andere Verfahren zusätzlich zu denen, die in der vorliegenden Ausführungsform beschrieben sind, in Betracht gezogen werden können.
<Dritte Ausführungsform>
7 ist ein Diagramm, das die Auslegung des Audiosystems 1 gemäß der dritten Ausführungsform zeigt. Die dritte Ausführungsform unterscheidet sich von der in 6 beschriebenen zweiten Ausführungsform durch die Anordnung der Mikrofone des Mikrofonsatzes 41 und die Anordnung der Lautsprecher des Lautsprechersatzes 42. Insbesondere weist der Mikrofonsatz 41 die vier Mikrofone m1 bis m4 auf, und der Lautsprechersatz 42 weist die acht Lautsprecher s1 bis s8 auf.
In diesem Fall wandelt der Matrixabschnitt 35 als ein Umwandlungsabschnitt die vom Dekodierer 32 ausgegebenen vierkanaligen Audiosignale entsprechend den Mikrofonen m1 bis m4 in achtkanalige Audiosignale entsprechend den Lautsprechern s1 bis s8 um. Insbesondere werden als Audiosignale, die an die Lautsprecher s1, s3, s5 und s7 ausgegeben werden, die von den Mikrofonen m1, m2, m3 und m4 der entsprechenden Anordnung erfassten Audiosignale ausgegeben, wie sie sind. Andererseits werden die Audiosignale, die an die Lautsprecher s2, s4, s6 und s8 ausgegeben werden, die keine entsprechend angeordneten Mikrofone aufweisen, durch Mischen von Audiosignalen gebildet, die von einer Vielzahl von Mikrofonen erfasst wurden. Zum Beispiel wird das Audiosignal für den Lautsprecher s2 durch Mischen der vom Mikrofon m1 und vom Mikrofon m2 erfassten Audiosignale gebildet. Das Mischen erfolgt durch Multiplikation eines festen Koeffizienten und Addition, aber auch eine dynamische Änderung des Koeffizienten ist möglich. Zum Beispiel kann durch eine weitgehende Verteilung des Koeffizienten in die Richtung, in der die Größe (der Pegel) des Audiosignals hoch ist, der Richtungssinn des Schallfeldes zum Zeitpunkt der Wiedergabe betont werden.
Wie oben beschrieben, kann auch in dem Fall, in dem die Anzahl der Mikrofone m1 bis m4 kleiner ist als die Anzahl der Lautsprecher s1 bis s8, der Matrixabschnitt 35 als ein Umwandlungsabschnitt eine Umwandlung in die Anzahl der Kanäle vornehmen, die der Anordnung der Lautsprecher s1 bis s4 auf der Wiedergabeseite entspricht, und somit kann das Schallfeld geeeignet wiedergegeben werden. Es ist zu beachten, dass der Umwandlungsabschnitt nicht nur die Anzahl der Kanäle umwandeln kann, sondern auch die Audiosignale so umwandeln kann, dass sie in einem Fall, in dem die Schallerfassungsrichtung der Mikrofone und die Schallabgaberichtung des Lautsprechers voneinander verschieden sind, geeignete Formen aufweisen. In diesem Fall können die Anzahl der Mikrofone und die Anzahl der Lautsprecher gleich sein. Es ist zu beachten, dass die Auslegung des Matrixabschnitts 35 nicht auf ein Verfahren beschränkt ist und verschiedene andere Verfahren zusätzlich zu denen, die in der vorliegenden Ausführungsform beschrieben sind, in Betracht gezogen werden können.
<Vierte Ausführungsform>
8 ist ein Diagramm, das die Auslegung des Audiosystems 1 gemäß der vierten Ausführungsform zeigt. Das Audiosystem 1 gemäß der vierten Ausführungsform unterscheidet sich vom Audiosystem 1 gemäß der ersten Ausführungsform, die mit Bezug auf 4 beschrieben wurde, dadurch, dass die Aufzeichnungsseite mit einem Abwärtsabtastabschnitt 26 als Abtastfrequenzumwandlungsabschnitt und einem Verzögerungsabschnitt 25 zum Kompensieren der am Abwärtsabtastabschnitt 26 auftretenden Verzögerung bereitgestellt ist, und die Wiedergabeseite mit einem Aufwärtsabtastabschnitt 37 als einem Abtastfrequenzumwandlungsabschnitt bereitgestellt ist.
Da die Verarbeitung im HOA-Kodierer 22 kein Signal in einem hochfrequenten Bereich aufweist, ist es denkbar, dass selbst wenn die Frequenz des Eingangsaudiosignals abgesenkt wird, die Auswirkung auf die Klangqualität nicht sehr groß ist. In der vierten Ausführungsform führt der Abwärtsabtastabschnitt 26 eine Abwärtsabtastungsverarbeitung auf der Zeitachse in Bezug auf das in den HOA-Kodierer 22 eingegebene Audiosignal durch, wodurch der Berechnungsaufwand im HOA-Kodierer 22 reduziert wird. Darüber hinaus ist es durch Abwärtsabtastung möglich, die Datenmenge auch für das vom HOA-Kodierer 22 ausgegebene Signal zu reduzieren, wodurch die Speicherkapazität und der Kommunikationsaufwand verringert werden können.
Zum Beispiel ist es in einem Fall, in dem die Abtastfrequenz des vom Mikrofonsatz 41 eingegebenen Audiosignals auf eine allgemeine Abtastfrequenz von Fs = 44,1 kHz (oder 48 kHz) eingestellt ist, denkbar, dass der Abwärtsabtastabschnitt 26 die Abtastfrequenz auf Fs = 22,05 kHz (oder 24 kHz) absenkt, was der Hälfte der Abtastfrequenz des ursprünglichen Signals entspricht. Auf der Wiedergabeseite führt der nach dem HOA-Dekodierer 31 angeordnete Aufwärtsabtastabschnitt 37 eine Aufwärtsabtastung des Signals auf die gleiche Abtastfrequenz wie die des Dekodierers 32 o. ä. durch. In diesem Fall wird häufig ein FIR-Filter verwendet. Um die im Abwärtsabtastabschnitt 26 verursachte Verzögerung zu kompensieren, ist in der vorliegenden Ausführungsform der Pfad auf der Seite des Kodierers 24 mit dem Verzögerungsabschnitt 25 bereitgestellt. Anstatt die Verzögerung auf der Aufzeichnungsseite auf diese Weise zu kompensieren, kann die Verzögerung auch auf der Wiedergabeseite (oder auf der Aufzeichnungsseite und der Wiedergabeseite) kompensiert werden. Für den Fall, dass die Verzögerung auf der Wiedergabeseite kompensiert wird, ist es denkbar, dass der Verzögerungsabschnitt zum Beispiel nach dem Dekodierer 32 angeordnet ist.
Somit ist es in der dritten Ausführungsform durch das Durchführen von Abwärtsabtastungverarbeitung auf der Zeitachse in Bezug auf das in den HOA-Kodierer 22 eingegebene Audiosignal möglich, den Berechnungsaufwand im HOA-Kodierer 22 zu reduzieren und die Datenmenge des vom HOA-Kodierers 22 ausgegebenen Signals zu verringern. Da außerdem die vom HOA-Kodierer 22 ausgegebene Datenmenge reduziert werden kann, wird es möglich, dem vom Kodierer 24 ausgegebenen Signal eine größere Informationsmenge (z. B. Bitlänge) zuzuweisen. Es ist zu beachten, dass die Umwandlung der Abtastfrequenz nicht auf der Seite des HOA-Kodierers 22 und des HOA-Dekodierers 31, sondern auf der Seite des Kodierers 24 und des Dekodierers 32 durchgeführt werden kann oder sowohl auf der Seite des HOA-Kodierers 22 und des HOA-Dekodierers 31 als auch auf der Seite des Kodierers 24 und des Dekodierers 32 durchgeführt werden kann.
<Fünfte Ausführungsform>
9 ist ein Diagramm, das die Auslegung des Audiosystems 1 gemäß der fünften Ausführungsform zeigt. Das Audiosystem 1 gemäß der fünften Ausführungsform unterscheidet sich vom Audiosystem 1 gemäß der ersten Ausführungsform, die mit Bezug auf 4 beschrieben wurde, beispielsweise dadurch, dass das Audiosystem 1 gemäß der ersten Ausführungsform einen HOA-Kodierer 22 verwendet, während das gemäß der fünften Ausführungsform mit einem HOA-Kodierer 22a, der für die tiefen Frequenzen zuständig ist, und einem HOA-Kodierer 22b, der für die mittleren Frequenzen zuständig ist, bereitgestellt ist.
Zusätzlich ist vor dem HOA-Kodierer 22a ein LPF 21a angeordnet, der die Hochfrequenzkomponente des Eingangsaudiosignals entfernt, und vor dem HOA-Kodierer 22b ist ein Bandpassfilter (BPF) 21b angeordnet, der die Mittelfrequenzkomponente des Eingangsaudiosignals extrahiert. Darüber hinaus sind entsprechend der Auslegung der Aufzeichnungsseite ein HOA-Dekodierer 31a, der das vom HOA-Kodierer 22a kodierte Audiosignal dekodiert, und ein HOA-Dekodierer 31a, der das vom HOA-Kodierer 22b kodierte Audiosignal dekodiert, auf der Wiedergabeseite angeordnet. Der Addierer 34 wandelt das vom Dekodierer 32 dekodierte und mit dem Koeffizienten durch den Multiplizierer 33 multiplizierte Audiosignal und das vom HOA-Dekodierer 31a und HOA-Dekodierer 31b dekodierte Audiosignal um und gibt sie an den Lautsprechersatz 42 aus.
10 ist ein Diagramm, das die Frequenzkennlinie des Audiosystems 1 gemäß der fünften Ausführungsform zeigt. Bei den in 10 dargestellten Frequenzkennlinien gibt die durch die durchgezogene Linie dargestellte Tiefpasskennlinie die Kennlinie des LPF 21a an. Ferner gibt die Mittelpasskennlinie, die durch die Strichpunktlinie dargestellt wird, die Kennlinie des BPF 21b an. Darüber hinaus gibt die Hochpasskennlinie, die durch die gestrichelte Linie dargestellt wird, die Kennlinie des HPF 23 an. Durch die Addition der Tiefpasskennlinie des LPF 21, der Mittelpasskennlinie des BPF 21b und der Hochpasskennlinie des HPF 23 werden flache Frequenzverläufe über Frequenzen von der tiefen bis zur hohen Frequenz gebildet. Diese Kennlinien dienen nur als Beispiel, und je nach Auslegungsverfahren sind verschiedene Kennlinien möglich.
Wie in der fünften Ausführungsform ist es durch die Bereitstellung der HOA-Kodierer 22a und 22b in einer Vielzahl von Frequenzbändern möglich, die bei der HOA-Verarbeitung der HOA-Kodierer 22a und 22b verwendete Ordnung zu variieren. Insbesondere ist die Wellenlänge im Signal mit ultraniedriger Frequenz so lang, dass ein Mensch unempfindlich gegenüber der Herkunftsrichtung des wahrgenommenen Schalls ist. Es ist denkbar, dass der Berechnungsaufwand reduziert wird, indem der für dieses Frequenzband zuständige HOA-Kodierer 22a eine Verarbeitung mit einer niedrigeren Ordnung durchführt als der HOA-Kodierer 22b.
<Sechste Ausführungsform>
11 ist ein Diagramm, das die Auslegung des Audiosystems 1 gemäß der sechsten Ausführungsform zeigt. Die mit Bezug auf 8 beschriebene Auslegung in der vierten Ausführungsform, in der der Verzögerungsabschnitt 25 auf der Aufzeichnungsseite bereitgestellt ist, um die durch den Abwärtsabtastabschnitt 26 verursachte Verzögerung zu kompensieren, wurde beschrieben. Es ist denkbar, dass zwischen den Bändern eine Zeitlücke entsteht, weil nicht nur eine Abwärtsabtastung, sondern auch Verarbeitung für jedes Band durchgeführt wird.
Die sechste Ausführungsform zeigt eine Auslegung zur Beseitigung einer solchen Zeitlücke zwischen den Bändern auf der Wiedergabeseite. Beispielsweise kann eine Zeitlücke, die durch die Verarbeitung des Kodierers 24 und des HOA-Kodierers 22 auf der Aufzeichnungsseite verursacht wird, oder eine Zeitlücke, die durch die Verarbeitung des Dekodierers 32 und des HOA-Dekodierers 31 auf der Wiedergabeseite verursacht wird, durch das Bereitstellen eines Verzögerungsabschnitts 36 auf der Wiedergabeseite eliminiert werden. Es ist zu beachten, dass auch in der sechsten Ausführungsform statt der Kompensation der Verzögerung auf der Wiedergabeseite die Verzögerung auf der Aufzeichnungsseite (oder der Aufzeichnungsseite und der Wiedergabeseite) kompensiert werden kann.
<Variation>
(Variation von HOA)
In der oben beschriebenen ersten bis sechsten Ausführungsform wurde die Form der Verwendung der HOA mit dem HOA-Kodierer 22, dem HOA-Dekodierer 31 und dergleichen beschrieben. Die in den verschiedenen Ausführungsformen verwendeten Signale sind nicht auf die durch die HOA kodierten Signale beschränkt. Solange die Signale den Raumfrequenzen entsprechen, d. h. den Signalen, mit denen die Audiosignale an den Positionen wiedergegeben werden können, indem die Positionen (Installationspositionen der Lautsprecher) für die Wiedergabe bei der Dekodierung festgelegt werden, können verschiedene Verfahren angewendet werden. Hierbei wird das Signal, das der Raumfrequenz entspricht, als SF-Signal bezeichnet.
Andererseits verwendet das Verfahren, das vom Kodierer 24, dem Dekodierer 32 und dergleichen verwendet wird, Signale, die den Raumkoordinaten entsprechen. Das heißt, es lässt sich sagen, dass es das Signal ist, mit dem das Audiosignal für die Position (Raumkoordinate), an der der Ton erfasst wurde, wiedergegeben werden kann. Hierbei wird das Signal, das der Raumkoordinate entspricht, als SA-Signal bezeichnet. Das Format des Aufzeichnungssignals im Falle eines SA-Signals und eines SF-Signals wird im Folgenden beschrieben.
(Variation des Aufzeichnungsformats)
12 ist eine Ansicht, die das Aufzeichnungsformat des Aufzeichnungssignals zeigt, das im Audiosystem 1 für die Variation verwendet wird. In 5 ist das Format des Aufzeichnungssignals beschrieben, das in der ersten Ausführungsform verwendet wurde. In dieser Variation wird ein Aufzeichnungsformat für den Fall beschrieben, dass das HOA-Signal als ein der Raumfrequenz entsprechendes Signal (SF-Signal) und ein für die hohen Frequenzen zuständiges Signal als ein der Raumkoordinate entsprechendes Signal (SA-Signal) verallgemeinert wird.
Das Aufzeichnungssignal ist dafür ausgelegt, einen Kopfbereich und einen Datenbereich aufzuweisen. Der Kopfbereich ist ein Teil, in dem verschiedene Arten von Meta-Informationen aufgezeichnet werden, die für die Wiedergabe des aufgenommenen Audiosignals erforderlich sind. In der vorliegenden Ausführungsform weist die im Kopfbereich aufzuzeichnenden Meta-Informationen die Abtastrate, die Framelänge, die Anzahl der Frames (L), die Anzahl der Bandunterteilungen (N) und die Bandinformationen für jedes Band (Informationen für erstes bis N-tes Band) auf. Beispielsweise werden bei einer Aufteilung in drei Frequenzbänder, wie in der fünften Ausführungsform, die Informationen für das erste bis dritte Band bereitgestellt.
Die Abtastrate ist eine zum Zeitpunkt der Aufzeichnung verwendete Abtastrate, die entweder fest oder variabel sein kann. Die Framelänge ist eine Information, die die Länge des im Datenbereich aufgezeichneten Frames definiert. Die Framelänge kann ebenfalls entweder fest oder variabel sein. Die Anzahl der Frames (L) ist ein numerischer Wert, der die Anzahl der Frames definiert, die einen Block als Datensammlung im Datenbereich bilden. Die Anzahl der Bandunterteilungen ist eine Zahl, die die Anzahl der zu unterteilenden Bänder im Audiosystem 1 angibt. Beispielsweise ist bei einer Unterteilung in drei Frequenzbänder, wie in der fünften Ausführungsform, die Anzahl der Bandunterteilungen „3“, und die Informationen für das erste bis dritte Band werden bereitgestellt.
Die einzelnen Bandinformationen (Informationen für erstes bis N-tes Band) sind mit einer ersten Grenzfrequenz, die die untere Grenze des zuständigen Frequenzbandes angibt, und einer zweiten Grenzfrequenz, die die obere Grenze angibt, bereitgestellt. Zeitverzögerungsinformationen sind Informationen, die eine Verzögerung oder eine Vorauseilung in Bezug auf ein anderes Band angeben, und können zum Beispiel für die Einstellung einer Verzögerungszeit in dem in der sechsten Ausführungsform beschriebenen Verzögerungsabschnitt 36 verwendet werden. Die Raumbereichsinformationen sind Informationen, die angeben, ob es sich bei dem Band um ein SF-Signal oder ein SA-Signal handelt, und die Wiedergabevorrichtung 3 kann anhand der Raumbereichsinformationen ein Dekodierverfahren für das Band bestimmen. Die Raumbereichsinformationen können Informationen über die Anordnung der Mikrofone in Bezug auf den für die Erfassung verwendeten Mikrofonsatz 41 aufweisen. Die Signalbereichsinformationen sind Informationen, die angeben, ob die Aufzeichnung auf der Zeitachse oder auf der Zeit-Frequenz-Achse erfolgt. Die Kompressionsverfahrensinformationen sind Informationen, die das Vorhandensein oder das Nichtvorhandensein von Kompression und das verwendete Kompressionsverfahren angeben.
Was die Ordnungs- und Kanalinformationen betrifft, wird die Ordnung in einem Fall gespeichert, in dem das SF-Signal verwendet wird, und die Kanalinformationen werden in einem Fall gespeichert, in dem das SA-Signal verwendet wird. Die Ordnung, die für das Frequenzband gespeichert wird, in dem das SF-Signal verwendet wird, ist die Ordnung, die bei der Verarbeitung zum Bilden des Signals entsprechend der Raumfrequenz verwendet wird.
Andererseits sind die Kanalinformationen, die für das Frequenzband gespeichert werden, in dem das SA-Signal verwendet wird, die Informationen, die in einem Fall gespeichert werden, in dem das SA-Signal verwendet wird, und weisen, wie mit Bezug auf 5 beschrieben, die Anzahl der Kanäle und die Kanalkoordinate für jeden Kanal auf. Die Anzahl der Kanäle entspricht der Anzahl der Mikrofone im Mikrofonsatz 41 (zum Beispiel „4“ im Fall der dritten Ausführungsform in 7). In diesem Fall ist die Kanalkoordinate eine Koordinate, die die räumliche Anordnung der Mikrofone m1 bis m4 im Mikrofonsatz 41 angibt. Der in der in 6 beschriebenen zweiten Ausführungsform und der in 7 beschriebenen dritten Ausführungsform beschriebene Matrixabschnitt 35 (Umwandlungsabschnitt) kann verschiedene Umwandlungen durchführen, wie etwa das Umwandeln der Anzahl der Kanäle eines Audiosignals auf der Grundlage der Kanalinformationen und der Anordnung der Lautsprecher im Lautsprechersatz 42.
Im Datenbereich werden die für jedes Band umgewandelten Signale gespeichert. In der vorliegenden Variation werden für das erste bis N-te Band Frameblöcke mit Frames durch die Anzahl der Frames (L) bereitgestellt. Die so im Frame aufgezeichneten Daten werden mit Bezug auf die im Kopfbereich beschriebenen Meta-Informationen in ein Audiosignal umgewandelt.
Es ist zu beachten, dass das oben beschriebene Aufzeichnungsformat auch eine Form aufweisen kann, in der gemeinsame Informationen der Bänder zusammengefasst werden. Darüber hinaus ist das oben beschriebene Aufzeichnungsformat lediglich ein Beispiel. Das Aufzeichnungsformat ist nicht auf diese Form beschränkt und kann in verschiedenen Formen ausgelegt werden.
(Variation der Wiedergabeumgebung)
Die Wiedergabevorrichtung 3 gemäß den oben beschriebenen verschiedenen Ausführungsformen gibt Audiosignale an den Lautsprechersatz 42 aus, der eine Vielzahl von Lautsprechern aufweist. Neben einer solchen Form kann die Wiedergabevorrichtung 3 auch Audiosignale in einer virtuellen Umgebung wiedergeben, zum Beispiel unter Verwendung eines Kopfhörers. Das heißt, wenn in den oben beschriebenen Ausführungsformen die kopfbezogene Übertragungsfunktion von jedem Lautsprecher im Lautsprechersatz 42 zu beiden Ohren des Zuhörers bekannt ist, ergibt sich die Schallwiedergabe jedes Lautsprechers an den beiden Ohren des Zuhörers dadurch, dass jede kopfbezogene Übertragungsfunktion in Bezug auf das Audiosignal, das die einzelnen Lautsprecher ansteuert, gefaltet wird. Durch Wiedergabe der Summe des linken und rechten Ohres mit einem Kopfhörer oder dergleichen ist es möglich, ein ähnliches Schallfeld wie das des Hörers unter Verwendung des Lautsprechersatzes 42 wiederzugeben.
Die Schallfeldbildung unter Verwendung einer solchen virtuellen Umgebung kann nicht nur mit einem Kopfhörer, sondern auch mit einem elektroakustischen Wandler realisiert werden, der mit zwei oder mehr Kanälen angesteuert wird. Zu diesem Zeitpunkt ist es auch möglich, verschiedene Korrekturen an dem vom elektroakustischen Wandler wiedergegebenen Audiosignal vorzunehmen, wie etwa Übersprechunterdrückung, falls erforderlich.
Die vorliegende Offenbarung kann in verschiedenen Formen umgesetzt werden, wie etwa als eine Vorrichtung, ein Verfahren und ein Programm. Darüber hinaus können die in den einzelnen Ausführungsformen und Variationen beschriebenen Sachverhalte geeeignet kombiniert werden.
Für die vorliegende Offenbarung kann die folgende Auslegung zum Einsatz kommen.

(1) Audiowiedergabevorrichtung, aufweisend:
- einen ersten Dekodierer, der ein erstes Signal, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert;
- einen zweiten Dekodierer, der ein zweites Signal, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert; und
- einen Addierer, der das vom ersten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen und das vom zweiten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen addiert.
(2) Audiowiedergabevorrichtung nach (1), wobei das vom zweiten Dekodierer dekodierte Audiosignal eine höhere Frequenz als das vom ersten Dekodierer dekodierte Audiosignal aufweist.
(3) Audiowiedergabevorrichtung nach (1) oder (2), wobei der erste Dekodierer die Dekodierung auf der Grundlage einer Anordnung von Lautsprechern als einem Ausgang durchführt.
(4) Audiowiedergabevorrichtung nach einem der Punkte (1) bis (3), wobei der erste Dekodierer eine HOA verwendet.
(5) Audiowiedergabevorrichtung nach einem der Punkte (1) bis (4), aufweisend:
- einen Umwandlungsabschnitt, der auf der Grundlage einer Anordnung von Lautsprechern als einem Ausgang ein vom zweiten Dekodierer ausgegebenes Audiosignal einer Vielzahl von Kanälen umwandelt.
(6) Audiowiedergabevorrichtung nach (5), wobei der Umwandlungsabschnitt die Anzahl der Kanäle des vom zweiten Dekodierer ausgegebenen Audiosignals umwandelt.
(7) Audiowiedergabevorrichtung nach einem der Punkte (1) bis (6), wobei
das erste Signal und das zweite Signal unterschiedliche Abtastfrequenzen aufweisen, und
die Audiowiedergabevorrichtung einen Abtastfrequenzumwandlungsabschnitt aufweist, der das erste Signal, das zweite Signal und mindestens eine der Abtastfrequenzen umwandelt.
(8) Audiowiedergabevorrichtung nach einem der Punkte (1) bis (7), wobei eine Vielzahl der zweiten Dekodierer für jedes Band bereitgestellt ist, und die Vielzahl der zweiten Dekodierer unterschiedliche Ordnungen für die Dekodierung verwenden.
(9) Audiowiedergabevorrichtung nach einem der Punkte (1) bis (8), aufweisend: einen Verzögerungsabschnitt, der eine zwischen dem ersten Dekodierer und dem zweiten Dekodierer auftretende Zeitlücke anpasst.
(10) Audiowiedergabeverfahren, aufweisend:
- Dekodieren eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen;
- Dekodieren eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen; und
- Addieren des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des ersten Dekodierers dekodiert wurden, und des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des zweiten Dekodierers dekodiert wurden.
(11) Audiowiedergabeprogramm, das eine Informationsverarbeitungsvorrichtung zum Ausführen folgender Vorgänge veranlasst:
- erste Dekodierverarbeitung des Dekodierens eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen;
- zweite Dekodierverarbeitung des Dekodierens eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen; und

Additionsverarbeitung des Addierens des Audiosignals der Vielzahl von Kanälen, das vom ersten Dekodierer dekodiert wurde, und des Audiosignals der Vielzahl von Kanälen, das vom zweiten Dekodierer dekodiert wurde.
Bezugszeichenliste

1: Audiosystem
2: Aufzeichnungsvorrichtung
3: Wiedergabevorrichtung
21 (21a, 21b): LPF
22 (22a, 22b): HOA-Kodierer
23: HPF
24: Kodierer
25: Verzögerungsabschnitt
26: Abwärtsabtastabschnitt
31 (31a, 31b): HOA-Dekodierer
32: Dekodierer
33: Multiplizierer
34: Addierer
35: Matrixabschnitt
36: Verzögerungsabschnitt
37: Aufwärtsabtastabschnitt
41: Mikrofonsatz
42: Lautsprechersatz
m1 bis m8: Mikrofon
s1 bis s8: Lautsprecher

Claims

Audiowiedergabevorrichtung, umfassend: einen ersten Dekodierer, der ein erstes Signal, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert; einen zweiten Dekodierer, der ein zweites Signal, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen dekodiert; und einen Addierer, der das vom ersten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen und das vom zweiten Dekodierer dekodierte Audiosignal der Vielzahl von Kanälen addiert.
Audiowiedergabevorrichtung nach Anspruch 1, wobei das vom zweiten Dekodierer dekodierte Audiosignal eine höhere Frequenz als das vom ersten Dekodierer dekodierte Audiosignal aufweist.
Audiowiedergabevorrichtung nach Anspruch 1, wobei der erste Dekodierer die Dekodierung auf der Grundlage einer Anordnung von Lautsprechern als einem Ausgang durchführt.
Audiowiedergabevorrichtung nach Anspruch 1, wobei der erste Dekodierer eine HOA verwendet.
Audiowiedergabevorrichtung nach Anspruch 1, umfassend: einen Umwandlungsabschnitt, der auf der Grundlage einer Anordnung von Lautsprechern als ein Ausgang, ein vom zweiten Dekodierer ausgegebenes Audiosignal einer Vielzahl von Kanälen umwandelt.
Audiowiedergabevorrichtung nach Anspruch 5, wobei der Umwandlungsabschnitt die Anzahl der Kanäle des vom zweiten Dekodierer ausgegebenen Audiosignals umwandelt.
Audiowiedergabevorrichtung nach Anspruch 1, wobei das erste Signal und das zweite Signal unterschiedliche Abtastfrequenzen aufweisen, und die Audiowiedergabevorrichtung einen Abtastfrequenzumwandlungsabschnitt aufweist, der das erste Signal, das zweite Signal und mindestens eine der Abtastfrequenzen umwandelt.
Audiowiedergabevorrichtung nach Anspruch 1, wobei eine Vielzahl der zweiten Dekodierer für jedes Band bereitgestellt ist, und die Vielzahl der zweiten Dekodierer unterschiedliche Ordnungen für die Dekodierung verwenden.
Audiowiedergabevorrichtung nach Anspruch 1, umfassend: einen Verzögerungsabschnitt, der eine zwischen dem ersten Dekodierer und dem zweiten Dekodierer auftretende Zeitlücke anpasst.
Audiowiedergabeverfahren, umfassend: Dekodieren eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen; Dekodieren eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen; und Addieren des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des ersten Dekodierers dekodiert wurden, und des Audiosignals der Vielzahl von Kanälen, die auf der Grundlage des zweiten Dekodierers dekodiert wurden.
Audiowiedergabeprogramm, das eine Informationsverarbeitungsvorrichtung zum Ausführen folgender Vorgänge veranlasst: erste Dekodierverarbeitung des Dekodierens eines ersten Signals, das einer Raumfrequenz entspricht, in ein Audiosignal einer Vielzahl von Kanälen; zweite Dekodierverarbeitung des Dekodierens eines zweiten Signals, das ein Band aufweist, das sich von dem des ersten Signals unterscheidet und einer räumlichen Koordinate entspricht, in ein Audiosignal einer Vielzahl von Kanälen; und Additionsverarbeitung des Addierens des Audiosignals der Vielzahl von Kanälen, das vom ersten Dekodierer dekodiert wurde, und des Audiosignals der Vielzahl von Kanälen, das vom zweiten Dekodierer dekodiert wurde.