DE112020005550T5

DE112020005550T5 - Signalverarbeitungsvorrichtung, verfahren und programm

Info

Publication number: DE112020005550T5
Application number: DE112020005550.7T
Authority: DE
Inventors: Ryuichi Namba; Makoto Akune; Yoshiaki Oikawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-11-13
Filing date: 2020-10-30
Publication date: 2022-09-01
Also published as: WO2021095563A1; US20220360930A1; CN114651452A

Abstract

Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungsvorrichtung und ein Verfahren und ein Programm, die ermöglichen, dass ein höheres Gefühl für die Realität erhalten wird. Die Signalverarbeitungsvorrichtung weist Folgendes auf: eine Audioerzeugungseinheit zum Erzeugen eines Schallquellensignals für jeden Typ deiner Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Erfassen von Schall mit einem auf einer mobilen Entität montierten erhalten wird; eine Korrekturinformationserzeugungseinheit zum Erzeugen von Positionskorrekturinformationen, die den Abstand zwischen dem Mikrofon und der Schallquelle angeben; und eine Positionsinformationserzeugungseinheit zum Erzeugen von Schallquellenpositionsinformationen, die die Position einer Schallquelle in einem Zielraum angeben, auf der Basis der Positionskorrekturinformationen und der Mikrofonpositionsinformationen, die die Position des Mikrofons in dem Zielraum angeben. Die vorliegende Technologie kann auf ein Aufzeichnungs-/Übertragungs/Wiedergabesystem angewendet werden.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungsvorrichtung, ein Verfahren und ein Programm, und insbesondere auf eine Signalverarbeitungsvorrichtung, ein Verfahren und ein Programm, die es einem Benutzer ermöglichen, ein realistischeres Gefühl zu erhalten.
HINTERGRUND DER TECHNIK
Herkömmlicherweise gibt es viele auf Objektschallquellen basierende Audiowiedergabeverfahren, um jedoch Objektschallquellen mit Hilfe eines aufgezeichneten Audiosignals, das an einem tatsächlichen Aufnahmeort aufgezeichnet wurde, wiederzugeben, sind ein Audiosignal und Positionsinformationen für jede Objektschallquelle erforderlich. Derzeit ist es üblich, die Klangqualität des Audiosignals nach der Aufzeichnung manuell anzupassen oder die Positionsinformationen für jede Objekttonquelle manuell einzugeben oder zu korrigieren.
Darüber hinaus ist als eine Technologie im Zusammenhang mit der auf Objektschallquellen basierenden Audiowiedergabe eine Technologie vorgeschlagen, bei der in einem Fall, in dem ein Benutzer die Hörposition frei festlegen kann, eine Verstärkungskorrektur und eine Korrektur der Frequenzcharakteristik gemäß dem Abstand von der geänderten Hörposition zu einer Objektschallquelle ausgeführt werden (siehe beispielsweise Patentdokument 1).
ENTGEGENHALTUNGSLISTE
PATENTDOKUMENT
Patentdokument 1: WO 2015/107926 A
ZUSAMMENFASSUNG DER ERFINDUNG
AUFGABEN, DIE DURCH DIE ERFINDUNG ZU LÖSEN SIND
Es gibt jedoch Fälle, in denen mit der vorstehend beschriebenen Technologie kein ausreichend hohes realistisches Gefühl erhalten werden kann.
Beispielsweise ist es in einem Fall, in dem die Positionsinformationen für jede Objektschallquelle manuell eingegeben werden, nicht immer möglich, präzise Positionsinformationen zu erhalten, und somit kann es für einen Anwender unmöglich sein, ein ausreichend realistisches Gefühl erhalten, selbst wenn solche Positionsinformationen verwendet werden.
Die vorliegende Technologie wurde im Hinblick auf eine solche Situation hergestellt und ermöglicht es einem Anwender, ein realistischeres Gefühl zu erhalten.
LÖSUNG DER AUFGABEN
Eine Signalverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Technologie weist Folgendes auf: eine Audioerzeugungseinheit, die ein Schallquellensignal gemäß einem Typ einer Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird, erzeugt; eine Korrekturinformationserzeugungseinheit, die Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben, erzeugt; und eine Positionsinformationserzeugungseinheit, die Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf der Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen erzeugt.
Ein Signalverarbeitungsverfahren oder Programm gemäß einem Aspekt der vorliegenden Technologie weist die folgenden Schritte auf: Erzeugen eines Schallquellensignals gemäß einem Typ einer Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird; Erzeugung von Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben; und Erzeugen von Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf der Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen.
Gemäß einem Aspekt der vorliegenden Technologie wird ein Schallquellensignal gemäß einem Typ einer Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird, erzeugt, Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben, werden erzeugt, und Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, werden auf der Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen erzeugt.
Figurenliste

1 ist ein Diagramm, das ein Konfigurationsbeispiel eines Aufzeichnungs-/Übertragungs-/Wiedergabesystems zeigt.
2 ist ein Diagramm zum Beschreiben der Position einer Objektschallquelle und der Position einer Aufzeichnungsvorrichtung.
3 ist ein Diagramm, das ein Konfigurationsbeispiel eines Servers darstellt.
4 ist ein Diagramm zur Beschreibung der Richtwirkung.
5 ist ein Diagramm, das ein Beispiel für die Syntax von Metadaten darstellt.
6 ist ein Diagramm, das ein Beispiel für die Syntax von Richtwirkungsdaten darstellt.
7 ist ein Diagramm zum Beschreiben der Erzeugung eines Objektschallquellensignals.
8 ist ein Ablaufplan zum Beschreiben von Objektschallquellendatenerzeugungsverarbeitung.
9 ist ein Diagramm, das ein Konfigurationsbeispiel einer Endgerätevorrichtung darstellt.
10 ist ein Ablaufplan zum Beschreiben von Wiedergabeverarbeitung.
11 ist ein Diagramm zum Beschreiben der Anbringung mehrerer Aufzeichnungsvorrichtungen.
12 ist ein Diagramm, das ein Konfigurationsbeispiel eines Servers darstellt.
13 ist ein Ablaufplan zum Beschreiben von Objektschallquellendatenerzeugungsverarbeitung.
14 ist ein Diagramm, das ein Konfigurationsbeispiel eines Computers darstellt.

ART UND WEISE ZUM AUSFÜHREN DER ERFINDUNG
Nachstehend werden Ausführungsformen, auf die die vorliegende Technologie angewandt ist, unter Bezugnahme auf die Zeichnungen beschrieben.
<Erste Ausführungsform>
<Konfigurationsbeispiel für ein Aufzeichnungs-/Übertragungs-/Wiedergabesystem>
Die vorliegende Technologie ermöglicht durch Anbringen von Aufzeichnungsvorrichtungen an mehreren dreidimensionalen Objekten in einem Zielraum und Erzeugen von Informationen, die die Positionen und Richtungen tatsächlicher Schallquellen, nicht die Positionen und Richtungen der Aufzeichnungsvorrichtungen, auf der Basis von aufgezeichneten Signalen von Schall, die durch die Aufzeichnungsvorrichtungen erhalten werden, angeben, dass ein Anwender ein realistischeres Gefühl erhält.
In einem Aufzeichnungs-/Übertragungs-/Wiedergabesystem, auf das die vorliegende Technologie angewandt wird, werden die mehreren dreidimensionalen Objekte, wie z. B. stationäre Objekte oder sich bewegende Objekte, als Objekte betrachtet, und die Aufzeichnungsvorrichtungen sind an den Objekten angebracht, um Schall, der einen Inhalt bildet, aufzuzeichnen. Es wird darauf hingewiesen, dass die Aufzeichnungsvorrichtungen in die Objekte eingebaut sein können.
Insbesondere werden im Folgenden die Objekte als sich bewegende Objekte beschrieben. Darüber hinaus kann der durch das Aufzeichnungs-/Übertragungs-/Wiedergabesystem erzeugte Inhalt ein Inhalt mit einem freien Blickwinkel oder ein Inhalt mit einem festen Blickwinkel sein.
Beispielsweise ist das Folgende Beispiele für einen Inhalt, der zum Anwenden der vorliegenden Technologie geeignet ist.

• Inhalt, der ein Spielfeld, auf dem ein Mannschaftssport ausgeübt wird, wiedergibt
• Inhalt, der eine Darbietung eines Orchesters, einer Marschkapelle oder dergleichen wiedergibt
• Inhalt, der einen Raum, in dem mehrere Darsteller existieren, wie z. B. ein Musical, eine Oper oder ein Schauspiel, wiedergibt
• Inhalt, der einen Raum bei Sportfesten, Konzerthallen, verschiedenen Veranstaltungen, Vorführungen in Themenparks oder Ähnlichem wiedergibt

Es wird darauf hingewiesen, dass beispielsweise in dem Inhalt einer Aufführung einer Marschkapelle oder dergleichen die Darsteller stationär sein oder sich bewegen können.
Darüber hinaus ist das Aufzeichnungs-/Übertragungs-/Wiedergabesystem, auf das die vorliegende Technologie angewandt wird, beispielsweise wie in 1 dargestellt konfiguriert.
Das in 1 dargestellte Aufzeichnungs-/Übertragungs-/Wiedergabesystem weist eine Aufzeichnungsvorrichtung 11-1 bis eine Aufnahmevorrichtung 11-N, einen Server 12 und eine Endgerätevorrichtung 13 auf.
Die Aufzeichnungsvorrichtung 11-1 bis zur Aufzeichnungsvorrichtung 11-N sind an sich bewegenden Objekten als mehrere Objekte in einem Raum, in dem Inhalt aufgezeichnet werden soll (nachstehend auch das der Zielraum bezeichnet), angebracht. Im Folgenden werden in einem Fall, in dem es nicht notwendig ist, zwischen der Aufzeichnungsvorrichtung 11-1 bis zur Aufzeichnungsvorrichtung 11-N besonders zu unterscheiden, die Aufzeichnungsvorrichtung 11-1 bis zur Aufzeichnungsvorrichtung 11-N einfach als Aufzeichnungsvorrichtung 11 bezeichnet.
Die Aufzeichnungsvorrichtung 11 ist beispielsweise mit einem Mikrofon, einem Abstandsmessvorrichtung und einem Bewegungsmessungssensor ausgestattet. Dann kann die Aufzeichnungsvorrichtung 11 aufgezeichnete Daten erhalten, die ein aufgezeichnetes Audiosignal, das durch Schallerfassung (Aufzeichnen) durch das Mikrofon erhalten wird, ein Positionssignal, das durch die Abstandsmessvorrichtung erhalten wird, und ein Sensorsignal, das durch den Bewegungsmessungssensor erhalten wird, aufweisen.
Hier ist das aufgezeichnete Audiosignal, das durch Schallerfassung durch das Mikrofon erhalten wird, ein Audiosignal zum Wiedergeben eines Schalls in der Umgebung eines Objekts.
Der auf dem aufgezeichneten Audiosignal basierende Schall weist beispielsweise einen Schall, dessen Quelle das Objekt selbst ist, das heißt, einen Schall, der von dem Objekt ausgesendet wird, und einen Schall, der durch ein weiteres Objekt in der Umgebung des Objekts ausgesendet wird, auf.
In dem Aufzeichnungs-/Übertragungs-/Wiedergabesystem wird der Schall, der durch das Objekt emittiert wird, als ein Schall einer Objektschallquelle betrachtet, und der Inhalt, der den Schall der Objektschallquelle aufweist, wird für die Endgerätevorrichtung 13 bereitgestellt. Das heißt, der Schall der Objektschallquelle wird als ein Zielschall extrahiert.
Der Schall der Objektschallquelle als der Zielschall ist beispielsweise eine durch eine Person, die ein Objekt ist, gesprochene Sprache, ein Geh- oder Laufgeräusch eines Objekts, ein Bewegungsgeräusch wie z. B. ein Klatschgeräusch oder ein Balltretgeräusch durch ein Objekt, ein Musikinstrumentengeräusch, das von einem durch ein Objekt gespieltes Instrument ausgesendet wird, oder dergleichen.
Darüber hinaus weist die in der Aufzeichnungsvorrichtung 11 vorgesehene Abstandsmessvorrichtung beispielsweise ein Modul des globalen Positionsbestimmungssystems (GPS-Modul), einen Bakenempfänger für die Abstandsmessung in Innenräumen oder dergleichen auf, misst die Position eines Objekts, an dem die Aufzeichnungsvorrichtung 11 angebracht ist, und gibt das Positionssignal, das das Messergebnis angibt, aus.
Der in der Aufzeichnungsvorrichtung 11 vorgesehene Bewegungsmessungssensor weist beispielsweise einen Sensor zum Messen der Bewegung und Orientierung des Objekts, wie z. B. einen 9-Achsen-Sensor, einen geomagnetischen Sensor, einen Beschleunigungssensor, einen Gyrosensor, eine Trägheitsmessungseinheit (IMU) oder eine Kamera (Bildsensor), auf und gibt das Sensorsignal, das das Messergebnis angibt, aus.
Wenn die aufgezeichneten Daten durch Aufzeichnen erhalten werden, überträgt auf Aufzeichnungsvorrichtung 11 die aufgezeichneten Daten durch Drahtloskommunikation oder dergleichen an den Server 12.
Es wird darauf hingewiesen, dass eine Aufzeichnungsvorrichtung 11 an einem Objekt in dem Zielraum angebracht sein kann oder mehrere Aufzeichnungsvorrichtungen 11 an mehreren unterschiedlichen Positionen eines Objekts angebracht sein können.
Darüber hinaus können die Position und das Verfahren zum Anbringen der Aufzeichnungsvorrichtung 11 an jedem Objekt irgendeine Position und irgendein Verfahren sein.
Beispielsweise ist es in einem Fall, in dem ein Objekt eine Person wie z. B. ein Sportler ist, denkbar, die Aufzeichnungsvorrichtung 11 an dem Rücken des Rumpfes der Person anzubringen. Wenn nur eine Aufzeichnungsvorrichtung 11 an einem Objekt auf diese Weise angebracht ist, ist es notwendig, zwei oder mehr Mikrofone in der Aufzeichnungsvorrichtung 11 vorzusehen, um die Ankunftsrichtung eines Schalls einer Objektschallquelle wie später beschrieben zu schätzen.
Darüber hinaus ist es beispielsweise auch denkbar, die Aufzeichnungsvorrichtung 11 an einem aus der Vorderseite des Rumpfes, der Rückseite des Rumpfes und dem Kopf einer Person als einem Objekt anzubringen oder die Aufzeichnungsvorrichtungen 11 an einigen Teilen dieser Teile anzubringen.
Außerdem kann, obwohl ein Beispiel, in dem das sich bewegende Objekt als ein Objekt eine Person wie z. B. ein Sportler ist, hier beschrieben wird, das Objekt (sich bewegende Objekt) irgendein Objekt, an dem die Aufzeichnungsvorrichtung 11 angebracht ist oder in das die Aufzeichnungsvorrichtung 11 eingebaut ist, wie z. B. ein Roboter, ein Fahrzeug oder ein fliegendes Objekt wie z. B. eine Drohne sein.
Der Server 12 empfängt die von jeder der Aufzeichnungsvorrichtungen 11 übertragenen Aufzeichnungsdaten und erzeugt auf der Basis der empfangenen Aufzeichnungsdaten Objektschallquellendaten als Inhaltsdaten.
Hier weisen die Objektschallquellendaten ein Objektschallquellensignal zur Wiedergabe eines Schalls einer Objektschallquelle und Metadaten des Objektschallquellensignals auf. Die Metadaten weisen Schallquellenpositionsinformationen, die die Position der Objektschallquelle angeben, Schallquellenrichtungsinformationen, die die Orientierung (Richtung) der Objektschallquelle angeben, und dergleichen auf.
Insbesondere werden beim Erzeugen der Objektschallquellendaten verschiedene Typen von Signalverarbeitung basierend auf den aufgezeichneten Daten ausgeführt. Das heißt, es werden beispielsweise der Abstand von der Position der Aufzeichnungsvorrichtung 11 zu der Position der Objektschallquelle, die relative Richtung (Richtung) der Objektschallquelle gesehen von der Aufzeichnungsvorrichtung 11 und dergleichen geschätzt, und die Objektschallquellendaten werden auf der Basis des Schätzergebnisses erzeugt.
Insbesondere werden in dem Server 12 das Objektschallquellensignal, die Schallquellenpositionsinformation und die Schallquellenrichtungsinformation auf geeignete Weise erzeugt oder durch frühere Informationen auf der Basis des Abstands und der Richtung, die durch die Schätzung erhalten werden, korrigiert.
Mit dieser Konfiguration ist es möglich, ein Objektschallquellensignal von hoher Qualität, das ein höheres Signal/Rausch-Verhältnis (SN-Verhältnis) besitzt, zu erhalten, und es ist möglich, genauere, das heißt präzisere Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen zu erhalten. Als ein Ergebnis ist es möglich, eine in hohem Maße realistische Inhaltswiedergabe zu implementieren.
Es wird darauf hingewiesen, dass die früheren Informationen, die verwendet werden, um Objektschallquellendaten zu erzeugen, beispielsweise Spezifikationsdaten bezüglich jedes Körperteils der Person als das Objekt, an dem die Aufzeichnungsvorrichtung 11 angebracht ist, Übertragungseigenschaften von der Objektschallquelle zu den Mikrofonen der Aufzeichnungsvorrichtung 11 und dergleichen sind.
Der Server 12 überträgt die erzeugten Objektschallquellendaten über ein drahtgebundenes oder drahtloses Netz oder dergleichen an das Endgerät 13.
Die Endgerätevorrichtung 13 weist beispielsweise eine Informationsendgerätevorrichtung wie z. B. ein Smartphone, ein Tablet oder einen Personalcomputer auf und empfängt die von dem Server 12 übertragenen Objektschallquellendaten. Darüber hinaus bearbeitet die Endgerätevorrichtung 13 den Inhalt auf der Basis der empfangenen Objektschallquellendaten oder steuert eine Wiedergabevorrichtung wie z. B. Kopfhörer (nicht dargestellt) an, um den Inhalt wiederzugeben.
Wie vorstehend beschrieben ermöglicht es das Aufzeichnungs-/Übertragungs-/Wiedergabesystem durch Erzeugen der Objektschallquellendaten, die die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen, die die präzise Position und Richtung der Objektschallquelle anstelle der Position und Richtung der Aufzeichnungsvorrichtung 11 angeben, aufweisen, dass ein Anwender ein realistischeres Gefühl erhält. Darüber hinaus ermöglicht das Erzeugen des Objektschallquellensignals, das dem Klang an der Position der Objektschallquelle nahe kommt, das heißt das Signal, das dem ursprünglichen Klang der Objektschallquelle nahe kommt, dass der Benutzer ein realistischeres Gefühl erhält.
Wenn beispielsweise wird in einem Fall, in dem eine oder mehrere Aufzeichnungsvorrichtungen 11 an dem Objekt angebracht sind, um den Schall der Objektschallquelle aufzunehmen, der Schall der Objektschallquelle an den Positionen der Mikrofone, die sich von der Position der Objektschallquelle unterscheiden, erfasst. Das heißt, der Schall der Objektschallquelle wird an Positionen, die sich von der tatsächlichen Erzeugungsposition unterscheiden, erfasst. Darüber hinaus ist die Position, an der der Schall der Objektschallquelle in dem Objekt erzeugt wird, abhängig von dem Typ der Objektschallquelle unterschiedlich.
Insbesondere ist beispielsweise, wie in 2 dargestellt, angenommen, dass ein Fußballspieler ein Objekt OB11 ist und die Aufzeichnungsvorrichtung 11 an einer Position auf dem Rücken des Objekts OB11 angebracht ist, um das Aufzeichnen auszuführen.
In diesem Fall ist, beispielsweise wenn eine vom Objekt OB11 ausgesendete Stimme der Schall der Objektschallquelle ist, die Position der Objektschallquelle die durch einen Pfeil A11 angegebene Position, das heißt die Position des Mundes des Objekts OB11, und die Position unterscheidet sich von der Anbringungsposition der Aufzeichnungsvorrichtung 11.
Ähnlich ist, beispielsweise wenn ein Schall, der durch das Objekt OB11 ausgesendet wird, dass einen Ball tritt, der Schall der Objektschallquelle ist, die Position der Objektschallquelle die durch einen Pfeil A12 angegebene Position, das heißt die Position eines Fußes des Objekts OB11, und die Position unterscheidet sich von der Anbringungsposition der Aufzeichnungsvorrichtung 11.
Es wird darauf hingewiesen, dass, da die Aufzeichnungsvorrichtung 11 ein in gewissem Maße kleines Gehäuse besitzt, die Positionen der Mikrofone, der Abstandsmessvorrichtung und des Bewegungsmesssensors, die in der Aufzeichnungsvorrichtung 11 vorgesehen sind, als im Wesentlichen gleich angenommen werden können.
In einem Fall, in dem die Position, an der der Schall der Objektschallquelle erzeugt wird, und die Anbringungsposition der Aufzeichnungsvorrichtung 11 wie vorstehend beschrieben unterschiedlich sind, ändert sich der Schall basierend auf dem aufgezeichneten Audiosignal abhängig von der Positionsbeziehung zwischen der Objektschallquelle und der Aufzeichnungsvorrichtung 11 (der Mikrofone) in hohem Maße.
Deshalb wird in dem Aufzeichnungs-/Übertragungs-/Wiedergabesystem das aufgezeichnete Audiosignal unter Verwendung der früheren Informationen gemäß der Positionsbeziehung zwischen der Objektschallquelle und den Mikrofonen (der Aufzeichnungsvorrichtung 11) korrigiert, so dass es möglich ist, das Objektschallquellensignal, das dem ursprünglichen Schall der Objektschallquelle nahe kommt, zu erhalten.
In ähnlicher Weise sind die Positionsinformationen (das Positionssignal) und die Richtungsinformationen (das Sensorsignal), die zum Zeitpunkt des Aufzeichnens durch die Aufzeichnungsvorrichtung 11 erhalten werden, Informationen, die die Position und die Richtung der Aufzeichnungsvorrichtung 11, spezifischer die Position und die Richtung der Abstandsmessvorrichtung und des Bewegungsmesssensors, angeben. Die Position und Richtung der Aufzeichnungsvorrichtung 11 unterscheiden sich jedoch von der Position und Richtung der tatsächlichen Objektschallquelle.
Daher ermöglicht das Aufzeichnungs-/Übertragungs-/Wiedergabesystem, durch Korrigieren der zum Zeitpunkt des Aufzeichnens erhaltenen Positionsinformationen und Richtungsinformationen gemäß der Positionsbeziehung zwischen der Objektschallquelle und der Aufzeichnungsvorrichtung 11 präzisere Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen zu erhalten.
Mit dem oben beschriebenen Verfahren kann das Aufzeichnungs-/Übertragungs-/Wiedergabesystem realistischeren Inhalt wiedergeben.
<Konfigurationsbeispiel für den Server>
Als nächstes wird ein Konfigurationsbeispiel für den in 1 dargestellten Server 12 beschrieben.
Der Server 12 ist beispielsweise wie in 3 dargestellt konfiguriert.
In dem in 3 dargestellten Beispiel weist der Server 12 eine Erfassungseinheit 41, eine Vorrichtungspositionsinformationskorrektureinheit 42, eine Vorrichtungsrichtungsinformationserzeugungseinheit 43, eine Abschnittsdetektionseinheit 44, eine Einheit 45 zur Schätzung der relativen Ankunftsrichtung, eine Übertragungseigenschaftsdatenbank 46, eine Korrekturinformationserzeugungseinheit 47, eine Audioerzeugungseinheit 48, eine Einheit 49 zur Erzeugung der korrigierten Position, eine Einheit 50 zur Erzeugung der korrigierten Richtung, eine Objektschallquellendatenerzeugungseinheit 51, eine Richtwirkungsdatenbank 52 und eine Übertragungseinheit 53 auf.
Die Erfassungseinheit 41 erfasst die aufgezeichneten Daten von der Aufzeichnungsvorrichtung 11, beispielsweise durch Empfangen der aufgezeichneten Daten, die von der Aufzeichnungsvorrichtung 11 übertragen werden.
Die Erfassungseinheit 41 führt das aufgezeichnete Audiosignal, das in den aufgezeichneten Daten enthalten ist, der Abschnittsdetektionseinheit 44, Einheit 45 zur Schätzung der relativen Ankunftsrichtung und der Audioerzeugungseinheit 48 zu.
Darüber hinaus führt die Erfassungseinheit 41 das Positionsbestimmungssignal und das Sensorsignal, die in den aufgezeichneten Daten enthalten sind, der Vorrichtungspositionsinformationskorrektureinheit 42 zu und führt das in den aufgezeichneten Daten enthaltene Sensorsignal der Vorrichtungsrichtungsinformationserzeugungseinheit 43 zu.
Die Vorrichtungspositionsinformationskorrektureinheit 42 erzeugt Vorrichtungspositionsinformationen, die die absolute Position der Aufzeichnungsvorrichtung 11 in dem Zielraum angeben, durch Korrigieren der durch das von der Erfassungseinheit 41 zugeführte Positionsbestimmungssignal angegebenen Position auf der Basis des von der Erfassungseinheit 41 zugeführten Sensorsignals und führt die Vorrichtungspositionsinformationen der Einheit 49 zur Erzeugung der korrigierten Position zu.
Hier kann man sagen, dass, da die Mikrofone in der Aufzeichnungsvorrichtung 11 vorgesehen sind, die Vorrichtungspositionsinformationskorrektureinheit 42 als eine Mikrofonpositionsinformationserzeugungseinheit funktioniert, die die Vorrichtungspositionsinformationen, die die absoluten Positionen der Mikrofone der Aufzeichnungsvorrichtung 11 in dem Zielraum angeben, auf der Basis des Sensorsignals und des Positionsbestimmungssignals erzeugt.
Beispielsweise ist die durch das Positionsbestimmungssignal angegebene Position eine Position, die durch die Abstandsmessvorrichtung wie z. B. das GPS-Modul gemessen wird und deshalb einen gewissen Fehler aufweist. Deshalb wird die durch das Positionsbestimmungssignal angegebene Position mit dem integrierten Wert oder dergleichen der Bewegung der Aufzeichnungsvorrichtung 11, der durch das Sensorsignal angegeben ist, korrigiert, so dass es möglich ist, die Vorrichtungspositionsinformationen, die eine präzisere Position der Aufzeichnungsvorrichtung 11 angeben, zu erhalten.
Hier sind die Vorrichtungspositionsinformationen beispielsweise eine geografische Breite und eine geografische Länge, die eine absolute Position auf der Erdoberfläche angeben, Koordinaten, die durch Umsetzung der geografischen Breite und geografischen Länge in einen Abstand erhalten werden, oder dergleichen.
Zusätzlich können die Vorrichtungspositionsinformationen irgendwelche Informationen sein, die die Position der Aufzeichnungsvorrichtung 11 angeben, wie z. B. Koordinaten eines Koordinatensystems, das als eine Referenzposition eine vorbestimmte Position in dem Zielraum, in dem der Inhalt aufgezeichnet werden soll, verwendet.
Darüber hinaus können in einem Fall, in dem die Vorrichtungspositionsinformationen Koordinaten (Koordinateninformationen) sind, die Koordinaten Koordinaten irgendeines Koordinatensystems sein, wie z. B. Koordinaten eines Polarkoordinatensystems, die einen Azimutwinkel, einen Höhenwinkel und einen Radius aufweisen, Koordinaten eines xyz-Koordinatensystems, das heißt Koordinaten eines dreidimensionalen kartesischen Koordinatensystems, oder Koordinaten eines zweidimensionalen kartesischen Koordinatensystems.
Es wird darauf hingewiesen, dass man hier sagen kann, dass, da die Mikrofone und die Abstandsmessvorrichtung in der Aufzeichnungsvorrichtung 11 vorgesehen sind, die durch die Abstandsmessvorrichtung gemessene Position die Positionen der Mikrofone ist.
Darüber hinaus können, selbst wenn die Mikrofone und die Abstandsmessvorrichtung getrennt platziert sind, die Vorrichtungspositionsinformationen, die die Positionen der Mikrofone angeben, aus dem durch die Abstandsmessvorrichtung erhaltenen Positionsbestimmungssignal erhalten werden können, falls die relative Positionsbeziehung zwischen den Mikrofonen und der Abstandsmessvorrichtung bekannt ist.
In diesem Fall erzeugt die Vorrichtungspositionsinformationskorrektureinheit 42 die Vorrichtungspositionsinformationen der der Basis von Informationen, die die absolute Position der Aufzeichnungsvorrichtung 11 (Abstandsmessvorrichtung), das heißt die absolute Position des Objekts in dem Zielraum, die aus dem Positionsbestimmungssignal und dem Sensorsignal erhalten wird, angeben, und von Informationen, die die Anbringungspositionen der Mikrofone in dem Objekt angeben, das heißt Informationen, die die relative Positionsbeziehung zwischen den Mikrofonen und der Abstandsmessvorrichtung angeben.
Die Vorrichtungsrichtungsinformationserzeugungseinheit 43 erzeugt Vorrichtungsrichtungsinformationen, die die absolute Orientierung, in die die Aufzeichnungsvorrichtung 11 (Mikrofone), das heißt, das Objekt in dem Zielraum, weist, auf der Basis des von der Erfassungseinheit 41 zugeführten Sensorsignals und führt die Vorrichtungsrichtungsinformationen der Einheit 50 zur Erzeugung der korrigierten Richtung zu. Die Vorrichtungsrichtungsinformationen sind beispielsweise Winkelinformationen, die die Frontrichtung des Objekts (der Aufzeichnungsvorrichtung 11) im Zielraum angeben.
Es wird darauf hingewiesen, dass die Vorrichtungsrichtungsinformationen nicht nur die Informationen, die die Orientierung der Aufzeichnungsvorrichtung 11 (des Objekts) angeben, sondern auch Informationen, die die Drehung (die Neigung) der Aufzeichnungsvorrichtung 11 angeben, aufweisen können.
Im Folgenden ist angenommen, dass die Vorrichtungsrichtungsinformationen die Informationen, die die Orientierung der Aufzeichnungsvorrichtung 11 angeben, und die Informationen, die die Drehung der Aufzeichnungsvorrichtung 11 angeben, aufweisen.
Insbesondere weisen die Vorrichtungsrichtungsinformationen beispielsweise einen Azimutwinkel ψ und einen Höhenwinkel θ, die die Ausrichtung der Aufzeichnungsvorrichtung 11 an den Koordinaten als die Vorrichtungspositionsinformationen im Koordinatensystem angeben, und einen Neigungswinkel φ, der die Drehung (Neigung) der Aufzeichnungsvorrichtung 11 an den Koordinaten als die Vorrichtungspositionsinformationen im Koordinatensystem angibt, auf.
Mit anderen Worten kann man sagen, dass die Vorrichtungsrichtungsinformationen Informationen sind, die Euler-Winkel, die den Azimutwinkel ψ (Gieren), den Höhenwinkel θ (Nicken) und den Neigungswinkel φ (Rollen) aufweisen, die die absolute Orientierung und Drehung der Aufzeichnungsvorrichtung 11 (des Objekts) angeben.
In dem Server 12 werden die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen, die aus den Vorrichtungspositionsinformationen und den Vorrichtungsrichtungsinformationen erhalten werden, in den Metadaten für jede diskrete Zeiteinheit, wie z. B. für jeden Rahmen oder jede vorbestimmte Anzahl von Rahmen des Objektshallquellensignals, gespeichert und an die Endgerätevorrichtung 13 übertragen.
Die Abschnittsdetektionseinheit 44 detektiert den Typ (Typ) des Schalls der Objektschallquelle, der in dem aufgezeichneten Audiosignal enthalten ist, das heißt, den Typ der Objektschallquelle und einen Zeitabschnitt, in dem der Schall der Objektschallquelle enthalten ist, auf der Basis des von der Erfassungseinheit 41 zugeführten aufgezeichneten Audiosignals.
Die Abschnittsdetektionseinheit 44 führt eine Schallquellentyp-ID als ID-Informationen, die den Typ der detektierten Objektschallquelle angeben, und Abschnittsinformationen, die den Zeitabschnitt angeben, der den Schall der Objektschallquelle aufweist, der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zu und führt die Schallquellentyp-ID der Übertragungseigenschaftsdatenbank 46 zu.
Darüber hinaus führt die Abschnittsdetektionseinheit 44 eine Objekt-ID als Identifizierungsinformationen, die das Objekt angeben, an dem die Aufzeichnungsvorrichtung 11, die das aufgezeichnete Audiosignal, das zu detektieren ist, erhalten hat, angebracht ist, und die Schallquellentyp-ID, die den Typ der Objektschallquelle, der aus dem aufgezeichneten Audiosignal detektiert wird, der Objektschallquellendatenerzeugungseinheit 51 zu.
Die Objekt-ID und die Schallquellentyp-ID werden in den Metadaten des Objektschallquellensignals gespeichert. Mit dieser Konfiguration ist es auf der Seite der Endgerätevorrichtung 13 möglich, auf einfache Weise eine Bearbeitungsoperation auszuführen, wie z. B. das gemeinsame Verschieben von Schallquellenpositionsinformationen oder dergleichen mehrerer Objektschallquellensignale, die für dasselbe Objekt erhalten werden.
Die Einheit 45 zur Schätzung der relativen Ankunftsrichtung erzeugt Informationen über die relative Ankunftsrichtung für jeden Zeitabschnitt des aufgezeichneten Audiosignals, der durch die Abschnittsinformationen angezeigt wird, auf der Basis der Schallquellentyp-ID und der Abschnittsinformationen, die von der Abschnittsdetektionseinheit 44 zugeführt werden, und des aufgezeichneten Audiosignals, das von der Erfassungseinheit 41 zugeführt wird.
Hier sind die Information über die relative Ankunftsrichtung Informationen, die die relative Ankunftsrichtung (Ankunftsrichtung) des Schalls der Objektschallquelle aus Sicht der Aufzeichnungsvorrichtung 11, spezifischer der in der Aufzeichnungsvorrichtung 11 vorgesehenen Mikrofone, angeben.
Beispielsweise ist die Aufzeichnungsvorrichtung 11 mit mehreren Mikrofonen ausgestattet, und das aufgezeichnete Audiosignal ist ein Mehrkanal-Audiosignal, das durch Schallerfassung durch die mehreren Mikrofone erhalten wird.
Die Einheit 45 zur Schätzung der relativen Ankunftsrichtung schätzt die relative Ankunftsrichtung des Schalls der Objektschallquelle, wie sie von den Mikrofonen aus gesehen wird, z. B. durch ein Mehrfachsignalklassifizierungs-Verfahren (MUSIC-Verfahren), das die Phasendifferenz (Korrelation) zwischen zwei oder mehr Mikrofonen verwendet, und erzeugt die Informationen über die relative Ankunftsrichtung, die das Schätzergebnis angeben.
Die Einheit 45 zur Schätzung der relativen Ankunftsrichtung führt die erzeugten Informationen über die relative Ankunftsrichtung der Übertragungseigenschaftsdatenbank 46 und der Korrekturinformationserzeugungseinheit 47 zu.
Die Übertragungseigenschaftsdatenbank 46 hält die Schallübertragungseigenschaften von der Objektschallquelle zu der Aufzeichnungsvorrichtung 11 (den Mikrofonen) für jeden Schallquellentyp (Objektschallquellentyp).
Hier werden insbesondere für jeden Schallquellentyp beispielsweise die Übertragungseigenschaften für jede Kombination aus der relativen Richtung der Aufzeichnungsvorrichtung 11 (der Mikrofone) von der Objektschallquelle aus gesehen und dem Abstand von Objektschallquelle zu der Aufzeichnungsvorrichtung 11 (Mikrofone) gehalten.
In diesem Fall werden beispielsweise in der Übertragungseigenschaftsdatenbank 46 die Schallquellentyp-ID, die Anbringungspositionsinformationen, die Informationen über die relative Richtung und die Übertragungseigenschaften einander zugeordnet, und die Übertragungseigenschaften werden in einem Tabellenformat gehalten. Es wird darauf hingewiesen, dass die Übertragungseigenschaften in Zuordnung zu den Informationen über die relative Ankunftsrichtung anstelle der Informationen über die relative Richtung gehalten werden können.
Hier sind die Anbringungspositionsinformationen Informationen, die die Anbringungsposition der Aufzeichnungsvorrichtung 11 gesehen von einer Referenzposition des Objekts, beispielsweise einer spezifischen Ortsposition der Halswirbelsäule der Person als das Objekt, angeben. Beispielsweise sind die Anbringungspositionsinformationen Koordinateninformationen eines dreidimensionalen kartesischen Koordinatensystems.
Da beispielsweise eine ungefähre Position der Objektschallquelle in dem Objekt durch den durch die Schallquellentyp-ID angegebenen Schallquellentyp spezifiziert werden kann, wird der ungefähre Abstand von der Objektschallquelle zu der Aufzeichnungsvorrichtung 11 durch die Schallquellentyp-ID und die Anbringungspositionsinformationen bestimmt.
Darüber hinaus sind die Informationen über die relative Richtung Informationen, die die relative Richtung der Aufzeichnungsvorrichtung 11 (Mikrofone) gesehen von der Objektschallquelle angeben, und können aus den Informationen über die relative Ankunftsrichtung erhalten werden.
Es wird darauf hingewiesen, dass ein Beispiel, in dem die Übertragungseigenschaften in einem Tabellenformat gehalten werden, nachstehend beschrieben wird, die Übertragungseigenschaften für jede Schallquellentyp-ID jedoch in der Form einer Funktion, die die Anbringungspositionsinformationen und die Informationen über die relative Richtung als Argumente verwendet, gehalten werden können.
Die Übertragungseigenschaftsdatenbank 46 liest aus den im Voraus für jeden Schallquellentyp-ID gehaltenen Übertragungseigenschaften die Übertragungseigenschaften, die durch die zugeführten Anbringungspositionsinformationen, die Schallquellentyp-ID, die aus der Abschnittsdetektionseinheit 44 zugeführt ist, und den Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt sind, bestimmt sind, aus und führt die gelesenen Übertragungseigenschaften der Korrekturinformationserzeugungseinheit 47 zu.
Das heißt, die Übertragungseigenschaftsdatenbank 46 führt die Übertragungseigenschaften gemäß dem Typ der Objektschallquelle, der durch die Schallquellentyp-ID angegeben ist, dem Abstand von der Objektschallquelle zu den Mikrofonen, die durch die Anbringungspositionsinformationen bestimmt ist, und der relativen Richtung zwischen der Objektschallquelle und den Mikrofonen, die durch die Informationen über die relative Richtung angegeben sind, der Korrekturinformationserzeugungseinheit 47 zu.
Es wird darauf hingewiesen, dass als die Anbringungspositionsinformationen, die der Übertragungseigenschaftsdatenbank 46 zugeführt werden, bekannte Anbringungspositionsinformationen der Aufzeichnungsvorrichtung 11 im Voraus in dem Server 12 aufgezeichnet sein können, oder die Anbringungspositionsinformationen in den aufgezeichneten Daten enthalten sein können.
Die Korrekturinformationserzeugungseinheit 47 erzeugt Audiokorrekturinformationen, Positionskorrekturinformationen und Richtungskorrekturinformationen auf der Basis der zugeführten Anbringungspositionsinformationen, der Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, und den Übertragungseigenschaften, die von der Übertragungseigenschaftsdatenbank 46 zugeführt werden.
Hier sind die Audiokorrekturinformationen Korrektureigenschaften zum Erhalten des Objektschallquellensignals des Schalls der Objektschallquelle auf der Basis des aufgezeichneten Audiosignals.
Insbesondere sind die Audiokorrekturinformationen Umkehreigenschaften der Übertragungseigenschaften, die von der Übertragungseigenschaftsdatenbank 46 der Korrekturinformationserzeugungseinheit 47 zugeführt werden (nachstehend auch als Umkehrübertragungseigenschaften bezeichnet).
Es wird darauf hingewiesen, dass, obwohl hier ein Beispiel, in dem die Übertragungseigenschaften in der Übertragungseigenschaftsdatenbank 46 gehalten werden, beschrieben wird, die Umkehrübertragungseigenschaften für jeden Schallquellentyp-ID gehalten werden können.
Darüber hinaus sind die Positionskorrekturinformationen Versatzinformationen für die Position der Objektschallquelle gesehen von der Position der Aufzeichnungsvorrichtung 11 (Mikrofone). Mit anderen Worten sind die Positionskorrekturinformationen Differenzinformationen, die die relative Positionsbeziehung zwischen der Aufzeichnungsvorrichtung 11 und der Objektschallquelle, die durch die relative Richtung und den Abstand zwischen der Aufzeichnungsvorrichtung 11 und der Objektschallquelle angegeben ist, angeben.
Ähnlich sind die Richtungskorrekturinformationen Versatzinformationen für die Richtung (Richtung) der Objektschallquelle gesehen von der Aufzeichnungsvorrichtung 11 (den Mikrofonen), das heißt, Differenzinformationen, die die relative Richtung zwischen der Aufnahmevorrichtung 11 und der Objektschallquelle angeben.
Die Korrekturinformationserzeugungseinheit 47 führt die Audiokorrekturinformationen, die Positionskorrekturinformationen und die Richtungskorrekturinformationen, die durch Berechnung erhalten werden, der Audioerzeugungseinheit 48, der Einheit 49 zur Erzeugung der korrigierten Position und der Einheit 50 zur Erzeugung der korrigierten Richtung zu.
Die Audioerzeugungseinheit 48 erzeugt das Objektschallquellensignal auf der Basis des aufgezeichneten Audiosignals, das von der Erfassungseinheit 41 zugeführt wird, und der Audiokorrekturinformationen, die von der Korrekturinformationserzeugungseinheit 47 zugeführt werden, und führt das Objektschallquellensignal der Objektschallquellendatenerzeugungseinheit 51 zu. Mit anderen Worten extrahiert die Audioerzeugungseinheit 48 das Objektschallquellensignal für jede Objektschallquelle aus dem aufgezeichneten Audiosignal auf der Basis der Audiokorrekturinformationen für jede Schallquellentyp-ID.
Das durch die Audioerzeugungseinheit erhaltene Objektschallquellensignal ist ein Audiosignal zur Wiedergabe des Schalls der Objektschallquelle, der an der Position der Objektschallquelle beobachtet werden sollte.
Die Einheit 49 zur Erzeugung der korrigierten Position erzeugt die Schallquellenpositionsinformationen, die die absolute Position der Objektschallquelle in dem Zielraum angeben, auf der Basis der Vorrichtungspositionsinformationen, die von der Vorrichtungspositionsinformationskorrektureinheit 42 zugeführt werden, und der Positionskorrekturinformationen, die von der Korrekturinformationserzeugungseinheit 47 zugeführt werden, und führt die Schallquellenpositionsinformationen der Objektschallquellendatenerzeugungseinheit 51 zu. Das heißt, die Vorrichtungspositionsinformationen werden auf der Basis der Positionskorrekturinformationen korrigiert, und als ein Ergebnis werden die Schallquellenpositionsinformationen erhalten.
Die Einheit 50 zur Erzeugung der korrigierten Richtung erzeugt die Schallquellenrichtungsinformationen, die die absolute Orientierung (Richtung) der Objektschallquelle in dem Zielraum angeben, auf der Basis der Vorrichtungsrichtungsinformationen, die von der Vorrichtungsrichtungsinformationserzeugungseinheit 43 zugeführt werden, und der Richtungskorrekturinformationen, die von der Korrekturinformationserzeugungseinheit 47 zugeführt werden, und führt die Schallquellenrichtungsinformationen der Objektschallquellendatenerzeugungseinheit 51 zu. Das heißt, die Vorrichtungsrichtungsinformationen werden auf der Basis der Richtungskorrekturinformationen korrigiert, und als ein Ergebnis werden die Schallquellenrichtungsinformationen erhalten.
Die Objektschallquellendatenerzeugungseinheit 51 erzeugt die Objektschallquellendaten aus der Schallquellentyp-ID und der Objekt-ID, die von der Abschnittsdetektionseinheit 44 zugeführt werden, dem Objektschallquellensignal, das von der Audioerzeugungseinheit 48 zugeführt wird, den Schallquellenpositionsinformationen, die von der Einheit 49 zur Erzeugung der korrigierten Position zugeführt werden, und den Schallquellenrichtungsinformationen, die von der Einheit 50 zur Erzeugung der korrigierten Richtung zugeführt werden, und führt die Objektschallquellendaten der Übertragungseinheit 53 zu.
Hier weisen die Objektschallquellendaten das Objektschallquellensignal und die Metadaten des Objektschallquellensignals auf.
Darüber hinaus weisen die Metadaten die Schallquellentyp-ID, die Objekt-ID, die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen auf.
Außerdem liest die Objektschallquellendatenerzeugungseinheit 51 bei Bedarf Richtwirkungsdaten aus der Richtwirkungsdatenbank 52 aus und führt die Richtwirkungsdaten der Übertragungseinheit 53 zu.
Die Richtwirkungsdatenbank 52 hält für jeden Typ einer Objektschallquelle, der durch die Schallquellentyp-ID angegeben wird, die Richtwirkungsdaten, die die Richtwirkung der Objektschallquelle, d. h. die Übertragungseigenschaften in jeder Richtung von der Objektschallquelle aus gesehen, angeben.
Die Übertragungseinheit 53 überträgt die Objektschallquellendaten und die Richtwirkungsdaten, die von der Objektschallquellendatenerzeugungseinheit 51 zugeführt werden, an die Endgerätevorrichtung 13.
<Über jede Einheit des Servers>
Als Nächstes wird jede in dem Server 12 enthaltene Einheit genauer beschrieben.
Zuerst werden die in der Richtwirkungsdatenbank 52 gehaltenen Richtwirkungsdaten beschrieben.
Beispielsweise weist, wie in 4 dargestellt ist, jede Objektschallquelle eine der Objektschallquelle eigene Richtwirkung auf.
In dem in 4 dargestellten Beispiel besitzt beispielsweise eine Trillerpfeife als eine Objektschallquelle eine Richtwirkung, in der sich der Schall stark in einer Richtung nach vorne (vorwärts) ausbreitet, wie durch einen Pfeil Q11 angegeben ist, das heißt eine starke vordere Richtwirkung.
Darüber hinaus besitzt beispielsweise ein Fußtritt, der von einem Spike oder dergleichen als eine Objektschallquelle ausgesendet wird, eine Richtwirkung, in der sich der Schall in allen Richtungen mit der gleichen Intensität ausbreitet, wie durch einen Pfeil A12 angegeben ist (Nicht-Richtwirkung).
Außerdem besitzt beispielsweise eine Sprache, die von einem Mund eines Darstellers als eine Objektschallquelle ausgegeben wird, eine Richtwirkung, in der sich der Schall stark nach vorne und zu den Seiten ausbreitet, wie durch einen Pfeil Q13 angegeben ist, das heißt, eine in ziemlich starke Richtwirkung nach vorne.
Solche Richtwirkungsdaten, die die Richtwirkung einer Objektschallquelle angeben, können beispielsweise durch eine Mikrofonanordnung erhalten werden, die die Eigenschaften (Übertragungseigenschaften) der Schallausbreitung in die Umgebung für jeden Typ einer Objektschallquelle in einem schalltoten Raum oder dergleichen erfasst. Zusätzlich können die Richtwirkungsdaten beispielsweise auch durch eine auf 3D-Daten ausgeführte Simulation, die die Form der Objektschallquelle simuliert, erhalten werden.
Insbesondere sind die Richtwirkungsdaten eine Verstärkungsfunktion dir (i, ψ, θ) oder dergleichen, die als eine Funktion eines Azimutwinkels ψ und eines Höhenwinkels θ, die jeweils eine Richtung in Bezug auf die vordere Richtung der Objektschallquelle von der Objektschallquelle aus gesehen angeben, die für einen Wert i der Schallquellentyp-ID definiert ist.
Darüber hinaus kann eine Verstärkungsfunktion dir (i, d, ψ, θ) mit einem diskreten Abstand d von der Objektschallquelle als Argument zusätzlich zu dem Azimutwinkel ψ und dem Höhenwinkel θ als die Richtwirkungsdaten verwendet werden.
In diesem Fall ermöglicht das Zuweisen jedes Arguments zu der Verstärkungsfunktion dir (i, d, ψ, θ), einen Verstärkungswert, der die Schallübertragungseigenschaften angibt, als eine Ausgabe der Verstärkungsfunktion dir (i, d, ψ, θ) zu erhalten.
Dieser Verstärkungswert gibt die Eigenschaften (Übertragungseigenschaften) des Schalls an, der von der Objektschallquelle des Schallquellentyps, dessen Schallquellentyp-ID-Wert i ist, ausgesendet wird, sich in der Richtung des Azimutwinkels ψ und des Höhenwinkels θ von der Objektschallquelle aus gesehen ausbreitet und die Position im Abstand d von der Objektschallquelle (nachstehend als die Position P bezeichnet) erreicht.
Deshalb ist es, wenn Verstärkungskorrektur auf dem Objektschallquellensignal des Schallquellentyps, dessen Schallquellentyp-ID-Wert i ist, auf der Basis dieses Verstärkungswerts ausgeführt wird, möglich, den Schall der Objektschallquelle, der an der Position P tatsächlich zu hören sein sollte, zu reproduzieren (reproduzieren).
Es wird darauf hingewiesen, dass die Richtwirkungsdaten beispielsweise Daten in einem Ambisonics-Format sein können, das heißt Daten, die einen sphärischen Oberwellenkoeffizienten (sphärisches Oberwellenspektrum) in jeder Richtung aufweisen.
Hier wird ein spezifisches Beispiel für die Übertragung der Metadaten des Objektschallquellensignals und der Richtwirkungsdaten beschrieben.
Beispielsweise ist es denkbar, die Metadaten für jeden Rahmen einer vorbestimmten Zeitlänge des Objektschallquellensignals vorzubereiten und die Metadaten und Richtwirkungsdaten für jeden Rahmen durch eine in den 5 und 6 dargestellte Bitstromsyntax an die Endgerätevorrichtung 13 zu übertragen.
Beachten Sie, dass in den 5 und 6 uimsbf das MSB der vorzeichenlosen Ganzzahl zuerst angibt und tcimsbf das MSB der Zweierkomplement-Ganzzahl zuerst angibt.
In dem Beispiel in 5 weisen die Metadaten die Objekt-ID „Original- 3D-object-index“, die Schallquellentyp-ID „Object_type_index“, die Schallquellenpositionsinformationen „Object_position[3]“ und die Schallquellenrichtungsinformationen „Object _direction[3]“ für jedes in dem Inhalt enthaltene Objekt auf.
Insbesondere sind in diesem Beispiel die Positionsinformationen Object_position[3] Koordinaten (x_o, y_o, z_o) eines xyz-Koordinatensystems (dreidimensionalen kartesischen Koordinatensystems), dessen Ursprung eine vorgegebene Referenzposition im Zielraum ist. Die Koordinaten (x_o, y_o, z_o) geben die absolute Position der Objektschallquelle im xyz-Koordinatensystem, das heißt in dem Zielraum, an.
Darüber hinaus weisen die Schallquellenrichtungsinformationen Object_direction[3] einen Azimutwinkel ψ_ο und einen Höhenwinkel θ_ο, die die absolute Orientierung der Objektschallquelle im Zielraum angeben, und einen Neigungswinkel φ_o auf.
Beispielsweise ändert sich in einem Inhalt mit freiem Blickwinkel der Blickwinkel (die Hörposition) zum Zeitpunkt der Wiedergabe des Inhalts mit der Zeit, und somit ist es für das Erzeugen von Wiedergabesignalen vorteilhaft, die Position der Objektschallquelle durch Koordinaten auszudrücken, die die absolute Position anstelle von relativen Koordinaten in Bezug auf die Hörposition angeben.
Es wird darauf hingewiesen, dass die Konfiguration der Metadaten nicht auf das in 5 dargestellte Beispiel beschränkt ist und irgendeine andere Konfiguration sein kann. Darüber hinaus müssen die Metadaten nur in bestimmten Zeitabständen übertragen werden, und es ist nicht immer notwendig, die Metadaten für jeden Rahmen zu übertragen.
Darüber hinaus wird in dem in 6 dargestellten Beispiel die Verstärkungsfunktion „Object_directivity[distance] [azimuth] [elevation]“ als Richtwirkungsdaten, die dem Wert einer vorgegebenen Schallquellentyp-ID entsprechen, übertragen. Diese Verstärkungsfunktion besitzt als Argumente „distance“ als den Abstand von der Schallquelle und „azimuth“ als den Azimutwinkel und „elevation“ als den Höhenwinkel, die die Richtung von der Schallquelle aus gesehen angeben.
Es wird darauf hingewiesen, dass die Richtwirkungsdaten Daten in einem Format, in dem die Intervalle der Abtastung des Azimutwinkels und des Höhenwinkels als Argumente nicht gleiche Winkelintervalle sind, oder Daten in einem Ambisonmics-Format höherer Ordnung (HOA-Format), das heißt einem Ambisonics-Format (sphärischer harmonischer Koeffizient), sein können.
Beispielsweise ist es bei Richtwirkungsdaten eines allgemeinen Schallquellentyps wünschenswert, die Richtwirkungsdaten im Voraus an die Endgerätevorrichtung 13 zu übertragen.
Andererseits ist es bei Richtwirkungsdaten einer Objektschallquelle mit ungewöhnlicher Richtwirkung, wie z.B. einer undefinierten Objektschallquelle, auch denkbar, die Richtwirkungsdaten in die in 5 dargestellten Metadaten aufzunehmen und die Richtwirkungsdaten als die Metadaten zu übertragen.
Darüber hinaus können die Übertragungseigenschaften für jede Schallquellentyp-ID, die in der Übertragungseigenschaftsdatenbank 46 gehalten sind, für jeden Typ einer Objektschallquelle in einem schalltoten Raum oder dergleichen unter Verwendung einer Mikrofonanordnung erfasst werden, wie in dem Fall der Richtwirkungsdaten. Zusätzlich können die Übertragungseigenschaften beispielsweise auch durch eine auf 3D-Daten ausgeführte Simulation, die die Form einer Objektschallquelle simuliert, erhalten werden.
Die auf diese Weise erhaltenen Übertragungseigenschaften, die einer Schallquellentyp-ID entsprechen, werden für jede relative Richtung und jeden relativen Abstand zwischen der Objektschallquelle und der Aufzeichnungsvorrichtung 11 gehalten, anders als die Richtwirkungsspezifikationsdaten, die sich auf die relative Richtung und den relativen Abstand von der Richtung nach vorne der Objektschallquelle aus gesehen beziehen.
Als Nächstes wird die Abschnittserfassungseinheit 44 beschrieben.
Die Abschnittserkennungseinheit 44 enthält beispielsweise einen Diskriminator wie z. B. ein tiefes neuronales Netz (DNN), der im Voraus durch Lernen erhalten wurde.
Dieser Diskriminator verwendet das aufgezeichnete Audiosignal als Eingabe und gibt als einen Ausgabewert eine Wahrscheinlichkeit dafür aus, dass ein Schall jeder zu detektierenden Objektschallquelle, beispielsweise eine menschliche Stimme, ein Trittgeräusch, ein Klatschgeräusch, ein Fußtritt, ein Pfeifgeräusch oder dergleichen, existiert, das heißt eine Wahrscheinlichkeit dafür, dass der Schall der Objektschallquelle enthalten ist.
Die Abschnittserkennungseinheit 44 weist das aufgezeichnete Audiosignal, das von der Erfassungseinheit 41 zugeführt wird, dem gehaltenen Diskriminator zu, um eine Berechnung auszuführen, und führt die Ausgabe des Diskriminators, die als ein Ergebnis erhalten wird, der Einheit 45 zur Schätzung der relativen Ankunftsrichtung als die Abschnittsinformationen zu.
Es wird darauf hingewiesen, dass in der Abschnittserkennungseinheit 44 nicht nur das aufgezeichnete Audiosignal, sondern auch das in den aufgezeichneten Daten enthaltene Sensorsignal als Eingabe des Diskriminators verwendet werden kann, oder dass nur das Sensorsignal als Eingabe des Diskriminators verwendet werden kann.
Da die Ausgangssignale des Beschleunigungssensors, des Gyrosensors, des geomagnetischen Sensors und dergleichen als die Sensorsignale die Bewegung des Objekts, an dem die Aufnahmevorrichtung 11 angebracht ist, angeben, ist es möglich, den Schall der Objektschallquelle gemäß der Bewegung des Objekts mit hoher Genauigkeit zu detektieren.
Darüber hinaus kann die Abschnittserkennungseinheit 44 endgültige Abschnittsinformationen auf der Basis von aufgezeichneten Audiosignalen und Abschnittsinformationen erhalten, die für mehrere voneinander verschiedene Aufzeichnungsgeräte 11 erhalten werden. Zu diesem Zeitpunkt können auch Vorrichtungspositionsinformationen, Vorrichtungsrichtungsinformationen und dergleichen, die für die Aufnahmevorrichtungen 11 erhalten werden, verwendet werden.
Beispielsweise stellt die Abschnittserkennungseinheit 44 ein vorbestimmte aus den Aufzeichnungsvorrichtungen 11 als betroffene Aufzeichnungsvorrichtung 11 ein und wählt eine der Aufzeichnungsvorrichtungen 11, deren Abstand zu der betroffenen Aufzeichnungsvorrichtung 11 gleich einem oder kleiner als ein vorbestimmter Wert ist, als eine Referenzaufzeichnungsvorrichtung 11 auf der Basis der Vorrichtungspositionsinformationen aus.
Darüber hinaus führt die Abschnittserkennungseinheit 44 beispielsweise dann, wenn eine Überlappung zwischen dem durch die Abschnittsinformationen der betroffenen Aufzeichnungsvorrichtung 11 angegebenen Zeitabschnitt und dem durch die Abschnittsinformationen der Referenzaufzeichnungsvorrichtung 11 angegebenen Zeitabschnitt vorhanden ist, eine Strahlformung oder dergleichen auf dem aufgezeichneten Audiosignal der betroffenen Aufzeichnungsvorrichtung 11 gemäß den Vorrichtungspositionsinformationen und den Vorrichtungsrichtungsinformationen aus. Als ein Ergebnis wird ein Schall von einem Objekt, an dem die Referenzaufzeichnungsvorrichtung 11 angebracht ist, der in dem aufgezeichneten Audiosignal der betroffenen Aufzeichnungsvorrichtung 11 enthalten ist, unterdrückt.
Die Abschnittserkennungseinheit 44 erhält die endgültigen Abschnittsinformationen durch Eingeben des aufgezeichneten Audiosignals, das durch Strahlformen oder dergleichen erhalten wurde, in den Diskriminator und Ausführen der Berechnung. Mit dieser Konfiguration ist es möglich, den von einem anderen Objekt ausgesendeten Schall zu unterdrücken und genauere Abschnittsinformationen zu erhalten.
Darüber hinaus schätzt die Einheit 45 zur Schätzung der relativen Ankunftsrichtung die relative Ankunftsrichtung des Schalls der Objektschallquelle, wie sie von den Mikrofonen aus gesehen wird, durch das MUSIC-Verfahren oder dergleichen, wie vorstehend beschrieben.
Zu dieser Zeit ist es, falls die von der Abschnittserkennungseinheit 44 zugeführte Schallquellentyp-ID verwendet wird, möglich, die Richtungen (Richtungen), die zum Zeitpunkt der Schätzung der Ankunftsrichtung als Ziel betrachtet werden, einzugrenzen und die Ankunftsrichtung mit höherer Genauigkeit zu schätzen.
Falls beispielsweise die durch die Schallquellentyp-ID angegebene Objektschallquelle bekannt ist, ist es möglich, die Richtung, in der die Objektschallquelle existieren kann, in Bezug auf die Mikrofone zu spezifizieren.
In dem MUSIC-Verfahren wird ein Spitzenwert einer relativen Verstärkung, die in jeder Richtung aus Sicht der Mikrofone erhalten wird, detektiert, so dass die relative Ankunftsrichtung des Schalls der Objektschallquelle geschätzt wird. Zu dieser Zeit ist es, falls der Typ der Objektschallquelle spezifiziert ist, möglich, den korrekten Spitzenwert auszuwählen und die Ankunftsrichtung mit höherer Genauigkeit zu schätzen.
Die Korrekturinformationserzeugungseinheit 47 erhält die Audiokorrekturinformationen, die Positionskorrekturinformationen und die Richtungskorrekturinformationen durch Berechnung auf der Basis der Anbringungspositionsinformationen, der Informationen über die relative Ankunftsrichtung und der Übertragungseigenschaften.
Die Audiokorrekturinformationen sind beispielsweise um die Umkehrübertragungseigenschaften, die Umkehreigenschaften der Übertragungseigenschaften sind, die, wie vorstehend beschrieben, aus der Übertragungseigenschaftsdatenbank 46 zugeführt werden.
Darüber hinaus sind die Positionskorrekturinformationen Koordinaten (Δx, Δy, Δz) oder dergleichen, die die Position der Objektschallquelle gesehen von der Position der Aufzeichnungsvorrichtung 11 (der Mikrofone) angeben.
Beispielsweise wird eine ungefähre Position der Objektschallquelle, wie sie von der Anbringungsposition aus gesehen wird, auf der Basis der Anbringungsposition der Aufzeichnungsvorrichtung 11, die durch die Anbringungspositionsinformationen angegeben wird, und der Richtung der Objektschallquelle, wie sie von der Anbringungsposition aus gesehen wird, die durch die Informationen zur relativen Ankunftsrichtung angegeben wird, geschätzt, und die Positionskorrekturinformationen können aus dem Schätzergebnis erhalten werden.
Es wird darauf hingewiesen, dass bei der Schätzung der Position der Objektschallquelle die Schallquellentyp-ID, das heißt der Typ der Objektschallquelle, verwendet werden kann, oder auch die Größe der Person, die das Objekt ist, die Länge jedes Körperteils der Person oder Beschränkungsparameter des Freiheitsgrads hinsichtlich der Beweglichkeit des Halses und der Gelenke der Person verwendet werden können.
Falls beispielsweise der Typ des Schalls der Objektschallquelle, die durch die Schallquellentyp-ID spezifiziert ist, eine gesprochene Stimme ist, ist es möglich, eine ungefähre Positionsbeziehung zwischen dem Mund der Person als das Objekt und der durch die Anbringungspositionsinformationen angegebenen Positionsinformationen zu spezifizieren.
Die Richtungskorrekturinformationen sind Winkelinformationen (Δψ, Δθ, Δφ) oder dergleichen, die Euler-Winkel angeben, die einen Azimutwinkel Δψ, einen Höhenwinkel Δθ und einen Neigungswinkel Δφ, die die Richtung (Richtung) und Drehung der Objektschallquelle von der Position der Aufnahmevorrichtung 11 (Mikrofone) aus gesehen angeben, aufweisen.
Solche Richtungskorrekturinformationen können aus den Anbringungspositionsinformationen und den Informationen über die relative Ankunftsrichtung erhalten werden. Da die Informationen über die relative Ankunftsrichtung aus dem aufgezeichneten Mehrkanal-Audiosignal erhalten wird, das durch die mehreren Mikrofonen erhalten wird, kann man auch sagen, dass die Korrekturinformationserzeugungseinheit 47 die Richtungskorrekturinformation auf der Basis des aufgezeichneten Audiosignals und der Anbringungspositionsinformationen erzeugt.
Darüber hinaus können selbst bei der Berechnung der Richtungskorrekturinformationen die Größe der Person, die das Objekt ist, die Länge jedes Körperteils der Person und die Beschränkungsparameter der Freiheitsgrade hinsichtlich der Beweglichkeit des Halses und der Gelenke der Person verwendet werden.
Die Audioerzeugungseinheit 48 erzeugt das Objektschallquellensignal durch Faltung des aufgezeichneten Audiosignals aus der Erfassungseinheit 41 und der Audiokorrekturinformation aus der Korrekturinformationserzeugungseinheit 47.
Das aufgezeichnete durch die Mikrofone beobachtete Audiosignal ist ein Signal, das durch Hinzufügen der Übertragungseigenschaften zwischen der Objektschallquelle und den Mikrofonen zu dem Signal des von der Objektschallquelle ausgesendeten Schalls erhalten wird. Deshalb wird, wenn die Audiokorrekturinformationen, die die Umkehreigenschaften der Übertragungseigenschaften sind, zu dem aufgezeichneten Audiosignal hinzugefügt werden, der ursprüngliche Schall der Objektschallquelle, der an der Position der Objektschallquelle beobachtet werden sollte, wiederhergestellt.
In einem Fall, in dem die Aufzeichnungsvorrichtung 11 am Rücken der Person als dem Objekt angebracht ist und eine Aufzeichnung gemacht wird, kann beispielsweise das auf der linken Seite von 7 dargestellte aufgezeichnete Audiosignal erhalten werden.
In diesem Beispiel ist in dem aufgezeichneten Audiosignal die Lautstärke des Schalls der Objektschallquelle, insbesondere die Lautstärke des Hochfrequenzbandes, in hohem Maße verschlechtert.
Das Falten der Audiokorrekturinformation mit einem solchen aufgezeichneten Audiosignal ermöglicht, das auf der rechten Seite von dargestellte Objektschallquellensignal zu erhalten. In diesem Beispiel ist die Lautstärke des Objektschallquellensignals im Allgemeinen lauter als die des aufgezeichneten Audiosignals, und es ist zu erkennen, dass ein Signal erhalten wird, das dem ursprünglichen Ton näher kommt.
Es wird darauf hingewiesen, dass die Audioerzeugungseinheit 48 auch die durch die Abschnittsdetektionseinheit 44 erhaltenen Abschnittsinformationen verwenden kann, um das Objektschallquellensignal zu erzeugen.
Beispielsweise wird der durch die Abschnittsinformationen angegebene Zeitabschnitt aus dem aufgezeichneten Audiosignal für jeden durch eine Schallquellentyp-ID angegebenen Schallquellentyp herausgeschnitten, oder es wird eine Stummschaltungsverarbeitung auf dem aufgezeichneten Audiosignal in anderen Abschnitten als dem durch die Abschnittsinformationen angegebenen Zeitabschnitt ausgeführt, so dass das Audiosignal nur des Schalls der Objektschallquelle aus dem aufgezeichneten Audiosignal extrahiert werden kann.
Das Falten des Audiosignals nur des auf diese Weise erhaltenen Schalls der Objektschallquelle und der Audiokorrekturinformation ermöglicht es, ein Objektschallquellensignal von hoher Qualität mit einem höheren SN-Verhältnis zu erhalten.
Darüber hinaus erzeugt die Einheit 49 zur Erzeugung der korrigierten Position die Schallquellenpositionsinformationen dadurch, dass die Positionskorrekturinformationen den Vorrichtungspositionsinformationen, die die Position der Aufzeichnungsvorrichtung 11 angeben, hinzugefügt (hinzugefügt) werden. Mit anderen Worten wird die durch die Vorrichtungspositionsinformationen angegebene Position durch die Positionskorrekturinformationen so korrigiert, dass sie die Position der Objektschallquelle ist.
Auf ähnliche Weise erzeugt die Einheit 50 zur Erzeugung der korrigierten Richtung die Schallquellenrichtungsinformationen dadurch, dass die Richtungskorrekturinformationen den Vorrichtungsrichtungsinformationen, die die Richtung der Aufnahmevorrichtung 11 angeben, hinzugefügt (hinzugefügt) werden. Mit anderen Worten wird die durch die Vorrichtungsrichtungsinformationen angegebene Richtung durch die Richtungskorrekturinformation so korrigiert, dass sie die Richtung der Objektschallquelle ist.
<Beschreibung der Objektschallquellendatenerzeugungsverarbeitung>
Im Folgenden wird der Betrieb des Servers 12 beschrieben.
Wenn die aufgezeichneten Daten von der Aufzeichnungsvorrichtung 11 übertragen werden, führt der Server 12 eine Objektschallquellendatenerzeugungsverarbeitung aus und überträgt die Objektschallquellendaten an die Endgerätevorrichtung 13.
Nachstehend wird die Objektschallquellendatenerzeugungsverarbeitung durch den Server 12 mit Bezug auf einen Ablaufplan von 8 beschrieben.
In Schritt S11 erfasst die Erfassungseinheit 41 die aufgezeichneten Daten von der Aufzeichnungsvorrichtung 11.
Die Erfassungseinheit 41 führt das aufgezeichnete Audiosignal, das in den aufgezeichneten Daten enthalten ist, der Abschnittsdetektionseinheit 44, der Einheit 45 zur Schätzung der relativen Ankunftsrichtung und der Audioerzeugungseinheit 48 zu.
Darüber hinaus führt die Erfassungseinheit 41 das Positionsbestimmungssignal und das Sensorsignal, die in den aufgezeichneten Daten enthalten sind, der Vorrichtungspositionsinformationskorrektureinheit 42 zu und führt das in den aufgezeichneten Daten enthaltene Sensorsignal der Vorrichtungsrichtungsinformationserzeugungseinheit 43 zu.
In Schritt S12 erzeugt die Vorrichtungspositionsinformationskorrektureinheit 42 die Vorrichtungspositionsinformationen auf der Basis des Sensorsignals und des von Positionsbestimmungssignals, die von der Erfassungseinheit 41 zugeführt werden, und führt die Vorrichtungspositionsinformationen der Einheit 49 zur Erzeugung der korrigierten Position zu.
In Schritt S13 erzeugt die Vorrichtungsrichtungsinformationserzeugungseinheit 43 die Richtungsinformationen der Vorrichtung auf der Basis des von der Erfassungseinheit 41 zugeführten Sensorsignals und führt die Richtungsinformationen der Vorrichtung der Einheit 50 zur Erzeugung der korrigierten Richtung zu.
In Schritt S14 detektiert die Abschnittsdetektionseinheit 44 den Zeitabschnitt, der den Schall der Objektschallquelle enthält, auf der Basis des aufgezeichneten Audiosignals, das von der Erfassungseinheit 41 zugeführt wird, und führt die Abschnittsinformation, die das Detektionsergebnis angeben, der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zu.
Beispielsweise erzeugt die Abschnittsdetektionseinheit 44 die Abschnittsinformationen, die das Detektionsergebnis des Zeitabschnitts dadurch angeben, dass sie das aufgezeichnete Audiosignal dem im Voraus gehaltenen Diskriminator zuweist und die Berechnung ausführt.
Darüber hinaus führt die Abschnittsdetektionseinheit 44 die Schallquellentyp-ID der Einheit 45 zur Schätzung der relativen Ankunftsrichtung und der Übertragungseigenschaftsdatenbank 46 gemäß dem Detektionsergebnis des Zeitabschnitts, der den Schall der Objektschallquelle enthält, zu und führt die Objekt-ID und die Schallquellentyp-ID der Objektschallquellendatenerzeugungseinheit 51 zu.
In Schritt S15 erzeugt die Einheit 45 zur Schätzung der relativen Ankunftsrichtung die Informationen über die relative Ankunftsrichtung auf der Basis der Schallquellentyp-ID und der Abschnittsinformationen, die von der Abschnittsdetektionseinheit 44 zugeführt werden, und des aufgezeichneten Audiosignals, das von der Erfassungseinheit 41 zugeführt wird, und führt die Informationen über die relative Ankunftsrichtung der Übertragungseigenschaftsdatenbank 46 und der Korrekturinformationserzeugungseinheit 47 zu. Beispielsweise wird in Schritt S15 die relative Ankunftsrichtung des Schalls der Objektschallquelle durch das MUSIC-Verfahren oder dergleichen geschätzt, und die Informationen über die relative Ankunftsrichtung werden erzeugt.
Darüber hinaus erfasst, wenn die Schallquellentyp-ID und die Informationen über die relative Ankunftsrichtung von der Abschnittsdetektionseinheit 44 und der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, die Übertragungseigenschaftsdatenbank 46 die durch den Server 12 gehaltenen Anbringungspositionsinformationen, liest die Übertragungseigenschaften aus und führt die Übertragungseigenschaften der Korrekturinformationserzeugungseinheit 47 zu.
Das heißt, die Übertragungseigenschaftsdatenbank 46 liest aus den gehaltenen Übertragungseigenschaften die Übertragungseigenschaften aus, die durch die zugeführte Schallquellentyp-ID, die Informationen über die relative Ankunftsrichtung und die Anbringungspositionsinformationen bestimmt sind, und führt die Übertragungseigenschaften der Korrekturinformationserzeugungseinheit 47 zu. Zu diesem Zeitpunkt werden die Informationen über die relative Richtung aus Informationen über die relative Ankunftsrichtung soweit erforderlich erzeugt, und die Übertragungseigenschaften werden ausgelesen.
In Schritt S16 erzeugt die Korrekturinformationserzeugungseinheit 47 die Audiokorrekturinformationen durch Berechnen der Umkehreigenschaften der Übertragungseigenschaften, die aus der Übertragungseigenschaftsdatenbank 46 zugeführt werden, und führt die Audiokorrekturinformationen der Audioerzeugungseinheit 48 zu.
In Schritt S17 erzeugt die Korrekturinformationserzeugungseinheit 47 die Positionskorrekturinformationen auf der Basis der zugeführten Anbringungspositionsinformationen und der Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, und führt die Positionskorrekturinformation der Einheit 49 zur Erzeugung der korrigierten Position zu.
In Schritt S18 erzeugt die Korrekturinformationserzeugungseinheit 47 die Richtungskorrekturinformationen auf der Basis der zugeführten Anbringungspositionsinformationen und der Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, und führt die Richtungskorrekturinformationen der Einheit 50 zur Erzeugung der korrigierten Richtung zu.
In Schritt S19 erzeugt die Audioerzeugungseinheit 48 das Objektschallquellensignal durch Falten des aufgezeichneten Audiosignals, das von der Erfassungseinheit 41 zugeführt wird, und der Audiokorrekturinformationen, die von der Korrekturinformationserzeugungseinheit 47 zugeführt werden, und führt das Objektschallquellensignal der Objektschallquellendatenerzeugungseinheit 51 zu.
In Schritt S20 erzeugt die Einheit 49 zur Erzeugung der korrigierten Position die Schallquellenpositionsinformationen durch Hinzufügen der von der Korrekturinformationserzeugungseinheit 47 zugeführten Positionskorrekturinformationen zu den von der Vorrichtungspositionsinformationskorrektureinheit 42 zugeführten Vorrichtungspositionsinformationen und führt die Schallquellenpositionsinformationen der Objektschallquellendatenerzeugungseinheit 51 zu.
In Schritt S21 erzeugt die Einheit 50 zur Erzeugung der korrigierten Richtung die Schallquellenrichtungsinformationen durch Hinzufügen der von der Korrekturinformationserzeugungseinheit 47 zuführten Richtungskorrekturinformationen zu den von der Vorrichtungsrichtungsinformationserzeugungseinheit 43 zugeführten Vorrichtungsrichtungsinformationen und führt die Schallquellenrichtungsinformationen der Objektschallquellendatenerzeugungseinheit 51 zu.
In Schritt S22 erzeugt die Objektschallquellendatenerzeugungseinheit 51 die Objektschallquellendaten und führt die Objektschallquellendaten der Übertragungseinheit 53 zu.
Das heißt, die Objektschallquellendatenerzeugungseinheit 51 erzeugt die Metadaten, die die Schallquellentyp-ID und die Objekt-ID, die von der Abschnittsdetektionseinheit 44 zugeführt werden, die Schallquellenpositionsinformationen, die von der Einheit 49 zur Erzeugung der korrigierten Position zugeführt werden, und die Schallquellenrichtungsinformationen, die von der Einheit 50 zur Erzeugung der korrigierten Richtung zugeführt werden, aufweisen.
Darüber hinaus erzeugt die Objektschallquellendatenerzeugungseinheit 51 die Objektschallquellendaten, die das von der Audioerzeugungseinheit 48 zugeführte Objektschallquellensignal und die erzeugten Metadaten aufweisen.
In Schritt S23 überträgt (überträgt) die Übertragungseinheit 53 die von der Objektschallquellendatenerzeugungseinheit 51 zugeführten Objektschallquellendaten an die Endgerätevorrichtung 13, und die Objektschallquellendatenerzeugungsverarbeitung endet. Es wird darauf hingewiesen, dass der Zeitpunkt der Übertragung der Objektschallquellendaten an die Endgerätevorrichtung 13 irgendein Zeitpunkt sein kann, nachdem die Objektschallquellendaten erzeugt worden sind.
Wie vorstehend beschrieben, erfasst der Server 12 die aufgezeichneten Daten von der Aufzeichnungsvorrichtung 11 und erzeugt die Objektschallquellendaten.
Zu diesem Zeitpunkt werden die Positionskorrekturinformationen und die Richtungskorrekturinformationen für jede Objektschallquelle auf der Basis des aufgezeichneten Audiosignals erzeugt, und die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen werden unter Verwendung der Positionskorrekturinformationen und der Richtungskorrekturinformationen erzeugt, so dass es möglich ist, Informationen, die eine präzisere Position und Richtung der Objektschallquelle angeben, zu erhalten. Als ein Ergebnis kann auf der Seite der Endgerätevorrichtung 13 das Rendern unter Verwendung präziserer Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen ausgeführt werden, und eine realistischere Inhaltswiedergabe kann implementiert werden.
Darüber hinaus werden auf der Basis der aus dem aufgezeichneten Audiosignal erhaltenen Informationen geeignete Übertragungsmerkmale ausgewählt, und das Objektschallquellensignal wird auf der Basis der aus den ausgewählten Übertragungsmerkmalen erhaltenen Audiokorrekturinformationen erzeugt, so dass es möglich ist, das Signal des Schalls der Objektschallquelle, das dem ursprünglichen Klang näher ist, zu erhalten. Als ein Ergebnis kann ein realistischeres Gefühl auf der Seite der Endgerätevorrichtung 13 erhalten werden.
<Konfigurationsbeispiel der Endgerätevorrichtung>
Darüber hinaus ist die in 1 dargestellte Endgerätevorrichtung 13 beispielsweise wie in 9 dargestellt konfiguriert.
In dem in 9 dargestellten Beispiel ist eine Wiedergabevorrichtung 81, die beispielsweise einen Kopfhörer, einen Ohrhörer, eine Lautsprecheranordnung und dergleichen aufweist, mit der Endgerätevorrichtung 13 verbunden.
Die Endgerätevorrichtung 13 erzeugt die Wiedergabesignale, die den Schall des Inhalts (der Objektschallquelle) an der Hörposition wiedergeben, auf der Basis der vom Server 12 oder dergleichen im Voraus erfassten oder im Voraus gemeinsam genutzten Richtwirkungsdaten und der vom Server 12 empfangenen Objektschallquellendaten.
Beispielsweise erzeugt die Endgerätevorrichtung 13 die Wiedergabesignale dadurch, dass sie ein vektorbasiertes Amplituden-Panning (VBAP), eine Verarbeitung für die Wellenfrontsynthese, eine Faltungsverarbeitung einer kopfbezogenen Übertragungsfunktion (HRTF) oder dergleichen unter Verwendung der Richtwirkungsdaten ausführt.
Die Endgerätevorrichtung 13 führt dann die erzeugten Wiedergabesignale der Wiedergabevorrichtung 81 zu, um den Schall des Inhalts wiederzugeben.
Die Endgerätevorrichtung 13 weist eine Erfassungseinheit 91, eine Hörpositionsfestlegungseinheit 92, eine Richtwirkungsdatenbank 93, eine Schallquellenversatzfestlegungseinheit 94, eine Schallquellenversatzanwendungseinheit 95, eine Einheit 96 zur Berechnung des relativen Abstands, eine Einheit 97 zur Berechnung der relativen Richtung und eine Richtwirkungsrenderingeinheit 98 auf.
Die Erfassungseinheit 91 erfasst die Objektschallquellendaten und die Richtwirkungsdaten dadurch vom Server 12, das sie zum Beispiel von dem Server 12 übertragene Daten empfängt.
Es wird darauf hingewiesen, dass der Zeitpunkt der Erfassung der Richtwirkungsdaten und der Zeitpunkt der Erfassung der Objektschallquellendaten gleich oder unterschiedlich sein können.
Die Erfassungseinheit 91 führt die erfassten Richtwirkungsdaten der Richtwirkungsdatenbank 93 zu und veranlasst die Richtwirkungsdatenbank 93, die Richtwirkungsdaten aufzuzeichnen.
Darüber hinaus extrahiert die Erfassungseinheit 91, wenn die Objektschallquellendaten erfasst werden, die Objekt-ID, die Schallquellentyp-ID, die Schallquellenpositionsinformationen, die Schallquellenrichtungsinformationen und das Objektschallquellensignal aus den Objektschallquellendaten.
Die Erfassungseinheit 91 führt dann die Schallquellentyp-ID der Richtwirkungsdatenbank 93 zu, führt die Objekt-ID, die Schallquellentyp-ID und das Objektschallquellensignal der Richtwirkungsrenderingeinheit 98 zu und führt die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen der Schallquellenversatzanwendungseinheit 95 zu.
Die Hörpositionsfestlegungseinheit 92 legt die Hörposition im Zielraum und die Orientierung eines Hörers (Anwenders) an der Hörposition gemäß einer Anwenderoperation oder dergleichen fest und gibt Hörpositionsinformationen, die die Hörposition angeben, und Hörerrichtungsinformationen, die die Orientierung des Hörers angeben, als die Festlegungsergebnisse aus.
Das heißt, die Hörpositionsfestlegungseinheit 92 führt die Hörpositionsinformationen an die Einheit 96 zur Berechnung des relativen Abstands, der Einheit zur Berechnung der relativen Richtung 97 und der Richtwirkungsrenderingeinheit 98 zu und führt die Hörerrichtungsinformationen der Einheit 97 zur Berechnung der relativen Richtung und der Einheit zur Richtwirkungsrenderingeinheit 98 zu.
Die Richtwirkungsdatenbank 93 zeichnet die von der Erfassungseinheit 91 zugeführten Richtwirkungsdaten auf. In der Richtwirkungsdatenbank 93 werden beispielsweise die gleichen Richtwirkungsdaten aufgezeichnet wie die, die in der Richtwirkungsdatenbank 52 des Servers 12 aufgezeichnet sind.
Darüber hinaus führt, wenn die Schallquellentyp-ID von der Erfassungseinheit 91 zugeführt wird, die Richtwirkungsdatenbank 93 aus den mehreren Einheiten aufgezeichneter Richtwirkungsdaten die Einheit der Richtwirkungsdaten des durch die zugeführte Schallquellentyp-ID angegebenen Schallquellentyps der Richtwirkungsrenderingeinheit 98 zu.
In einem Fall, in dem durch eine Anwenderoperation oder dergleichen eine Anweisung erteilt wird, die Klangqualität für ein spezifisches Objekt oder eine spezifische Objektschallquelle anzupassen, führt die Schallquellenversatzfestlegungseinheit 94 Klangqualitätsanpassungszielinformationen, die die Objekt-ID oder die Schallquellentyp-ID aufweisen, die ein Klangqualitätsanpassungsziel angeben, der Richtwirkungsrenderingeinheit 98 zu. Zu diesem Zeitpunkt kann ein Verstärkungswert oder dergleichen für die Klangqualitätsanpassung in die Klangqualitätsanpassungszielinformationen aufgenommen sein.
Darüber hinaus kann beispielsweise in der Schallquellenversatzfestlegungseinheit 94 eine Anweisung zum Verschieben oder Drehen der Position eines spezifischen Objekts oder einer Objektschallquelle im Zielraum durch eine Anwenderoperation oder dergleichen erteilt werden.
In einem solchen Fall führt die Schallquellenversatzfestlegungseinheit 94 Bewegungs-/Drehungszielinformationen, die die Objekt-ID oder die Schallquellentyp-ID aufweisen, die das Bewegungs- oder Drehungsziel angeben, und Positionsversatzinformationen, die die angegebene Bewegungsgröße angeben, oder Richtungsversatzinformationen, die die angegebene Drehungsgröße angeben, der Schallquellenversatzanwendungseinheit 95 zu.
Hier sind die Positionsversatzinformationen beispielsweise Koordinaten (Δx_o, Δy_o, Δz_o) , die eine Versatzgröße (Bewegungsgröße) der Schallquellenpositionsinformationen angeben. Darüber hinaus sind die Richtungsversatzinformationen beispielsweise Winkelinformationen (Δψ_o, Δθ_ο, Δφ_o) , die eine Versatzgröße (Drehungsgröße) der Schallquellenrichtungsinformationen angeben.
Durch das Ausgeben solcher Klangqualitätsanpassungszielinformationen oder der Bewegungs-/Drehungszielinformationen kann die Endgerätevorrichtung 13 den Inhalt bearbeiten, wie z. B. die Klangqualität des Schalls der Objektschallquelle anpassen, ein Tonbild der Objektschallquelle bewegen oder das Tonbild der Objektschallquelle drehen.
Insbesondere kann die Endgerätevorrichtung 13 in einer Einheit eines Objekts, das heißt für alle Objektschallquellen des Objekts, die Klangqualität, die Tonbildposition, die Drehung des Tonbilds und dergleichen aller Objektschallquellen gemeinsam anpassen.
Darüber hinaus kann die Endgerätevorrichtung 13 die Klangqualität, die Tonbildposition, die Drehung des Tonbilds und dergleichen in einer Einheit einer Objektschallquelle, das heißt für nur eine Objektschallquelle, anpassen.
Die Schallquellenversatzanwendungseinheit 95 erzeugt korrigierte Schallquellenpositionsinformationen und korrigierte Schallquellenrichtungsinformationen dadurch, dass sie den Versatz auf der Basis der von der Schallquellenversatzfestlegungseinheit 94 zugeführten Bewegungs-/Drehungszielinformationen auf die von der Erfassungseinheit 91 zugeführten Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen anwendet.
Es ist beispielsweise angenommen, dass die Bewegungs-/Drehungszielinformationen die Objekt-ID, die Positionsversatzinformationen und die Richtungsversatzinformationen aufweisen.
In einem solchen Fall fügt die Schallquellenversatzanwendungseinheit 95 für alle Objektschallquellen des durch die Objekt-ID angegebenen Objekts die Positionsversatzinformationen den Schallquellenpositionsinformationen hinzu, um die korrigierten Schallquellenpositionsinformationen zu erhalten, und fügt die Richtungsversatzinformationen den Schallquellenrichtungsinformationen hinzu, um die korrigierten Schallquellenrichtungsinformationen zu erhalten.
Die auf diese Weise erhaltenen korrigierten Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen sind Informationen, die die endgültige Position und Orientierung der Objektschallquelle, deren Position und Ausrichtung korrigiert worden sind, angeben.
Ähnlich ist beispielsweise angenommen, dass die Bewegungs-/Drehungszielinformationen die Schallquellentyp-ID, die Positionsversatzinformationen und die Richtungsversatzinformationen aufweisen.
In einem solchen Fall fügt die Schallquellenversatzanwendungseinheit 95 für die durch die Schallquellentyp-ID angegebene Objektschallquelle die Positionsversatzinformationen den Schallquellenpositionsinformationen hinzu, um die korrigierten Schallquellenpositionsinformationen zu erhalten, und fügt die Richtungsversatzinformationen den Schallquellenrichtungsinformationen hinzu, um die korrigierten Schallquellenrichtungsinformationen zu erhalten.
Es wird darauf hingewiesen, dass in einem Fall, in dem die Bewegungs-/Drehungszielinformationen die korrigierten Schallquellenpositionsinformationen nicht aufweisen, das heißt in einem Fall, in dem keine Anweisung erteilt wird, die Position der Objektschallquelle zu verlagern, die Schallquellenpositionsinformationen unverändert als die korrigierten Schallquellenpositionsinformationen verwendet werden.
Auf ähnliche Weise werden in einem Fall, in dem die Bewegungs-/Drehungszielinformationen die korrigierten Schallquellenrichtungsinformationen nicht aufweisen, das heißt in einem Fall, in dem keine Anweisung erteilt wird, die Objektschallquelle zu drehen, die Schallquellenrichtungsinformationen unverändert als die korrigierten Schallquellenrichtungsinformationen verwendet.
Die Schallquellenversatzanwendungseinheit 95 führt die auf diese Weise erhaltenen korrigierten Schallquellenpositionsinformationen der Einheit 96 zur Berechnung des relativen Abstands und der Einheit 97 zur Berechnung der relativen Richtung zu und führt die korrigierten Schallquellenrichtungsinformationen der Einheit 97 zur Berechnung der relativen Richtung zu.
Die Einheit 96 zur Berechnung des relativen Abstands berechnet den relative Abstand zwischen der Hörposition (Hörer) und der Objektschallquelle auf der Basis der korrigierten Schallquellenpositionsinformationen, die von der Schallquellenversatzanwendungseinheit 95 zugeführt werden, und der Hörpositionsinformationen, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, und führt die Informationen über den relativen Abstand der Schallquelle, die das Berechnungsergebnis angeben, der Richtwirkungsrenderingeinheit 98 zu.
Die Einheit 97 zur Berechnung der relativen Richtung berechnet die relative Richtung zwischen dem Hörer und der Objektschallquelle auf der Basis der korrigierten Schallquellenpositionsinformationen und der korrigierten Schallquellenrichtungsinformationen, die von der Schallquellenversatzanwendungseinheit 95 zugeführt werden, und der Hörpositionsinformationen und der Hörerrichtungsinformationen, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, und führt die Informationen über die relative Richtung der Schallquelle, die das Berechnungsergebnis angeben, der Richtwirkungsrenderingeinheit 98 zu.
Hier weisen die Informationen über die relative Richtung der Schallquelle einen Azimutwinkel der Schallquelle, einen Höhenwinkel der Schallquelle, einen Azimutdrehwinkel der Schallquelle und einen Höhendrehwinkel der Schallquelle auf.
Der Azimutwinkel der Schallquelle und der Höhenwinkel der Schallquelle sind ein Azimutwinkel bzw. ein Höhenwinkel, die die relative Richtung der Objektschallquelle vom Hörer aus gesehen angeben.
Darüber hinaus sind der Azimutdrehwinkel der Schallquelle und der Höhendrehwinkel der Schallquelle ein Azimutwinkel bzw. ein Höhenwinkel, die die relative Richtung der des Hörers (Hörposition) von der Schallquelle aus gesehen angeben. Mit anderen Worten kann man sagen, dass der Azimutdrehwinkel der Schallquelle und der Höhendrehwinkel der Schallquelle Informationen sind, die angeben, wie stark die Richtung nach vorne der Objektschallquelle in Bezug auf den Hörer gedreht ist.
Der Azimutdrehwinkel der Schallquelle und der Höhendrehwinkel der Schallquellen sind ein Azimutwinkel und ein Höhenwinkel in Bezug auf die Richtwirkungsdaten während der Renderingverarbeitung.
Die Richtwirkungsrenderingeinheit 98 führt die Renderingverarbeitung auf der Basis der Objekt-ID, der Schallquellentyp-ID und des Objektschallquellensignals, die von der Erfassungseinheit 91 zugeführt werden, der Richtwirkungsdaten, die aus der Richtwirkungsdatenbank 93 zugeführt werden, der Informationen über den relativen Abstand der Schallquelle, die von der Einheit 96 zur Berechnung des relativen Abstands zugeführt werden, der Informationen über die relative Richtung der Schallquelle, die von der Einheit 97 zur Berechnung der relativen Richtung zugeführt werden, und der Hörpositionsinformation und der Hörerrichtungsinformation, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, aus.
Die Richtwirkungsrenderingeinheit 98 führt beispielsweise VBAP, die Verarbeitung zur Wellenfrontsynthese, die Faltungsverarbeitung von HRTF oder dergleichen als die Renderingverarbeitung aus. Es wird darauf hingewiesen, dass die Hörpositionsinformationen und die Hörerrichtungspositionen nur bei Bedarf in der Renderingverarbeitung verwendet werden müssen und nicht notwendigerweise in der Renderingverarbeitung verwendet werden müssen.
Darüber hinaus passt die Richtwirkungsrenderingeinheit 98 beispielsweise in einem Fall, in dem die Klangqualitätsanpassungszielinformationen von der Schallquellenversatzfestlegungseinheit 94 zugeführt werden, die Klangqualität für das Objektschallquellensignal, das durch die Objekt-ID oder die Schallquellentyp-ID, die in den Klangqualitätsanpassungszielinformationen enthalten sind, spezifiziert ist, an.
Die Richtwirkungsrenderingeinheit 98 führt die durch die Renderingverarbeitung erhaltenen Wiedergabesignale der Wiedergabevorrichtung 81 zu, um den Schall des Inhalts wiederzugeben.
Hier wird die Erzeugung der Wiedergabesignale durch die Richtwirkungsrenderingeinheit 98 beschrieben. Insbesondere wird hier ein Beispiel beschrieben, bei dem VBAP als Renderingverarbeitung ausgeführt wird.
Beispielsweise führt die Richtwirkungsrenderingeinheit 98 in einem Fall, in dem die Klangqualitätsanpassungszielinformationen von der Schallquellenversatzfestlegungseinheit 94 zugeführt werden, als die Klangqualitätsanpassung Verarbeitung wie z. B. Verstärkungsanpassung für das Objektschallquellensignal, das durch die Objekt-ID oder die Schallquellentyp-ID, die in den Klangqualitätsanpassungszielinformationen enthalten sind, spezifiziert ist, aus.
Als ein Ergebnis ist es beispielsweise möglich, die Qualität des Klangs aller Objektschallquellen des durch die Objekt-ID angegebenen Objekts gemeinsam anzupassen oder einen Schall einer spezifischen Objektschallquelle wie z. B. eine Stimme oder ein Gehgeräusch der Person als das Objekt stumm zu schalten.
Als Nächstes berechnet die Richtwirkungsrenderingeinheit 98 einen Abstandsdämpfungsversstärkungswert, der ein Verstärkungswert zum Wiedergeben von Abstandsverstärkung ist, auf der Basis des durch die Informationen über den relativen Abstand der Schallquelle angegebenen relativen Abstands.
Zusätzlich weist die Richtwirkungsrenderingeinheit 98 den Azimutdrehwinkel der Schallquelle und den Höhendrehwinkel der Schallquelle, die in den Informationen über die relative Richtung der Schallquelle enthalten sind, den Richtwirkungsdaten zu, wie z. B. einer Verstärkungsfunktion, die von der Richtwirkungsdatenbank 93 zugeführt wird, um eine Berechnung auszuführen, und berechnet einen Richtwirkungsverstärkungswert, der ein Verstärkungswert gemäß der Richtwirkung der Objektschallquelle ist.
Außerdem bestimmt die Richtwirkungsrenderingeinheit 98 Wiedergabeverstärkungswerte für Kanäle, die den Lautsprechern der die Wiedergabevorrichtung 81 bildenden Lautsprecheranordnung entsprechen, durch VBAP auf der Basis des Azimutwinkels der Schallquelle und des Höhenwinkels der Schallquelle, die in den Informationen über die relative Richtung der Schallquelle enthalten sind.
Die Richtwirkungsrenderingeinheit 98 führt dann die Verstärkungsanpassung durch Multiplizieren des Objektschallquellensignals, dessen Klangqualität gegebenenfalls angepasst wurde, mit dem Abstandsdämpfungsverstärkungswert, dem Richtwirkungsverstärkungswert und den Wiedergabeverstärkungswerten aus, um die Wiedergabesignale für die den Lautsprechern entsprechenden Kanäle zu erzeugen.
Wie vorstehend beschrieben führt die Endgerätevorrichtung 13 die Renderingverarbeitung auf der Basis der Schallquellenpositionsinformationen und der Schallquellenrichtungsinformationen, die die Position und Orientierung der Objektschallquelle angeben, und des Objektschallquellensignals näher an dem ursprünglichen Schall aus, so dass es möglich ist, eine realistischere Inhaltswiedergabe zu implementieren.
Es wird darauf hingewiesen, dass die von der Richtwirkungsrenderingeinheit 98 erzeugten Wiedergabesignale auf einem Aufzeichnungsmedium oder dergleichen aufgezeichnet werden können, ohne dass sie zu der Wiedergabevorrichtung 81 ausgegeben werden.
<Beschreibung der Wiedergabeverarbeitung>
Als Nächstes wird der Betrieb der Endgerätevorrichtung 13 beschrieben. Das heißt, die durch die Endgerätevorrichtung 13 ausgeführte Wiedergabeverarbeitung wird nachstehend unter Bezugnahme auf einen Ablaufplan von 10 beschrieben.
In Schritt S51 erfasst die Erfassungseinheit 91 die Objektschallquellendaten von dem Server 12.
Darüber hinaus extrahiert die Erfassungseinheit 91 die Objekt-ID, die Schallquellentyp-ID, die Schallquellenpositionsinformationen, die Schallquellenrichtungsinformationen und das Objektschallquellensignal aus den Objektschallquellendaten.
Die Erfassungseinheit 91 führt dann die Schallquellentyp-ID der Richtwirkungsdatenbank 93 zu, führt die Objekt-ID, die Schallquellentyp-ID und das Objektschallquellensignal der Richtwirkungsrenderingeinheit 998 zu und führt die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen der Schallquellenversatzanwendungseinheit 95 zu.
Darüber hinaus liest die Richtwirkungsdatenbank 93 die durch die von der Erfassungseinheit 91 zugeführte Schallquellentyp-ID bestimmten Richtwirkungsdaten aus und führt die Richtwirkungsdaten der Richtwirkungsrenderingeinheit 98 zu.
In Schritt S52 erzeugt die Schallquellenversatzfestlegungseinheit 94 die Bewegungs-/Drehungszielinformationen, die die Bewegungsgröße oder die Drehungsgröße des Objekts oder der Objektschallquelle angeben, gemäß einer Anwenderoperation oder dergleichen und führt die Bewegungs-/Drehungszielinformationen der Schallquellenversatzanwendungseinheit 95 zu.
Darüber hinaus erzeugt die Schallquellenversatzfestlegungseinheit 94 in einem Fall, in dem eine Anweisung zur Anpassung der Klangqualität erteilt wird, auch die Klangqualitätsanpassungszielinformationen gemäß einer Anwenderoperation oder dergleichen und führt die Klangqualitätsanpassungszielinformationen der Richtwirkungsrenderingeinheit 98 zu.
In Schritt S53 erzeugt die Schallquellenversatzanwendungseinheit 95 die korrigierten Schallquellenpositionsinformationen und die korrigierten Schallquellenrichtungsinformationen dadurch, dass sie den Versatz auf der Basis der von der Schallquellenversatzfestlegungseinheit 94 zugeführten Bewegungs-/Drehungszielinformationen auf die von der Erfassungseinheit 91 zugeführten Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen anwendet.
Die Schallquellenversatzanwendungseinheit 95 führt die durch Anwendung des Versatzes erhaltenen korrigierten Schallquellenpositionsinformationen der Einheit 96 zur Berechnung des relativen Abstands und der Einheit 97 zur Berechnung der relativen Richtung zu und führt die korrigierten Schallquellenrichtungsinformationen der Einheit 97 zur Berechnung der relativen Richtung zu.
In Schritt S54 legt die Hörpositionsfestlegungseinheit 92 die Hörposition im Zielraum und die Orientierung des Hörers an der Hörposition gemäß einer Anwenderoperation oder dergleichen fest und erzeugt die Hörpositionsinformation und die Hörerrichtungsinformation.
Die Hörpositionsfestlegungseinheit 92 führt die Hörpositionsinformationen der Einheit 96 zur Berechnung des relativen Abstands, der Einheit zur Berechnung der relativen Richtung 97 und der Richtwirkungsrenderingeinheit 98 zu und führt die Hörerrichtungsinformationen der Einheit 97 zur Berechnung der relativen Richtung und der Richtwirkungsrenderingeinheit 98 zu.
In Schritt S55 berechnet die Einheit 96 zur Berechnung des relativen Abstands den relativen Abstand zwischen der Hörposition und der Objektschallquelle auf der Basis der korrigierten Schallquellenpositionsinformationen, die von der Schallquellenversatzanwendungseinheit 95 zugeführt werden, und der Hörpositionsinformationen, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, und führt die Informationen über den relativen Abstand der Schallquelle, die das Berechnungsergebnis angeben, der Richtwirkungsrenderingeinheit 98 zu.
In Schritt S56 berechnet die Einheit 97 zur Berechnung der relativen Richtung die relative Richtung zwischen dem Hörer und der Objektschallquelle auf der Basis der korrigierten Schallquellenpositionsinformationen und der korrigierten Schallquellenrichtungsinformationen, die von der Schallquellenversatzanwendungseinheit 95 zugeführt werden, und der Hörpositionsinformationen und der Hörerrichtungsposition, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, und führt die Informationen über die relative Richtung der Schallquelle, die das Berechnungsergebnis angeben, der Richtwirkungsrenderingeinheit 98 zu.
In Schritt S57 führt die Richtwirkungsrenderingeinheit 98 die Renderingverarbeitung aus, um die Wiedergabesignale zu erzeugen.
Das heißt, in einem Fall, in dem die Klangqualitätsanpassungszielinformationen von der Schallquellenversatzfestlegungseinheit 94 zugeführt werden, passt die Richtwirkungsrenderingeinheit 98 die Klangqualität für das Objektschallquellensignal, das durch die Objekt-ID oder die Schallquellentyp-ID, die in den Klangqualitätsanpassungszielinformationen enthalten sind, spezifiziert ist, an.
Die Richtwirkungsrenderingeinheit 98 führt dann die Renderingverarbeitung wie z. B. VBAP auf der Basis des Objektschallquellensignals, dessen Klangqualität gegebenenfalls angepasst worden ist, der Richtwirkungsdaten, die aus der Richtwirkungsdatenbank 93 zugeführt werden, der Informationen über den relativen Abstand der Schallquelle, die von der Einheit 96 zur Berechnung des relativen Abstands zugeführt werden, der Informationen über die relative Richtung der Schallquelle, die von der Einheit 97 zur Berechnung der relativen Richtung zugeführt werden, und der Hörpositionsinformation und der Hörerrichtungsinformation, die von der Hörpositionsfestlegungseinheit 92 zugeführt werden, aus.
In Schritt S58 führt die Richtwirkungsrenderingeinheit 98 die in der Verarbeitung von Schritt S57 erhaltenen Wiedergabesignale der Wiedergabevorrichtung 81 zu und veranlasst die Wiedergabevorrichtung 81, den Schall auf der Basis der Wiedergabesignale auszugeben. Als ein Ergebnis wird der Schall des Inhalts, das heißt der Schall der Objektschallquelle, wiedergegeben.
Wenn der Schall des Inhalts wiedergegeben ist, endet die Wiedergabeverarbeitung.
Wie vor beschrieben, erfasst die Endgerätevorrichtung 13 die Objektschallquellendaten von dem Server 12 und führt die Renderingverarbeitung auf der Basis des Objektschallquellensignals, der Schallquellenpositionsinformationen, der Schallquellenrichtungsinformationen und dergleichen, die in den Objektschallquellendaten enthalten sind, aus.
Die Abfolge der Verarbeitung ermöglicht es, unter Verwendung der Schallquellenpositionsinformationen und der Schallquellenrichtungsinformationen, die die Position und die Orientierung der Objektschallquelle angeben, und des Objektschallquellensignals näher an dem ursprünglichen Schall eine realistischere Wiedergabe von Inhalten zu implementieren.
<Zweite Ausführungsform>
<Konfigurationsbeispiel für den Server>
Im Übrigen ist es auch möglich, mehrere Aufzeichnungsvorrichtungen 11 an einem Objekt anzubringen.
Wenn das Objekt beispielsweise eine Person ist und die mehreren Aufzeichnungsvorrichtungen 11 an der Person angebracht sind, können verschiedene Anbringungspositionen wie z. B. der Rumpf und die Beine, der Rumpf und der Kopf oder der Rumpf und die Arme in Betracht gezogen werden.
Hier ist beispielsweise, wie in 11 dargestellt, angenommen, dass ein Objekt OB21 ein Fußballspieler ist und dass eine Aufzeichnungsvorrichtung 11-1 und eine Aufzeichnungsvorrichtung 11-2 am Rücken bzw. an der Taille des Fußballspielers angebracht sind.
In einem solchen Fall ist es, wenn beispielsweise die durch einen Pfeil A21 angegebene Position die Position einer Objektschallquelle ist und ein Schall ausgesendet wird, möglich, aufgezeichnete Daten zu erhalten, in denen der Schall derselben Objektschallquelle sowohl durch die Aufzeichnungsvorrichtung 11-1 als auch durch die Aufzeichnungsvorrichtung 11-2 aufgezeichnet wird.
Insbesondere ist in diesem Beispiel die Richtung der Objektschallquelle von der Aufzeichnungsvorrichtung 11-1 aus gesehen verschieden von der Richtung der Objektschallquelle von der Aufzeichnungsvorrichtung 11-2 aus gesehen, da die Anbringungspositionen der Aufzeichnungsvorrichtung 11-1 und der Aufzeichnungsvorrichtung 11-2 unterschiedlich sind.
So können mehr Informationen für eine Objektschallquelle erhalten werden. Deshalb ermöglicht das Integrieren der von den Aufzeichnungsgeräten 11 erhaltenen Informationseinheiten, die dieselbe Objektschallquelle betreffen, genauere Informationen zu erhalten.
Wie vorstehend beschrieben, ist der Server 12 in dem Fall, wenn unterschiedliche Informationseinheiten, die für dieselbe Objektschallquelle erhalten wurden, integriert werden, beispielsweise wie in 12 dargestellt konfiguriert. Es wird darauf hingewiesen, dass in 12 die Teile, die den Teilen in dem Fall von 3 entsprechen, durch die gleichen Bezugszeichen bezeichnet sind, und ihre Beschreibung wird gegebenenfalls weggelassen.
Der in 12 dargestellte Server 12 weist eine Erfassungseinheit 41, eine Vorrichtungspositionsinformationskorrektureinheit 42, eine Vorrichtungsrichtungsinformationserzeugungseinheit 43, eine Abschnittsdetektionseinheit 44, eine Einheit 45 zur Schätzung der relativen Ankunftsrichtung, eine Informationsintegrationseinheit 121, eine Übertragungseigenschaftsdatenbank 46, eine Korrekturinformationserzeugungseinheit 47, eine Audioerzeugungseinheit 48, eine Einheit 49 zur Erzeugung der korrigierten Position, eine Einheit 50 zur Erzeugung der korrigierten Richtung, eine Objektschallquellendatenerzeugungseinheit 51, eine Richtwirkungsdatenbank 52 und eine Übertragungseinheit 53 auf.
Die in 12 dargestellte Konfiguration des Servers 12 unterscheidet sich von der in 3 dargestellten Konfiguration des Servers 12 darin, dass die Informationsintegrationseinheit 121 neu vorgesehen ist, und ist ansonsten gleich der Konfiguration des Servers 12 in 3.
Die Informationsintegrationseinheit 121 führt eine Integrationsverarbeitung aus, um die Informationen über die relative Ankunftsrichtung, die für dieselbe Objektschallquelle (Schallquellentyp-ID) erhalten werden, auf der Basis der zugeführten Anbringungspositionsinformationen und der Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, zu integrieren. Durch eine solche Integrationsverarbeitung wird eine Einheit der Informationen über die endgültige relative Ankunftsrichtung für eine Objektschallquelle erzeugt.
Darüber hinaus erzeugt die Informationsintegrationseinheit 121 auf der Basis des Ergebnisses der Integrationsverarbeitung außerdem Abstandsinformationen, die den Abstand zwischen der Objektschallquelle und jeder der Aufnahmevorrichtungen 11, das heißt den Abstand zwischen der Objektschallquelle und jedem Mikrofon, angeben.
Die Informationsintegrationseinheit 121 führt die Informationen über die endgültige relative Ankunftsrichtung und die Abstandsinformationen, die auf diese Weise erhalten werden, der Übertragungseigenschaftsdatenbank 46 und der Korrekturinformationserzeugungseinheit 47 zu.
Hier wird der Integrationsprozess beschrieben.
Beispielsweise ist angenommen, dass die Einheit 45 zur Schätzung der relativen Ankunftsrichtung für eine Objektschallquelle die Informationen RD1 über die relative Ankunftsrichtung, die aus einem aufgezeichneten Audiosignal für ein Aufzeichnungsgerät 11-1 erhalten werden, und die Informationen RD2 über die relative Ankunftsrichtung, die aus einem aufgezeichneten Audiosignal für das andere Aufzeichnungsgerät 11-2 erhalten werden, erhält. Es wird darauf hingewiesen, dass angenommen ist, dass die Aufzeichnungsvorrichtung 11-1 und die Aufzeichnungsvorrichtung 11-2 an demselben Objekt angebracht sind.
In diesem Fall schätzt die Informationsintegrationseinheit 121 die Position der Objektschallquelle unter Verwendung des Triangulationsprinzips auf der Basis der Anbringungspositionsinformationen und der Informationen RD1 über die relative Ankunftsrichtung für die Aufzeichnungsvorrichtung 11-1 und der Anbringungspositionsinformationen und der Informationen RD2 über die relative Ankunftsrichtung für die Aufzeichnungsvorrichtung 11-2.
Die Informationsintegrationseinheit 121 wählt dann entweder die Aufzeichnungsvorrichtung 11-1 oder die Aufzeichnungsvorrichtung 11-2 aus.
Beispielsweise wählt die Informationsintegrationseinheit 121 aus der Aufzeichnungsvorrichtung 11-1 und der Aufzeichnungsvorrichtung 11-2 die Aufzeichnungsvorrichtung 11 aus, die fähig ist, den Schall der Objektschallquelle mit einem höheren SN-Verhältnis zu erfassen, wie z. B. die Aufzeichnungsvorrichtung 11, die näher an der Position der Objektschallquelle ist. Hier ist beispielsweise angenommen, dass die Aufzeichnungsvorrichtung 11-1 ausgewählt wird.
Die Informationsintegrationseinheit 121 erzeugt dann als Informationen über die endgültige relative Ankunftsrichtung, Informationen, die die Ankunftsrichtung des Schalls von der Position der Objektschallquelle, wie sie von der Aufnahmevorrichtung 11-1 (dem Mikrofon) aus gesehen wird, angeben, auf der Basis der Anbringungspositionsinformationen für die Aufnahmevorrichtung 11-1 und der erhaltenen Position der Objektschallquelle. Darüber hinaus erzeugt die Informationsintegrationseinheit 121 auch die Abstandsinformationen, die den Abstand zwischen der Aufzeichnungsvorrichtung 11-1 (dem Mikrofon) und der Position der Objektschallquelle angeben.
Es wird darauf hingewiesen, dass spezifischer in diesem Fall die Informationen, dass die Aufzeichnungsvorrichtung 11-1 ausgewählt ist, von der Informationsintegrationseinheit 121 der Audioerzeugungseinheit 48, der Einheit 49 zur Erzeugung der korrigierten Position und der Einheit 50 zur Erzeugung der korrigierten Richtung zugeführt wird. Das aufgezeichnete Audiosignal, die Vorrichtungspositionsinformationen und die Vorrichtungsrichtungsinformationen, die für die Aufzeichnungsvorrichtung 11-1 erhalten werden, werden dann verwendet, um ein Objektschallquellensignal, Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen zu erzeugen. Als ein Ergebnis ist es möglich, ein Objektschallquellensignal von hoher Qualität mit einem höheren SN-Verhältnis und präzisere Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen zu erhalten.
Zusätzlich können die Informationen über die endgültige relative Ankunftsrichtung und die Abstandsinformationen sowohl für die Aufzeichnungsvorrichtung 11-1 als auch die Aufzeichnungsvorrichtung 11-2 erzeugt werden.
Darüber hinaus werden in der Übertragungseigenschaftsdatenbank 46 die Informationen über die relative Ankunftsrichtung und die Abstandsinformationen, die von der Informationsintegrationseinheit 121 zugeführt werden, verwendet, um Übertragungseigenschaften auszuwählen. Beispielsweise können in einem Fall, in dem die Übertragungseigenschaften in Form einer Funktion gehalten sind, die Informationen über die relative Ankunftsrichtung und die Abstandsinformationen als Argumente verwendet werden, die der Funktion zugewiesen werden.
Außerdem werden die in der Informationsintegrationseinheit 121 erhaltenen Informationen über die relative Ankunftsrichtung und Abstandsinformationen auch in der Korrekturinformationserzeugungseinheit 47 verwendet, um Positionskorrekturinformationen und Richtungskorrekturinformationen zu erzeugen.
In der vorstehend beschriebenen Integrationsverarbeitung ermöglicht die Verwendung von Informationseinheiten für die relative Ankunftsrichtung, die für dieselbe Objektschallquelle desselben Objekts erhalten werden, genauere Informationen als Informationen über die endgültige relative Ankunftsrichtung zu erhalten. Mit anderen Worten ist es möglich, die Robustheit in der Berechnung der Informationen über die relative Ankunftsrichtung zu verbessern.
Es wird darauf hingewiesen, dass zum Zeitpunkt der Integrationsverarbeitung durch die Informationsintegrationseinheit 121 die in der Übertragungseigenschaftsdatenbank 46 gehaltenen Übertragungseigenschaften verwendet werden können.
Beispielsweise ist es möglich, einen ungefähren Abstand zwischen jeder der Aufzeichnungsvorrichtungen 11 und der Objektschallquelle auf der Basis des Grads der Schalldämpfung gemäß dem Abstand von der Objektschallquelle, der aus den Übertragungseigenschaften zu erkennen ist, und des aufgezeichneten Audiosignals zu schätzen. Daher ist es, wie vorstehend beschrieben, möglich, unter Verwendung des Schätzergebnisses des Abstands zwischen jeder der Aufzeichnungsvorrichtungen 11 und der Objektschallquelle die Schätzgenauigkeit des Abstands und der relativen Richtung (Richtung) zwischen der Objektschallquelle und jeder der Aufzeichnungsvorrichtungen 11 weiter zu verbessern.
Darüber hinaus wurde hier ein Beispiel beschrieben, in dem mehrere Aufzeichnungsvorrichtungen 11 an dem Objekt angebracht sind, jedoch kann eine Mikrofonanordnung in der Aufzeichnungsvorrichtung 11 vorgesehen sein, und eine weitere Mikrofonanordnung kann drahtgebunden oder drahtlos mit der Aufzeichnungsvorrichtung 11 verbunden sein.
Selbst in einem solchen Fall können die aufgezeichneten Daten für jede dieser Mikrofonanordnungen erhalten werden, da die Mikrofonanordnungen an mehreren unterschiedlichen Positionen eines Objekts vorgesehen sind und die Positionen der mit der Aufnahmevorrichtung 11 verbundenen Mikrofonanordnungen bekannt sind. Die vorstehend beschriebene Integrationsverarbeitung kann mit den auf diese Weise erhaltenen aufgezeichneten Daten ebenfalls ausgeführt werden.
<Beschreibung der Objektschallquellendatenerzeugungsverarbeitung>
Als Nächstes wird der Betrieb des in 12 dargestellten Servers 12 beschrieben.
Das heißt, die durch den in 12 dargestellten Server 12 ausgeführte Objektschallquellendatenerzeugungsverarbeitung wird nachstehend unter Bezugnahme auf einen Ablaufplan von 13 beschrieben.
Es wird darauf hingewiesen, dass, da die Verarbeitung der Schritte S81 bis S85 der Verarbeitung der Schritte S11 bis S15 in 8 ähnlich ist, ihre Beschreibung gegebenenfalls weggelassen wird.
In Schritt S85 führt die Einheit 45 zur Schätzung der relativen Ankunftsrichtung jedoch die erhaltenen Informationen über die relative Ankunftsrichtung der Informationsintegrationseinheit 121 zu.
In Schritt S86 führt die Informationsintegrationseinheit 121 Integrationsverarbeitung auf der Basis der zugeführten Anbringungspositionsinformationen und der Informationen über die relative Ankunftsrichtung, die von der Einheit 45 zur Schätzung der relativen Ankunftsrichtung zugeführt werden, aus. Darüber hinaus erzeugt die Informationsintegrationseinheit 121 auf der Basis des Ergebnisses der Integrationsverarbeitung die Abstandsinformationen, die den Abstand zwischen der Objektschallquelle und jeder der Aufzeichnungsvorrichtungen 11 angeben.
Die Informationsintegrationseinheit 121 führt die durch die Integrationsverarbeitung erhaltenen Informationen über die relative Ankunftsrichtung und die Abstandsinformationen der Übertragungseigenschaftsdatenbank 46 und der Korrekturinformationserzeugungseinheit 47 zu.
Wenn die Integrationsverarbeitung ausgeführt ist, wird dann die Verarbeitung der Schritte S87 und S94 ausgeführt, und die Objektschallquellendatenerzeugungsverarbeitung endet, die Abfolge der Verarbeitung ist jedoch ähnlich der Verarbeitung der Schritte S16 bis S23 in 8, und somit wird die Beschreibung weggelassen.
In den Schritten S88 und S89 werden jedoch nicht nur die Informationen über die relative Ankunftsrichtung und die Anbringungspositionsinformationen, sondern auch die Abstandsinformationen verwendet, um die Positionskorrekturinformationen und die Richtungskorrekturinformationen zu erzeugen.
Wie vorstehend beschrieben, erfasst der Server 12 die aufgezeichneten Daten von der Aufzeichnungsvorrichtung 11 und erzeugt die Objektschallquellendaten.
Als ein Ergebnis ist es auf der Seite der Endgerätevorrichtung 13 möglich, eine realistischere Inhaltswiedergabe zu implementieren. Insbesondere ermöglicht das Ausführen der Integrationsverarbeitung, zuverlässigere Informationen über die relative Ankunftsrichtung zu erhalten, und als ein Ergebnis ist es möglich, dass der Anwender ein realistischeres Gefühl erhält.
Wie vorstehend beschrieben, ist es gemäß der vorliegenden Technologie möglich, dass der Anwender zur Zeit der Inhaltswiedergabe ein realistischeres Gefühl erhält.
Beispielsweise ist es bei der Wiedergabe von Freisicht-Schallfeldern wie z. B. der Vogelperspektive oder der Ortsbesichtigung wichtig, Nachhall, Rauschen und die Vermischung von Klängen aus anderen Schallquellen zu minimieren und ein Zielgeräusch wie z. B. eine menschliche Stimme, ein Bewegungsgeräusch eines Spielers wie z. B. ein Balltretgeräusch beim Sport oder den Klang eines Musikinstruments in der Musik mit einem möglichst hohen SN-Wert aufzuzeichnen. Darüber hinaus ist es gleichzeitig notwendig, den Schall mit einer präzisen Lokalisierung für jede Schallquelle des Zielgeräuschs wiederzugeben und für die Tonbildlokalisierung oder dergleichen der Bewegung des Blickpunkts oder der Schallquelle zu folgen.
Bei der Erfassung des Schalls in der realen Welt ist es jedoch unmöglich, den Schall an der Position der Objektschallquelle zu erfassen, da Beschränkungen für einen Ort, an dem ein Mikrofon platziert werden kann, vorhanden sind, und somit wird ein aufgezeichnetes Audiosignal durch die Übertragungseigenschaften zwischen der Objektschallquelle und dem Mikrofon beeinflusst.
Andererseits ist es in der vorliegenden Technologie möglich, in einem Fall, in dem die Aufzeichnungsvorrichtung 11 an einem Objekt, wie z. B. einem sich bewegenden Objekt, angebracht ist und eine Aufzeichnung vorgenommen wird, um aufgezeichnete Daten zu erzeugen, Schallquellenpositionsinformationen und Schallquellenrichtungsinformationen, die die Position und Orientierung der tatsächlichen Objektschallquelle angeben, aus den aufgezeichneten Daten und früheren Informationen, wie z. B. den Übertragungseigenschaften zu erhalten. Darüber hinaus ist es in der vorliegenden Technologie möglich, ein Objektschallquellensignal zu erhalten, das dem Schall (ursprünglichen Schall) der tatsächlichen Objektschallquelle nahe kommt.
Wie vorstehend beschrieben, ist es möglich, das Objektschallquellensignal, das dem absoluten Schalldruck (Frequenzeigenschaften) an der Position, an der die Objektschallquelle tatsächlich existiert, entspricht, und Metadaten, die die Schallquellenpositionsinformation und die Schallquellenrichtungsinformation, die das Objektschallquellensignal begleiten, zu erhalten, und somit ist es in der vorliegenden Technologie möglich, den ursprünglichen Schall der Objektschallquelle wiederherzustellen, selbst wenn eine Aufzeichnung an einer Anbringungsposition, die nicht ideal ist, vorgenommen wird.
Darüber hinaus kann in der vorliegenden Technologie auf der Wiedergabeseite von Inhalt mit einem freien Blickwinkel oder einem festen Blickwinkel die Wiedergabe oder Bearbeitung unter Berücksichtigung der Richtwirkung der Objektschallquelle ausgeführt werden.
<Konfigurationsbeispiel des Computers>
Im Übrigen kann die vorstehend beschriebene Abfolge der Verarbeitung durch Hardware oder Software ausgeführt werden. In einem Fall, in dem die Abfolge der Verarbeitung durch Software ausgeführt wird, werden die in der Software enthaltenen Programme in einem Computer installiert. Hier weist der Computer einen in dedizierte Hardware eingebetteten Computer, z. B. einen Allzweck-Personalcomputer, auf, der durch Installieren verschiedener Programme und dergleichen in der Lage ist, verschiedene Funktionen auszuführen.
14 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Hardware des Computers, der die vorstehend beschriebenen Abfolgen der Verarbeitung durch die Programme ausführt, darstellt.
In dem Computer sind eine zentrale Verarbeitungseinheit (CPU) 501, ein Festwertspeicher (ROM) 502 und ein Direktzugriffsspeicher (RAM) 503 über einen Bus 504 miteinander verbunden.
Ferner ist eine Eingabe/Ausgabe-Schnittstelle 505 mit dem Bus 504 verbunden. Eine Eingabeeinheit 506, eine Ausgabeeinheit 507, eine Aufzeichnungseinheit 508, eine Kommunikationseinheit 509 und ein Laufwerk 510 sind mit der Eingabe/Ausgabe-Schnittstelle 505 verbunden.
Die Eingabeeinheit 506 weist eine Tastatur, eine Maus, ein Mikrofon, einen Bildsensor und dergleichen auf. Die Ausgabeeinheit 507 weist eine Anzeigevorrichtung, einen Lautsprecher und dergleichen auf. Die Aufzeichnungseinheit 508 weist eine Festplatte, einen nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 509 weist eine Netzschnittstelle und dergleichen auf. Das Laufwerk 510 treibt ein herausnehmbares Aufzeichnungsmedium 511 wie z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte oder einen Halbleiterspeicher an.
In dem Computer, der wie oben beschrieben konfiguriert ist, lädt die CPU 501 beispielsweise ein in der Aufzeichnungseinheit 508 aufgezeichnetes Programm über die Eingabe-/Ausgabeschnittstelle 505 und den Bus 504 in den RAM 503 und führt das Programm aus, um die oben beschriebene Abfolge der Verarbeitung auszuführen.
Das durch den Computer (CPU 501) ausgeführte Programm kann beispielsweise dadurch bereitgestellt sein, dass es auf dem herausnehmbaren Aufzeichnungsmedium 511 als Paketmedium oder dergleichen aufgezeichnet ist. Das Programm kann auch über ein drahtgebundenes oder drahtloses Übertragungsmedium wie z. B. ein lokales Netz, das Internet oder digitales Satellitenrundsenden bereitgestellt sein.
In dem Computer kann das Programm über die Eingabe-/Ausgabeschnittstelle 505 in der Aufzeichnungseinheit 508 dadurch installiert werden, dass das herausnehmbare Aufzeichnungsmedium 511 auf dem Laufwerk 510 montiert wird. Darüber hinaus kann das Programm durch die Kommunikationseinheit 509 über das drahtgebundene oder drahtlose Übertragungsmedium empfangen und in der Aufzeichnungseinheit 508 installiert werden. Zusätzlich kann das Programm auch im Voraus in dem ROM 502 oder der Aufzeichnungseinheit 508 installiert sein.
Es wird darauf hingewiesen, dass das durch den Computer ausgeführte Programm ein Programm sein kann, in dem die Verarbeitung in der Zeitreihe in der in der vorliegenden Spezifikation beschriebenen Reihenfolge ausgeführt wird, oder ein Programm sein kann, in dem die Verarbeitung parallel oder zu einem erforderlichen Zeitpunkt, z. B. wenn es aufgerufen wird, ausgeführt wird.
Darüber hinaus sind Ausführungsformen der vorliegenden Technologie nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne von dem Wesen der vorliegenden Technologie abzuweichen.
Beispielsweise kann die vorliegende Technologie eine Konfiguration mit Cloud-Computing, in der eine Funktion gemeinsam verwendet und in Zusammenarbeit durch mehrere Vorrichtungen über ein Netz verarbeitet wird, aufweisen.
Darüber hinaus kann jeder in den oben beschriebenen Ablaufplänen beschriebene Schritt durch eine Vorrichtung ausgeführt werden oder durch mehrere Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Außerdem können in einem Fall, in dem ein Schritt mehrere Verarbeitungsgruppen aufweist, die mehreren Verarbeitungsgruppen, die in dem einen Schritt enthalten sind, durch eine Vorrichtung ausgeführt werden oder durch mehrere Vorrichtungen gemeinsam genutzt und ausgeführt werden.
Darüber hinaus kann die vorliegende Technologie auch die folgenden Konfigurationen aufweisen.
(1)
Signalverarbeitungsvorrichtung, die Folgendes aufweist:

eine Audio-Erzeugungseinheit, die ein Schallquellensignal gemäß einem Typ einer Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird, erzeugt;
eine Korrekturinformationserzeugungseinheit, die Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben, erzeugt; und
eine Positionsinformationserzeugungseinheit, die Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf der Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen erzeugt.

(2)
Signalverarbeitungsvorrichtung nach (1), die ferner Folgendes aufweist:

eine Objektschallquellendatenerzeugungseinheit, die Objektschallquellendaten, die das Schallquellensignal aufweisen, und Metadaten, die die Schallquellenpositionsinformationen und Schallquellentypinformationen, die den Typ der Schallquelle angeben, aufweisen, erzeugt.

(3)
Signalverarbeitungsvorrichtung nach (1) oder (2), die ferner Folgendes aufweist:

eine Mikrofonpositionsinformationserzeugungseinheit, die die Mikrofonpositionsinformationen auf der Basis von Informationen, die eine Position des sich bewegen Objekts in dem Zielraum angeben, und Informationen, die eine Position des Mikrofons im sich bewegenden Objekt angeben, erzeugt.

(4)
Signalverarbeitungsvorrichtung nach (2), wobei
die Korrekturinformationserzeugungseinheit Richtungskorrekturinformationen, die eine relative Richtung zwischen mehreren Mikrofonen und der Schallquelle angeben, auf der Basis des durch die Mikrofone erhaltenen aufgezeichneten Signals erzeugt,
die Signalverarbeitungsvorrichtung ferner eine Richtungsinformationserzeugungseinheit aufweist, die Schallquellenrichtungsinformationen, die eine Richtung der Schallquelle in dem Zielraum angeben, auf der Basis von Mikrofonrichtungsinformationen, die eine Richtung jedes der Mikrofone in dem Zielraum angeben, und der Richtungskorrekturinformationen erzeugt, und
die Objektschallquellendatenerzeugungseinheit die Objektschallquellendaten, die das Schallquellensignal aufweisen, und die Metadaten, die die Schallquellentypinformationen, die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen aufweisen, erzeugt.
(5)
Signalverarbeitungsvorrichtung nach (4), wobei
die Objektschallquellendatenerzeugungseinheit die Objektschallquellendaten, die das Schallquellensignal aufweisen, und die Metadaten, die die Schallquellentypinformationen, Identifizierungsinformationen, die das bewegliche Objekt angeben, die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen aufweisen, erzeugt.
(6)
Signalverarbeitungsvorrichtung nach einem aus (1) bis (5), wobei
die Korrekturinformationserzeugungseinheit ferner Audiokorrekturinformationen zum Erzeugen des Schallquellensignals auf der Basis von Übertragungseigenschaften von der Schallquelle zu dem Mikrofon erzeugt, und
die Audioerzeugungseinheit das Schallquellensignal auf der Basis der Audiokorrekturinformationen und des aufgezeichneten Signals erzeugt.
(7)
Signalverarbeitungsvorrichtung nach (6), wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf der Basis der Übertragungseigenschaften gemäß dem Typ der Schallquelle erzeugt.
(8)
Signalverarbeitungsvorrichtung nach (6) oder (7), wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf der Basis der Übertragungseigenschaften gemäß einer relativen Richtung zwischen dem Mikrofon und der Schallquelle erzeugt.
(9)
Signalverarbeitungsvorrichtung nach einem aus (6) bis (8), wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf der Basis der Übertragungseigenschaften gemäß dem Abstand zwischen dem Mikrofon und der Schallquelle erzeugt.
(10)
Signalverarbeitungsverfahren, das durch eine Signalverarbeitungsvorrichtung ausgeführt wird, wobei das Signalverarbeitungsverfahren Folgendes aufweist:

Erzeugen eines Schallquellensignals gemäß einem Typ einer Schallquelle auf der Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird;
Erzeugen von Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben; und
Erzeugen von Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf der Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen.

(11)
Programm zum Veranlassen eines Computers, eine Verarbeitung auszuführen, die die folgenden Schritte aufweist:

Bezugszeichenliste

11-1 bis 11-N, 11: Aufzeichnungsvorrichtung
12: Server
13: Endgerätevorrichtung
41: Erfassungseinheit
44: Abschnittsdetektionseinheit
45: Einheit zur Schätzung der relativen Ankunftsrichtung
46: Übertragungseigenschaftsdatenbank
47: Korrekturinformationserzeugungseinheit
48: Audioerzeugungseinheit
49: Einheit zur Erzeugung der korrigierten Position
50: Einheit zur Erzeugung der korrigierten Richtung
51: Objektschallquellendatenerzeugungseinheit
53: Übertragungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2015/107926 A [0004]

Claims

Signalverarbeitungsvorrichtung, die Folgendes umfasst: eine Audioerzeugungseinheit, die ein Schallquellensignal gemäß einem Typ einer Schallquelle auf einer Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird, erzeugt; eine Korrekturinformationserzeugungseinheit, die Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben, erzeugt; und eine Positionsinformationserzeugungseinheit, die Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf einer Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Objektschallquellendatenerzeugungseinheit, die die Objektschallquellendaten, die das Schallquellensignal aufweisen, und Metadaten, die die Schallquellenpositionsinformationen und Schallquellentypinformationen, die den Typ der Schallquelle angeben, aufweisen, erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Mikrofonpositionsinformationserzeugungseinheit, die die Mikrofonpositionsinformationen auf einer Basis von Informationen, die eine Position des sich bewegen Objekts in dem Zielraum angeben, und Informationen, die eine Position des Mikrofons in dem sich bewegenden Objekt angeben, erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrekturinformationserzeugungseinheit Richtungskorrekturinformationen, die eine relative Richtung zwischen mehreren der Mikrofone und der Schallquelle angeben, auf einer Basis des durch die Mikrofone erhaltenen aufgezeichneten Signals erzeugt, die Signalverarbeitungsvorrichtung ferner eine Richtungsinformationserzeugungseinheit aufweist, die Schallquellenrichtungsinformationen, die eine Richtung der Schallquelle in dem Zielraum angeben, auf einer Basis von Mikrofonrichtungsinformationen, die eine Richtung jedes der Mikrofone in dem Zielraum angeben, und der Richtungskorrekturinformationen erzeugt, und die Objektschallquellendatenerzeugungseinheit die Objektschallquellendaten, die das Schallquellensignal aufweisen, und die Metadaten, die die Schallquellentypinformationen, die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen aufweisen, erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 4, wobei die Objektschallquellendatenerzeugungseinheit die Objektschallquellendaten, die das Schallquellensignal aufweisen, und die Metadaten, die die Schallquellentypinformationen, Identifizierungsinformationen, die das bewegliche Objekt angeben, die Schallquellenpositionsinformationen und die Schallquellenrichtungsinformationen aufweisen, erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 1, wobei die Korrekturinformationserzeugungseinheit ferner Audiokorrekturinformationen zum Erzeugen des Schallquellensignals auf einer Basis von Übertragungseigenschaften von der Schallquelle zu dem Mikrofon erzeugt, und die Audioerzeugungseinheit das Schallquellensignal auf einer Basis der Audiokorrekturinformationen und des aufgezeichneten Signals erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 6, wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf einer Basis der Übertragungseigenschaften gemäß dem Typ der Schallquelle erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 6, wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf einer Basis der Übertragungseigenschaften gemäß einer relativen Richtung zwischen dem Mikrofon und der Schallquelle erzeugt.
Signalverarbeitungsvorrichtung nach Anspruch 6, wobei die Korrekturinformationserzeugungseinheit die Audiokorrekturinformationen auf einer Basis der Übertragungseigenschaften gemäß dem Abstand zwischen dem Mikrofon und der Schallquelle erzeugt.
Signalverarbeitungsverfahren, das durch eine Signalverarbeitungsvorrichtung ausgeführt wird, wobei das Signalverarbeitungsverfahren Folgendes umfasst: Erzeugen eines Schallquellensignals gemäß einem Typ einer Schallquelle auf einer Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird; Erzeugen von Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben; und Erzeugen von Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf einer Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen.
Programm zum Veranlassen eines Computers, eine Verarbeitung auszuführen, die die folgenden Schritte umfasst: Erzeugen eines Schallquellensignals gemäß einem Typ einer Schallquelle auf einer Basis eines aufgezeichneten Signals, das durch Schallerfassung durch ein an einem sich bewegenden Objekt angebrachtes Mikrofon erhalten wird; Erzeugen von Positionskorrekturinformationen, die einen Abstand zwischen dem Mikrofon und der Schallquelle angeben; und Erzeugen von Schallquellenpositionsinformationen, die eine Position der Schallquelle in einem Zielraum angeben, auf einer Basis von Mikrofonpositionsinformationen, die eine Position des Mikrofons in dem Zielraum angeben, und der Positionskorrekturinformationen.