DE112017001190T5

DE112017001190T5 - Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und Programm

Info

Publication number: DE112017001190T5
Application number: DE112017001190.6T
Authority: DE
Inventors: Kentaro Ida; Takuya Ikeda
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-03-10
Filing date: 2017-02-24
Publication date: 2018-11-15
Also published as: EP3429226A1; EP3429226A4; US20190034155A1; CN108781327A; WO2017154610A1; CN108781327B; US10656899B2; JP2017163432A

Abstract

Die vorliegende Technologie bezieht sich auf eine Datenverarbeitungseinrichtung, ein Datenverarbeitungsverfahren und ein Programm, die die Zufriedenheit mit einem Schall eines Reflexionslautsprechers verbessern können. Ein audiovisuelles System (AV-System) enthält eine Akustiksteuereinheit, die eine Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls steuert. Die vorliegende Technologie kann beispielsweise auf ein AV-System angewandt werden, das einen Projektor vom Antriebstyp und einem Lautsprecher vom Antriebstyp verwendet. Ferner kann die vorliegende Technologie beispielsweise auf ein AV-System angewandt werden, das einen Projektor vom Antriebstyp verwendet, der einen Reflexionslautsprecher enthält.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie bezieht sich auf eine Datenverarbeitungseinrichtung, ein Datenverarbeitungsverfahren und ein Programm und insbesondere auf eine Datenverarbeitungseinrichtung, ein Datenverarbeitungsverfahren und ein Programm, die vorteilhaft verwendet werden, wenn eine Ausgabesteuerung eines Reflexionslautsprechers ausgeführt wird.
STAND DER TECHNIK
Herkömmlicherweise ist ein Reflexionslautsprecher bekannt, der durch Bewirken, dass ein Ausgabeschall aus einem Lautsprecher auf eine Wand trifft und daran reflektiert wird oder dergleichen, eine virtuelle Schallquelle an einer Reflexionsposition erzeugt, um dem Anwender das Gefühl zu geben, als ob der Schall aus einer virtuellen Schallquelle ausgegeben wird (siehe beispielsweise Patentdokument 1).
Als Reflexionslautsprecher wird beispielsweise ein supergerichteter Lautsprecher verwendet, der eine scharfe Richtwirkung aufweist, wie z. B. ein Ultraschalllautsprecher (parametrischer Lautsprecher).
ENTGEGENHALTUNGSLISTE
PATENTDOKUMENT
Patentdokument 1: Japanische Patentschrift Offenbarungs-Nr. 2010-56710
ZUSAMMENFASSUNG DER ERFINDUNG
PROBLEME, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
Während jedoch der Reflexionslautsprecher die Position (Reflexionsposition) der virtuellen Schallquelle frei einstellen kann, wird die Lautstärke wegen des Abstands zu der virtuellen Schallquelle oder des Materials der Reflexionsposition zu klein oder es kann ein unangenehmes Gefühl auftreten, weil beispielsweise die Position der virtuellen Schallquelle zu weit von der Anzeigeposition des Bilds entfernt ist.
Deshalb verbessert die vorliegende Technologie den Grad der Zufriedenheit mit dem Schall des Reflexionslautsprechers.
LÖSUNG DER PROBLEME
Eine Datenverarbeitungseinrichtung eines Aspekts der vorliegenden Technologie enthält eine Akustiksteuereinheit, die konfiguriert ist, eine Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls zu steuern.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis eines Abstands von dem Reflexionslautsprecher zu der Reflexionsposition und/oder eines Abstands von der Reflexionsposition zu einem Anwender steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis einer Reflexionseigenschaft der Reflexionsposition steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass der Reflexionslautsprecher den Ausgabeschall einer Ultraschallwelle ausgibt und eine Ausgaberichtung des Ausgabeschalls variabel macht, und kann ferner eine Abbildungserzeugungseinheit enthalten, die konfiguriert ist, den Ausgabeschall in einem Raum abzutasten, in dem der Reflexionslautsprecher den Ausgabeschall reflektiert, und eine Raumabbildung, die die Reflexionseigenschaft in dem Raum enthält, auf der Basis eines Detektionsergebnisses eines reflektierten Schalls zu erzeugen.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Abbildungserzeugungseinheit die Raumabbildung, die eine dreidimensionale Form des Raums enthält, auf der Basis des Detektionsergebnisses des reflektierten Schalls erzeugt.
Die Datenverarbeitungseinrichtung kann bewirken, dass der Reflexionslautsprecher eine Ausgaberichtung des Ausgabeschalls variabel macht, und kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition gemäß der Ausgaberichtung des Ausgabeschalls aus dem Reflexionslautsprecher steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Anzeigeposition eines Bilds, dem der Ausgabeschall entspricht, steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Reflexionseigenschaft in einem Raum, wo der Reflexionslautsprecher den Ausgabeschall reflektiert, steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Zeigeposition, die eine durch einen Anwender spezifizierte Position ist, und/oder einer Blickrichtung des Anwenders steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass, wenn ein Bild existiert, das in der Zeigerichtung angezeigt werden soll, die Akustiksteuereinheit bewirkt, der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
Es ist ferner eine Bildsteuereinheit bereitgestellt, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Zeigeposition zu steuern, und die Datenverarbeitungseinrichtung kann bewirken, dass, wenn ein Bild, das an der Zeigeposition angezeigt werden soll, existiert, die Bildsteuereinheit das Bild an der Zeigeposition anzeigt.
Die Datenverarbeitungseinrichtung kann bewirken, dass, wenn ein Bild existiert, das in der Blickrichtung des Anwenders angezeigt werden soll, die Akustiksteuereinheit bewirkt, der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
Es ist ferner eine Bildsteuereinheit, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Blickrichtung des Anwenders zu steuern, bereitgestellt, und die Datenverarbeitungseinrichtung kann bewirken, dass, wenn ein Bild, das in der Blickrichtung des Anwenders angezeigt werden soll, existiert, die Bildsteuereinheit das Bild in der Blickrichtung des Anwenders anzeigt.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition auf der Basis eines Inhalts eines Bilds, dem der Ausgabeschall entspricht, steuert.
In Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Bewegung eines sich bewegenden Körpers in dem Bild steuert.
Die Datenverarbeitungseinrichtung kann bewirken, dass die Akustiksteuereinheit eine Eigenschaft des Ausgabeschalls steuert.
Ferner kann der Reflexionslautsprecher bereitgestellt sein.
Es ist ferner ein Projektor, der eine variable Projektionsrichtung eines Bilds aufweist, bereitgestellt, und die Datenverarbeitungseinrichtung kann bewirken, dass der Reflexionslautsprecher eine Ausgaberichtung des Ausgabeschalls variabel macht.
Ein Datenverarbeitungsverfahren eines Aspekts der vorliegenden Technologie enthält einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls.
Ein Programm eines Aspekts der vorliegenden Technologie bewirkt, dass ein Computer Verarbeitung ausführt, die einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls enthält.
In einem Aspekt der vorliegenden Technologie wird eine Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls gesteuert.
EFFEKTE DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Technologie wird die Zufriedenheit mit einem Schall eines Reflexionslautsprechers verbessert.
Es wird darauf hingewiesen, dass die hier beschriebenen Effekte nicht notwendigerweise eingeschränkt sind, und irgendeiner der in der vorliegenden Offenbarung beschriebenen Effekte gezeigt werden kann.
Figurenliste

1 ist ein Blockdiagramm, das eine erste Ausführungsform eines AV-Systems, auf das die vorliegende Technologie angewandt ist, darstellt.
2 ist eine schematische Ansicht, die ein Konfigurationsbeispiel des Aussehens eines Projektors vom Antriebstyp und eines Lautsprechers vom Antriebstyp des AV-Systems von 1 darstellt.
3 ist ein Ablaufplan zum Beschreiben der Raumabbildungserzeugungsverarbeitung, die durch das AV-System von 1 ausgeführt wird.
4 ist eine Ansicht zum Beschreiben eines Verfahrens zum Erzeugen einer Raumabbildung.
5 ist eine Ansicht zum Beschreiben eines Verfahrens zum Berechnen der Reflexion.
6 ist ein Ablaufplan zum Beschreiben der Bildakustiksteuerungsverarbeitung, die durch das AV-System von 1 ausgeführt wird.
7 ist eine Ansicht zum Beschreiben eines Beispiels zum Einstellen einer Anzeigeposition durch eine Zeigevorrichtung.
8 ist eine Ansicht zum Beschreiben eines Beispiels zum Einstellen einer Anzeigeposition durch eine Blickrichtung eines Anwenders.
9 ist eine Ansicht zum Beschreiben der Lautstärkensteuerung des Reflexionslautsprechers.
10 ist ein Blockdiagramm, das eine zweite Ausführungsform eines AV-Systems darstellt, auf das die vorliegende Technologie angewandt ist.
11 ist eine schematische Ansicht, die ein Konfigurationsbeispiel des Aussehens eines Projektors vom Antriebstyp des AV-Systems von 10 darstellt.
12 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Computers darstellt.

ART DER AUSFÜHRUNG DER ERFINDUNG
Nachstehend wird eine Art der Ausführung der Erfindung (nachstehend als „Ausführungsform“ bezeichnet) mit Bezug auf die Zeichnungen genau beschrieben. Es wird darauf hingewiesen, dass die Beschreibung in der folgenden Reihenfolge gegeben wird.

1. Ausführungsform
2. Modifikation

<Ausführungsform>
{Konfigurationsbeispiel des AV-Systems 10}
Zuerst wird ein Konfigurationsbeispiel eines audiovisuellen Systems (AV-Systems) 10, auf das die vorliegende Technologie angewandt ist, mit Bezug auf die 1 und 2 beschrieben. 1 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel des AV-Systems 10 darstellt. 2 ist eine schematische Ansicht, die ein Konfigurationsbeispiel des Aussehens eines Projektors 11 vom Antriebstyp und eines Lautsprechers 12 vom Antriebstyp des AV-Systems 10 darstellt.
Das AV-System 10 ist ein System, das ein Bild in einem vorbestimmten Raum (nachstehend als ein Anzeigeraum bezeichnet) projiziert und einen das Bild begleitenden Schall ausgibt. Ferner kann das AV-System 10 eine Anzeigeposition des Bilds in dem Anzeigeraum und eine Position der virtuellen Schallquelle frei ändern und wird beispielsweise zur Projektionsabbildung und dergleichen verwendet.
Das AV-System 10 enthält den Projektor 11 vom Antriebstyp, den Lautsprecher 12 vom Antriebstyp, eine Sensoreinheit 13, eine Bedieneinheit 14, eine Datenverarbeitungseinrichtung 15 und eine Datenverarbeitungseinrichtung 16.
Der Projektor 11 vom Antriebstyp ist ein Projektor, in dem eine Projektionsrichtung eines Bilds variabel ist. Der Projektor 11 vom Antriebstyp enthält einen Projektor 31, einen Tiefensensor 32 und eine Antriebseinheit. Wie in 2 dargestellt ist, ist in dem Projektor 11 vom Antriebstyp der Tiefensensor auf der Antriebseinheit 33 installiert, und der Projektor 31 ist auf dem Tiefensensor 32 installiert.
Der Projektor 31 projiziert ein Bild basierend auf Bilddaten, die aus der Datenverarbeitungseinrichtung 15 zugeführt werden, auf eine Wand oder dergleichen in dem Anzeigeraum unter der Steuerung der Datenverarbeitungseinrichtung 15. Es wird darauf hingewiesen, dass der Projektor 31 nicht auf ein spezifisches Verfahren eingeschränkt ist und irgendein Verfahren eingesetzt werden kann.
Der Tiefensensor 32 nimmt ein Abstandsbild, das einen Abstand jeder Position in dem Anzeigeraum von dem Tiefensensor 32 angibt, beispielsweise unter Verwendung von Infrarotlicht auf und führt das aufgenommene Abstandsbild der Datenverarbeitungseinrichtung 15 unter der Steuerung der Datenverarbeitungseinrichtung 15 zu. Es wird darauf hingewiesen, dass als das Verfahren des Tiefensensors 32 irgendein Verfahren wie z. B. ein Laufzeit-Verfahren (TOF-Verfahren), ein Musterbestrahlungsverfahren oder ein Stereokameraverfahren eingesetzt werden kann.
Die Antriebseinheit 33 steuert eine Projektionsrichtung des Projektors 31 und eine Aufnahmerichtung des Tiefensensors 32 unter der Steuerung der Datenverarbeitungseinrichtung 15. Die Antriebseinheit 33 enthält einen Schwenkmotor 41, einen Neigemotor 42 und eine Motorsteuereinheit 43.
Der Schwenkmotor 41 ist ein Motor, der den Projektor 31 und den Tiefensensor 32 in einer Schwenkrichtung (horizontalen Richtung) dreht.
Der Neigemotor 42 ist ein Motor, der den Projektor 31 und den Tiefensensor 32 in einer Neigerichtung (vertikalen Richtung) dreht.
Die Motorsteuereinheit 43 steuert die Drehung des Schwenkmotors 41 und des Neigemotors 42 unter der Steuerung der Datenverarbeitungseinrichtung 15.
Es wird darauf hingewiesen, dass die Antriebseinheit 33 außerdem so konfiguriert sein kann, dass sie beispielsweise in einer Gierrichtung (um eine Hauptachse in der Projektionsrichtung eines Bilds) drehbar ist. Ferner kann die Antriebseinheit 33 ferner einen Bewegungsmechanismus wie z. B. ein Motor und ein Rad enthalten.
Der Lautsprecher 12 vom Antriebstyp ist eine Einheit, die einen Schall in Übereinstimmung mit einem Bild, das in dem Anzeigeraum durch den Projektor 11 vom Antriebstyp angezeigt werden soll, ausgibt. Wie in 2 dargestellt ist, ist in dem Lautsprecher 12 vom Antriebstyp ein Reflexionslautsprecher 51 auf einer Antriebseinheit 52 installiert.
Der Reflexionslautsprecher 51 ist ein Lautsprecher, der durch Ausgeben und Reflektieren eines Ausgabeschalls an einer gewünschten Position in dem Anzeigeraum unter der Steuerung der Datenverarbeitungseinrichtung 16 eine virtuelle Schallquelle an einer Reflexionsposition erzeugt. Ein Anwender nimmt wahr, dass ein Schall von der Position der virtuellen Schallquelle ausgegeben wird. Das System des Reflexionslautsprechers 51 ist nicht besonders eingeschränkt, solange der Reflexionslautsprecher ein Lautsprecher ist, der zum Erzeugen der virtuellen Schallquelle an der Reflexionsposition fähig ist. Beispielsweise ist der Reflexionslautsprecher 51 durch einen supergerichteten Lautsprecher, der eine scharfe Richtwirkung aufweist, konfiguriert.
Es wird darauf hingewiesen, dass es, wie nachstehend beschrieben wird, in dem Fall des Erzeugens einer Raumabbildung des Anzeigeraums auf der Basis eines reflektierten Schalls in Bezug auf den Ausgabeschall des Reflexionslautsprechers 51, wünschenswert ist, einen Ultraschallausgabeschall aus dem Reflexionslautsprecher 51 auszugeben. Beispielsweise ist der Reflexionslautsprecher 51 wünschenswerterweise durch einen Ultraschalllautsprecher (parametrischen Lautsprecher) konfiguriert, der ein Signal ausgibt, das durch Modulieren einer Trägerwelle, die Ultraschallwellen enthält, durch ein vorbestimmtes Verfahren erhalten wird.
Es wird darauf hingewiesen, dass nachstehend in einigen Fällen der Reflexionslautsprecher 51, der den Ausgabeschall zu der virtuellen Schallquelle ausgibt und den Ausgabeschall an der virtuellen Schallquelle reflektiert, als Ausgeben eines Schalls aus der virtuellen Schallquelle ausgedrückt ist.
Die Antriebseinheit 52 steuert die Ausgaberichtung des Reflexionslautsprechers 51 unter der Steuerung der Datenverarbeitungseinrichtung 15. Die Antriebseinheit 52 enthält einen Schwenkmotor 61, einen Neigemotor 62 und eine Motorsteuereinheit 63.
Der Schwenkmotor 61 ist ein Motor, der den Reflexionslautsprecher 51 in der Schwenkrichtung (horizontalen Richtung) dreht.
Der Neigemotor 62 ist ein Motor, der den Reflexionslautsprecher 51 in der Neigerichtung (vertikalen Richtung) dreht.
Die Motorsteuereinheit 63 steuert die Drehung des Schwenkmotors 61 und des Neigemotors 62 unter der Steuerung der Datenverarbeitungseinrichtung 15.
Es wird darauf hingewiesen, dass die Antriebseinheit 52 außerdem so konfiguriert sein kann, dass sie beispielsweise in einer Gierrichtung (um eine Hauptachse in der Ausgaberichtung eines Ausgabeschalls) drehbar ist. Ferner kann die Antriebseinheit 52 ferner einen Bewegungsmechanismus wie z. B. eine Motor und ein Rad enthalten.
Die Sensoreinheit 13 enthält eine Kamera 71, eine Fischaugenkamera 72 und ein Mikrofon 73.
Die Kamera 71 nimmt ein Inneres des Anzeigeraums auf und führt ein Bild, das als Ergebnis des Aufnehmens erhalten wird, (nachstehend ist das Bild als ein Anzeigeraumbild bezeichnet) der Datenverarbeitungseinrichtung 15 zu. Das Anzeigeraumbild wird beispielsweise zur Detektion einer Position, einer Blickrichtung, einer Geste und dergleichen des Anwenders in dem Anzeigeraum verwendet.
Die Fischaugenkamera 72 ist durch eine Kamera konfiguriert, die ein Fischaugenobjektiv enthält, und nimmt ein Superweitwinkelbild auf. Die Fischaugenkamera 72 führt ein Bild, das als ein Ergebnis des Aufnehmens erhalten wird, (nachstehend ist das Bild als ein Fischaugenbild bezeichnet) der Datenverarbeitungseinrichtung 15 zu. Das Fischaugenbild wird beispielsweise zur Detektion einer Bestrahlungsposition (Zeigeposition) von Infrarotlicht, das aus einer Zeigevorrichtung 81 emittiert wird, verwendet.
Das Mikrofon 73 wird beispielsweise zur Detektion des reflektierten Schalls in Bezug auf den Ausgabeschall aus dem Reflexionslautsprecher 51 verwendet. Das Mikrofon 73 führt ein Audiosignal, das den detektierten Schall angibt, der Datenverarbeitungseinrichtung 16 zu.
Die Bedieneinheit 14 enthält die Zeigevorrichtung 81.
Die Zeigevorrichtung 81 ist eine Bedienvorrichtung für den Anwender, um auf eine gewünschte Position zu zeigen. Beispielsweise bestrahlt die Zeigevorrichtung 81 eine Position mit Infrarotlicht, um gemäß einer Anwenderoperation mit Infrarot auf die Position (Zeigeposition) zu zeigen.
Es wird darauf hingewiesen, dass die Zeigevorrichtung 81 durch eine dedizierte Vorrichtung oder durch eine Allzweckvorrichtung, die für andere Verwendungen verwendbar ist, wie z. B. ein Smartphone und eine Fernsteuerung konfiguriert sein kann.
Die Datenverarbeitungseinrichtung 15 ist beispielsweise durch einen Computer oder einen Prozessor wie z. B. eine CPU, einen Speicher und dergleichen konfiguriert. Die Datenverarbeitungseinrichtung 15 wird hauptsächlich zur Steuerung des Projektors 11 vom Antriebstyp verwendet.
Die Datenverarbeitungseinrichtung 15 enthält eine Schnittstelleneinheit (I/F-Einheit) 101, eine Zeigepositionsdetektionseinheit 102, eine Anwenderdetektionseinheit 103, eine Abbildungserzeugungseinheit 104, eine Speichereinheit 105, eine Eingabeeinheit 106 und eine Bildsteuereinheit 107.
Die I/F-Einheit 101 ist beispielsweise durch eine Kommunikationsvorrichtung, ein Verbindungselement und dergleichen konfiguriert. Die I/F-Einheit 101 sendet und empfängt Daten und dergleichen zu und von der Datenverarbeitungseinrichtung 16, dem Projektor 31, dem Tiefensensor 32, der Motorsteuereinheit 43, der Kamera 71 und der Fischaugenkamera 72. Ferner führt die I/F-Einheit 101 die empfangenen Daten und dergleichen jeder Einheit der Datenverarbeitungseinrichtung 15 zu und erfasst Daten oder gleichen, die gesendet werden sollen, aus jeder Einheit der Datenverarbeitungseinrichtung 15.
Es wird darauf hingewiesen, dass irgendein geeignetes drahtgebundenes oder drahtloses Verfahren als ein Kommunikationsverfahren der I/F-Einheit 101 eingesetzt werden kann. Ferner kann das Kommunikationsverfahren der I/F-Einheit 101 für jedes Ziel, mit dem Kommunikation ausgeführt wird, geändert werden. Ferner kann beispielsweise die I/F-Einheit 101 Kommunikation direkt mit jedem Kommunikationsziel ausführen oder kann Kommunikation über ein Netz oder dergleichen ausführen.
Die Zeigepositionsdetektionseinheit 102 detektiert die Zeigeposition durch die Zeigevorrichtung 81 auf der Basis des Fischaugenbilds, das durch die Fischaugenkamera 72 aufgenommen wird. Die Zeigepositionsdetektionseinheit 102 führt ein Detektionsergebnis der Bildsteuereinheit 107 zu und führt das Detektionsergebnis der Datenverarbeitungseinrichtung 15 über die I/F-Einheit 101 zu.
Es wird darauf hingewiesen, dass irgendein Verfahren als das Detektionsverfahren der Zeigepositionsdetektionseinheit 102 eingesetzt werden kann.
Die Anwenderdetektionseinheit 103 detektiert beispielsweise die Position, die Blickrichtung, die Geste und dergleichen des Anwenders in dem Anzeigeraum auf der Basis des Anzeigeraumbilds, das durch die Kamera 71 aufgenommen wird. Die Anwenderdetektionseinheit 103 führt ein Detektionsergebnis der Bildsteuereinheit 107 zu und führt das Detektionsergebnis der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 zu.
Es wird darauf hingewiesen, dass irgendein Verfahren als das Detektionsverfahren der Anwenderdetektionseinheit 103 eingesetzt werden kann.
Die Abbildungserzeugungseinheit 104 steuert den Tiefensensor 32 und die Motorsteuereinheit 43 über die I/F-Einheit 101, um das Aufnehmen des Abstandsbilds in dem Anzeigeraum durch den Tiefensensor 32 zu steuern. Dann führt die Abbildungserzeugungseinheit 104 eine Raumerkennung des Inneren des Anzeigeraums unter Verwendung des Abstandsbilds aus und erzeugt eine erste Raumabbildung, die eine dreidimensionale Form eines Objekts, einer Wand und dergleichen in dem Anzeigeraum angibt. Die erste Raumabbildung enthält beispielsweise eine dreidimensionale Punktgruppenabbildung und enthält Tiefeninformationen, die den Abstand jeder Position in dem Anzeigeraum von dem Projektor 11 vom Antriebstyp (Tiefensensor 32) angeben.
Ferner erfasst die Abbildungserzeugungseinheit 104 eine zweite Raumabbildung aus der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 und erzeugt eine integrierte Raumabbildung, die durch Integrieren der ersten Raumabbildung und der zweiten Raumabbildung erhalten wird. Die integrierte Raumabbildung enthält beispielsweise die Tiefeninformationen, die den Abstand jeder Position in dem Anzeigeraum von dem Projektor 11 vom Antriebstyp (Tiefensensor 32) angeben, Reflexionseigenschaftsinformationen, die Reflexionseigenschaften (beispielsweise Reflexionsvermögen, einen Reflexionswinkel und dergleichen) jeder Position angeben, und Anzeigeeigenschaftsinformationen, die die Verfügbarkeit der Anzeige eines Bilds (Verfügbarkeit einer Projektion des Bilds) an jeder Position in dem Anzeigeraum angeben. Die Abbildungserzeugungseinheit 104 bewirkt, dass die Speichereinheit 105 die erzeugte integrierte Raumabbildung speichert, und führt die erzeugte integrierte Raumabbildung der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 zu.
Ferner detektiert die Abbildungserzeugungseinheit 104 Positionen des Lautsprechers 12 vom Antriebstyp, des Mikrofons 73 und dergleichen in dem Anzeigeraum beispielsweise auf der Basis der ersten Raumabbildung. Die Abbildungserzeugungseinheit 104 führt ein Detektionsergebnis der Bildsteuereinheit 107 und der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 zu.
Es wird darauf hingewiesen, dass beispielsweise Positionen des Lautsprechers 12 vom Antriebstyp, des Mikrofons 73 und dergleichen auf der Basis des durch die Kamera 71 aufgenommenen Anzeigeraumbilds detektiert werden können.
Die Eingabeeinheit 106 ist beispielsweise durch eine Bedienvorrichtung und dergleichen konfiguriert und wird zur Eingabe von Befehlen, Daten (beispielsweise Bilddaten) und dergleichen in die Bildsteuereinheit 107 verwendet.
Die Bildsteuereinheit 107 steuert die Anzeige eines Bilds durch den Projektor 11 vom Antriebstyp. Beispielsweise steuert die Bildsteuereinheit 107 den Projektor 31 über die I/F-Einheit 101, um Inhalt und Anzeigezeit des Bilds, das angezeigt werden soll, und dergleichen zu steuern. Ferner steuert die Bildsteuereinheit 107 beispielsweise die Anzeigeposition des Bilds durch Steuern der Motorsteuereinheit 43 über die I/F-Einheit 101 und Steuern der Projektionsrichtung des Bilds des Projektors 31. Ferner führt die Bildsteuereinheit 107 Informationen, die die Anzeigeposition des Bilds angeben, der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 zu.
Die Datenverarbeitungseinrichtung 16 ist beispielsweise durch einen Computer oder einen Prozessor wie z. B. eine CPU, einen Speicher und dergleichen konfiguriert. Die Datenverarbeitungseinrichtung 16 wird hauptsächlich zur Steuerung des Lautsprechers 12 vom Antriebstyp verwendet.
Die Datenverarbeitungseinrichtung 16 enthält eine Schnittstellen-Einheit (I/F-Einheit 121), eine Abbildungserzeugungseinheit 122, eine Speichereinheit 123, eine Eingabeeinheit 124 und eine Akustiksteuereinheit 125.
Die I/F-Einheit 121 ist beispielsweise durch eine Kommunikationsvorrichtung, ein Verbindungselement und dergleichen konfiguriert. Die I/F-Einheit 121 sendet und empfängt Daten und dergleichen zu und von der Datenverarbeitungseinrichtung 15, dem Reflexionslautsprecher 51, der Motorsteuereinheit 63 und dem Mikrofon 73. Ferner führt die I/F-Einheit 121 die empfangenen Daten und dergleichen jeder Einheit der Datenverarbeitungseinrichtung 16 zu und erfasst Daten oder gleichen, die gesendet werden sollen, aus jeder Einheit der Datenverarbeitungseinrichtung 16.
Es wird darauf hingewiesen, dass irgendein geeignetes drahtgebundenes oder drahtloses Verfahren als ein Kommunikationsverfahren der I/F-Einheit 121 eingesetzt werden kann. Ferner kann das Kommunikationsverfahren der I/F-Einheit 121 für jedes Ziel, mit dem Kommunikation ausgeführt wird, geändert werden. Ferner kann beispielsweise die I/F-Einheit 121 Kommunikation direkt mit jedem Kommunikationsziel ausführen oder kann Kommunikation über ein Netz oder dergleichen ausführen.
Ferner steuert die Abbildungserzeugungseinheit 122 den Reflexionslautsprecher 51 und die Motorsteuereinheit 63 über die I/F-Einheit 121, um das Abtasten des Ausgabeschalls aus dem Reflexionslautsprecher 51 in dem Anzeigeraum zu steuern. Dann führt die Abbildungserzeugungseinheit 122 Raumerkennung des Inneren des Anzeigeraums auf der Basis eines Detektionsergebnisses des durch das Mikrofon 73 detektierten reflektierten Schalls aus, wenn sie den Ausgabeschall in dem Anzeigeraum abtastet, und erzeugt eine zweite Raumabbildung, die eine dreidimensionale Form eines Objekts, einer Wand und dergleichen in dem Anzeigeraum angibt. Die zweite Raumabbildung enthält beispielsweise eine dreidimensionale Punktgruppenabbildung und enthält Tiefeninformationen, die den Abstand jeder Position in dem Anzeigeraum von dem Lautsprecher 12 vom Antriebstyp (Reflexionslautsprecher 51) angibt, und Reflexionseigenschaftsinformationen, die Reflexionseigenschaften jeder Position angeben. Die Abbildungserzeugungseinheit 104 führt die erzeugte zweite Raumabbildung der Datenverarbeitungseinrichtung 15 über die I/F-Einheit 121 zu.
Ferner erfasst die Abbildungserzeugungseinheit 122 die integrierte Raumabbildung aus der Datenverarbeitungseinrichtung 15 über die I/F-Einheit 121 und bewirkt, dass die Speichereinheit 123 die integrierte Raumabbildung speichert.
Die Eingabeeinheit 124 ist beispielsweise durch eine Bedienvorrichtung und dergleichen konfiguriert und wird zur Eingabe von Befehlen, Daten (beispielsweise Audiodaten) und dergleichen in die Akustiksteuereinheit 125 verwendet.
Die Akustiksteuereinheit 125 steuert eine Ausgabe eines Ausgabeschalls des Lautsprechers 12 vom Antriebstyp. Beispielsweise steuert die Akustiksteuereinheit 125 den Reflexionslautsprecher 51 über die I/F-Einheit 121, um den Inhalt, eine Lautstärke, die Ausgabezeit und dergleichen des Ausgabeschalls zu steuern. Ferner steuert die Akustiksteuereinheit 125 beispielsweise die Reflexionsposition (das heißt die Position der virtuellen Schallquelle) des Ausgabeschalls durch Steuern der Motorsteuereinheit 63 über die I/F-Einheit 121, um die Ausgaberichtung des Reflexionslautsprechers 51 zu steuern.
Es wird darauf hingewiesen, dass nachstehend die Beschreibung der I/F-Einheit 101 der Datenverarbeitungseinrichtung 15 und der I/F-Einheit 121 der Datenverarbeitungseinrichtung 16 zum einfachen Verständnis der Beschreibung entsprechend weggelassen sind. Beispielsweise wenn die Abbildungserzeugungseinheit 104 die integrierte Raumabbildung der Datenverarbeitungseinrichtung 16 über die I/F-Einheit 101 zuführt, ist einfach beschrieben, dass die Abbildungserzeugungseinheit 104 die integrierte Raumabbildung der Datenverarbeitungseinrichtung 16 zuführt.
{Verarbeitung des AV-Systems 10}
Als Nächstes wird die Verarbeitung des AV-Systems 10 mit Bezug auf die 3 bis 9 beschrieben.
(Raumabbildungserzeugungsverarbeitung)
Zuerst wird die Raumabbildungserzeugungsverarbeitung, die durch das AV-System 10 ausgeführt wird, mit Bezug auf den Ablaufplan in 3 beschrieben. Es wird darauf hingewiesen, dass diese Verarbeitung beispielsweise gestartet wird, wenn der Projektor 11 vom Antriebstyp und der Lautsprecher 12 vom Antriebstyp installiert werden oder wenn die Installationsposition des Projektors 11 vom Antriebstyp und/oder des Lautsprechers 12 vom Antriebstyp verlagert wird.
In Schritt S1 misst das AV-System 10 das Innere des Anzeigeraums. Um spezifisch zu sein steuert, wie in 4 dargestellt ist, die Abbildungserzeugungseinheit 104 die Motorsteuereinheit 43, die Antriebseinheit 33 in der Schwenkrichtung und in der Neigungsrichtung zu drehen, und bewirkt, dass der Tiefensensor 32 alle Gebiete in dem Anzeigeraum abtastet. Mit dem Abtasten werden alle Gebiete des Anzeigeraums durch den Tiefensensor 32 aufgenommen, und das Abstandsbild, das den Abstand jedes Gebiets von dem Tiefensensor 32 angibt, wird erhalten. Der Tiefensensor 32 führt das aufgenommene Abstandsbild der Abbildungserzeugungseinheit 104 zu.
Ferner steuert, wie in 4 dargestellt ist, die Abbildungserzeugungseinheit 122 die Motorsteuereinheit 63, die Antriebseinheit 52 in der Schwenkrichtung und der Neigungsrichtung zu drehen, und tastet den Ausgabeschall (das Ultraschallsignal), der aus dem Reflexionslautsprecher 51 ausgegeben wird, in allen Gebieten des Anzeigeraums ab. Mit dem Abtasten wird der reflektierte Schall in Bezug auf den Ausgabeschall aus allen Gebieten in dem Anzeigeraum durch das Mikrofon 73 detektiert. Das Mikrofon 73 führt die Audiosignale, die Detektionsergebnisse angeben, der Abbildungserzeugungseinheit 122 zu.
Es wird darauf hingewiesen, dass in 4 die Darstellung des Projektors 31 zum einfachen Verständnis der Zeichnung weggelassen ist.
In Schritt S2 erzeugen die Abbildungserzeugungseinheit 104 und die Abbildungserzeugungseinheit 122 die Raumabbildung. Um spezifisch zu sein erzeugt die Abbildungserzeugungseinheit 104 die erste Raumabbildung auf der Basis des Abstandsbilds das durch den Tiefensensor 32 aufgenommen wird. Die erste Raumabbildung enthält die Tiefeninformationen, die den Abstand jeder Position in dem Anzeigeraum von dem Tiefensensor 32 angibt.
Es wird darauf hingewiesen, dass, da der Tiefensensor 32 die Reflexion von Infrarotlicht verwendet, die Tiefeninformationen eines Gebiets, in dem die Reflexion des Infrarotlichts nicht verwendet werden kann, wie z. B. einer schwarzen Wand, Beton, Glas oder dergleichen, in der ersten Raumabbildung fehlen.
Ferner detektiert die Abbildungserzeugungseinheit 104 die Positionen des Lautsprechers 12 vom Antriebstyp, des Mikrofons 73 und dergleichen in dem Anzeigeraum auf der Basis der ersten Raumabbildung. Die Abbildungserzeugungseinheit 104 führt das Detektionsergebnis der Abbildungserzeugungseinheit 122 der Datenverarbeitungseinrichtung 16 zu.
Die Abbildungserzeugungseinheit 122 erzeugt eine zweite Raumabbildung auf der Basis des Audiosignals aus dem Mikrofon 73. Um spezifisch zu sein berechnet die Abbildungserzeugungseinheit 122 die Abstände von dem Reflexionslautsprecher 51 und dem Mikrofon 73 zu jeder Position in dem Anzeigeraum auf der Basis der Ausgaberichtung des Ausgabeschalls, der Positionen des Reflexionslautsprechers 51 und des Mikrofons 73 und einer Zeit ab dann, wenn der Ausgabeschall ausgeben wird, bis dann, wenn der reflektierte Schall empfangen wird.
Ferner berechnet die Abbildungserzeugungseinheit 122 das Reflexionsvermögen jeder Position in dem Anzeigeraum auf der Basis der Lautstärke des reflektierten Schalls. Beispielsweise wird ein Fall beschrieben, in dem der Ausgabeschall, der aus dem Reflexionslautsprecher 51 ausgegeben wird, an einer Reflexionsposition P1 reflektiert wird und der reflektierte Schall des Ausgabeschalls durch das Mikrofon 73 detektiert wird, wie in 5 dargestellt ist. Es wird darauf hingewiesen, dass nachstehend L1 der Abstand zwischen dem Reflexionslautsprecher 51 und der Reflexionsposition P1 ist und L2 der Abstand zwischen der Reflexionsposition P1 und dem Mikrofon 73 ist.
Hier kann in dem Fall, wenn angenommen ist, dass der gesamte Ausgabeschall in der Richtung des Mikrofons 73 reflektiert wird, ohne an der Reflexionsposition P1 gedämpft zu werden, (in dem Fall, in dem angenommen ist, dass das Reflexionsvermögen 100 % ist) ein Dämpfungsbetrag des reflektierten Schalls, der durch das Mikrofon 73 detektiert wird, in Bezug auf den Ausgabeschall durch den Abstand L1 + den Abstand L2 geschätzt werden. Nachstehend wird der Dämpfungsbetrag dieses Falls als Referenzdämpfungsbetrag bezeichnet.
Indessen wird in der Realität der Ausgabeschall an der Reflexionsposition P1 gestreut oder absorbiert, und somit ist die Lautstärke des reflektierten Schalls, der in der Richtung des Mikrofons 73 reflektiert wird, klein. Deshalb schätzt die Abbildungserzeugungseinheit 122 das Reflexionsvermögen der Reflexionsposition P1 gemäß einem Verhältnis des Dämpfungsbetrags des reflektierten Schalls, der tatsächlich durch das Mikrofon 73 detektiert wird, in Bezug auf den Ausgabeschall und dem Referenzdämpfungsbetrag.
Dann erzeugt die Abbildungserzeugungseinheit 122 die zweite Raumabbildung, die die Tiefeninformationen, die den Abstand jeder Position in dem Anzeigeraum von dem Reflexionslautsprecher 51 angibt, und die Reflexionseigenschaftsinformationen, die das Reflexionsvermögen jeder Position in dem Anzeigeraum angeben, enthält.
Es wird darauf hingewiesen, dass, selbst wenn für ein Gebiet die Tiefeninformationen in der ersten Raumabbildung fehlen, weil die Reflexion des Infrarotlichts nicht verwendet werden kann, die Tiefeninformationen des Gebiets erhalten werden können, sofern eine Reflexion des Ausgabeschalls (Ultraschallsignals) in dem Gebiet verwendet werden kann.
Die Abbildungserzeugungseinheit 122 führt die erzeugte zweite Raumabbildung der Abbildungserzeugungseinheit 104 der Datenverarbeitungseinrichtung 15 zu.
In Schritt S3 integriert die Abbildungserzeugungseinheit 104 die Raumabbildungen. Um spezifisch zu sein ergänzt die Abbildungserzeugungseinheit 104 die Tiefeninformationen des Gebiets, für das die Tiefeninformationen in der ersten Raumabbildung fehlen, mit den Tiefeninformationen der zweiten Raumabbildung. Es wird darauf hingewiesen, dass, da die Tiefeninformationen der zweiten Raumabbildung auf der Position des Reflexionslautsprechers 51 basieren, die Abbildungserzeugungseinheit 104 die Tiefeninformationen in Tiefeninformationen basierend auf der Position des Tiefensensors 32 umsetzt.
Ferner erzeugt die Abbildungserzeugungseinheit 104 Anzeigeeigenschaftsinformationen, die angeben, ob ein Bild an jeder Position in dem Anzeigeraum angezeigt werden kann. Beispielsweise bestimmt die Abbildungserzeugungseinheit 104, dass eine Position, an der die Tiefeninformationen in der ersten Raumabbildung erhalten werden, eine Position ist, an der ein Bild angezeigt werden kann. Indessen schätzt die Abbildungserzeugungseinheit 104 die Härte und das Oberflächenmaterial der Position, an der die Tiefeninformationen in der ersten Raumabbildung fehlen, auf der Basis der Reflexionseigenschaftsinformationen der zweiten Raumabbildung. Dann bestimmt die Abbildungserzeugungseinheit 104, ob ein Bild an der Position angezeigt werden kann, an der die Tiefeninformationen in der ersten Raumabbildung fehlen, auf der Basis der geschätzten Härte und des Oberflächenmaterials.
Es wird darauf hingewiesen, dass die Abbildungserzeugungseinheit 104 alle Positionen, an denen die Tiefeninformationen in der ersten Raumabbildung fehlen, als Positionen bestimmen kann, an denen die Anzeige eines Bilds schwierig ist. Ferner kann beispielsweise die Abbildungserzeugungseinheit 122 der Datenverarbeitungseinrichtung 16 die Anzeigeeigenschaftsinformationen erzeugen.
Ferner verwendet die Abbildungserzeugungseinheit 104 die Reflexionseigenschaftsinformationen jeder Position in dem Anzeigeraum der zweiten Raumabbildung unverändert als Reflexionseigenschaftsinformationen der integrierten Raumabbildung.
Auf diese Weise erzeugt die Abbildungserzeugungseinheit 104 die integrierte Raumabbildung, die die Tiefeninformationen, die Anzeigeeigenschaftsinformationen und die Reflexionseigenschaftsinformationen jeder Position in dem Anzeigeraum enthält.
Die Abbildungserzeugungseinheit 104 bewirkt, dass die Speichereinheit 105 die erzeugte integrierte Raumabbildung speichert. Ferner führt die Abbildungserzeugungseinheit 104 die integrierte Raumabbildung der Abbildungserzeugungseinheit 122 der Datenverarbeitungseinrichtung 16 zu.
Die Abbildungserzeugungseinheit 122 setzt die Tiefeninformationen der integrierten Raumabbildung in Informationen basierend auf der Position des Reflexionslautsprechers 51 gemäß den Informationen basierend auf der Position des Tiefensensors 32 um. Die Abbildungserzeugungseinheit 122 bewirkt, dass die Speichereinheit 123 die integrierte Raumabbildung nach der Umsetzung speichert.
Danach wird die Raumabbildungserzeugungsverarbeitung beendet.
(Anzeigeakustiksteuerverarbeitung)
Als Nächstes wird die Bildakustiksteuerungsverarbeitung, die durch das AV-System 10 ausgeführt wird, mit Bezug auf den Ablaufplan in 6 beschrieben.
In Schritt S51 stellt die Datenverarbeitungseinrichtung 15 die Anzeigeposition ein. Hier wird ein Beispiel eines Verfahrens zum Einstellen der Anzeigeposition beschrieben.
Zuerst wird ein Beispiel des Falls zum Einstellen der Anzeigeposition unter Verwendung der Zeigevorrichtung 81 vom Brillentyp mit Bezug auf 7 beschrieben. Es wird darauf hingewiesen, dass in 7 die Darstellung des Tiefensensors 32 zum einfachen Verständnis der Zeichnung weggelassen ist.
Beispielsweise falls ein Anwender U1, der die Zeigevorrichtung 81 trägt, sein Gesicht in eine Richtung wendet, in der der Anwender U1 ein Bild anzeigen möchte, wird Infrarotlicht aus der Zeigevorrichtung 81 in der Richtung emittiert, in die der Anwender U1 sein Gesicht wendet. Dann detektiert die Zeigepositionsdetektionseinheit 102 eine Zeigeposition P2, die mit der Zeigevorrichtung 81 spezifiziert ist, auf der Basis des Fischaugenbilds, das durch die Fischaugenkamera 72 aufgenommen wird. Die Zeigepositionsdetektionseinheit 102 führt ein Detektionsergebnis der Zeigeposition P2 der Bildsteuereinheit 107 zu.
Die Bildsteuereinheit 107 stellt die Anzeigeposition mit Bezug auf die Zeigeposition P2 ein. Beispielsweise berechnet die Bildsteuereinheit 107 die Größe eines Projektionsgebiets, auf das das Bild projiziert werden soll, auf der Basis des Abstands von dem Projektor 31 zu der Zeigeposition P2. Dann stellt die Bildsteuereinheit 107 die Position des Projektionsgebiets ein, so dass die Mitte des Projektionsgebiets mit der Zeigeposition P2 zusammenfällt.
Als Nächstes bestätigt die Bildsteuereinheit 107, ob ein Gebiet, in dem die Anzeige des Bild schwierig ist, in dem eingestellten Projektionsgebiet enthalten ist, auf der Basis der Anzeigeeigenschaftsinformationen der integrierten Raumabbildung. Dann, wenn das Gebiet, in dem die Anzeige des Bilds schwierig ist, in dem Projektionsgebiet enthalten ist, korrigiert die Bildsteuereinheit 107 die Position des Projektionsgebiets, so dass es das Gebiet nicht enthält. Zu dieser Zeit wird beispielsweise die Position des Projektionsgebiets so korrigiert, dass eine Größe der Verschiebung des Projektionsgebiets minimiert ist.
Als Nächstes wird ein Beispiel des Falls zum Einstellen der Anzeigeposition auf der Basis einer Blickrichtung eines Anwenders mit Bezug auf 8 beschrieben. Es wird darauf hingewiesen, dass in 8 die Darstellung des Tiefensensors 32 zum einfachen Verständnis der Zeichnung weggelassen ist.
Beispielsweise detektiert die Anwenderdetektionseinheit 103 eine Blickrichtung S1 eines Anwenders U2 auf der Basis des Anzeigeraumbilds, das durch die Kamera 71 aufgenommen wird. Die Anwenderdetektionseinheit 103 führt ein Detektionsergebnis der Blickrichtung S1 der Bildsteuereinheit 107 zu. Die Bildsteuereinheit 107 detektiert einen Schnittpunkt P3 der Blickrichtung S1 und einer Ebene in dem Anzeigeraum auf der Basis der Tiefeninformationen der integrierten Raumabbildung. Dann stellt die Bildsteuereinheit 107 die Position des Projektionsgebiets mit Bezug auf den Schnittpunkt P3 durch ein ähnliches Verfahren wie in dem Fall der Verwendung der Zeigeposition P2 als eine Referenz ein.
Es wird darauf hingewiesen, dass das Verfahren zum Einstellen der Anzeigeposition nicht auf das Beispiel beschränkt ist. Beispielsweise kann die Bildsteuereinheit 107 eine Position (beispielsweise eine Zeigeposition), die durch den Anwender mit einer Geste spezifiziert ist, als die Zeigeposition detektieren und die Anzeigeposition mit Bezug auf die detektierte Zeigeposition einstellen.
Die Bildsteuereinheit 107 führt Informationen, die die eingestellte Anzeigeposition (die Position des Projektionsgebiets) angeben, der Akustiksteuereinheit 125 der Datenverarbeitungseinrichtung 16 zu.
In Schritt S52 stellt die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle auf der Basis der Anzeigeposition ein. Beispielsweise stellt die Akustiksteuereinheit 125 eine Mitte des Projektionsgebiets, das durch die Bildsteuereinheit 107 eingestellt ist, auf die Position der virtuellen Schallquelle ein.
Als Nächstes bestimmt die Akustiksteuereinheit 125 auf der Basis der Reflexionseigenschaftsinformationen der integrierten Raumabbildung, ob die eingestellte Position der virtuellen Schallquelle geeignet ist. Beispielsweise wenn das Reflexionsvermögen der Position der virtuellen Schallquelle ein vorbestimmter Schwellenwert oder größer ist, bestimmt die Akustiksteuereinheit 125, dass die Position der virtuellen Schallquelle geeignet ist. Wenn andererseits das Reflexionsvermögen der Position der virtuellen Schallquelle kleiner ist als der vorbestimmte Schwellenwert, bestimmt die Akustiksteuereinheit 125, dass die Position der virtuellen Schallquelle nicht geeignet ist.
Dann, wenn die Akustiksteuereinheit 125 bestimmt, dass die Position der virtuellen Schallquelle nicht geeignet ist, korrigiert die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle. Beispielsweise korrigiert die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle auf eine Position, die der aktuellen Position der virtuellen Schallquelle am nächsten ist, aus Positionen in dem Projektionsgebiet, wo das Reflexionsvermögen der vorbestimmte Schwellenwert oder höher ist. Es wird darauf hingewiesen, dass die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle auf die Position korrigiert, die der Position am nächsten ist, von der aktuellen Position der virtuellen Schallquelle, aus Positionen außerhalb des Projektionsgebiets, an denen das Reflexionsvermögen der vorbestimmte Schwellenwert oder höher ist, beispielsweise wenn in dem Projektionsgebiet keine Position existiert, an der das Reflexionsvermögen der vorbestimmte Schwellenwert oder höher ist.
In Schritt S53 stellt die Akustiksteuereinheit 125 die Lautstärke auf der Basis der Position der virtuellen Schallquelle ein. Beispielsweise, wie in 9 dargestellt ist, wird ein Fall beschrieben, in dem die virtuelle Schallquelle auf eine Position P4 eingestellt wird.
Die Akustiksteuereinheit 125 erfasst ein Detektionsergebnis der Position eines Anwenders U3 aus der Anwenderdetektionseinheit 103 der Datenverarbeitungseinrichtung 15. Ferner erhält die Akustiksteuereinheit 125 einen Abstand L3 zwischen dem Reflexionslautsprecher 51 und der virtuellen Schallquelle P4, einen Abstand L4 zwischen der virtuellen Schallquelle P4 und dem Anwender U3 und das Reflexionsvermögen der virtuellen Schallquelle P4 auf der Basis der integrierten Raumabbildung. Die Akustiksteuereinheit 125 berechnet die Lautstärke des Ausgabeschalls, bei der die Lautstärke des reflektierten Schalls von der virtuellen Schallquelle P4 zu einem vorbestimmten Pegel an der Position des Anwenders U3 wird, auf der Basis der Abstände L3 und L4 und des Reflexionsvermögens der virtuellen Schallquelle P4. Die Akustiksteuereinheit 125 stellt die berechnete Lautstärke auf die Lautstärke des Ausgabeschalls ein.
Es wird darauf hingewiesen, dass die Lautstärke beispielsweise unter Verwendung von nur einem aus dem Abstand L3 und dem Abstand L4 berechnet werden kann.
Ferner kann der Lautstärkepegel an der Position des Anwenders U3 so eingestellt werden, dass er unabhängig von dem Abstand zu der virtuellen Schallquelle P4 konstant wird, oder er kann beispielsweise gemäß dem Abstand zu der virtuellen Schallquelle P4 verändert werden.
Im dem letzteren Fall kann beispielsweise der Lautstärkepegel an der Position des Anwenders U3 so eingestellt sein, dass er kleiner ist, wenn die die Summe der Abstände L3 und L4 größer wird, und die Lautstärke an der Position des Anwenders U3 kann so eingestellt werden, dass sie größer ist, wenn die Summe der Abstände L3 und L4 kleiner wird. Alternativ kann beispielsweise der Lautstärkepegel an der Position des Anwenders U3 so eingestellt sein, dass er kleiner ist, wenn der Abstand L3 größer wird, und die Lautstärke an der Position des Anwenders U3 kann eingestellt sein, dass sie größer ist, wenn der Abstand L3 kleiner wird. Alternativ kann beispielsweise der Lautstärkepegel an der Position des Anwenders U3 so eingestellt sein, dass er kleiner ist, wenn der Abstand L4 größer wird, und die Lautstärke an der Position des Anwenders U3 kann eingestellt sein, dass sie größer ist, wenn der Abstand L4 kleiner wird.
In Schritt S54 startet das AV-System 10 die Ausgabe eines Bilds und eines Schalls gemäß der Einstellung. Um spezifisch zu sein steuert die Bildsteuereinheit 107 die Motorsteuereinheit 43, um die Richtung des Projektors 31 anzupassen, so dass das Bild aus dem Projektor 31 in dem eingestellten Projektionsgebiet projiziert wird. Die Akustiksteuereinheit 125 steuert die Motorsteuereinheit 63, um die Richtung des Reflexionslautsprechers 51 anzupassen, so dass der Ausgabeschall aus dem Reflexionslautsprecher 51 auf die eingestellte Position der virtuellen Schallquelle trifft.
Dann starten die Bildsteuereinheit 107 und die Akustiksteuereinheit 125 die Projektion des Bilds aus dem Projektor 31 und die Ausgabe des Ausgabeschalls aus dem Reflexionslautsprecher 51 synchron miteinander. Zu dieser Zeit führt die Bildsteuereinheit 107 geometrische Korrektur und dergleichen aus, so dass das projizierte Bild beispielsweise nicht verzerrt wird. Ferner stellt die Akustiksteuereinheit 125 die Lautstärke des Ausgabeschalls auf die Lautstärke ein, die in der Verarbeitung von Schritt S53 eingestellt wird.
In Schritt S55 bestimmt die Bildsteuereinheit 107, ob die Anzeigeposition geändert werden soll. Wenn bestimmt wird, dass die Anzeigeposition nicht geändert werden soll, fährt die Verarbeitung zu Schritt S56 fort.
In Schritt S56 bestimmt die Akustiksteuereinheit 125, ob die Lautstärke geändert werden soll. Wenn bestimmt wird, dass die Lautstärke nicht geändert werden soll, fährt die Verarbeitung zu Schritt S57 fort.
In Schritt S57 bestimmt die Bildsteuereinheit 107, ob das Bild und der Schall angehalten werden sollen. Wenn bestimmt wird, dass das Bild und der Schall nicht angehalten werden sollen, kehrt die Verarbeitung zu Schritt S55 zurück.
Danach wird die Verarbeitung der Schritte S55 bis S57 wiederholt ausgeführt, bis in Schritt S55 eine Änderung der Anzeigeposition bestimmt wird, in Schritt S56 eine Änderung der Lautstärke bestimmt wird oder in Schritt S57 das Anhalten des Bilds und des Schalls bestimmt wird.
Andererseits bestimmt beispielsweise in Schritt S55, wenn die Bildsteuereinheit 107 einen Trigger detektiert, die Anzeigeposition zu ändern, die Bildsteuereinheit 107 eine Änderung der Anzeigeposition, und die Verarbeitung kehrt zu Schritt S51 zurück. Hier ist der Trigger, die Anzeigeposition zu ändern, beispielsweise die Bewegung des Projektors 11 vom Antriebstyp, die Bewegung der Zeigeposition, die mit der Zeigevorrichtung 81 oder einer Geste spezifiziert ist, die Bewegung des Blicks des Anwenders oder dergleichen. Danach wird die Verarbeitung von Schritt S51 und der nachfolgenden Schritte ausgeführt. Die Anzeigeposition wird geändert, und die Position und die Lautstärke der virtuellen Schallquelle werden mit der Änderung der Anzeigeposition geändert.
Ferner bestimmt in Schritt S56, wenn beispielsweise die Akustiksteuereinheit 125 einen Trigger detektiert, die Lautstärke zu ändern, die Akustiksteuereinheit die Änderung der Lautstärke, und die Verarbeitung kehrt zu Schritt S53 zurück. Hier ist beispielsweise der Trigger zum Ändern der Lautstärke die Bewegung des Lautsprechers 12 vom Antriebstyp, die Bewegung des Anwenders oder dergleichen. Danach wird die Verarbeitung von Schritt S53 und der nachfolgenden Schritte ausgeführt, und die Lautstärke wird geändert, während die Anzeigeposition unverändert ist.
Ferner bestimmt in Schritt S57 die Bildsteuereinheit 107 das Anhalten des Bilds und des Schalls, wenn beispielsweise ein Befehl, das Bild und den Schall anzuhalten, über die Eingabeeinheit 106 eingegeben wird, und die Verarbeitung fährt zu Schritt S58 fort.
In Schritt S58 hält das AV-System 10 das Bild und den Schall an. Um spezifisch zu sein weist die Bildsteuereinheit 107 die Akustiksteuereinheit 125 an, den Ausgabeschall anzuhalten. Dann hält die Bildsteuereinheit 107 die Projektion des Bilds aus dem Projektor 31 an. Ferner hält die Akustiksteuereinheit 125 die Ausgabe des Ausgabeschalls aus dem Reflexionslautsprecher 51 an.
Danach wird die Bildschallsteuerverarbeitung beendet.
Wie vorstehend beschrieben können das Bild und die virtuelle Schallquelle automatisch zu der Position, die durch den Anwender gewünscht ist, in Übereinstimmung mit der Bewegung der Zeigeposition oder des Blicks bewegt werden. Ferner wird das Bild projiziert, um die Position zu vermeiden, an der die Anzeige schwierig ist, und deshalb wird die Bildqualität vorteilhaft gebehalten.
Darüber hinaus erscheint es, da die Position der virtuellen Schallquelle in Übereinstimmung mit der Anzeigeposition des Bilds eingestellt ist, dem Anwender, als ob der Schall von dem Bild ausgegeben wird, und somit ist das Realitätsgefühl gesteigert und die Zufriedenheit mit dem Schall ist verbessert.
Darüber hinaus kann, da die Lautstärke des Ausgabeschalls auf geeignete Weise auf der Basis der Position und dem Reflexionsvermögen der virtuellen Schallquelle angepasst ist und die Position der virtuellen Schallquelle auf der Basis des Reflexionsvermögens korrigiert wird, das Auftreten eines unangenehmen Gefühls für den Ton verhindert werden.
<Modifikation>
Nachstehend werden Modifikationen der vorstehend beschriebenen Ausführungsform der vorliegenden Technologie beschrieben.
{Modifikation, die Steuerung des Bilds und der virtuellen Schallquelle betreffen}
In der vorstehenden Beschreibung ist ein Fall der Verschiebung der Anzeigeposition des Bilds und der Position der virtuellen Schallquelle in Übereinstimmung mit der Verschiebung der Zeigeposition oder des Blicks des Anwenders beschrieben worden. Es kann jedoch ein Bild angezeigt oder ein Schall kann ausgegeben werden, wenn eine Zeigeposition oder ein Blick eines Anwenders eine vorbestimmte Bedingung erfüllt.
Beispielsweise sind eine Anzeigeposition und ein Anzeigeinhalt eines Bilds in einem Anzeigeraum im Voraus bestimmt, und Informationen darüber sind im Voraus in einer integrierten Raumabbildung eingetragen. Dann, wenn beispielsweise die Zeigeposition nicht mit der Anzeigeposition, die in der integrierten Raumabbildung eingestellt ist, zusammenfällt, das heißt wenn kein Bild vorhanden ist, das an der Zeigeposition angezeigt werden soll, führen die Bildsteuereinheit 107 und die Akustiksteuereinheit 125 Steuerung aus, kein Bild anzuzeigen oder keinen Ausgabeschall auszugeben. Andererseits wenn beispielsweise die Zeigeposition mit der Anzeigeposition, die in der integrierten Raumabbildung eingestellt ist, zusammenfällt, das heißt wenn ein Bild vorhanden ist, das an der Zeigeposition angezeigt werden soll, zeigt die Bildsteuereinheit 107 das Bild des Anzeigeinhalts an, das für die Anzeigeposition eingestellt ist. Ferner stellt die Akustiksteuereinheit 125 die Position einer virtuellen Schallquelle auf der Basis der Anzeigeposition ein und gibt einen Ausgabeschall aus, der dem Bild entspricht, das angezeigt werden soll.
Alternativ führen, wenn beispielsweise eine Blickposition des Anwenders nicht mit der Anzeigeposition, die in der integrierten Raumabbildung eingestellt ist, zusammenfällt, das heißt wenn kein Bild vorhanden ist, das in einer Blickrichtung des Anwenders angezeigt werden soll, die Bildsteuereinheit 107 und die Akustiksteuereinheit 125 Steuerung aus, kein Bild anzuzeigen oder keinen Ausgabeschall auszugeben. Andererseits, wenn beispielsweise die Blickposition des Anwenders mit der Anzeigeposition, die in der integrierten Raumabbildung eingestellt ist, zusammenfällt, das heißt wenn ein Bild vorhanden ist, das in der Blickrichtung des Anwenders angezeigt werden soll, zeigt die Bildsteuereinheit 107 das Bild des Anzeigeinhalts an, das für die Anzeigeposition eingestellt ist. Ferner stellt die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle auf der Basis der Anzeigeposition ein und gibt den Ausgabeschall aus, der dem Bild entspricht, das angezeigt werden soll.
Diese Technologie kann beispielsweise auf ein Spiel angewandt werden. Beispielsweise ist die Position eines Feindes in dem Anzeigeraum voreingestellt. Der Anwender bewegt die Zeigeposition oder den Blick, um nach Feinden in dem Anzeigeraum zu suchen. Dann, wenn die Zeigeposition oder der Blick mit der Position, an der der Feind existiert, zusammenfällt, projiziert die Bildsteuereinheit 107 ein Bild des Feindes an der Position, und die Akustiksteuereinheit 125 stellt die Position der virtuellen Schallquelle auf der Basis der Position des Feindes, der angezeigt werden soll, ein und startet eine Ausgabe eines Schalls des Feindes. Das verbessert den Realismus des Spiels.
Es wird darauf hingewiesen, dass die Anzeigeposition des Bilds nicht nur auf einen Ort, sondern auch auf mehrere Orte eingestellt sein kann. Ferner ist die Anzeigeposition des Bilds nicht notwendigerweise fest und kann mit der Zeit verlagert werden. Mit der Konfiguration in dem Beispiel des vorstehend beschriebenen Spiels kann beispielsweise der Feind bewegt werden, und die Ausgabe des Bilds und des Schalls des Feindes können durch Bewirken, dass die Zeigeposition oder der Blick mit der Position des sich bewegenden Feindes zusammenfallen, gestartet werden.
Ferner ist in dem Beispiel des vorstehend beschriebenen Spiels beispielsweise die Zeigevorrichtung 81 auf eine Vorrichtung vom Schusswaffentyp eingestellt. Wenn eine Bewegung, die Schusswaffe abzufeuern, durch Zeigen mit der Zeigevorrichtung 81 ausgeführt wird und wenn der Feind an der gezeigten Position existiert, kann ein Bild, dass der Feind fällt, angezeigt werden und ein Schall, dass der Feind fällt, kann ausgegeben werden.
Ferner kann die Akustiksteuereinheit 125 die virtuelle Schallquelle an der Anzeigeposition, die in dem Anzeigeraum eingestellt ist, einstellen und den Anwender über die Anzeigeposition durch Ausgabe eines Schalls aus der virtuellen Schallquelle benachrichtigen. Dann, wenn der Anwender die Zeigeposition oder den Blick in die Richtung bewegt, in der der Schall ausgegeben wird, das heißt in die Richtung der virtuellen Schallquelle, kann ein Bild an dieser Position angezeigt werden. Mit beispielsweise der Konfiguration in dem vorstehend beschriebenen Beispiel des Spiels kann eine Benachrichtigung über die Position des Feindes durch Schall bereitgestellt werden, ohne ein Bild anzuzeigen. Ferner kann der Anwender einen Zustand erkennen, in dem sich der Feind nähert oder entfernt, durch Bewegen der Position der virtuellen Schallquelle in Übereinstimmung mit der Bewegung des Feindes.
Ferner kann das AV-System 10 den Anwender durch Bewegen der Position der virtuellen Schallquelle über die Anzeigeposition des Bilds benachrichtigen. Beispielsweise wenn der Anwender seinen Blick in eine andere Richtung von dem Bild wendet, stellt die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle auf die Richtung des Blicks des Anwenders ein und gibt einen Schall aus der virtuellen Schallquelle aus. Dann kann die Akustiksteuereinheit 125 die Aufmerksamkeit des Anwenders auf sich ziehen und den Anwender durch allmähliches Bewegen der Position der virtuellen Schallquelle zu der Anzeigeposition des Bilds über die Existenz des Bilds benachrichtigen.
Ferner kann die Position der virtuellen Schallquelle gemäß dem Inhalt des Bilds bewegt werden. Beispielsweise wenn ein sich bewegender Körper in dem Bild existiert, kann die Akustiksteuereinheit 125 durch Bewegen der Position der virtuellen Schallquelle in Übereinstimmung mit der Bewegung des sich bewegenden Körpers bewirken, dass der Anwender so empfindet, als ob der Schall aus dem sich bewegenden Körper ausgegeben wird. Beispielsweise kann der Anwender durch Bewegen der virtuellen Schallquelle in Übereinstimmung mit der Figur in dem Bild wahrnehmen, dass eine Figur zu dem Anwender spricht.
Es wird darauf hingewiesen, dass, wenn der sich bewegende Körper vom Inneren zum Äußeren eines Blickwinkels bewegt wird, die Position der virtuellen Schallquelle vom Inneren zum Äußeren der Blickwinkels bewegt werden kann. Im Gegensatz dazu kann, wenn der sich bewegende Körper vom Äußeren zum Inneren des Blickwinkels bewegt wird, die Position der virtuellen Schallquelle vom Äußeren zum Inneren des Blickwinkels bewegt werden. Beispielsweise wenn ein Auto wegfährt, kann das Realitätsgefühl durch Bewegen der virtuellen Schallquelle vom Inneren zum Äußeren des Blickwinkels in Übereinstimmung mit der Bewegung des Autos gesteigert werden. Ferner kann eine realistische Erfahrung, dass ein Ball, der durch einen Baseball-Schläger getroffen wird, nach hinten fliegt, den Anwender streift, realisiert werden.
Ferner können mehrere virtuelle Schallquellen durch Bereitstellen mehrerer Lautsprecher 12 vom Antriebstyp installiert werden. Mit der Konfiguration können beispielsweise unterschiedliche virtuelle Schallquellen jeweils für mehrere sich bewegende Körper in einem Bild installiert werden, und die Positionen der virtuellen Schallquellen können individuell in Übereinstimmung mit den Bewegungen der sich bewegenden Körper bewegt werden, um dadurch das Realitätsgefühl zu verbessern.
Ferner kann beispielsweise ein Surround-System durch Anordnen der virtuellen Schallquellen auf eine der Anordnung von Lautsprechern in einem Surround-System ähnliche Weise realisiert werden. In diesem Fall weist die Installationsposition des Lautsprechers 12 vom Antriebstyp einen höheren Freiheitsgrad auf als die Installationsposition eines gewöhnlichen Lautsprechers. Deshalb kann das Surround-System einfacher realisiert werden.
Ferner kann beispielsweise das Realitätsgefühl weiter verbessert werden durch Unterteilen eines Projektionsgebiets eines Bilds in mehrere Gebiete, Platzieren einer virtuellen Schallquelle in jedem abgeteilten Gebiet und Bewirken, dass eine entsprechende virtuelle Schallquelle hauptsächlich die Schallausgabe des Gebiets teilt. Es wird darauf hingewiesen, dass die Position der virtuellen Schallquelle innerhalb oder außerhalb des Gebiets sein kann. Beispielsweise kann das Realitätsgefühl durch Unterteilen des Projektionsgebiets in vier Gebiete als 2 × 2, Anordnen der virtuellen Schallquellen in vier Ecken des Projektionsgebiets oder an Positionen außerhalb des Projektionsgebiets jedoch nahe den vier Ecken des Projektionsgebiets und Bewirken, dass die virtuelle Schallquelle nahe jedem Gebiet hauptsächlich den Schall ausgibt, der dem Bild in dem Gebiet entspricht, weiter verbessert werden.
Ferner kann die vorliegende Technologie auch auf den Fall angewandt werden, in dem der Projektor 31 nicht der Projektor vom Antriebstyp ist und die Position und Richtung manuell geändert werden. Beispielsweise steuert die Akustiksteuereinheit 125, wenn die Position und die Richtung des Projektors 31 manuell geändert werden, die Position der virtuellen Schallquelle auf der Basis der Anzeigeposition oder steuert die Lautstärke des Ausgabeschalls aus dem Reflexionslautsprecher 51 auf der Basis der Position der virtuellen Schallquelle durch das vorstehend beschriebene Verfahren.
Es wird darauf hingewiesen, dass die Position und Richtung des Projektors 31 beispielsweise durch Bereitstellen eines Beschleunigungssensors, eines Gyrosensors oder dergleichen für den Projektor 31 detektiert werden können.
Ferner kann die vorliegende Technologie auch auf den Fall angewandt werden, wenn die Position des Projektors 31 fest ist und die Anzeigeposition des Bilds fest ist. Das heißt, die Akustiksteuereinheit 125 kann die Position der virtuellen Schallquelle steuern oder kann die Lautstärke des Ausgabeschalls des Reflexionslautsprechers 51 steuern durch das vorstehend beschriebene Verfahren auf der Basis der Anzeigeposition des festen Bilds oder des Inhalts des Bilds.
Ferner kann die vorliegende Technologie auf den Fall angewandt werden, in dem eine Anzeigevorrichtung, die einen Bildschirm aufweist, anstelle des Projektors 31 vom Projektionstyp verwendet wird. Beispielsweise kann die Akustiksteuereinheit 125 durch das vorstehend beschriebene Verfahren auf der Basis der Position des Bildschirms, auf dem das Bild angezeigt wird, und des Inhalts des Bilds die Position der virtuellen Schallquelle steuern oder kann die Lautstärke des Ausgabeschalls des Reflexionslautsprechers 51 steuern. Ferner kann beispielsweise durch Unterteilen des Bildschirms in mehrere Gebiete, Platzieren virtueller Schallquellen innerhalb oder außerhalb des Bildschirms in jedem Gebiet und Bewirken, dass eine entsprechende virtuelle Schallquelle hauptsächlich die Schallausgabe des Gebiets teilt, das Realitätsgefühl weiter verbessert werden.
Ferner kann die vorliegende Technologie auch auf den Fall angewandt werden, in dem Reflexionslautsprecher 51 nicht vom Antriebstyp ist und die Position und Richtung manuell geändert werden. Um spezifisch zu sein kann, wenn der Reflexionslautsprecher 51 kein Lautsprecher vom Antriebstyp ist, die Position der virtuellen Schallquelle durch Installieren des Reflexionslautsprechers 51 eindeutig bestimmt werden. Dann kann beispielsweise die Akustiksteuereinheit 125 die Lautstärke des Ausgabeschalls aus dem Reflexionslautsprecher 51 durch das vorstehend beschriebene Verfahren auf der Basis des Abstands zu der eingestellten virtuellen Schallquelle und des Reflexionsvermögens der Position der virtuellen Schallquelle steuern.
Darüber hinaus kann die Akustiksteuereinheit 125 die Position der virtuellen Schallquelle unter Verwendung einer Reflexionseigenschaft, die nicht das Reflexionsvermögen ist, einstellen. Beispielsweise erkennt die Akustiksteuereinheit 125 die Form des Anzeigeraums auf der Basis der Tiefeninformationen der integrierten Raumabbildung und berechnet einen Winkel der Reflexionsposition zu dem Ausgabeschall, um dadurch eine Reflexionsrichtung (einen Reflexionswinkel) des reflektierten Schalls zu schätzen, die ein Typ der Reflexionseigenschaften ist. Deshalb kann beispielsweise die Akustiksteuereinheit 125 für die virtuelle Schallquelle eine Position einstellen, an der eine große Menge des Ausgabeschalls in die Richtung des Anwenders reflektiert wird. Mit der Einstellung kann der Anwender den Schall zuverlässig hören. Ferner kann die Akustiksteuereinheit 125 einem Anwender an einer spezifischen Position ermöglichen, den Schall zu hören, durch Einstellen einer Position, an der der Ausgabeschall zu der virtuellen Schallquelle gespiegelt wird, auf der Basis des Oberflächenmaterials des Anzeigeraums.
{Modifikation, die das Konfigurationsbeispiel des Systems betrifft}
Das Konfigurationsbeispiel des AV-Systems 10 in 1 ist ein Beispiel und kann bei Bedarf geändert werden.
Beispielsweise kann der Anteil der Funktionen der Datenverarbeitungseinrichtung 15 und der Datenverarbeitungseinrichtung 16 geändert werden. Ferner können beispielsweise die Datenverarbeitungseinrichtung 15 und die Datenverarbeitungseinrichtung 16 zusammengelegt werden.
Ferner können beispielsweise ein Teil der oder alle Funktionen der Datenverarbeitungseinrichtung 15 in dem Projektor 11 vom Antriebstyp bereitgestellt sein, oder ein Teil der oder alle Funktionen der Datenverarbeitungseinrichtung 15 und der Datenverarbeitungseinrichtung 16 können in dem Projektor 11 vom Antriebstyp bereitgestellt sein. Ferner kann beispielsweise der Projektor 11 vom Antriebstyp in der Datenverarbeitungseinrichtung 15 oder der Datenverarbeitungseinrichtung 16 bereitgestellt sein.
Ferner können beispielsweise ein Teil der oder alle Funktionen der Datenverarbeitungseinrichtung 16 in dem Lautsprecher 12 vom Antriebstyp bereitgestellt sein, oder ein Teil der oder alle Funktionen der Datenverarbeitungseinrichtung 15 und der Datenverarbeitungseinrichtung 16 können in dem Lautsprecher 12 vom Antriebstyp bereitgestellt sein. Ferner kann beispielsweise der Lautsprecher 12 vom Antriebstyp in der Datenverarbeitungseinrichtung 15 oder der Datenverarbeitungseinrichtung 16 bereitgestellt sein.
Ferner können beispielsweise, wie in den 10 und 11 dargestellt ist, der Projektor 11 und der Reflexionslautsprecher 51 integriert sein. 10 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel eines AV-Systems 200 darstellt, in dem der Projektor 31 und der Reflexionslautsprecher 51 integriert sind. 11 ist eine schematische Ansicht, die ein Konfigurationsbeispiel des Aussehens eines Projektors 201 vom Antriebstyp darstellt, der das AV-System 200 konfiguriert.
Es wird darauf hingewiesen, dass in den 10 und 11 ein Abschnitt, der den 1 und 2 entspricht, durch dasselbe Bezugszeichen bezeichnet ist, und seine Beschreibung ist entsprechend weggelassen.
Das AV-System 200 unterscheidet sich von dem AV-System 10 in 1 darin, dass ein Projektor 11 vom Antriebstyp anstelle des Projektors 11 vom Antriebstyp und des Lautsprechers 12 vom Antriebstyp bereitgestellt ist und eine Datenverarbeitungseinrichtung 202 anstelle der Datenverarbeitungseinrichtung 15 und der Datenverarbeitungseinrichtung 15 bereitgestellt ist.
Wie in 11 dargestellt ist, weist der Projektor 201 vom Antriebstyp eine Konfiguration auf, in der ein Reflexionslautsprecher 51 auf einem Projektor 31 des Projektors 11 vom Antriebstyp in 2 installiert ist. Deshalb werden der Projektor 31 und der Reflexionslautsprecher 51 in einer Schwenkrichtung und einer Neigerichtung durch eine Antriebseinheit 33 gedreht und sind immer in die gleiche Richtung gerichtet. Deshalb fällt eine Anzeigeposition des Projektors 31 immer mit einer Position der virtuellen Schallquelle des Reflexionslautsprechers 51 zusammen.
Die Datenverarbeitungseinrichtung 202 enthält eine Schnittstelleneinheit (I/F-Einheit) 221, eine Zeigepositionsdetektionseinheit 222, eine Anwenderdetektionseinheit 223, eine Abbildungserzeugungseinheit 224, eine Speichereinheit 225, eine Eingabeeinheit 226 und eine Steuereinheit 227.
Die I/F-Einheit 221 ist beispielsweise durch eine Kommunikationsvorrichtung, ein Verbindungselement und dergleichen konfiguriert, ähnlich der I/F-Einheit 101 oder der I/F-Einheit 121 in 1. Die I/F-Einheit 221 sendet und empfängt Daten und dergleichen zu und von einem Projektor 31, einem Tiefensensor 32, einer Motorsteuereinheit 43, dem Reflexionslautsprecher 51, einer Kamera 71, einer Fischaugenkamera 72 und einem Mikrofon 73. Ferner führt die I/F-Einheit 221 die empfangenen Daten und dergleichen jeder Einheit der Datenverarbeitungseinrichtung 202 zu und erfasst Daten oder gleichen, die gesendet werden sollen, aus jeder Einheit der Datenverarbeitungseinrichtung 202.
Die Zeigepositionsdetektionseinheit 222 detektiert eine Zeigeposition durch eine Zeigevorrichtung 81 auf der Basis eines Fischaugenbilds, das durch die Fischaugenkamera 72 aufgenommen wird, ähnlich der Zeigepositionsdetektionseinheit 102 in 1. Die Zeigepositionsdetektionseinheit 222 führt der Steuereinheit 227 ein Detektionsergebnis zu.
Die Anwenderdetektionseinheit 223 detektiert beispielsweise eine Position, eine Blickrichtung, eine Geste und dergleichen eines Anwenders in einem Anzeigeraum auf der Basis eines Anzeigeraumbilds, das durch die Kamera 71 aufgenommen wird, ähnlich der Anwenderdetektionseinheit 103 in 1. Die Anwenderdetektionseinheit 103 führt der Steuereinheit 227 ein Detektionsergebnis zu.
Die Abbildungserzeugungseinheit 224 weist sowohl die Funktion der Abbildungserzeugungseinheit 104 als auch der Abbildungserzeugungseinheit 122 in 1 auf. Beispielsweise steuert die Abbildungserzeugungseinheit 224 den Tiefensensor 32 und die Motorsteuereinheit 43 über die I/F-Einheit 221, um das Aufnehmen des Abstandsbilds in dem Anzeigeraum durch den Tiefensensor 32 zu steuern. Dann erzeugt die Abbildungserzeugungseinheit 224 eine erste Raumabbildung unter Verwendung des Abstandsbilds, ähnlich der Abbildungserzeugungseinheit 104 in 1.
Ferner steuert die Abbildungserzeugungseinheit 224 den Reflexionslautsprecher 51 und die Motorsteuereinheit 43 über die I/F-Einheit 221, um das Abtasten eines Ausgabeschalls aus dem Reflexionslautsprecher 51 in dem Anzeigeraum zu steuern. Dann erzeugt die Abbildungserzeugungseinheit 224 eine zweite Raumabbildung auf der Basis eines Detektionsergebnisses eines reflektierten Schalls, der durch das Mikrofon 73 detektiert wird, wenn der Ausgabeschall in dem Anzeigeraum abgetastet wird, ähnlich der Abbildungserzeugungseinheit 122 in 1.
Ferner erzeugt die Abbildungserzeugungseinheit 224 eine integrierte Raumabbildung, die durch Integrieren der ersten Raumabbildung und der zweiten Raumabbildung erhalten wird, ähnlich der Abbildungserzeugungseinheit 104 in 1. Die Abbildungserzeugungseinheit 224 bewirkt, dass die Speichereinheit 225 die erzeugte integrierte Raumabbildung speichert.
Ferner detektiert die Abbildungserzeugungseinheit 224 die Positionen des Mikrofons 73 und dergleichen in dem Anzeigeraum beispielsweise auf der Basis der ersten Raumabbildung, ähnlich der Abbildungserzeugungseinheit 104 in 1. Die Abbildungserzeugungseinheit 104 führt das Detektionsergebnis der Steuereinheit 227 zu.
Die Eingabeeinheit 226 ist beispielsweise durch eine Bedienvorrichtung und dergleichen konfiguriert und wird zur Eingabe von Befehlen, Daten (beispielsweise Bilddaten und Audiodaten) und dergleichen in die Steuereinheit 227 verwendet.
Die Steuereinheit 227 weist sowohl die Funktionen der Bildsteuereinheit 107 als auch der Akustiksteuereinheit 125 in 1 auf und enthält eine Bildsteuereinheit 231 und eine Akustiksteuereinheit 232.
Die Bildsteuereinheit 231 steuert die Anzeige eines Bilds durch den Projektor 201 von Antriebstyp und die Position der virtuellen Schallquelle durch den Reflexionslautsprecher 51. Beispielsweise steuert die Bildsteuereinheit 231 den Projektor 31 über die I/F-Einheit 221, um Inhalt und Anzeigezeit des Bilds, das angezeigt werden soll, und dergleichen zu steuern. Ferner steuert die Bildsteuereinheit 231 beispielsweise die Motorsteuereinheit 43 über die I/F-Einheit 221, um eine Projektionsrichtung des Bilds des Projektors 31 und eine Ausgaberichtung des Reflexionslautsprechers 51 zu steuern und dadurch die Anzeigeposition des Bilds und die Reflexionsposition des Ausgabeschalls (das heißt die Position der virtuellen Schallquelle) zu steuern.
Die Akustiksteuereinheit 232 steuert die Ausgabe des Ausgabeschalls aus dem Reflexionslautsprecher 51. Beispielsweise steuert die Akustiksteuereinheit 232 den Reflexionslautsprecher 51 über die I/F-Einheit 121, um den Einhalt, eine Lautstärke, die Ausgabezeit und dergleichen des Ausgabeschalls zu steuern.
In dem AV-System 200 ist, da die Richtung des Projektors 31 und des Reflexionslautsprechers 51 durch Steuern nur der Antriebseinheit 33 koaxial gesteuert werden können, die Steuerungsverarbeitung vereinfacht. Ferner können die Anzeigeposition des Bilds und die Position der virtuellen Schallquelle einfach miteinander zusammenfallen. In dem AV-System 200 ist jedoch die Flexibilität der Positionssteuerung der virtuellen Schallquelle im Vergleich zu dem AV-System 10 reduziert. Beispielsweise wird das Einstellen der Position der virtuellen Schallquelle auf eine Position, die von der Anzeigeposition des Bilds verschieden ist, schwierig.
Ferner ist in der vorstehenden Beschreibung ein Beispiel zum Bewegen der Anzeigeposition durch Ändern der Richtung des Projektors 31 beschrieben worden. Die Anzeigeposition kann jedoch beispielsweise durch Reflektieren eines Bilds, das aus dem Projektor 11 projiziert wird, an einem Reflektor wie z. B. einem Spiegel und Ändern der Richtung des Reflektors verlagert werden. Ähnlich ist in der vorstehenden Beschreibung ein Beispiel zum Verlagern der Position der virtuellen Schallquelle durch Ändern der Richtung des Reflexionslautsprechers 51 beschrieben worden. Die Position der virtuellen Schallquelle kann jedoch beispielsweise durch Reflektieren des Ausgabeschalls, der aus dem Reflexionslautsprecher 51 ausgegeben wird, an einem Reflektor wie z. B. einem Spiegel und Ändern der Richtung des Reflektors verlagert werden.
Ferner können beispielsweise die Tiefeninformationen in dem Anzeigeraum unter Verwendung eines Sensors, der nicht der Tiefensensor 32 ist, erfasst werden.
{Andere Modifikationen}
Es wird darauf hingewiesen, dass eine Wahrnehmung, einen Schall von einem Objekt zu hören, durch Projizieren eines Bilds nicht nur auf ein ebenes Objekt wie z. B. eine Band, eine Zimmerdecke, einen Fußboden, eine Bildschirm oder einen Vorhang, sondern auch beispielsweise auf ein stereoskopisches Objekt wie z. B. ein Buch oder eine Plastikflasche und Bereitstellen der virtuellen Schallquelle auf der Oberfläche es Objekts realisiert werden kann.
Darüber hinaus ist in der vorstehenden Beschreibung ein Beispiel zum Erzeugen und Verwenden der integrierten Raumabbildung durch Integrieren der ersten Raumabbildung und der zweiten Raumabbildung beschrieben worden. Es kann jedoch nur eine aus der ersten Raumabbildung und der zweiten Raumabbildung erzeugt und verwendet werden. Beispielsweise kann in dem Fall, in dem nur die erste Raumabbildung verwendet wird, die Schalllautstärkensteuerung nur auf der Basis nur des Abstands zu der virtuellen Schallquelle ausgeführt werden, ohne Schalllautstärkensteuerung basierend auf dem Reflexionsvermögen der Position der virtuellen Schallquelle auszuführen.
Ferner können beispielsweise Eigenschaften des Ausgabeschalls, die nicht die Lautstärke sind, gesteuert werden, oder die Lautstärke und andere Eigenschaften können durch genaueres Analysieren der Reflexionseigenschaften jeder Position in dem Anzeigeraum gesteuert werden. Beispielsweise werden die Reflexionseigenschaften für jede Frequenz jeder Position analysiert, und eine Frequenzeigenschaft des Ausgabeschalls kann gemäß einer Reflexionseigenschaft einer virtuellen Position gesteuert werden. Beispielsweise in dem Fall, in dem die virtuelle Schallquelle auf eine Position eingestellt wird, an der das Reflexionsvermögen eines hohen Tons schlechter ist als das einen tiefen Tons, kann eine hochfrequente Komponente des Ausgabeschalls im Vergleich zu einer niederfrequenten Komponente betont werden.
Ferner wird beispielsweise der Ausgabeschall zeitlich unterteilt, so dass ein linker Schall und ein rechter Schall abwechselnd ausgegeben werden, und die Richtung des Reflexionslautsprechers 51 wird in Synchronisation mit dem Schalten des linken und des rechten Schalls nach rechts und links geschwenkt, wodurch Stereowiedergabe durch einen Reflexionslautsprecher 51 realisiert werden kann.
{Konfigurationsbeispiel des Computers}
Die vorstehend beschriebene Verarbeitungsfolge der Datenverarbeitungseinrichtung 15, der Datenverarbeitungseinrichtung 16 und der Datenverarbeitungseinrichtung 202 kann durch Hardware oder durch Software ausgeführt werden. In dem Fall der Ausführung der Verarbeitungsfolge durch Software ist ein Programm, das die Software konfiguriert, in einem Computer installiert. Hier enthält der Computer einen Computer, der in dedizierte Hardware integriert ist, und einen Allzweck-Computer und dergleichen, der beispielsweise durch Installieren verschiedener Programme zum Ausführen verschiedener Funktionen fähig ist.
12 ist ein Blockdiagramm, das ein Konfigurationsbeispiel von Hardware eines Computers, der die vorstehend beschriebene Verarbeitungsfolge durch ein Programm ausführt.
Eine zentrale Verarbeitungseinheit (CPU) 501, ein Festwertspeicher (ROM) 502 und ein Direktzugriffsspeicher (RAM) 503 sind durch einen Bus 504 in dem Computer wechselseitig verbunden.
Ferner ist eine Eingabe/Ausgabe-Schnittstelle 505 mit dem Bus 504 verbunden. Eine Eingabeeinheit 506, eine Ausgabeeinheit 507, eine Speichereinheit 508, eine Kommunikationseinheit 509 und ein Laufwerk 510 sind mit der Eingabe/Ausgabe-Schnittstelle 505 verbunden
Die Eingabeeinheit 506 enthält eine Tastatur, eine Maus, ein Mikrofon und dergleichen. Die Ausgabeeinheit 507 enthält eine Anzeigevorrichtung, einen Lautsprecher und dergleichen. Die Speichereinheit 508 enthält eine Festplatte, einen nichtflüchtigen Speicher und dergleichen. Die Kommunikationseinheit 509 enthält eine Netzschnittstelle und dergleichen. Das Laufwerk 510 treibt ein herausnehmbares Medium 511 an wie z. B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte oder einen Halbleiterspeicher.
In dem Computer, der wie vorstehend beschrieben konfiguriert ist, lädt beispielsweise die CPU 501 ein Programm, das in der Speichereinheit 508 gespeichert ist, in den RAM 503 und führt das Programm über die Eingabe/Ausgabe-Schnittstelle 505 und den Bus 504 aus, wodurch die vorstehend beschriebene Verarbeitungsfolge ausgeführt wird.
Das Programm, das durch den Computer (die CPU 501) ausgeführt werden soll, kann beispielsweise auf dem herausnehmbaren Medium 511 als ein Paketmedium und dergleichen aufgezeichnet und bereitgestellt sein. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium wie z. B. ein lokales Netz, das Internet oder digitales Rundsenden bereitgestellt sein.
In dem Computer ist das herausnehmbare Medium 511 an das Laufwerk 510 angeschlossen, wodurch das Programm in der Speichereinheit 508 über die Eingabe/Ausgabe-Schnittstelle 505 installiert werden kann. Ferner kann das Programm durch die Kommunikationseinheit 509 über ein drahtgebundenes oder drahtloses Übertragungsmedium empfangen und in der Speichereinheit 508 installiert werden. Anders als das vorstehende Verfahren kann das Programm in dem ROM 502 oder der Speichereinheit 508 im Voraus installiert sein. Es wird darauf hingewiesen, dass das Programm, das durch den Computer ausgeführt wird, ein Programm sein kann, das in chronologischer Reihenfolge gemäß der in der vorliegenden Spezifikation beschriebenen Reihenfolge verarbeitet wird, oder ein Programm sein kann, das parallel oder mit erforderlicher Zeitplanung wie wenn z. B. ein Aufruf erfolgt, ausgeführt wird.
Ferner bedeutet in der vorliegenden Spezifikation der Begriff „System“ eine Gruppe aus mehreren Konfigurationselementen (Vorrichtungen, Modulen (Teilen) und dergleichen), und es ist nicht relevant, ob alle Konfigurationselemente in demselben Gehäuse sind. Deshalb sind sowohl mehrere Vorrichtungen, die in getrennten Gehäusen aufgenommen und über ein Netz verbunden sind, als auch eine Vorrichtung, die mehrere Module in einem Gehäuse aufnimmt, Systeme.
Ferner sind Ausführungsformen der vorliegenden Technologie nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne von dem Wesen der vorliegenden Technologie abzuweichen.
Beispielsweise kann in der vorliegenden Technologie eine Konfiguration mit Cloud-Computing, in der eine Funktion gemeinsam verwendet und in Kooperation durch mehrere Vorrichtungen über ein Netz verarbeitet wird, eingesetzt werden.
Ferner können die in den vorstehend beschriebenen Ablaufplänen beschriebenen Schritte durch eine Vorrichtung ausgeführt werden oder können durch mehrere Vorrichtungen auf verteilte Weise ausgeführt werden.
Darüber hinaus können, wenn mehrere Prozesse in einem Schritt enthalten sind, die mehreren Prozesse, die in dem einen Schritt enthalten sind, durch eine Vorrichtung ausgeführt werden oder können verteilt und durch mehrere Vorrichtungen ausgeführt werden.
Ferner sind die in der vorliegenden Spezifikation beschriebenen Effekte lediglich Beispiele und sind nicht eingeschränkt, und es können andere Effekte gezeigt werden.
Ferner kann beispielsweise die vorliegende Technologie die folgenden Konfigurationen aufweisen.

(1) Datenverarbeitungseinrichtung, die folgendes enthält:
- eine Akustiksteuereinheit, die konfiguriert ist, eine Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls zu steuern.
(2) Datenverarbeitungseinrichtung nach (1), wobei die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis eines Abstands von dem Reflexionslautsprecher zu der Reflexionsposition und/oder eines Abstands von der Reflexionsposition zu einem Anwender steuert.
(3) Datenverarbeitungseinrichtung nach (1) oder (2), wobei die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis einer Reflexionseigenschaft der Reflexionsposition steuert.
(4) Datenverarbeitungseinrichtung nach (3), wobei der Reflexionslautsprecher den Ausgabeschall einer Ultraschallwelle ausgibt und eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist, die Datenverarbeitungseinrichtung ferner Folgendes umfasst:
- eine Abbildungserzeugungseinheit, die konfiguriert ist, den Ausgabeschall in einem Raum, in dem der Reflexionslautsprecher den Ausgabeschall reflektiert, abzutasten und eine Raumabbildung, die die Reflexionseigenschaft in dem Raum enthält, auf der Basis eines Detektionsergebnisses eines reflektierten Schalls zu erzeugen.
(5) Datenverarbeitungseinrichtung nach (4), wobei die Abbildungserzeugungseinheit die Raumabbildung, die eine dreidimensionale Form des Raums enthält, auf der Basis des Detektionsergebnisses des reflektierten Schalls erzeugt.
(6) Datenverarbeitungseinrichtung nach einem aus (1) bis (3), wobei eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist, und die Akustiksteuereinheit die Reflexionsposition gemäß der Ausgaberichtung des Ausgabeschalls aus dem Reflexionslautsprecher steuert.
(7) Datenverarbeitungseinrichtung nach (6), wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Anzeigeposition eines Bilds, dem der Ausgabeschall entspricht, steuert.
(8) Datenverarbeitungseinrichtung nach (6) oder (7), wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Reflexionseigenschaft in einem Raum, wo der Reflexionslautsprecher den Ausgabeschall reflektiert, steuert.
(9) Datenverarbeitungseinrichtung nach einem aus (6) bis (8), wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Zeigeposition, die eine durch einen Anwender spezifizierte Position ist, und/oder einer Blickrichtung des Anwenders steuert.
(10) Datenverarbeitungseinrichtung nach (9), wobei wenn ein Bild existiert, das in der Zeigerichtung angezeigt werden soll, die Akustiksteuereinheit bewirkt, dass der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
(11) Datenverarbeitungseinrichtung nach (10), die ferner Folgendes enthält:
- eine Bildsteuereinheit, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Zeigeposition zu steuern, wobei
- wenn ein Bild existiert, das an der Zeigeposition angezeigt werden soll, die Bildsteuereinheit das Bild an der Zeigeposition anzeigt.
(12) Datenverarbeitungseinrichtung nach (9), wobei wenn ein Bild existiert, das in der Blickrichtung des Anwenders angezeigt werden soll, die Akustiksteuereinheit bewirkt, dass der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
(13) Datenverarbeitungseinrichtung nach (12), die ferner Folgendes enthält:
- eine Bildsteuereinheit, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Blickrichtung des Anwenders zu steuern, wobei
- wenn ein Bild existiert, das in der Blickrichtung des Anwenders angezeigt werden soll, die Bildsteuereinheit das Bild in der Blickrichtung des Anwenders anzeigt.
(14) Datenverarbeitungseinrichtung nach einem aus (6) bis (13), wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis des Inhalts eines Bilds, dem der Ausgabeschall entspricht, steuert.
(15) Datenverarbeitungseinrichtung nach (14), wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Bewegung eines sich bewegenden Körpers in dem Bild steuert.
(16) Datenverarbeitungseinrichtung nach einem aus (1) bis (15), wobei die Akustiksteuereinheit eine Eigenschaft des Ausgabeschalls steuert.
(17) Datenverarbeitungseinrichtung nach einem aus (1) bis (16), die ferner Folgendes enthält:
- den Reflexionslautsprecher.
(18) Datenverarbeitungseinrichtung nach (17), die ferner Folgendes enthält:
- einen Projektor, der eine variable Projektionsrichtung eines Bilds aufweist, wobei
- eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist.
(19) Datenverarbeitungsverfahren, das Folgendes enthält:
- einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls.
(20) Programm zum Bewirken, dass ein Computer Verarbeitung ausführt, die Folgendes enthält:
- einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls.

Bezugszeichenliste

10: AV-System
11: Projektor vom Antriebstyp
12: Lautsprecher vom Antriebstyp
13: Sensoreinheit
14: Bedieneinheit
15, 16: Datenverarbeitungseinrichtung
31: Projektor
32: Tiefensensor
33: Antriebseinheit
41: Schwenkmotor
42: Neigemotor
43: Motorsteuereinheit
51: Reflexionslautsprecher
52: Antriebseinheit
61: Schwenkmotor
62: Neigemotor
63: Motorsteuereinheit
71: Kamera
72: Fischaugenkamera
73: Mikrofon
81: Zeigevorrichtung
102: Zeigepositionsdetektionseinheit
103: Anwenderdetektionseinheit
104: Abbildungserzeugungseinheit
107: Bildsteuereinheit
122: Abbildungserzeugungseinheit
125: Akustiksteuereinheit
200: AV-System
201: Projektor vom Antriebstyp
202: Datenverarbeitungseinrichtung
222: Zeigepositionsdetektionseinheit
223: Anwenderdetektionseinheit
224: Abbildungserzeugungseinheit
227: Steuereinheit
231: Bildsteuereinheit
232: Akustiksteuereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201056710 [0004]

Claims

Datenverarbeitungseinrichtung, die Folgendes umfasst: eine Akustiksteuereinheit, die konfiguriert ist, eine Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls zu steuern.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis eines Abstands von dem Reflexionslautsprecher zu der Reflexionsposition und/oder eines Abstands von der Reflexionsposition zu einem Anwender steuert.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Akustiksteuereinheit die Ausgabe des Ausgabeschalls auf der Basis einer Reflexionseigenschaft der Reflexionsposition steuert.
Datenverarbeitungseinrichtung nach Anspruch 3, wobei der Reflexionslautsprecher den Ausgabeschall einer Ultraschallwelle ausgibt und eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist, die Datenverarbeitungseinrichtung ferner Folgendes umfasst: eine Abbildungserzeugungseinheit, die konfiguriert ist, den Ausgabeschall in einem Raum, in dem der Reflexionslautsprecher den Ausgabeschall reflektiert, abzutasten und eine Raumabbildung, die die Reflexionseigenschaft in dem Raum enthält, auf der Basis eines Detektionsergebnisses eines reflektierten Schalls zu erzeugen.
Datenverarbeitungseinrichtung nach Anspruch 4, wobei die Abbildungserzeugungseinheit die Raumabbildung, die eine dreidimensionale Form des Raums enthält, auf der Basis des Detektionsergebnisses des reflektierten Schalls erzeugt.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist, und die Akustiksteuereinheit die Reflexionsposition gemäß der Ausgaberichtung des Ausgabeschalls aus dem Reflexionslautsprecher steuert.
Datenverarbeitungseinrichtung nach Anspruch 6, wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Anzeigeposition eines Bilds, dem der Ausgabeschall entspricht, steuert.
Datenverarbeitungseinrichtung nach Anspruch 6, wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Reflexionseigenschaft in einem Raum, wo der Reflexionslautsprecher den Ausgabeschall reflektiert, steuert.
Datenverarbeitungseinrichtung nach Anspruch 6, wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Zeigeposition, die eine durch einen Anwender spezifizierte Position ist, und/oder einer Blickrichtung des Anwenders steuert.
Datenverarbeitungseinrichtung nach Anspruch 9, wobei, wenn ein Bild existiert, das in der Zeigerichtung angezeigt werden soll, die Akustiksteuereinheit bewirkt, dass der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
Datenverarbeitungseinrichtung nach Anspruch 10, die ferner Folgendes umfasst: eine Bildsteuereinheit, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Zeigeposition zu steuern, wobei wenn ein Bild existiert, das an der Zeigeposition angezeigt werden soll, die Bildsteuereinheit das Bild an der Zeigeposition anzeigt.
Datenverarbeitungseinrichtung nach Anspruch 9, wobei, wenn ein Bild existiert, das in der Blickrichtung des Anwenders angezeigt werden soll, die Akustiksteuereinheit bewirkt, dass der Reflexionslautsprecher den Ausgabeschall, der dem Bild entspricht, zu der Reflexionsposition ausgibt.
Datenverarbeitungseinrichtung nach Anspruch 12, die ferner Folgendes umfasst: eine Bildsteuereinheit, die konfiguriert ist, die Anzeige eines Bilds auf der Basis der Blickrichtung des Anwenders zu steuern, wobei wenn ein Bild existiert, das in der Blickrichtung des Anwenders angezeigt werden soll, die Bildsteuereinheit das Bild in der Blickrichtung des Anwenders anzeigt.
Datenverarbeitungseinrichtung nach Anspruch 6, wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis des Inhalts eines Bilds, dem der Ausgabeschall entspricht, steuert.
Datenverarbeitungseinrichtung nach Anspruch 14, wobei die Akustiksteuereinheit die Reflexionsposition auf der Basis einer Bewegung eines sich bewegenden Körpers in dem Bild steuert.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Akustiksteuereinheit eine Eigenschaft des Ausgabeschalls steuert.
Datenverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes umfasst: den Reflexionslautsprecher.
Datenverarbeitungseinrichtung nach Anspruch 17, die ferner Folgendes umfasst: einen Projektor, der eine variable Projektionsrichtung eines Bilds aufweist, wobei eine Ausgaberichtung des Ausgabeschalls in dem Reflexionslautsprecher variabel ist.
Datenverarbeitungsverfahren, das Folgendes umfasst: einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls.
Programm zum Bewirken, dass ein Computer die Verarbeitung ausführt, die Folgendes umfasst: einen Akustiksteuerschritt zum Steuern einer Ausgabe eines Ausgabeschalls aus einem Reflexionslautsprecher auf der Basis einer Reflexionsposition des Ausgabeschalls.