DE69117243T2

DE69117243T2 - Verfahren und Gerät zur Präsentation eines On-Line-Richttones

Info

Publication number: DE69117243T2
Application number: DE69117243T
Authority: DE
Inventors: Dale A Cone; Norman A Josephson; Russell F Lewis; Steven F Martin
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1990-10-05
Filing date: 1991-10-04
Publication date: 1996-07-04
Anticipated expiration: 2011-10-05
Also published as: DE69117243D1; JP3289926B2; EP0479604B1; US5469511A; US5566241A; EP0479604A2; JPH04249500A; EP0479604A3

Description

Technisches Gebiet der Erfindung

Diese Erfindung bezieht sich auf ein Schallsystem und insbesondere auf solche Systeme, welche Schall einem Hörer in einer diesen vollständig umgebenden Weise präsentieren.

Verweis auf verwandte Anmeldungen

Es wird auf die folgenden Patentanmeldungen Bezug genommen, die beide auf Texas Instruments Incorporated übertragen wurden. Diese Anmeldungen wurden gleichzeitig eingereicht und sind in diese Patentanmeldung durch Bezugnahme eingeschlossen. Anmelde-Nr. Titel Method and Apparatus for Providing a Portable Visual Display (= EP-A-0 479 605) Method and Apparatus for Monitoring Physical Positioning of a User (= EP-A-0 479 603)

Hintergrund der Erfindung

Es gibt viele Situationen, in denen es wünschenswert ist, einem Zuhörer einen diesen vollständig umgebenden Schall zu präsentieren. Ein solches System ist ein System künstlicher Wirklichkeit, in dem eine künstliche Umgebung für einen Benutzer erzeugt wird. Diese Umgebung enthält üblicherweise Szenen, welche in einer den Betrachter umgebenden Weise erzeugt sind; und wenn sich der Betrachter in einer Ebene relativ zu der Umgebung bewegt, ändert sich die Szene, als ob sich der Betrachter in einer realen Umgebung bewegen würde.
In einigen Situationen wird dem Betrachter in Verbindung mit den projizierten Bildern Schall derart präsentiert, daß sich dessen Lautstärke und Frequenz erhöhen oder vermindern, wenn sich der Betrachter (oder die Schallquelle) nähert oder wegbewegt. Der Schall kann dabei unter Umständen als direkt von hinter, oberhalb oder unterhalb dem Zuhörer stammend erscheinen.
Herkömmliche Stereo-Lautsprecher, welche direkt auf jedem Ohr angeordnet sind, können die Richtung des Schalls von der einen oder der anderen Seite nur annähernd wiedergeben. Diese Lautsprecher sind teuer und erfüllen nicht die Anforderung, daß der Zuhörer den Schall tatsächlich als von hinten, oben, unten oder von der Seite stammend hört.
Gegenwärtig wird ein umgebender Schall oder holographischer Schall oder sogenannter 3-D-Schall durch die Verwendung von leistungsstarken digitalen Signalprozessoren erzeugt, welche im Grunde genommen Kopfhörer sind, die das Ohr so überlisten, daß es den Schall als von hinten kommend, umgebend oder aus verschiedenen Entfernungen kommend aufnimmt.
Somit besteht im Stand der Technik ein Bedarf an einem Lautsprechersystem, das ein geringes Gewicht sowie geringe Kosten aufweist und dennoch die Illusion eines aus jeder Richtung kommenden Schalls erzeugen kann.
Weiterhin besteht in der Technik ein Bedarf an einen solchen System, das von einem System künstlicher Wirklichkeit erzeugt und kontrolliert werden kann und das tragbar und unter der Steuerung eines Prozessors erzeugbar ist.
In der US-A-4 952 024 ist eine dreidimensionale Sicht- und Schallwiedergabevorrichtung offenbart, die eine Gruppe aus Kopfhörer und Mikrophon enthält, die einen Mittelabschnitt aufweist, der einen die Augen abdeckenden Abschnitt anschließt. Der die Augen abdeckende Abschnitt enthält einen ersten und einen zweiten Flüssigkristallanzeige-Bildschirm, die seitlich voneinander beabstandet sind. Es sind auch angeschlossene Ohrbügel vorgesehen, die den Ohren des Trägers benachbart ein erstes und ein zweites Ohrstück aufweisen. Für jedes Ohrstück ist eine entsprechende Signalquelle vorgesehen.
In der US-A-4 751 419 ist eine piezoelektrische Oszillationsbaugruppe offenbart, welche mehrere piezoelektrische Oszillationsvorrichtungen enthält, die jeweils eine erste Oszillationsplatte, ein an dieser befestigtes piezoelektrisches Oszillationselement sowie eine zweite Oszillationsplatte aufweisen, die auf die erste Oszillationsplatte geschichtet ist, um zwischen diesen einen akustisch abgeschlossenen Raum abzugrenzen. Wenigstens eine der Oszillationsplatten ist allen der mehreren piezoelektrischen Oszillationsvorrichtungen gemeinsam.
In der GB-A-2 039 468 ist eine kopfgekoppelte Vorrichtung zur optischen Anzeige eines interessierenden Bereichs offenbart, insbesondere für stationäre Flugzeugsimulatoren. Es wird ein Bildgenerator des Typs computererzeugtes Bild verwendet, und ein einen Helm tragender Pilot sitzt innerhalb einer teilweise kugelförmigen Hülle mit einer rückstrahlenden Innenoberfläche. Erfassungsmittel erfassen eine Bewegung des Kopfes und des Helmes, um ein freies Überblicken eines erweiterten Winkels der simulierten Ansicht aus dem Flugzeug heraus zu ermöglichen.
Die vorliegende Erfindung schafft ein Schallsystem zur Verwendung bei der Erzeugung der Illusion eines holographischen Schalls in einem System künstlicher Wirklichkeit, wobei das Schallsystem enthält: ein von einem Verwender zu tragendes Kopfband; dadurch gekennzeichnet, daß eine Mehrzahl von diskreten Schwingungselementen in Umfangsrichtung um das Kopfband herum angeordnet sind, wobei jedes der Elemente so angeordnet ist, daß es selektiv ein entsprechendes individuelles elektrisches Impulssignal empfängt und in Reaktion darauf Schallwellen erzeugt.
Die vorliegende Erfindung schafft auch ein Verfahren zum Erzeugen eines Schallsystems, enthaltend das Anordnen eines Kopfbandes um den Kopf eines Benutzers; dadurch gekennzeichnet, daß eine Mehrzahl von diskreten Schwingungselementen in Umfangsrichtung um das Kopfband herum verteilt wird, wobei jedes der Elemente so angeordnet ist, daß es selektiv ein entsprechendes individuelles elektrisches Impulssignal empfängt und in Reaktion darauf Schallwellen erzeugt.
Ein in der beigefügten Zeichnung dargestelltes, omnipräsentes Schallsystem verwendet eine Reihe von diskreten piezoelektrischen Elementen in einem Kopfband um den Kopf des Benutzers herum. Jedes Element ist einzeln durch Signale steuerbar, welche ihm von dem Prozessor geliefert werden. Somit kann Schall programmiert werden, der an jeder beliebigen Stelle um den Kopf des Benutzers herum auftritt.
Durch eine geeignete Wahl der Lautstärke und des Zeitpunktes des Schalls von jedem der einzelnen piezoelektrischen Elemente hat der Zuhörer die Empfindung eines omnipräsenten stereographischen Schalls, der mit der von dem Betrachter in dem System künstlicher Wirklichkeit betrachteten Szene verknüpft ist. Die betrachtete Szene ist wiederum durch die erfaßte Bewegung des Benutzers steuerbar.
Somit kann beispielsweise ein Benutzer (in einer künstlich erzeugten Umgebung) auf eine Sirene (beispielsweise ein Blitzlicht an einem Fahrzeug) zulaufen, und der Anblick der Sirenenquelle (Fahrzeug) würde größer werden. Gleichzeitig würde der Schall von der Sirene lauter werden, und auch die Frequenz der Sirene könnte sich in Abhängigkeit von dem Annäherungswinkel ändern. Selbstverständlich könnte sich das Fahrzeug relativ zum Betrachter bewegen, und der Schall würde sich entsprechend ändern.
Das System zur Erzeugung dieser Illusion eines sich ändernden Schalls ist so ausgelegt, daß es von Zeit zu Zeit Signale zu verschiedenen der piezoelektrischen Elemente sendet, um die Illusion des sich bewegenden Schalls zu erzeugen. Diese Schallattribute der erzeugten Umgebung werden in einem tragbaren Prozessor gespeichert und dem Betrachter in Verbindung mit der geeigneten Szene geliefert. Somit weiß das System, wie weit der Betrachter von einem Objekt entfernt ist, so daß es wiederum weiß, welches der piezoelektrischen Elemente eingeschaltet werden muß. Das System weiß, daß der Schall lauter werden sollte, wenn sich der Betrachter nähert, um Objekte zu betrachten. Wenn der Betrachter direkt auf ein Objekt schaut, sollte der Schall von vorne kommen. Die betrachteten Objekte können auch Begrenzungskästen um sie herum aufweisen, so daß ein Anstoßen hörbar ist, wenn der Betrachter in ein Objekt hineinläuft. Zusätzlich können die piezoelektrischen Vorrichtungen in physische Vibration versetzt werden, wodurch das "Gefühl" eines auf den Betrachter auftreffenden Schalls erzeugt werden kann.
Da das System objektorientiert ist, wird sich der Schall um so mehr ändern, je näher der Betrachter an ein Objekt gelangt. Dies ist wichtig für Anmeldungen wie militärische Anwendungen und Flugsimulationen.
Somit besteht ein technischer Vorteil der dargestellten Ausführungsform der Erfindung darin, ein Schallsystem zu schaffen, welches bezüglich des Betrachters omnipräsent ist sowie ein geringes Gewicht und geringe Herstellungskosten aufweist.
Ein weiterer technischer Vorteil der dargestellten Ausführungsform besteht darin, daß ein solches System so ausgelegt ist, daß es auf von einem tragbaren Prozessor gelieferte und in Verbindung mit einem System künstlicher Wirklichkeit erzeugte Signale anspricht, um mit der abgeleiteten physischen Darstellung der Umgebung um den Betrachter herum koordinierten Schall zu liefern.
Nachfolgend werden beispielhaft Wege zum Ausführen der Erfindung unter Bezugnahme auf die beigefügte Zeichnung beschrieben, in der eine Ausführungsform der Erfindung dargestellt ist und in denen gleiche Bezugszeichen gleiche Merkmale bezeichnen. In der Zeichnung zeigen:
- Fig. 1 eine an einem Helm angebrachte Vorrichtung künstlicher Wirklichkeit mit freigelegten Lautsprecherelementen;
- Fig. 2 ebenfalls eine an einem Helm angebrachte Vorrichtung künstlicher Wirklichkeit;
- Fig. 3 eine schematische Darstellung eines Systems simulierter Wirklichkeit;
- die Fig. 4a, 4b und 4c ein CCD Positions/Ausrichtungs- Sensor in verschiedenen Ausrichtungen;
- Fig. 5 einen dreidimensionalen Positions/Ausrichtungs- Sensor.
In Fig. 1 ist ein tragbares System 10 künstlicher Wirklichkeit dargestellt, welches von einem Individuum auf seinem Kopf getragen wird. Das System 10 besteht aus einem Flüssigkristallanzeige-Farbbildschirm 101, einer Gruppierung von piezoelektrischen Filmelementen 102, einem Positions/Ausrichtungs-Sensor 12 und einem Prozessor 13.
Der Prozessor 13 erzeugt optische Bilder gemäß Informationen über die Ausrichtung des Helms 10 von einem Positions/Ausrichtungs-Sensor 12 und einer bordinternen Software. Der Prozessor 13 erzeugt eine dreidimensionale Umgebung und projiziert eine Ansicht von dieser auf den Bildschirm 101. Wenn der Anwender seinen Kopf und somit seinen Helm 10 bewegt, ändert der Prozessor 13 das Bild auf dem Bildschirm 13, um die Ansicht nachzuahmen, die der Benutzer aufnehmen würde, wenn er sich tatsächlich in der dreidimensionalen Umgebung befinden würde. Wenn der Benutzer zu einem neuen Ort geht oder rennt, ändert der Prozessor 13 in gleicher Weise das Bild auf dem Bildschirm 101, als ob der Benutzer die gleiche Strecke und in der gleichen Richtung in der dreidimensionalen Umgebung laufen oder rennen würde.
Obwohl der Bildschirm 101 eine Flüssigkristall-Farbanzeige ist, kann sie jeder Typ einer Anzeigevorrichtung sein und beispielsweise mit einem geringeren Brennpunktabstand näher an den Augen des Benutzers angeordnet sein.
Der Prozessor 13 erzeugt mittels der piezoelektrischen Elemente 102 des Schallbandes 11 auch ein Schallfeld. Die einzelnen Elemente 102 werden von dem Prozessor 13 getrennt gesteuert. Der Prozessor versorgt die piezoelektrischen Filmelemente 102 selektiv individuell mit Energie, um ein Richtungsschallfeld zu erzeugen. Dadurch kann der Prozessor die Illusion einer sich bewegenden Schallquelle und einer feststehenden Schallquelle erzeugen, wenn sich der Kopf oder der Körper des Benutzers bewegt. Die Schallquelle wäre feststehend, der Schall würde also weiterhin von denselben Elementen kommen, wenn der Benutzer seine Bewegung stoppt. Die Schallelemente können kleine Chips oder langgestreckte Bänder sein, die jeweils durch ein getrenntes Signal von dem Prozessor gesteuert werden.
In Fig. 2 ist ein System dargestellt, in welchem der Benutzer unter Verwendung der Steuerung 21 das präsentierte Bild manuell ändert oder die Richtung oder Geschwindigkeit bezüglich der erzeugten Umgebung manuell ändert. Das Band 22 enthält Elemente 102 und kann über einen Festspannmechanismus 20 eingestellt werden, der auch eine Lautstärkesteuerung für die Elemente sein kann.
In Fig. 3 sind schematisch der Prozessor 13, der Bildschirm 101, die Lautsprecherelemente 11, der Steuerknüppel 21, der Positions/Ausrichtungs-Sensor 12 und das Richtungssteuermodul 306 dargestellt. Der Prozessor 13 nimmt in einer Datenbank gespeicherte Graphikinformationen auf und erzeugt Bilder, die auf dem Bildschirm 101 angezeigt werden. Der Prozessor 13 erzeugt auch Schall, der von den piezoelektrischen Filmsegmenten 102 projiziert wird. Der Prozessor 13 kann ein einziger Prozessor sein oder aus mehreren Prozessoren bestehen, beispielsweise ein Graphikprozessor der Reihe TMS340 und ein digitaler Signalprozessor der Reihe TMS320, die alle von Texas Instruments Incorporated erhältlich sind. Der '340 erzeugt auf dem Bildschirm 101 dargestellte Bilder, und der '320 erzeugt Schall auf dem Elementenband 11. Mit dem Prozessor 13 ist ein Positions/Ausrichtungs-Sensor 12 verbunden. Der Positions/Ausrichtungs-Sensor 12 erfaßt die Richtung, in welche der Betrachter schaut. Mit dem Prozessor 13 kann auch ein (nicht dargestellter) Erdinduktionskompaß gekoppelt sein, um Informationen über die absolute Nord-Süd- Ausrichtung zu liefern. Der Richtungssteuerblock 306 liefert dem Prozessor 13 Informationen, die den Ort und die Sicht des Benutzers innerhalb der dreidimensionalen Umgebung angeben. Der Richtungssteuerblock 306 empfängt benutzerorientierte Informationen vom Sensor 12 durch den Prozessor 13 und vom Benutzer direkt durch den Steuerknüppel 21. Der Richtungssteuerblock 306 kann die Position des Benutzers innerhalb der dreidimensionalen Umgebung bestimmen, indem die momentane Ausrichtungsinformation von dem Positions/Ausrichtungs-Sensor 12 mathematisch integriert wird.
In den Figuren 4a, 4b und 4c ist ein Element einer Ausführungsform eines Positions/Ausrichtungs-Sensors 12 dargestellt. Ein Behälter 40 ist mit Fluid gefüllt und weist eine Lichtquelle 43 (oder eine andere Quelle von elektronischen Signalen wie Infrarotwellen oder Mikrowellen) auf einer Seite und CCDs 44 ("charge coupled device") oder andere elektronische Signalerfassungsvorrichtungen auf der anderen Seite auf. Die CCD 44 kann erfassen, wo auf sie Licht 401 von einer Quelle 43 auftrifft und wo das Licht von dem Fluid 42 blockiert wird. In den Fig. 4B und 4C sind verschiedene Ausrichtungen der Baugruppe 40 und somit verschiedene Niveaus des Fluids in der Vorrichtung 40 dargestellt.
In Fig. 4b ist die Baugruppe 40 nach unten geneigt, und ein größerer Bereich der CCD 44 ist durch das Fluid 42 blokkiert, so daß weniger Licht 401 auf die CCD 44 fallen kann. Die Menge des auf die CCD 44 eintreffenden Lichtes kann beispielsweise, durch die Verwendung einer Gruppierung aus einzelnen CCDs (oder anderen Erfassungsvorrichtungen) und ein Überwachen des Betrages des Lichtes auf möglicherweise digitaler Basis erfaßt werden. Bei horizontaler Ausrichtung dringt kein Licht bis zu der CCD 44 durch. In Fig. 4c deckt das Fluid die CCD 44 vollständig ab.
In Fig. 5 sind eine Anzahl von CCD-Baugruppen 40 kombiniert, um die Neigung in verschiedenen Achsen anzugeben. Es sind drei Baugruppen 40a, 40b und 40c entlang zueinander senkrechter Achsen ausgerichtet und in einen Richtungssensor 12 eingekapselt, um eine Bewegung in drei Richtungen zu erfassen. Die Ausrichtungsinformation der Baugruppen 40a, 40b und 40c wird über ein Kabel 301 zum Prozessor 13 übertragen. Die CCD-Baugruppen können auch Informationen über die Bewegung und die Position des Sensors 12 liefern, indem das Ausgangssignal der CCD-Vorrichtung über der Zeit überwacht wird.
Es ist möglich, nur zwei Vorrichtungen zu verwenden, um alle drei Ausrichtungen zu erhalten, indem die Neigung der Flüssigkeit innerhalb jeder Vorrichtung berücksichtigt wird.
Obwohl diese Beschreibung die Erfindung mit Bezug auf die oben genannten Ausführungsformen erläutert, ist dies nur ein Beispiel, und die Patentansprüche und nicht die Beschreibung begrenzen den Bereich der Erfindung. Durch Bezugnahme auf die obige Beschreibung ergeben sich dem Fachmann verschiedene Modifikationen der offenbarten Ausführungsform sowie alternative Ausführungsformen der Erfindung. Daher decken die beigefügten Patentansprüche die Modifikationen ab, die in den tatsächlichen Bereich der Erfindung fallen.

Claims

1. Schallsystem zur Verwendung bei der Erzeugung der Illusion eines holographischen Schalls in einem System künstlicher Wirklichkeit, wobei das Schallsystem enthält:

ein von einem Verwender zu tragendes Kopfband (11); dadurch gekennzeichnet, daß

eine Mehrzahl von diskreten Schwingungselementen (102) in Umfangsrichtung um das Kopfband (11) herum angeordnet sind, wobei jedes der Elemente (102) so angeordnet ist, daß es selektiv ein entsprechendes individuelles elektrisches Impulssignal empfängt und in Reaktion darauf Schallwellen erzeugt.

2. System nach Anspruch 1, bei dem die Schwingungselemente (102) piezoelektrische Streifen sind.

3. System nach Anspruch 1, bei dem das Schallsystem zusätzlich enthält: einen Prozessor (13) zum Koordinieren der an die Elemente (102) gelieferten Impulssignale.

4. System nach Anspruch 1, bei dem das System künstlicher Wirklichkeit so betreibbar ist, daß es künstliche Sichtumgebungen für eine Mehrzahl von Benutzern erzeugt, wobei jede der Umgebungen vorbestimmte Strukturen enthält, wobei das System künstlicher Wirklichkeit enthält:

einen geographischen Sensor (12), der mit jedem der Benutzer verbindbar ist, um die Relativbewegung des Benutzers betreffende Daten zu liefern;

einen lokalen Prozessor (13) für jeden der Benutzer, um die Daten von dem lokalen Benutzer und von einer Mehrzahl von anderen Benutzern zu empfangen; und

ein Präsentationsmedium (101) zum Liefern von Ansichten der erzeugten Umgebung an jeden der Benutzer, wobei die Ansichten von dem lokalen Prozessor und in Übereinstimmung mit den empfangenen Daten von dem lokalen Benutzer und Daten von den anderen Benutzern gesteuert werden; und

bei dem der Prozessor außerdem so arbeitet, daß er das Liefern der Impulssignale an die Elemente (102) in Verbindung mit den dem Benutzer gelieferten Ansichten koordiniert.

5. System nach Anspruch 4, bei dem die künstliche Umgebung für jeden der Benutzer durch den lokalen Prozessor erzeugt wird und bei dem die Umgebung und die Impulssignale für jeden der Benutzer nur für diesen Benutzer gelten.

6. System nach Anspruch 1, bei dem das System künstlicher Realität so betreibbar ist, daß es eine künstliche Sichtumgebung für einen Benutzer erzeugt, wobei die Umgebung vorbestimmte Strukturen enthält, wobei das System künstlicher Realität enthält:

einen geographischen Sensor (12), der mit dem Benutzer verbindbar ist, um Daten betreffend die Relativbewegung des Benutzers zu liefern;

einen lokalen Prozessor (13) für den Benutzer, um die Daten von dem lokalen Benutzer zu empfangen;

ein Präsentationsmedium (101) zum Liefern von Ansichten der erzeugten Umgebung an den Benutzer, wobei die Ansichten von dem lokalen Prozessor und in Abhängigkeit von den empfangenen Daten von dem lokalen Benutzer gesteuert werden; und

bei dem der Prozessor außerdem so arbeitet, daß er die an die Elemente gelieferten Impulssignale in Verbindung mit den dem Benutzer gelieferten Ansichten koordiniert.

7. Verfahren zum Erzeugen eines Schallsystems, enthaltend das Anordnen eines Kopfbandes (11) um den Kopf eines Benutzers; dadurch gekennzeichnet, daß eine Mehrzahl von diskreten Schwingungselementen (102) in Umfangsrichtung um das Kopfband herum verteilt wird, wobei jedes der Elemente (102) so angeordnet ist, daß es selektiv ein entsprechendes individuelles elektrisches Impulssignal empfängt und in Reaktion darauf Schallwellen erzeugt.

8. Verfahren nach Anspruch 7, ferner enthaltend: ein Liefern von elektrischen Impulsen für ausgewählte diskrete Elemente in Übereinstimmung mit der Herkunftsrichtung, aus welcher ein bestimmter Schall von dem Benutzer wahrgenommen werden soll.

9. Verfahren nach Anspruch 8, bei dem die Schwingungselemente (102) piezoelektrische Elemente sind.

10. Verfahren nach Anspruch 7, bei dem das Verfahren zusätzlich enthält, daß das Liefern der Impulssignale an die Elemente (102) mittels eines Prozessors (13) koordiniert wird, der integraler Bestandteil des Kopfbandes (11) ist.

11. Verfahren nach Anspruch 7, ferner enthaltend: ein Verknüpfen des Schalls mit einem System künstlicher Realität, welches so betreibbar ist, daß es künstliche Sichtumgebungen für eine Mehrzahl von Benutzern erzeugt, wobei jede der Umgebungen vorbestimmte Strukturen enthält.

12. Verfahren nach Anspruch 11, ferner enthaltend:

ein Verbinden eines geographischen Sensors (12) mit jedem der Benutzer, um die Relativbewegung des Benutzers betreffende Daten zu liefern;

ein Empfangen der Daten von dem lokalen Benutzer und von einer Mehrzahl von anderen Benutzern mittels eines lokalen Prozessors (13) für jeden Betrachter; und

ein Liefern von Ansichten der erzeugten Umgebung an jeden der Benutzer, wobei die Ansichten von dem lokalen Prozessor (13) und in Abhängigkeit von den empfangenen Daten von dem lokalen Benutzer und von Daten von den anderen Betrachtern gesteuert werden.

13. Verfahren nach Anspruch 11, bei dem die künstliche Umgebung für jeden der Benutzer von dem lokalen Prozessor (13) erzeugt wird und bei dem die Umgebung und die Impulssignale für jeden der Benutzer nur für diesen Benutzer gelten.