DE102006049404A1

DE102006049404A1 - HMD-Vorrichtung

Info

Publication number: DE102006049404A1
Application number: DE102006049404A
Authority: DE
Inventors: Bernd Spruck
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2006-10-19
Filing date: 2006-10-19
Publication date: 2008-04-30
Also published as: US20100214414A1; WO2008046555A1

Abstract

Es wird bereitgestellt eine HMD-Vorrichtung mit einer auf den Kopf eines Benutzers aufsetzbaren Kopfhalterung (1), einer ein vorbestimmtes Sichtfeld (8) aufweisenden Kamera (2, 4) und einem Anzeigemodul (3, 5), die beide an der Kopfhalterung (1) befestigt sind, wobei im auf den Kopf aufgesetzten Zustand der Kopfhalterung (1) das vorbestimmte Sichtfeld größer ist als ein Gesichtsfeld eines ersten Auges des Benutzers und die Kamera (2, 4) in Blickrichtung des ersten Auges ein Bild der im Sichtfeld (8) liegenden Umgebung aufnimmt und zum Anzeigemodul (3, 5) überträgt, das das Bild dem ersten Auge des Benutzers so darbietet, daß das Bild vollständig im Gesichtsfeld (6) des Benutzers liegt.

Description

Die vorliegende Erfindung betrifft eine HMD-Vorrichtung (Head Mounted Display-Vorrichtung), die insbesondere für Benutzer mit einer Gesichtsfeldeinschränkung geeignet ist.
Solche Gesichtsfeldeinschränkungen treten bei bestimmten Erkrankungen des Auges oder des zugehörigen Nervensystems auf. Wenn eine solche Gesichtsfeldeinschränkung dauerhaft ist und medikamentös nicht behandelt werden kann, wird heutzutage versucht, durch gezieltes Training der Augenbewegung eine gewisse Kompensation des eingeschränkten Gesichtsfeldes zu erzielen. Dieses Training ist jedoch für die Betroffenen mit großem Aufwand und einer erheblichen Umstellung der Sehtätigkeit verbunden.
Ferner wird versucht, mittels der Verwendung einer Prismenbrille eine Verbesserung zu erzeugen. Dies führt aber nur zu einem Versatz des wahrgenommenen Bildes, wodurch keine zusätzliche Sehinformation für den Betroffenen gewonnen wird. Der Betroffene kann die Umwelt daher nur in einem, für ihn sehr eingeschränkten Winkelbereich wahrnehmen.
Ausgehend hiervon ist es Aufgabe der Erfindung, eine HMD-Vorrichtung bereitzustellen, mit der eine Gesichtsfeldeinschränkung kompensiert werden kann.
Erfindungsgemäß wird die Aufgabe gelöst durch eine HMD-Vorrichtung mit einer auf den Kopf eines Benutzers aufsetzbaren Kopfhalterung, einer ein vorbestimmtes Sichtfeld aufweisenden Kamera und einem Anzeigemodul, die beide an der Kopfhalterung befestigt sind, wobei im auf den Kopf aufgesetzten Zustand der Kopfhalterung das vorbestimmte Sichtfeld größer ist als ein Gesichtsfeld eines ersten Auges des Benutzers und die Kamera in Blickrichtung des ersten Auges ein Bild der im Sichtfeld liegenden Umgebung aufnimmt und zum Anzeigemodul überträgt, das das Bild dem ersten Auge des Benutzers so darbietet, daß das Bild vollständig im Gesichtsfeld des Benutzers liegt.
Da das vorbestimmte Sichtfeld größer ist als das Gesichtsfeld des ersten Auges des Benutzers, wird mittels der Kamera ein größerer Bereich der Umgebung aufgenommen, als der Benutzer ohne HMD-Vorrichtung erfassen könnte. Dieser größere Bereich wird ihm dann über das Anzeigemodul für sein Gesichtsfeld angepaßt dargeboten, so daß er trotz eingeschränktem Gesichtsfeld optisch Informationen aus einem größeren Bereich der Umgebung wahrnehmen kann.
Unter Gesichtsfeld wird hier der Bereich verstanden, den der Benutzer ohne HMD-Vorrichtung mit einem Auge ohne Augenbewegung erfassen kann. Das Sichtfeld der Kamera ist der Bereich der Umgebung, den die Kamera aufnehmen kann.
Insbesondere kann das Anzeigemodul ein Sichtfeld aufweisen, in dem das Bild dargeboten wird und das kleiner ist als das Sichtfeld der Kamera. Damit ist es sehr einfach möglich, eine gewünschte Sehwinkeltransformation durchzuführen und dem Benutzer die Informationen des Bildes der im Sichtfeld der Kamera liegenden Umgebung optisch anzubieten.
Das Anzeigemodul kann ein bilderzeugendes Element mit einer Vielzahl von Pixeln und eine Bildeinheit aufweisen, die gemäß einer vorgegebenen Transformationsvorschrift die Bildpunkte des aufgenommenen Bildes den Pixeln zuordnet. Damit wird eine noch größere Flexibilität erreicht und es ist möglich, die HMD-Vorrichtung individuell auf die jeweilige Gesichtsfeldeinschränkung anzupassen.
Wenn die Gesichtsfeldeinschränkung z.B. darin besteht, daß ein gewisser Bereich innerhalb des Gesichtsfelds von dem Benutzer nicht mehr optisch wahrgenommen werden kann, kann die Transformation so vorgegeben werden, daß Bildinformationen, die diesem Bereich entsprechen, in Bereiche transformiert wird, die der Benutzer noch wahrnehmen kann.
Der betroffene Bereich des Gesichtsfeldausfalles bei dem Benutzer kann heutzutage z.B. mit einem Perimeter in Ausmaß und Geometrie sehr genau ermittelt und vermessen werden. Diese Daten können dann dazu benutzt werden, eine geeignete Transformationsvorschrift vorzugeben.
Die HMD-Vorrichtung ist insbesondere so ausgebildet, daß der Benutzer die Umgebung nur noch über die HMD-Vorrichtung und somit über das Anzeigemodul bereitgestellte Bild wahrnimmt. In diesem Fall spricht man auch von einer Video-See-Through-Vorrichtung.
Die Transformationsvorschrift kann insbesondere eine nicht-lineare und/oder eine nicht-monotone Zuordnung bewirken. Es sind also Zuordnungen möglich, die optisch nicht oder nur mit sehr hohem Aufwand realisiert werden könnten.
So können z.B. große Verschiebungen bei der Bilddarstellung mittels des Anzeigemoduls oder Lücken bei der Bilddarstellung verwirklicht werden. Es ist auch möglich, daß das Sichtfeld der Kamera in Unterabschnitte aufgeteilt wird, die jeweils verschieden transformiert werden.
Durch die elektronische Zuordnung mittels der Transformationsvorschrift wird ferner der Vorteil erreicht, daß die HMD-Vorrichtung z.B. in einer Massenproduktion hergestellt werden und jede einzelne HMD-Vorrichtung durch ein entsprechendes Festlegen der Transformationsvorschrift individuell auf den jeweiligen Benutze optimal angepaßt werden kann. Es muß somit nur die Transformationsvorschrift entsprechend gewählt werden. Ferner ist es auch möglich, die Transformationsvorschrift an weitere Änderungen der Gesichtsfeldeinschränkung eines einzelnen Benutzers anzupassen, die im Laufe der Zeit auftreten können.
Insbesondere weist die HMD-Vorrichtung zwei Kameras auf, die jeweils ein Bild für das linke und rechte Auge aufnehmen, das dem linken und rechten Auge auch jeweils separat über das Anzeigemodul dargeboten wird. In diesem Fall ist es auch möglich, die aufgenommenen Bilder für den Benutzer stereoskopisch darzubieten.
Das Anzeigemodul bietet das bzw. die Bilder insbesondere als virtuelles Bild/Bilder dar. Das Anzeigemodul kann wie bei herkömmlichen HMD-Vorrichtungen ausgebildet sein. Es kann insbesondere ein bildgebendes Element und eine Abbildungsoptik aufweisen. Das bildgebende Element kann ein selbstleuchtendes oder auch ein nicht-selbstleuchtendes Element sein, das eine Vielzahl von voneinander unabhängig ansteuerbaren Pixeln aufweist. Ferner ist bevorzugt eine Steuereinheit vorgesehen, der das aufgenommene Bild der Kamera(s) zugeführt wird und das dann das bildgebende Element entsprechend ansteuert. Insbesondere kann das Anzeigemodul für jedes Auge eine Anzeigeeinheit aufweisen, die im wesentlichen gleich ausgebildet ist.
Ferner kann die HMD-Vorrichtung noch eine Detektionsoptik aufweisen, die bevorzugt an der Kopfhalterung befestigt ist und die Augenbewegung des Benutzers detektiert. In Abhängigkeit der Augenbewegung wird dann das Sichtfeld der Kamera gemäß der ermittelten Blickrichtung ausgerichtet. Dies kann elektronisch oder auch mechanisch durch Drehen der Kamera erfolgen.
Es wird ferner ein Anzeigeverfahren für einen Benutzer bereitgestellt, bei dem in Blickrichtung eines ersten Auges des Benutzers ein Bild der in einem vorbestimmten Sichtfeld liegenden Umgebung aufgenommen wird, wobei das vorbestimmte Sichtfeld größer ist als ein Gesichtsfeld des ersten Auges des Benutzers, und bei dem das Bild dem ersten Auge des Benutzers so dargeboten wird, daß das Bild vollständig im Gesichtsfeld des Benutzers liegt. Damit ist es möglich, daß ein Benutzer mit einer Gesichtsfeldeinschränkung optisch Informationen aus Bereichen wahrnehmen kann, die er ohne dieses Verfahren aufgrund seiner Gesichtsfeldeinschränkung nicht erfassen könnte.
Bei dem Verfahren kann das Bild in einem Anzeigesichtfeld dargeboten werden, das kleiner ist als das vorbestimmte Sichtfeld. Damit kann besonders einfach die gewünschte Sehwinkeltransformation durchgeführt werden.
Ferner ist es möglich, daß zum Darbieten des Bildes ein bilderzeugendes Element mit einer Vielzahl von Pixeln verwendet wird, wobei die Bildpunkte des aufgenommenen Bildes den Pixeln gemäß einer vorbestimmten Transformationsvorschrift zugeordnet werden. Durch diesen Schritt kann das Anzeigeverfahren optimal auf die jeweilige Gesichtsfeldeinschränkung angepaßt werden.
Die durchgeführte Zuordnung kann insbesondere eine nicht-lineare und/oder eine nicht-monotone Zuordnung sein. Eine solche Zuordnung ist mit rein optischen Mitteln nicht oder nur mit äußerst hohem Aufwand zu realisieren.
Ferner kann für jedes Auge des Benutzers ein Bild aufgenommen werden, das dann dem entsprechenden Auge dargeboten wird. Bevorzugt wird das Bild bzw. die Bilder als virtuelles Bild bzw. virtuelle Bilder dargeboten.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beispielhalber noch näher erläutert. Es zeigen:
1 eine schematische Draufsicht einer ersten Ausführungsform der erfindungsgemäßen HMD-Vorrichtung;
2 eine schematische Ansicht zur Erläuterung des normalen Gesichtsfeldes 7;
3 eine schematische Ansicht zur Erläuterung des eingeschränkten Gesichtsfeldes 6;
4 eine schematische Ansicht zur Erläuterung der mittels der HMD-Vorrichtung von 1 durchgeführten Sehwinkeltransformation;
5 eine schematische Ansicht zur Beschreibung einer anderen Gesichtsfeldeinschränkung;
6 eine schematische Ansicht eines normalen Gesichtsfeldes, und
7 eine schematische Ansicht zur Erläuterung der durchgeführten Transformation bei der Bilderzeugung.
Bei der in 1 gezeigten Ausführungsform der erfindungsgemäßen HMD-Vorrichtung HV umfaßt diese eine auf den Kopf (nicht gezeigt) eines Benutzers aufsetzbare Kopfhalterung 1, die in Form eines Brillengestells ausgebildet ist. Für den Benutzer sind lediglich die beiden Augen LA, RA jeweils schematisch als Kreis in 1 eingezeichnet.
An der Kopfhalterung 1 ist für ein rechtes Auge RA des Benutzers eine erste Kamera 2 sowie eine erste Anzeigeeinheit 3 befestigt. In gleicher Weise ist für das linke Auge LA des Benutzers eine zweite Kamera 4 sowie eine zweite Anzeigeeinheit 5 an der Kopfhalterung 1 befestigt. Da die beiden Kameras 2 und 4 sowie die beiden Anzeigeeinheiten 3 und 5 im wesentlichen gleich ausgebildet sind und betrieben werden, wird im folgenden hauptsächlich die Funktion der HMD-Vorrichtung mit Bezug auf das rechte Auge RA des Benutzers beschrieben.
Die HMD-Vorrichtung HV ist so ausgebildet, daß die Kameras 2, 4 die Umgebung in Blickrichtung des Benutzers aufnehmen und ihm diese Umgebung über die Anzeigeeinheiten 3, 5 anzeigen. Der Benutzer sieht somit die Umgebung nicht mehr direkt, sondern nur mittels der Anzeigeeinheiten 3, 5. Eine solche HMD-Vorrichtung wird häufig Video-See-Through-Vorrichtung genannt.
Wie in 2 schematisch dargestellt ist, liegen im normalen Gesichtsfeld 7 in einer Ebene E vor dem Benutzer drei Objekte 9, 10 und 11. Es wird angenommen, daß das Gesichtsfeld 6 des Benutzers aufgrund einer Erkrankung des rechten Auges RA eingeschränkt ist. Aufgrund des eingeschränkten Gesichtsfeldes 6 sieht der Benutzer, wie in 3 veranschaulicht ist, jedoch nur noch das mittlere Objekt 10 (Kreuz) komplett. Das linke und rechte Objekt 9, 11 (Dreieck und Kreisring) sieht er nur noch zum Teil.
Mit der ersten Kamera 2 wird das gesamte normale Gesichtsfeld 7, das ein gesunder Benutzer mit seinem rechten Auge RA erfassen würde, mit allen drei Objekten 9–11 aufgenommen, da das Sichtfeld 8 der ersten Kamera 2 so ausgelegt ist, daß es in der Ebene E mit dem normalen Gesichtsfeld 7 zusammenfällt. Das aufgenommene Bild wird von der ersten Kamera 2 zur ersten Anzeigeeinheit 3 übertragen, die dem Benutzer das aufgenommene Bild so darbietet, daß alle Bildinformationen des normalen Gesichtsfeldes 7 in das für den Benutzer nur noch erfaßbare eingeschränkte Gesichtsfeld 6 projiziert wird. Für den Benutzer erfolgt somit eine Sehwinkeltransformation, so daß er wiederum alle Objekte 9–11 wahrnehmen kann, wie in 4 schematisch dargestellt ist.
Bei der hier vorliegenden Ausführungsform wird diese Sehwinkeltransformation dadurch erreicht, daß das Sichtfeld 8 der ersten Kamera größer ist als das Sichtfeld, in dem die erste Anzeigeeinheit 3 das aufgenommene Bild darstellt. Für die zweite Anzeigeeinheit 5 ist das Sichtfeld 8' bei der Bildprojektion schematisch dargestellt.
So kann die Kamera beispielsweise einen Öffnungswinkel von 80° aufweisen und die erste Anzeigeeinheit 3 das Bild in einem Öffnungswinkel von 40° projizieren. Damit wird der für den Benutzer wahrnehmbare reale Blickwinkel verdoppelt. Wenn z.B. das eingeschränkte Gesichtsfeld 6 des Benutzers in einer ersten Richtung einen Öffnungswinkel von 40° aufweist, kann der Benutzer mit der HMD-Vorrichtung von 1 durch die Darstellung über die erste Anzeigeeinheit 3 die Umgebung mit einem Gesichtsfeldwinkel von 80° wahrnehmen. Selbst bei einem eingeschränkten Gesichtsfeld 6 mit einem Öffnungswinkel von 20° würde der Benutzer die Umgebung mit einem Gesichtsfeldwinkel von 40° wahrnehmen können. Der für den Benutzer erfaßbare Umgebungsbereich wird somit verdoppelt. Die HMD-Vorrichtung HV transformiert somit vorher für den Benutzer nicht sichtbare Bereiche in einen Winkelbereich, in dem der Benutzer ein Bild wahrnehmen kann.
Die erste Anzeigeeinheit 3 ist gleich wie die zweite Anzeigeeinheit 5 aufgebaut. Bei der zweiten Anzeigeeinheit 5 ist schematisch dargestellt, daß die Anzeigeeinheiten 3, 5 jeweils ein bildgebendes Element 12, eine Abbildungsoptik 13 sowie eine Steuereinheit 14 aufweisen. Die Bilddaten der Kamera 2, 4 werden über eine Leitung 15 der Steuereinheit 14 zugeführt, die über eine Verbindung 16 das bildgebende Element 12 so ansteuert, daß das aufgenommene Bild darstellt wird. Das aufgenommene Bild wird dann mittels der Abbildungsoptik 13 dem Benutzer als virtuelles Bild dargeboten. Als bildgebendes Element wird hier ein selbst leuchtendes Element eingesetzt, ein OLED-Modul, das eine Vielzahl von voneinander unabhängig ansteuerbaren Pixeln (nicht gezeigt) zur Bilderzeugung aufweist.
Bei der beschriebenen Ausführungsform wird die Erweiterung des wahrnehmbaren Gesichtsfeldes für den Benutzer durch die unterschiedlichen Sichtfelder und von Kamera 2, 4 und Anzeigeeinheit 3, 5 erreicht.
In einer Weiterbildung ist es möglich, die Steuereinheit 14 so auszubilden, daß sie eine vorbestimmte Zuordnung zwischen den Bildpunkten des aufgenommenen Bildes und den Pixeln des bildgebenden Elementes 12 durchführt. Damit können insbesondere Transformationen durchgeführt werden, die optisch nicht möglich sind. Darüber hinaus ist eine optimale Anpassung der HMD-Vorrichtung an den jeweiligen Benutzer möglich. So muß nur die genaue Gesichtsfeldstörung des Benutzers gemessen werden (beispielsweise mit einem Perimeter). Anhand dieser Daten kann dann die Transformation festgelegt werden, die die Steuereinheit 14 durchführen muß.
In 5 ist schematisch ein eingeschränktes Gesichtsfeld 6 eines Benutzers gezeigt, der aufgrund einer Erkrankung in einem zentralen Bereich 17 des Gesichtsfeldes 6 keine Bildinformationen erfassen kann.
Die durch die Steuereinheit 14 durchzuführende Transformation wird in diesem Fall so festgelegt, daß die Bildinformationen des zentralen Bereiches 17' (6) im aufgenommenen Bild, die der Benutzer aufgrund seines eingeschränkten Gesichtsfeldes 6 nicht wahrnehmen könnte, dem Benutzer in einem Kreisring um den zentralen Bereich 17 herum dargestellt werden (7). Anders gesagt, werden dem Benutzer die gesamten Bildinformationen des normalen Gesichtsfeldes 7 in dem kreisringförmigen Gesichtsfeldbereich 18 (5), den der Benutzer noch wahrnehmen kann, dargestellt.
Dies ist in 6 und 7 durch die eingezeichneten Unterteilungen, die natürlich nicht sichtbar sind und nur zur Erläuterung dienen, schematisch verdeutlicht. So wird das Kreissegment 19 des zentralen Bereiches 17' in das Kreisringsegment 20 transformiert. Entsprechend werden die Kreisringsegmente 21 und 22 in die Kreisringsegmente 23 und 24 transformiert. Es kommt damit zwar zu einer Verzerrung des Bildes. Es hat sich aber gezeigt, daß ein Benutzer, der die HMD-Vorrichtung HV trägt, sich nach einer gewissen Zeit auf diese Verzerrung eingestellt hat und das dargebotene Bild unverzerrt wahrnimmt.
Die in 1 gezeigte HMD-Vorrichtung ist für stereoskopische Wahrnehmung ausgelegt. Aufgrund des großen seitlichen Abstandes der beiden Kameras 2, 4 wird der Vorteil erreicht, daß bei Verwendung von Weitwinkelobjektiven die entsprechend größere Stereobasis bereitgestellt wird, um dieselbe Tiefenwahrnehmung wie bei der natürlichen Betrachtung der Umgebung wahrnehmen zu können.

Claims

HMD-Vorrichtung mit einer auf den Kopf eines Benutzers aufsetzbaren Kopfhalterung (1), einer ein vorbestimmtes Sichtfeld (8) aufweisenden Kamera (2, 4) und einem Anzeigemodul (3, 5), die beide an der Kopfhalterung (1) befestigt sind, wobei im auf den Kopf aufgesetzten Zustand der Kopfhalterung (1) das vorbestimmte Sichtfeld größer ist als ein Gesichtsfeld eines ersten Auges des Benutzers und die Kamera (2, 4) in Blickrichtung des ersten Auges ein Bild der im Sichtfeld (8) liegenden Umgebung aufnimmt und zum Anzeigemodul (3, 5) überträgt, das das Bild dem ersten Auge des Benutzers so darbietet, daß das Bild vollständig im Gesichtsfeld (6) des Benutzers liegt.
Vorrichtung nach Anspruch 1, bei der das Anzeigemodul (2, 4) ein Sichtfeld (8') aufweist, in dem das Bild dargeboten wird und das kleiner ist als das Sichtfeld (8) der Kamera (2, 4).
Vorrichtung nach einem der obigen Ansprüche, bei dem das Anzeigemodul (3, 5) ein bilderzeugendes Element (12) mit einer Vielzahl von Pixeln und eine Bildeinheit (14) aufweist, die gemäß einer vorgegebenen Transformationsvorschrift die Bildpunkte des aufgenommenen Bildes den Pixeln zuordnet.
Vorrichtung nach Anspruch 3, bei dem die Transformationsvorschrift eine nicht-lineare Zuordnung bewirkt.
Vorrichtung nach Anspruch 3 oder 4, bei dem die Transformationsvorschrift eine nicht-monotone Zuordnung bewirkt.
Vorrichtung nach einem der obigen Ansprüche, die eine weitere Kamera, die an der Kopfhalterung befestigt ist, aufweist, so daß für jedes Auge (LA, RA) des Benutzers eine Kamera (2, 4) vorgesehen ist, die ein Bild aufnimmt, das mittels des Anzeigemoduls (3, 5) dem entsprechenden Auge (LA, RA) dargeboten wird.
Vorrichtung nach einem der obigen Ansprüche, bei der das Anzeigemodul (3, 5) das Bild als virtuelles Bild darbietet.
Anzeigeverfahren für einen Benutzer, bei dem in Blickrichtung eines ersten Auges des Benutzers ein Bild der in einem vorbestimmten Sichtfeld liegenden Umgebung aufgenommen wird, wobei das vorbestimmte Sichtfeld größer ist als ein Gesichtsfeld des ersten Auges des Benutzers, und bei dem das Bild dem ersten Auge des Benutzers so dargeboten wird, daß das Bild vollständig im Gesichtsfeld des Benutzers liegt.
Verfahren nach Anspruch 8, bei dem das Bild in einem Anzeigesichtfeld dargeboten wird, das kleiner ist als das vorbestimmte Sichtfeld.
Verfahren nach Anspruch 8 oder 9, bei dem zum Darbieten des Bildes ein bilderzeugendes Element mit einer Vielzahl von Pixeln verwendet wird, wobei die Bildpunkte des aufgenommenen Bildes den Pixeln gemäß einer vorgegebenen Transformationsvorschrift zugeordnet werden.
Verfahren nach Anspruch 10, bei dem aufgrund der Transformationsvorschrift eine nichtlineare Zuordnung durchgeführt wird.
Verfahren nach Anspruch 10 oder 11, bei dem aufgrund der Transformationsvorschrift eine nicht-monotone Zuordnung durchgeführt wird.
Verfahren nach einem der Ansprüche 8 bis 12, bei dem für jedes Auge des Benutzers ein Bild aufgenommen und dem entsprechenden Auge (LA, RA) dargeboten wird.
Verfahren nach einem der Ansprüche 8 bis 13, bei dem das Bild als virtuelles Bild dargeboten wird.