DE10139689B4 - Unterscheidungsfreie Überlagerung von virtuellen und realen Objekten - Google Patents

Abstract

Verfahren zur Erzeugung eines von einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objekts auf einer Anzeige, bei dem das virtuelle Objekt in einer virtuellen Entfernung von den Augen eines Betrachters stereoskopisch auf die Anzeige projiziert wird, bei dem eine Fixationsentfernung zwischen den Augen des Betrachters und dem realen Objekt ermittelt wird, bei dem mit Hilfe der Fixationsentfernung eine Disparität zwischen dem realen Objekt und dem virtuellen Objekt berechnet wird, und bei dem mit Hilfe der errechneten Disparität die virtuelle Entfernung des virtuellen Objekts von den Augen des Betrachters so verändert wird, dass die Disparität im wesentlichen aufgelöst wird.

Description

• Die Erfindung betrifft ein Verfahren zur Erzeugung eines von einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objekts auf einer Anzeige. Des weiteren betrifft die Erfindung eine Vorrichtung zur Erzeugung eines zu einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objekts. Darüber hinaus betrifft die Erfindung die Verwendung einer solchen Vorrichtung als auch eines solchen Verfahrens in Kraftfahrzeugen.
• Die EP 97 071 A1 offenbart eine Vorrichtung mit einer Aufnahmevorrichtung, wobei eine mittels Aufnahmevorrichtung aufgenommene Information und ein dargestelltes Bild überlagert werden.
• Zur Steigerung der Produktivität und der menschlichen Leistungs- und Urteilsfähigkeit werden Augmented Reality (AR) Technologien eingesetzt. Diese AR-Technologien basieren auf dem Prinzip der Überlagerung von virtuellen und realen Objekten im Auge des Anwenders. Durch die Überlagerung des realen Objekts mit zumindest einem virtuellen Objekt wird der Informationsgehalt beim Betrachten eines realen Objekts für den Anwender erweitert. Um ein ermüdungsfreies Arbeiten zu gewährleisten, darf der Anwender aber nicht durch das virtuelle Objekt gestört werden. Deshalb muss die Projektion eines virtuellen Objekts auf einer Anzeige dem menschlichen Auge angepasst werden.
• Im menschlichen Auge wird das vom betrachteten Objekt emittierte Licht mittels der Augenlinse in ein verkleinertes, umgekehrtes reelles Bild auf der Netzhaut umgewandelt. Die Schärfeeinstellung wird dabei durch die Krümmung der Augenlinse erreicht. Um zwischen zwei Objekten unterscheiden zu können, müssen diese auf zwei verschiedenen Punkten auf der Netzhaut abgebildet werden. Für die Abbildung auf der Netzhaut ist der Sehwinkel ausschlaggebend.
• In 1 ist die Abbildung eines realen Objekts G mit den äußeren Punkten P₁, P₂ auf der Netzhaut eines Auges A in die Bildpunkte P₁, P₂ dargestellt. Die Augenlinse L bestimmt die Schärfeeinstellung auf der Netzhaut. Das reale Objekt G₁ (mit der Höhe G) befindet sich im Objektabstand X₁ vom Auge A. Der Sehwinkel δ berechnet sich zu

  
• Befinden sich zwei Objekte G₁, G₂ in unterschiedlichen Abständen zum Auge A, so werden diese durch eine gegensinnige Drehbewegung der Augen um die vertikale Achse in Relation zur Sehachse S auf korrespondierenden Netzhautstellen abgebildet.
• In 2 ist eine solche Darstellung der Konvergenz, beziehungsweise der Augenbewegung zueinander, zum Nahsehen und der Divergenz, beziehungsweise der Augenbewegung voneinander weg, zum Fernsehen dargestellt. Die Objektebene des Objekts G₁ befindet sich im Abstand X₁ zu der Position des Betrachters X₀. Die Objektebene des Objekts G₂ befindet sich im Abstand X₂ von der Position des Betrachters X₀. Der Betrachter schaut mit den Augen A₁ und A₂ auf die jeweilige Objektebene der Objekte G₁, G₂ unter den Abstandswinkeln Ψ₁, Ψ₂. Für unendlich weit entfernte Objekte ergibt sich ein Abstandswinkel Ψ = 900.
• Zur Unterscheidung der Entfernung zweier verschiedener Objekte vom Standort des Betrachters X₀ wird die Disparität D genutzt. Die Entstehung der Disparität D ist in 3 dargestellt. Wird ein Objekt G₂ durch die Augen A₁, A₂ fokussiert, so liegt der Punkt der stärksten Auflösung, eingestellt durch die Augenlinsen L₁, L₂, in der Mitte der Netzhaut, der Fovea F. Ein zweites Objekt G₁, welches nicht fokussiert ist, wird beabstandet von der Fovea F auf der Netzhaut der Augen A₁, A₂ dargestellt. Der Abstand zwischen der Fovea F und dem Darstellungspunkt des zweiten Objekts G₁ ist die Disparität D. Die Entfernung zwischen Standort des Betrachters X₀ und dem Ort X₂ des fokussierten Objekts G₂ ist die Fixationsentfernung E. Diese ist die Entfernung, auf die der Betrachter fokussiert. Durch die Disparität D erhält der Benutzer einen Eindruck über die Abstände zwischen den Objekten G₁ und G₂.
• Bei der Darstellung von virtuellen Objekten in Head Mounted Displays (HMD) kommt es in herkömmlichen Systemen zu einer Überlagerung zwischen virtuellen Objekten und realen Objekten. Der Begriff der Überlagerung bedeutet eine visuell kongruente Überdeckung von realen Objekten mit virtuellen Objekten. Diese Überlagerung ist dann unterscheidungsfrei, wenn sie vom Anwender als ein Gesamtbild wahrgenommen wird. Werden Objekte nicht als Gesamtbild wahrgenommen, so wechselt der Benutzer die Fokussierung zwischen dem dargestellten und dem realen Objekten, was einer sequentiellen Verarbeitung der Bildinformationen gleichkommt. Bei der unterscheidungsfreien Darstellung werden die Objekte jedoch nicht mehr sequentiell, sondern parallel verarbeitet.
• In 4 ist die Funktionsweise eines herkömmlichen Head Mounted Displays (HMD) dargestellt. Zunächst verfügen bekannte HMD nur über eine fest eingestellte Objektweite. In deren scheinbarem Abstand vom Auge wird das virtuelle Bild in einer Ebene projiziert. Diese Objektweite stimmt jedoch in den seltensten Fällen mit der Objektweite des real betrachteten Objekts überein. Wie in 4 dargestellt wird ein virtuelles Objekt V im Abstand X₂ von der Position des Betrachters X₀ dargestellt.
• Zur Fokussierung auf dieses virtuelle Objekt V muss das Auge A₂ einen Abstandswinkel Ψ_V einstellen. Im Gegensatz zum virtuellen Objekt V befindet sich das reale Objekt G im Abstand X₁ von der Position des Betrachters X₀. Zur Fokussierung dieses realen Objekts G muss der Abstandswinkel Ψ_R eingehalten werden. Zur Betrachtung des realen Objekts G beziehungsweise des virtuellen Objekts V muss der Anwender die beiden Objekte G, V sequentiell fokussieren, da sie unterschiedliche Objektweiten aufweisen. Dadurch wird eine Unterscheidung zwischen realem Objekt G und virtuellem Objekt V durchgeführt und es kommt nicht zu einer unterscheidungsfreien Wahrnehmung der Objekte.
• Auch ist es möglich, dass ein virtuelles Objekt V und ein reales Objekt G in einer gleichen Ebene X₁ liegen. Eine solche Konstellation ist in 5 dargestellt. Zwar befinden sich das reale Objekt G und das virtuelle Objekt V in einer gleichen Objektebene, jedoch nimmt der Benutzer das virtuelle Objekt V automatisch in unendlicher Entfernung vom Auge an. Dies entspricht einem Abstandswinkel Ψ_V von 90°. Das reale Objekt jedoch erscheint im endlichen Abstand vom Auge, wobei der Abstandswinkel Ψ_R kleiner 90° ist. Der Anwender verarbeitet daher die vorhandenen Informationen sequentiell. Dies führt dazu, dass eine unterscheidungsfreie Überlagerung nicht möglich ist. Lediglich wenn die Objektweiten des virtuellen Objekts V, wie auch des realen Objektes G gegen unendlich gehen, ist eine unterscheidungsfreie Überlagerung durch den Anwender möglich.
• Nachteilig an bekannten Verfahren ist deshalb, dass eine unterscheidungsfreie Überlagerung nicht möglich ist. Der Anwender verarbeitet bei bekannten Verfahren die Informationen stets sequentiell.
• Der Erfindung liegt daher die Aufgabe zugrunde, eine unterscheidungsfreie Überlagerung von virtuellen und realen Objekten zu ermöglichen. Eine weitere Aufgabe der Erfindung ist es, ein ermüdungsfreies Arbeiten zu ermöglichen. Zusätzlich liegt der Erfindung die Aufgabe zugrunde, eine parallele Verarbeitung von virtuellen und realen Objekten zu ermöglichen.
• Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, bei dem das virtuelle Objekt in einer virtuellen Entfernung von den Augen eines Betrachters auf die Anzeige projiziert wird, bei dem eine Fixationsentfernung zwischen den Augen des Betrachters und dem realen Objekt ermittelt wird, bei dem mit Hilfe der Fixationsentfernung eine Disparität zwischen dem realen Objekt und dem virtuellen Objekt berechnet wird, und bei dem mit Hilfe der errechneten Disparität die virtuelle Entfernung des virtuellen Objekts vom Auge des Betrachters so verändert wird, dass die Disparität im wesentlichen aufgelöst wird. Die Disparität wird dadurch aufgelöst, dass die Objektweiten des virtuellen Objektes und des realen Objektes angepasst werden, wodurch sich die Abbildung des virtuellen Objekts in Richtung Fovea verschiebt. Außerdem ist es notwendig, die virtuellen Objekte stereoskopisch zu Visualisierung, wodurch der Abstandswinkel für beide Augen gleich ist.
• Zunächst wird ein virtuelles Objekt auf der Anzeige stereoskopisch projiziert. Durch geeignete Mittel wird ermittelt, welche Fixationsentfernung zwischen den Augen des Betrachters und dem realen Objekt eingestellt ist. Dies ist abhängig davon, welches reale Objekt der Benutzter fokussiert. Da zumeist die Objektweite des virtuellen Objekts von der Objektweite des realen Objekts abweicht, entsteht auf der Netzhaut eine Disparität. Diese Disparität kann durch Vergleich der Fixationsentfernung und der Objektweite des virtuellen Objekts ermittelt werden. Mit Hilfe der nun ermittelten Disparität ist eine Berechnung der Verschiebung der Objektweite des virtuellen Objekts zur Unterdrückung der Disparität möglich. Die Objektweite des virtuellen Objekts wird entsprechend dieser Berechnung der Objektweite des realen Objekts angepasst. Danach ist die Disparität zwischen Abbildung des virtuellen Objekts und des realen Objekts im wesentlichen Null.
• In vorteilhafter Weise wird die Fixationsentfernung des Betrachters von dem realen Objekt mit Hilfe einer Entfernungsmessung, einer Laufzeitmessung oder einer Augapfelpositionsmessung ermittelt. Die automatische Entfernungsmessung entspricht dem bekannten Autofokus. Die Laufzeitmessung kann durch Ermittlung von Signallaufzeiten eines Echos zwischen realem Objekt und Betrachter durchgeführt werden. Bei der Augapfelpositionsmessung wird in den Augapfel hinein gemessen und dadurch der Fokus der Augen ermittelt.
• Eine Recheneinheit, die den Unterschied zwischen den Objektweiten des realen und des virtuellen Objekts berechnet, kann drahtlos, beispielsweise per Funk, per Infrarot oder per Ultraschall, als auch drahtgebunden angesteuert werden. Die Recheneinheit kann dabei sowohl an der Anzeigeeinrichtung selbst als auch räumlich davon entfernt angeordnet sein.
• Um stets ein ermüdungsfreies Arbeiten zu gewährleisten ist es vorteilhaft, dass die Messung der Fixationsentfernung und die Errechnung der Disparität sowie die Veränderung der virtuellen Entfernung kontinuierlich und im wesentlichen in Echtzeit durchgeführt wird. Das bedeutet, dass fortlaufend die Projektion des virtuellen Objekts der Fokussierung eines realen Objekts angeglichen wird. Der Benutzer fokussiert während seiner Arbeit ständig neue Objekte in unterschiedlichen Entfernungen. Diesen neuen Fokussierungen, beziehungsweise den veränderten Fixationsentfernungen, müssen daher die Objektweiten des virtuellen Objekts angepasst werden, da ansonsten erneut Disparitäten auftreten. Die Anpassung der virtuellen Objektweite an die reale Objektweite muss schnell erfolgen, da ansonsten die Überlagerung der Bildinformationen für den Anwender unangenehm ist.
• Häufig ist es auch notwendig, dass die angezeigte Information syntaktisch zu dem jeweils betrachteten realen Objekt passt. Daher wird vorgeschlagen, dass das virtuelle Objekt in Abhängigkeit von dem durch den Benutzer betrachteten realen Objekt verändert wird. In Abhängigkeit des betrachteten Bauteils werden beispielsweise unterschiedliche Bauteilinformationen als virtuelle Objekte in die Anzeige projiziert.
• Ein weiterer Gegenstand der Erfindung ist eine Vorrichtung zur Erzeugung eines zu einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objekts insbesondere mit einem vorher beschriebenen Verfahren, mit Anzeigemitteln zur stereoskopischen Anzeige des virtuellen Objekts in einer virtuellen Entfernung vor den Augen eines Betrachters, mit Einstellmitteln zum Einstellen der virtuellen Entfernung des virtuellen Objekts, mit Mitteln zur Ermittlung einer Fixationsentfernung zwischen Auge des Betrachters und dem realen Objekt, und mit Rechenmitteln zur Berechnung einer Disparität zwischen der virtuellen Entfernung und der Fixationsentfernung.
• Es ist bevorzugt, dass die Anzeigemittel aus einem Durchsichtsystem zur Visualisierung computergenerierter Informationen, einem Retina Display oder einem Projektionsbildschirm gebildet sind. Dabei kommen sowohl Head Mounted Displays (HMD) als auch Projektionsdisplays in Betracht. Auch ist es möglich, dass die Anzeigemittel die virtuellen Informationen auf halbdurchlässige Spiegel, beispielsweise die Windschutzscheibe eines Automobils, projizieren.
• Ein weiterer Gegenstand der Erfindung ist die Verwendung einer vorbeschriebenen Vorrichtung oder eines vorbeschriebenen Verfahrens in Kraftfahrzeugen, in der Kraftfahrzeugproduktion, in der Qualitätsprüfung oder in der Kraftfahrzeugentwicklung.
• Im folgenden wird die Erfindung anhand einer ein Ausführungsbeispiel zeigenden Zeichnung näher erläutert. Die 6 zeigt den schematischen Aufbau einer erfindungsgemäßen Vorrichtung, wobei der zeitliche Ablauf eines erfindungsgemäßen Verfahrens erkennbar ist. In der 6 sind die Augen A₁, A₂, die Fovea F, die Disparität D, die Sehachse S das reale Objekt G, das virtuelle Objekt V, die reale Objektweite X₁, die virtuelle Objektweite X₂, die Fixationsentfernung E, die Differenz Δ zwischen den Objektweiten des virtuellen und des realen Objekts, Mittel 1 zur Ermittlung der Fixationsentfernung E, eine ansteuerbare Visualisierungseinrichtung 2 sowie ein Rechnersystem 3 dargestellt.
• Zum Zeitpunkt t = 0 wird durch die ansteuerbare Visualisierungseinrichtung 2 ein virtuelles Objekt V in der Entfernung X₂ von den Augen A₁, A₂ des Anwenders dargestellt. Zeitgleich fokussiert der Anwender in der Fovea F das reale Objekt G in der Entfernung X₁. Die Fokussierung des realen Objekts G bestimmt die Fixationsentfernung E. Durch die Differenz Δ zwischen den Objektweiten des virtuellen Objekts V und des realen Objekts G entsteht auf der Netzhaut der Augen A₁, A₂ eine Disparität D. Die Fixationsentfernung E wird mit Hilfe der Mittel 1 ermittelt, wozu die Augen A₁, A₂ des Anwenders ausgemessen werden.
• Die Informationen zur Fixationsentfernung E und zur Objektweite X₂ des virtuellen Objekts V werden zum Zeitpunkt t = 1 an das Rechnersystem 3 übermittelt. Im Rechnersystem 3 wird daraufhin die Disparität D ermittelt und ein Verschiebungsvektor für eine Verschiebung der Objektweite X₂ des virtuellen Objekts V errechnet.
• Der errechnete Verschiebungsvektor wird zum Zeitpunkt t = 2 an die ansteuerbare Visualisierungseinrichtung 2 durch das Rechnersystem 3 übermittelt. Mit Hilfe dieser Informationen stellt die ansteuerbare Visualisierungseinrichtung 2 die Objektweite X₂ des virtuellen Objekts V auf die Objektweite X₁ des realen Objekts G ein. Das bedeutet, dass die Differenz Δ zwischen den Objektweiten X₁, X₂ gleich Null ist. Die von den Mittel 1 ermittelte Fixationsentfernung E stimmt zu diesem Zeitpunkt mit der Objektweite X₂ des virtuellen Objekts V überein. Eine Disparität D ist nicht mehr vorhanden.
• Fokussiert der Benutzer nun auf ein zweites reales Objekt G, welches in einer anderen Entfernung X₁ von den Augen A₁, A₂ liegt, so wird die Differenz zwischen der realen Objektweite X₁ und virtuellen Objektweite X₂ erneut wie beschrieben berechnet und die Disparität D ausgeglichen. Dieser Abgleich wiederholt sich kontinuierlich und nahezu in Echtzeit.
• Erfindungsgemäß ist erkannt worden, dass zur Darstellung von unterscheidungsfreien wahrnehmbaren virtuellen Objekten eine stereoskopische Anzeige notwendig ist, die eine Verschiebung der virtuellen Objektweite in Richtung der Fixationsentfernung ermöglicht.
• Bezugszeichenliste

Δ

Differenz

δ

Sehwinkel

ΨR,V

Abstandswinkel

1

Mittel zur Ermittlung der Fixationsentfernung

2

ansteuerbare Visualisierungseinrichtung

3

Rechnersystem

A

Auge

D

Disparität

F

Fovea

G

reales Objekt

L

Augenlinse

P'

Bildpunkte

P

Objektpunkte

S

Sehachse

V

virtuelles Objekt

X0

Betrachterposition

X1,2

Objektweiten

Claims (8)

1. Verfahren zur Erzeugung eines von einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objekts auf einer Anzeige, bei dem das virtuelle Objekt in einer virtuellen Entfernung von den Augen eines Betrachters stereoskopisch auf die Anzeige projiziert wird, bei dem eine Fixationsentfernung zwischen den Augen des Betrachters und dem realen Objekt ermittelt wird, bei dem mit Hilfe der Fixationsentfernung eine Disparität zwischen dem realen Objekt und dem virtuellen Objekt berechnet wird, und bei dem mit Hilfe der errechneten Disparität die virtuelle Entfernung des virtuellen Objekts von den Augen des Betrachters so verändert wird, dass die Disparität im wesentlichen aufgelöst wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mit Hilfe einer Entfernungsmessung, einer Laufzeitmessung oder einer Augapfelpositionsmessung die Fixationsentfernung des Betrachters von dem realen Objekt ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die ermittelte Fixationsentfernung drahtlos oder drahtgebunden an eine Recheneinheit übermittelt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Messung der Fixationsentfernung und die Errechnung der Disparität sowie die Veränderung der virtuellen Entfernung kontinuierlich und in Echtzeit durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das virtuelle Objekt in Abhängigkeit von dem durch den Benutzer betrachteten realen Objekt verändert wird.
6. Vorrichtung zur Erzeugung eines zu einem realen Objekt unterscheidungsfrei wahrnehmbaren virtuellen Objektes mit einem Verfahren nach einem der Ansprüche 1 bis 5, mit Anzeigemitteln zur stereoskopischen Anzeige des virtuellen Objektes in einer virtuellen Entfernung vor den Augen eines Betrachters, mit Einstellmitteln zum Einstellen der virtuellen Entfernung des virtuellen Objektes, mit Mitteln zur Ermittlung einer Fixationsentfernung zwischen den Augen des Betrachters und dem realen Objekt, und mit Rechenmitteln zur Berechnung einer Disparität zwischen der virtuellen Entfernung und der Fixationsentfernung.
7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Anzeigemittel aus einem Durchsichtsystem zur Visualisierung computergenerierter Informationen, einem Retina Display oder einem Projektionsbildschirm gebildet sind.
8. Verwendung einer Vorrichtung nach Anspruch 6 oder 7 oder eines Verfahrens nach einem der Ansprüche 1 bis 5 in Kraftfahrzeugen, in der Kraftfahrzeugproduktion, in der Qualitätsprüfung oder in der Kraftfahrzeugentwicklung.

Images