DE102015219859B4

DE102015219859B4 - Vorrichtung und Verfahren für die AR-Darstellung

Info

Publication number: DE102015219859B4
Application number: DE102015219859.6A
Authority: DE
Inventors: Jeremias Gromotka
Original assignee: Carl Zeiss Vision International GmbH
Current assignee: Carl Zeiss Vision International GmbH
Priority date: 2015-10-13
Filing date: 2015-10-13
Publication date: 2017-07-27
Anticipated expiration: 2035-10-14
Also published as: US10573080B2; US20180225878A1; DE102015219859A1; WO2017064063A1

Abstract

Augmented Reality(AR)-System, das aufweist: a. ein Head Mounted Display (HMD) mit einem holographischen Display (2, 3), b. eine Einrichtung zur Generierung von Virtual Reality(VR)-Lichtfelddaten, dadurch gekennzeichnet, dass es weiter aufweist: c. eine Einrichtung (9) zur Aufnahme von Lichtfelddaten der Umgebung, d. eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der Virtual Reality(VR)-Lichtfelddaten zu Augmented Reality(AR)-Lichtfelddaten und Ansteuerung des holographischen Displays (2, 3), e. eine Einrichtung zur Korrektur der Augmented Reality(AR)-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers.

Description

Die Erfindung betrifft ein AR(Augmented Reality)-System, mit einem HMD (Head mounted display) mit einem holographischen Display sowie einer Einrichtung zur Generierung von VR(Virtual Reality)-Lichtfelddaten. Gegenstand der Erfindung ist ferner ein Verfahren zum Darstellen von AR-Darstellungen in bzw. unter Verwendung eines erfindungsgemäßen Systems.
VR(Virtual Reality)-Systeme sind aus offenkundiger Vorbenutzung bekannt. Sie erlauben es, einem Benutzer eine computergenerierte virtuelle Darstellung bzw. Realität darzustellen.
Ebenfalls bekannt sind AR(Augmented Reality)-Systeme, bei denen der Benutzer einerseits die Umgebung direkt optisch wahrnehmen kann, andererseits zusätzlich VR-Daten in seinem Sichtfeld erscheinen. Diese AR-Systeme erlauben es, einem Benutzer beim Blick auf die Umgebung Zusatzinformationen in Form von VR-Daten zur Verfügung zu stellen. Ein aus offenkundiger Vorbenutzung bekanntes AR-System ist beispielsweise Google Glass^®.
Aus WO 2015/032828 A1 ist ein AR-System bekannt, bei dem eine Korrektur der eingebrachten VR-Daten anhand ophthalmologischer Parameter des Benutzers vorgesehen ist.
Weitere AR-Systeme sind aus WO 2015/179446 A1 und WO 2013/162977 A1 bekannt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren der eingangs genannten Art zu schaffen, dass eine gute AR-Darstellung bietet und eine einfache Möglichkeit der Anpassung an verschiedene Benutzer erlaubt.
Die Aufgabe wird erfindungsgemäß durch die Gegenständer der unabhängigen Patentansprüche 1 und 11 gelöst.
Zunächst seien einige im Rahmen der Erfindung verwendete Begriffe erläutert.
AR(Augmented Reality)-Systeme erlauben einem Benutzer die gleichzeitige visuelle Wahrnehmung sowohl der Umgebung (entweder direkt oder indirekt durch Darstellung einer Kameraaufnahme der Umgebung) als auch optisch überlagerter oder eingeblendeter grafischer Zusatzdaten, dabei kann es sich beispielsweise um Bilder, alphanumerische Zeichen oder dergleichen handeln.
HMD (Head mounted displays) sind auf dem Kopf getragene visuelle Ausgabegeräte, die dem Benutzer optische Daten und Bilder präsentieren können. Sie können beispielsweise als Brillen, Masken, Helme, Kontaktlinsen oder dergleichen ausgebildet sein. Im Rahmen der Erfindung werden bevorzugt geschlossene HMD verwendet, die den Benutzer ausschließlich computergenerierte optische Darstellungen wahrnehmen lassen und keine direkte visuelle Wahrnehmung der Umgebung ermöglichen.
Ein holographisches Display ist eine Einrichtung, die ein computergeneriertes holographisches Interferenzmusterbild darstellen kann, das in der Wahrnehmung einem stereoskopischen Bild entspricht. Holographische Displays sind im Stand der Technik bekannt und beispielsweise in US 2014/0293386 A1 beschrieben.
Eine Einrichtung zur Generierung von VR(Virtual Reality)-Lichtfelddaten erzeugt VR-Lichtfelddaten, die mittels eines holographischen Displays eine SD-Darstellung dieser (künstlich erzeugten) grafischen Daten erlauben.
Lichtfelddaten werden beschrieben durch eine Vektorfunktion, die für jeden Raumpunkt und jede Raumrichtung die Strahldichte des Lichts beschreibt.
Eine Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung erlaubt die Erfassung des Lichtfelds einer beobachteten Umgebung bzw. Szene. Bevorzugt ist diese Einrichtung erfindungsgemäß als Lichtfeldkamera oder plenoptische Kamera ausgebildet. Grundsätzlich kann die Aufnahme von Lichtfelddaten der Umgebung auch auf andere Art und Weise erfolgen, beispielsweise durch Mehrfachbelichtung eines regulären Bildsensors mit wechselnder Brennweite. Besonders bevorzugt erlaubt die Einrichtung die Aufnahme und Erstellung von Lichtfelddaten der Umgebung in Echtzeit.
Ein wesentliches Element der Erfindung ist eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR(Augmented Reality)-Lichtfelddaten. Erfindungsgemäß ist somit vorgesehen, dass die AR-Darstellung keine Mischdarstellung aus einer direkten optischen Wahrnehmung der Umgebung mit hinzugefügten VR-Daten ist, sondern die gesamte AR-Darstellung einschließlich der Darstellung der Umgebung vollständig computergeneriert mittels des holographischen Displays erfolgt.
Die mit Lichtfelddaten der Umgebung zusammen geführten VR-Lichtfelddaten können computergenerierte bzw. simulierte Daten aufweisen, sie können auch Daten von einer räumlich entfernt angeordneten Lichtfeldkamera aufweisen, beispielsweise für Telepräsenzanwendungen.
Diese erfindungsgemäße Vorgehensweise erlaubt es, sämtliche Möglichkeiten zur Darstellung und gegebenenfalls Korrektur von mittels eines holographischen Displays dargestellter Lichtfelddaten nicht nur auf die VR-Elemente einer gemischten AR-Darstellung mit direkter Wahrnehmung der Umgebung anzuwenden, sondern auch auf die Gesamtdarstellung einschließlich der Umgebung und somit der Wahrnehmung der Umgebung.
Erfindungsgemäß weist das System zusätzlich eine Einrichtung zur Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers auf.
Der Begriff der ophthalmologischen Daten des Benutzers bezeichnet Daten, die Informationen zum individuellen Sehvermögen bzw. den Seheigenschaften eines Benutzers umfassen. Dabei kann es sich beispielsweise um sagenannte Verschreibungsdaten, die definierte Fehlsichtigkeiten des Benutzers erfassen, handeln. Solche Verschreibungsdaten sind beispielsweise Sphäre; Zylinder und Achse (Korrektur des Astigmatismus); prismatische Korrektur; Aberrationen höherer Ordnung; Addition (Korrektur der Presbyopie) und dergleichen.
Es kann sich jedoch auch um andere ophthalmologische Daten handeln, beispielsweise vorgegebene Daten im Zuge der Ermittlung von ophthalmologischen Daten eines Benutzers.
Ferner kann es sich um Sensitivitätsdaten handeln, die beispielsweise die spektrale Empfindlichkeit oder Helligkeitsempfindlichkeit der Augen beschreiben. Die Kenntnis der spektralen Empfindlichkeit ermöglicht erfindungsgemäß beispielsweise die Korrektur von Farbsehschwächen. Die Kenntnis der Helligkeitsempfindlichkeit ermöglicht beispielsweise die Anpassung des Kontrastes des generierten AR-Bildes an die Eigenschaften der Augen.
Weiter kann es sich um biometrische Daten des Benutzers handeln, darunter fallen beispielsweise Pupillendistanz, axiale Länge der Augen, Lage des Drehpunktes der Drehung der Augen und dergleichen.
Diese besonders bevorzugte Ausführungsform der Erfindung erlaubt es, einem Benutzer eine AR-Darstellung anzubieten, bei der sowohl die Darstellung der Umgebung als auch die zusätzlichen visuellen VR-Daten gemeinsam korrigiert werden beispielsweise zum Ausgleich von Fehlsichtigkeiten des Benutzers. Es ist erfindungsgemäß nicht mehr erforderlich, die bei AR-Systemen des Standes der Technik vorgesehene doppelte Korrektur vorzusehen, bei der die direkte visuelle Wahrnehmung der Umgebung korrigiert werden muss durch übliche optische Elemente wie beispielsweise Brillenlinsen, die beispielsweise im Stand der Technik in das verwendete HMD eingesetzt werden können.
Bevorzugt ist die Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung als Lichtfeldkamera ausgebildet, die eine Aufnahme dieser Lichtfelddaten in Echtzeit ermöglicht. Weiter bevorzugt ist die Einrichtung zur Aufnahme von Lichtfelddaten mit der Blickrichtung des Benutzers koordiniert. Auf diese Weise wird die Umgebung realitätsnah unter Berücksichtigung der Blickrichtung wiedergegeben. Die Lichtfeldkamera kann zu diesem Zweck mechanisch mit dem HMD gekoppelt sein, insbesondere an diesem angebracht sein. Sie folgt damit den Kopfbewegungen des Benutzers. Alternativ oder zusätzlich kann ein Blickrichtungssensor im HMD vorgesehen sein, der Augenbewegungen und die Blickrichtung erfasst und vorzugsweise eine Nachführung der Kamera steuert.
Es ist im Rahmen der Erfindung ebenfalls möglich, die Kamera räumlich entfernt vom HMD bzw. dem Nutzer des HMD anzuordnen. Eine solche räumlich entfernte Anordnung kann insbesondere für Telepräsenzanwendungen vorteilhaft sein. Weiter bevorzugt ist eine solche räumlich entfernte Kamera drahtgebunden oder bevorzugt drahtlos dergestalt vom HMD steuerbar, dass die Aufnahmerichtung der Kamera mit der Blickrichtung des Benutzers des HMD verknüpft ist bzw. dieser Blickrichtung folgt. Beispielsweise kann das HMD Accelerometer aufweisen, die Kopfbewegungen des Benutzers erfassen und so eine Steuergröße für die Nachführung der entfernten Kamera bereitstellen.
Erfindungsgemäß ist es bevorzugt, dass die Einrichtung zur Generierung von VR-Lichtfelddaten mit einer externen Datenquelle verbindbar ist. Es kann sich um eine externe Datenquelle (beispielsweise Datenbanken oder generell das Internet) handeln, die Inhalte für die VR-Darstellungen beisteuert.
Alternativ oder zusätzlich kann vorgesehen sein, dass nicht nur eine Verbindung zu einer externen Datenquelle erfolgt, sondern auch zu einem externen Computer, dessen Rechenleistung genutzt wird beispielsweise zur Verarbeitung von Lichtfelddaten, Ansteuerung des holographischen Displays oder dergleichen. Diese Variante der Erfindung erlaubt es, eine rechenaufwendige Bearbeitung von Lichtfelddaten in leistungsfähige externe Computer zu verlagern.
Die Verbindung von externer Datenquelle bzw. externem Computer und dem erfindungsgemäßen System bzw. HMD erfolgt bevorzugt drahtlos, es können bekannte elektromagnetische oder optische drahtlose Verbindungstechniken genutzt werden. Sofern in der entsprechenden Umgebung verfügbar, haben optische Verbindungen den Vorteil, dass eine breitbandige Übertragung problemlos möglich ist und eine Belastung mit elektromagnetischer Strahlung im Kopfbereich des Benutzers vermieden werden kann.
Erfindungsgemäß kann vorgesehen sein, dass die externe Datenquelle zusätzlich ophthalmologische Daten des Benutzers enthält. Dies kann insbesondere dann vorteilhaft sein, wenn ein erfindungsgemäßes System von verschiedenen Benutzern mit unterschiedlichen Fehlsichtigkeiten verwendet wird. Durch Zugriff auf die externe Datenquelle kann automatisch eine Anpassung an den jeweiligen Benutzer erfolgen. Alternativ können die entsprechenden ophthalmologischen Daten lokal im erfindungsgemäßen System bzw. dem HMD gespeichert sein.
Eine sehr häufige Ausprägung einer Fehlsichtigkeit ist Kurzsichtigkeit oder Weitsichtigkeit, die eine sphärische Korrektur der Fokusebene erfordern. Erfindungsgemäß kann vorgesehen sein, dass die Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR(Augmented Reality)-Lichtfelddaten und Ansteuerung des holographischen Displays dazu ausgebildet ist, aus den AR-Lichtfelddaten für jedes Auge des Benutzers die Fokusebene zu präsentieren, die der sphärischen Fehlsichtigkeit dieses Auges entspricht. Es ist bei dieser Variante der Erfindung möglich, jeweils nur diejenigen Schärfeebenen zu generieren und verwenden, die den Fehlsichtigkeiten des linken bzw. rechten Auges des Trägers entsprechen. Eine solche Vorgehensweise erfordert vergleichsweise weniger Rechenleistung und erleichtert somit die Durchführung dieser Berechnungen im Sinne des Merkmals d. des Anspruchs 1 lokal im Bereich des Systems bzw. HMD.
Erfindungsgemäß ist es bevorzugt, dass das HMD bzw. dessen holographisches Display einen SLM (spatial light modulator) aufweist. Geeignete SLM sind der Fachwelt geläufig und bedürfen hier keiner näheren Erläuterung. Eine Offenbarung geeigneter SLM findet sich beispielsweise in der eingangs erwähnten WO 2015/032828 A1 .
Der SLM kann erfindungsgemäß beispielsweise als reflektiver oder transmissiver SLM ausgebildet sein. Ein Beispiel für einen transmissiven SLM sind gestaffelt angeordnete LC-Displays (stacked LC-Displays, wie sie beispielsweise offenbart sind in der Publikation Huang et. al., „The Light Field Stereoscope”, abrufbar unter http://www.computationalimaging.org/publications/the-light-field-stereoscope/. Auf diese Offenbarung wird Bezug genommen.
Bevorzugt weist das erfindungsgemäße System zusätzlich einen Blickrichtungssensor auf. Die Erfassung der Blickrichtung kann insbesondere dann sinnvoll oder erforderlich sein, wenn von der Blickrichtung abhängige Fehlsichtigkeiten wie beispielsweise der Astigmatismus erfindungsgemäß korrigiert werden sollen. Somit kann erfindungsgemäß vorgesehen sein, dass die vom Blickrichtungssensor erfasste Blickrichtung des Benutzers in die Korrektur der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers einfließt.
Ein weiterer Gegenstand der Erfindung ist ein Verfahren zum Generieren bzw. Darstellen von AR-Darstellungen unter Verwendung eines bzw. in einem erfindungsgemäßen System, mit den Schritten der Aufnahme von Lichtfelddaten der Umgebung, Generierung von VR-Lichtfelddaten, Zusammenführen der Lichtfelddaten der Umgebung und der VR-Lichtfelddaten zu AR(Augmented Reality)-Lichtfelddaten, und Darstellung der zusammengeführten AR-Darstellung im HMD.
Besonders bevorzugt erfolgt bei dem erfindungsgemäßen Verfahren ein Modifizieren der AR-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers und Darstellung der modifizierten AR-Darstellung im HMD.
Wie bereits im Kontext des erfindungsgemäßen Systems beschrieben, ist es bevorzugt, dass das Modifizieren die Generierung der Schärfeebenen umfasst, die der sphärischen Fehlsichtigkeit des jeweiligen Auges des Benutzers entsprechen.
Weiter ist es bevorzugt, dass das Modifizieren unter Berücksichtigung der vom Blickrichtungssensor erfassten Blickrichtung des Benutzers erfolgt.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung beschrieben. Darin zeigen:
1: Schematisch als Explosionszeichnung ein HMD eines erfindungsgemäßen Systems;
2: Schematisch ein erfindungsgemäßes System mit entfernt angeordneter Kamera.
In einem Gehäuse 1 sind zwei LC-Displays 2, 3 in einem Abstand voneinander angeordnet, der durch den Abstandshalter 4 bestimmt wird. Diese beiden Displays bilden gemeinsam einen SLM wie vorstehend beschrieben.
Die Displays werden hinterleuchtet von einer Backlight-Einrichtung 5.
Die genannten Bauteile sind in dem geschlossenen Gehäuse 1 angeordnet, das an der Vorderseite eine Öffnung bzw. Aussparung 6 aufweist, die in etwa an die Kopfform eines Benutzers angepasst ist und dazu dient, ein vor den Augen eines Benutzers positioniertes HMD im Wesentlichen lichtdicht abzuschließen.
Der Blick des Benutzers auf das von den LC-Displays dargestellter Bild wird durch schematisch bei 7 angedeutete Linsen vermittelt.
Je nach Ausführung des Displays sind Vorsatzlinsen nicht zwingend nötig, können aber wünschenswert sein, z. B. als UV-, Blaulicht- oder Kontrastfilter.
Eine physische Trennung der Darstellung für rechtes und linkes Auge kann abhängig vom verwendeten Display sinnvoll, aber u. U. nicht zwingend nötig sein.
Das HMD kann bei einer Ausführungsform der Erfindung eine fest damit verbundene (in der Zeichnung nicht dargestellte) Lichtfeldkamera aufweisen, die beispielsweise an der von den Linsen 7 abgewandten Seite des HMD angeordnet sein kann und durch die feste Verbindung mit dem HMD der Blickrichtung eines Benutzers automatisch folgt.
Bei einer anderen Ausführungsform der Erfindung (2) kann die Kamera 9 räumlich getrennt angeordnet sein, vorzugsweise sind dann Einrichtungen vorgesehen, die über eine Datenverbindung 10, 11 dafür sorgen, dass sich diese räumlich entfernt angeordnete Kamera entsprechend den Kopfbewegungen des Benutzers des HMD bewegt und somit dessen (imaginärer) Blickrichtung folgt. Eine solche räumlich entfernt angeordnete Kamera kann beispielsweise dazu dienen, ein erfindungsgemäßes System für Telepräsenzveranstaltungen nutzbar zu machen.
In der Ausführungsform der 2 ist schematisch eine Einrichtung zur Generierung von VR(Virtual Reality)-Lichtfelddaten als externer Computer 8 dargestellt, der über eine Datenverbindung 10 mit dem HMD verbunden ist. Gegebenenfalls kann dieser Computer 8 baulich mit dem HMD 1 verbunden bzw. darin integriert sein.

Claims

Augmented Reality(AR)-System, das aufweist: a. ein Head Mounted Display (HMD) mit einem holographischen Display (2, 3), b. eine Einrichtung zur Generierung von Virtual Reality(VR)-Lichtfelddaten, dadurch gekennzeichnet, dass es weiter aufweist: c. eine Einrichtung (9) zur Aufnahme von Lichtfelddaten der Umgebung, d. eine Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der Virtual Reality(VR)-Lichtfelddaten zu Augmented Reality(AR)-Lichtfelddaten und Ansteuerung des holographischen Displays (2, 3), e. eine Einrichtung zur Korrektur der Augmented Reality(AR)-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers.
System nach Anspruch 1, dadurch gekennzeichnet, dass die ophthalmologischen Daten des Benutzers ausgewählt sind aus der Gruppe bestehend aus Verschreibungsdaten, biometrischen Daten und Sensitivitätsdaten.
System nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Einrichtung zur Aufnahme von Lichtfelddaten der Umgebung als Lichtfeldkamera (9) ausgebildet ist.
System nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Einrichtung zur Aufnahme von Lichtfelddaten mit der Blickrichtung des Benutzers koordiniert ist.
System nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Einrichtung (9) zur Generierung von Virtual Reality(VR)-Lichtfelddaten mit einer externen Datenquelle verbindbar ist.
System nach Anspruch 5, dadurch gekennzeichnet, dass die externe Datenquelle zusätzlich ophthalmologische Daten des Benutzers enthält.
System nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Einrichtung zum Zusammenführen der Lichtfelddaten der Umgebung und der Virtual Reality(VR)-Lichtfelddaten zu Augmented Reality(AR)-Lichtfelddaten und Ansteuerung des holographischen Displays dazu ausgebildet ist, aus den Augmented Reality(AR)-Lichtfelddaten für jedes Auge des Benutzers die Fokusebene zu präsentieren, die der sphärischen Fehlsichtigkeit dieses Auges entspricht.
System nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Head Mounted Display (HMD) einen Spatial Light Modulator (SLM) aufweist.
System nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass es zusätzlich einen Blickrichtungssensor aufweist.
System nach Anspruch 9, dadurch gekennzeichnet, dass die vom Blickrichtungssensor erfasste Blickrichtung des Benutzers in die Korrektur der Augmented Reality(AR)-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers einfließt.
Verfahren zum Darstellen von Augmented Reality(AR)-Darstellungen in einem System nach einem der Ansprüche 1 bis 10, mit den Schritten: a. Aufnahme von Lichtfelddaten der Umgebung, b. Generierung von Virtual Reality(VR)-Lichtfelddaten, c. Zusammenführen der Lichtfelddaten der Umgebung und der Virtual Reality(VR)-Lichtfelddaten zu Augmented Reality(AR)-Lichtfelddaten, d. Darstellung der zusammengeführten Augmented Reality(AR)-Darstellung im Head Mounted Display (HMD), e. Modifizieren der Augmented Reality(AR)-Lichtfelddaten anhand ophthalmologischer Daten des Benutzers und Darstellung der modifizierten Augmented Reality(AR)-Darstellung im Head Mounted Display (HMD).
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Modifizieren die Generierung der Schärfeebenen umfasst, die der sphärischen Fehlsichtigkeit des jeweiligen Auges des Benutzers entsprechen.
Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das Modifizieren unter Berücksichtigung der vom Blickrichtungssensor erfassten Blickrichtung des Benutzers erfolgt.