DE102006001079A1

DE102006001079A1 - HMD-Vorrichtung und Anzeigeverfahren dafür

Info

Publication number: DE102006001079A1
Application number: DE102006001079A
Authority: DE
Inventors: Bernd Spruck
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2006-01-09
Filing date: 2006-01-09
Publication date: 2007-07-12
Anticipated expiration: 2026-01-10
Also published as: DE102006001079B4

Abstract

Es wird bereitgestellt eine HMD-Vorrichtung (1) mit DOLLAR A einer Kamera (2), die ein Objekt (8) im Zeilensprungverfahren aufnimmt, aus den dabei gewonnenen Halbbildern ein Vollbild (10) erzeugt und ausgibt, DOLLAR A einer Bildverarbeitungseinheit (3), die aus dem ausgegebenen Vollbild (10) die Halbbilder (11, 12) extrahiert und aus zumindest einem der extrahierten Halbbilder (11) ein interpoliertes Vollbild (13) erzeugt, und DOLLAR A einer auf dem Kopf zu tragende Anzeigevorrichtung (4), die dem Benutzer, der die Anzeigevorrichtung (4) auf dem Kopf trägt, das interpolierte Vollbild (13) als virtuelles Bild darbietet.

Description

Die vorliegenden Erfindung betrifft eine HMD-Vorrichtung und Anzeigeverfahren dafür.

Wenn die Bilddaten für die HMD-Vorrichtung (Head-Mounted-Display-Vorrichtung) mittels einer Kamera erzeugt werden, die im Zeilensprungverfahren die Aufnahme erzeugt, tritt insbesondere bei größeren Vergrößerungen das Problem auf, daß Bewegungen der Kamera während der Aufnahmen der beiden Halbbilder dazu führt, daß die beiden Halbbilder merklich zueinander versetzt sind. Dies führt zu einer sichtbaren und spürenden Unschärfe der Aufnahme.

Aufgabe der vorliegenden Erfindung ist es, eine HMD-Vorrichtung und ein Anzeigeverfahren dafür zur Verfügung zu stellen, mit denen eine solche unerwünschte Unschärfe bei der Darstellung des aufgenommenen Bildes vermieden werden kann.

Erfindungsgemäß wird die Aufgabe gelöst durch eine HMD-Vorrichtung mit einer Kamera, die ein Objekt im Zeilensprungverfahren aufnimmt, aus den dabei gewonnenen Halbbildern ein Vollbild erzeugt und ausgibt, einer Bildverarbeitungseinheit, die aus dem ausgegebenen Vollbild die Halbbilder extrahiert und aus zumindest einem der extrahierten Halbbilder ein interpoliertes Vollbild erzeugt, und einer auf dem Kopf zu tragenden Anzeigevorrichtung, die dem Benutzer, der die Anzeigevorrichtung auf dem Kopf trägt, das interpolierte Vollbild als virtuelles Bild darbietet.

Mit einer solchen HMD-Vorrichtung wird vorteilhaft erreicht, daß zumindest eines der extrahierten Halbbilder mittels der Bildverarbeitungseinheit elektronisch nachbearbeitet wird, so daß ein interpoliertes Vollbild erzeugt werden kann, bei dem die durch die Aufnahme erzeugten Bildstörungen so gut wie nicht mehr vorliegen.

Insbesondere kann die Bildverarbeitungseinheit bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermitteln, in das eine extrahierte Halbbild einfügen und so das interpolierte Vollbild erzeugen. Dies ist ein einfaches und leicht zu implementierendes Verfahren, das auch kostengünstig realisierbar ist. Mit diesem Vorgehen werden schon gute Ergebnisse erreicht.

Ferner kann die Bildverarbeitungseinheit bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugen, in das entsprechende Halbbild einfügen und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugen, einen Versatz der beiden rekonstruierten Vollbilder zueinander ermitteln, bei der eine gewünschte Korrelation (insbesondere eine möglichst große Übereinstimmung) vorliegt, und beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes ersetzten und somit das interpoliertes Vollbild erzeugen. Mit diesem Vorgehen wird eine noch bessere Reduzierung der durch das Zeilensprung-Aufnahmeverfahren bedingten Bildfehler erreicht.

Die Bildverarbeitungseinheit kann bei der Ermittlung des Versatzes insbesondere nur translatorische Verschiebung berücksichtigen. Es hat sich gezeigt, daß es für eine hohe Bildqualität des über die Anzeigevorrichtung auszugebenden virtuellen Bildes ausreicht, nur translatorische Verschiebungen zu berücksichtigen. Es müssen somit insbesondere keine Drehungen der Bilder zueinander ausgewertet werden, wodurch die Bestimmung des Versatzes schnell und einfach realisiert werden kann.

Die Interpolation kann insbesondere eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten umfassen. Eine solche Interpolation läßt sich leicht implementieren.

Die Aufgabe wird ferner gelöst durch ein Anzeigeverfahren für eine HMD-Vorrichtung, bei dem aus einem im Zeilensprungverfahren aufgenommenen Vollbild die Halbbilder extrahiert und aus zumindest einem der extrahierten Halbbilder ein interpoliertes Vollbild erzeugt wird, das einem Benutzer, der eine auf dem Kopf zu tragende Anzeigevorrichtung trägt, mittels der Anzeigevorrichtung als virtuelles Bild dargeboten wird.

Zur Erzeugung des interpolierten Vollbildes kann bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermittelt und in das eine extrahierte Halbbild eingefügt werden. Dies ist eine leicht zu realisierende Vorgehensweise, die schon sehr gute Verbesserungen der Bildfehler erlaubt, die aufgrund des Zeilensprung-Aufnahmeverfahrens entstehen.

Ferner kann bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugt, in das entsprechende Halbbild eingefügt und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugt werden, kann ein Versatz der beiden rekonstruierten Vollbilder zueinander ermittelt werden, bei dem eine gewünschte Korrelation vorliegt, und können beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzen Bilddaten des zweiten rekonstruierten Vollbildes ersetzt und somit das interpolierte Vollbild erzeugt werden. Dieses Vorgehen führt zu einer weiteren Verbesserung der Bildqualität des interpolierten Vollbildes.

Insbesondere können bei der Ermittlung des Versatzes nur translatorische Verschiebungen berücksichtigt werden. Dies vereinfacht die Ermittlung deutlich und führt zu sehr guten Ergebnissen.

Bei der Interpolation kann eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten durchgeführt werden.

Die Erfindung wird nachfolgend beispielshalber anhand der beigefügten Zeichnungen noch näher erläutert. Es zeigen:
1 eine schematische Darstellung einer ersten Ausführungsform der erfindungsgemäßen HMD-Vorrichtung;
2 eine schematische Darstellung der Bilddatenverarbeitung der Bildverarbeitungseinheit von 1 gemäß der ersten Ausführungsform;
3 bis 5 schematisch die Bilddatenverarbeitung der Bilddatenverarbeitungseinheit 3 von 1 gemäß einer zweiten Ausführungsform.
Bei der in 1 gezeigten Ausführungsform umfaßt die erfindungsgemäße HMD-Vorrichtung 1 eine Kamera 2, eine Bildverarbeitungseinheit 3 sowie eine auf dem Kopf zu tragende Anzeigevorrichtung 4, die einen Träger 5 in Form eines Brillengestelles sowie zwei Anzeigeeinheiten 6, 7 aufweist.
Die Kamera 2 nimmt ein Objekt 8 im Zeilensprungverfahren auf. Bei dem Objekt 8 handelt es sich hier um ein Blatt Papier, auf dem eine senkrechte Linie 9 eingezeichnet ist. Nachdem das Objekt im Zeilensprungverfahren aufgenommen wird, nimmt die Kamera 2 zeitlich nacheinander zwei Halbbilder des Objektes 8 auf und fügt diese zu einem Vollbild 10 (2) zusammen. Die Kamera 2 kann beispielsweise als in der Hand gehaltene Kamera oder als am Träger 5 befestigte Kamera ausgebildet sein, so daß z. B. leichte Zitterbewegungen dazu führen, daß die beiden Halbbilder zueinander versetzt sind. Dieser Bildfehler stört um so mehr, desto größer das Vollbild 10 dargestellt werden soll. Insbesondere bei Anwendungen für Sehbehinderte sind hohe Vergrößerungen der Aufnahmen erwünscht, wodurch sich dieser Bildfehler sehr stark negativ auswirkt. Der Bildfehler ist bei dem Vollbild 10 in 2 schematisch und stark übertrieben dargestellt. Das Vollbild weist hier (zur Vereinfachung der Darstellung) sieben Zeilen Z1–Z7 auf, wobei die ungeradzahligen Zeilen Z1, Z3, Z5 und Z7 dem ersten Halbbild entsprechen, das zuerst mittels der Kamera aufgenommen wurde und die geradzahligen Zeilen Z2, Z4 und Z6 dem zweiten Halbbild entsprechen, das zeitlich nach dem ersten Halbbild aufgenommen wurde.
Das Vollbild 10 wird der Bildverarbeitungseinheit 3 zugeführt, die zunächst die Halbbilder 11, 12 aus dem Vollbild extrahiert. Dies ist relativ leicht dadurch möglich, daß die ungeradzahligen Zeilen (Z1, Z3, Z5, Z7) und die geradzahligen Zeilen (Z2, Z4, Z6) jeweils in einen eigenen Bildspeicher geschrieben werden. Der Bildspeicher weist bevorzugt die gleiche Größe auf wie das Vollbild 10, so daß bei den Halbbildern 11 und 12 jeweils in etwa die Hälfte der Informationen fehlt, da bei jedem Halbbild 11, 12 die geradzahligen bzw. die ungeradzahligen Zeilen leer sind und keine Bildinformation enthalten.
Um nun zu einem darzustellenden Vollbild zu gelangen, bei dem der unerwünschte Bildfehler aufgrund des Versatzes der Halbbilder zueinander möglichst behoben ist, werden bei der hier beschriebenen Ausführungsform im ersten Halbbild 11 die fehlenden Bilddaten durch Interpolation ermittelt. Dazu werden die fehlenden Bilddaten der leeren Zeilen durch Mittelwertbildung der Bilddaten der sie einschließenden Zeilen (Z1, Z3, Z5 und Z7) ermittelt, so daß das Bild interpolierte Zeilen Z2', Z4' und Z6' enthält, so daß ein interpoliertes Vollbild 13 vorliegt, wie schematisch in 2 gezeigt ist. Dieses Vollbild 13 gibt die Bildverarbeitungseinheit 3 an die Anzeigevorrichtung bzw. an die beiden Anzeigeeinheiten 6 und 7 für beide Augen des Benutzers. Wenn der Benutzer die Anzeigevorrichtung 4 auf dem Kopf trägt, wird ihm das interpolierte Vollbild mittels der Anzeigeeinheiten 6 und 7 als virtuelles Bild (bevorzugt als vergrößertes Bild) so dargeboten, daß er es wahrnehmen kann. Dazu umfassen die Anzeigeeinheiten 6 und 7 jeweils bevorzugt ein Bilderzeugungsmodul (beispielsweise ein LCD-, ein LCoS- oder ein OLED-Modul) und eine Abbildungsoptik, die beide zur Vereinfachung der Darstellung hier nicht eingezeichnet sind.
Mit der erfindungsgemäßen HMD-Vorrichtung ist es somit möglich, Bildfehler zu kompensieren, die bei der Aufnahme mittels einer Kamera entstehen, die im Zeilensprungverfahren die Aufnahmen erzeugt.
Bei einer weiteren Ausgestaltung der erfindungsgemäßen HMD-Vorrichtung extrahiert die Bildverarbeitungseinheit 3 in gleicher Weise wie in Verbindung mit 2 beschrieben wurde, die beiden Halbbilder 11 und 12 aus dem Vollbild der Kamera 2. Wie 3 entnommen werden kann, werden nun aus beiden extrahierten Halbbilder 11 und 12 jeweils ein rekonstruiertes Vollbild 14 und 15 erzeugt, bei denen jeweils die fehlenden Bilddaten (fehlende Bildzeilen Z2', Z4', Z6' sowie Z1', Z3', Z5', Z7') durch Interpolation aus den vorhandenen Bilddaten (Z1, Z3, Z5, Z7 sowie Z2, Z4, Z6) erzeugt werden.
Für die beiden rekonstruierten Halbbilder 14 und 15 ermittelt die Bildverarbeitungseinheit 3 dann den Versatz (p1), bei dem eine vorbestimmte Korrelation der beiden rekonstruierten Halbbilder 14 und 15 vorliegt. Bevorzugt wird eine möglichst große Übereinstimmung als vorbestimmte Korrelation vorgegeben. Der Versatz ist hier schematisch durch den Pfeil P1 in 4 angedeutet.
Wie der Darstellung in 5 entnommen werden kann, ersetzt die Bildverarbeitungseinheit 3 danach in dem rekonstruierten Vollbild 14 die interpolierten Bilddaten mit den entsprechenden, um den ermittelten Versatz versetzten Bilddaten des rekonstruierten Vollbildes 15. Zur Verdeutlichung sind schematisch in 5 Rechtecke 16, 17 und 18 im rekonstruierten Vollbild 15 eingezeichnet, die die entsprechenden interpolierten Bilddaten im rekonstruierten Vollbild 14 ersetzen und dort als 16', 17' und 18' gekennzeichnet sind. Das so erzeugte interpolierte Vollbild 13 wird dann wiederum von der Bildverarbeitungseinheit 3 der Anzeigevorrichtung 4 übergeben, die das interpolierte Vollbild 13 als virtuelles Bild dem Benutzern darbietet, der die Anzeigenvorrichtung 4 auf dem Kopf trägt. Mit diesem Vorgehen wird eine weitere Verbesserung der Bildfehler, die durch das Zeilensprung-Aufnahmeverfahren der Kamera 2 entstehen, erreicht.

Claims

HMD-Vorrichtung (1) mit einer Kamera (2), die ein Objekt (8) im Zeilensprungverfahren aufnimmt, aus den dabei gewonnen Halbbildern ein Vollbild (10) erzeugt und ausgibt, einer Bildverarbeitungseinheit (3), die aus dem ausgegebenen Vollbild (10) die Halbbilder (11, 12) extrahiert und aus zumindest einem der extrahierten Halbbilder (11) ein interpoliertes Vollbild (13) erzeugt, und einer auf dem Kopf zu tragende Anzeigevorrichtung (4), die dem Benutzer, der die Anzeigevorrichtung (4) auf dem Kopf trägt, das interpolierte Vollbild (13) als virtuelles Bild darbietet.
HMD-Vorrichtung (1) nach Anspruch 1, bei der die Bildverarbeitungseinheit (3) bei einem der extrahierten Halbbilder (11) durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes (11) fehlende Bilddaten ermittelt, in das eine extrahierte Halbbild (11) einfügt und so das interpolierte Vollbild (13) erzeugt.
HMD-Vorrichtung (1) nach Anspruch 1, bei der die Bildverarbeitungseinheit (3) – bei beiden extrahierten Halbbildern (11, 12) jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes (11, 12) fehlende Bilddaten erzeugt, in das entsprechende Halbbild (11, 12) einfügt und somit ein erstes und zweites rekonstruiertes Vollbild (14, 15) erzeugt, – einen Versatz der beiden rekonstruierten Vollbilder (14, 15) zueinander ermittelt, bei der eine gewünschte Korrelation vorliegt und – beim ersten rekonstruierten Vollbild (13) interpolierte Bilddaten (Z2', Z4', Z6') durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes (15) ersetzt und somit das interpolierte Vollbild (13) erzeugt.
HMD-Vorrichtung (1) nach Anspruch 3, bei der die Bildverarbeitungseinheit (3) bei der Ermittlung des Versatzes nur translatorische Verschiebungen berücksichtigt.
HMD-Vorrichtung (1) nach einem der Ansprüche 2 bis 4, bei der die Interpolation eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten umfaßt.
Anzeigeverfahren für eine HMD-Vorrichtung, bei dem aus einer im Zeilensprungverfahren erstellten Aufnahme eines Objekts die Halbbilder der Aufnahme extrahiert und aus zumindest einem der extrahierten Halbbilder ein interpoliertes Vollbild erzeugt wird und bei dem mittels einer auf dem Kopf zu tragenden Anzeigevorrichtung einem Benutzer, der die Anzeigevorrichtung auf dem Kopf trägt, das interpolierte Vollbild als virtuelles Bild dargeboten wird.
Verfahren nach Anspruch 6, bei dem das interpolierte Vollbild dadurch erzeugt wird, daß bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermittelt und in das eine extrahierte Halbbild eingefügt werden.
Verfahren nach Anspruch 6, bei dem zur Erzeugung des interpolierten Vollbildes bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugt, in das entsprechende Halbbild eingefügt und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugt werden, ein Versatz der beiden rekonstruierten Vollbilder zueinander ermittelt wird, bei dem eine gewünschte Korrelation vorliegt, und beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes ersetzt werden, um somit das interpolierte Vollbild zu erzeugen.
Verfahren nach Anspruch 8, bei dem bei der Ermittlung des Versatze nur translatorische Verschiebungen berücksichtigt werden.
Verfahren nach einem der Ansprüche 7 bis 9, bei dem zur Interpolation eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten durchgeführt wird.