DE112016004114T5 - Stereorenderingsystem - Google Patents

Stereorenderingsystem Download PDF

Info

Publication number
DE112016004114T5
DE112016004114T5 DE112016004114.4T DE112016004114T DE112016004114T5 DE 112016004114 T5 DE112016004114 T5 DE 112016004114T5 DE 112016004114 T DE112016004114 T DE 112016004114T DE 112016004114 T5 DE112016004114 T5 DE 112016004114T5
Authority
DE
Germany
Prior art keywords
image
eye
left eye
field
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112016004114.4T
Other languages
English (en)
Inventor
Andrew Ian Russell
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE112016004114T5 publication Critical patent/DE112016004114T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ein Verfahren umfasst Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, welches auf einem Head Mount Display (HMD) angezeigt wird, Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird, Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld, Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe, Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf dem Sichtfeld und Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung ist eine Fortsetzung und beansprucht die Priorität gegenüber der US-Patentanmeldung Nr. 14/850,114 , eingereicht am 10. September 2015, deren Offenbarung hierin durch Bezugnahme aufgenommen wird.
  • TECHNISCHES GEBIET
  • Ausführungsformen betreffen das Rendern von Bildern und/oder Video für das linke Auge und das rechte Auge eines Stereobildes und/oder von Stereovideo.
  • HINTERGRUND
  • Ein typisches Stereorendern beinhaltet das Berechnen eines dichten optischen Flussfeldes zwischen Paaren von Kameras und dann das Interpolieren eines Standpunktes über das gesamte 3D-Bild. Dies ist schwierig und könnte sogar in einigen Fällen, wie beispielsweise bei halbtransparenten Objekten, als unmöglich betrachtet werden. Selbst für normale feste Objekte ist dies schwierig, da die meisten optischen Flussalgorithmen zu langsam sind, um in Echtzeit zu erfolgen. Das Interpolieren von 3D-Bildern von erfassten 2D-Bildern kann mit anderen Worten prozessorintensiv sein. Infolgedessen kann das Erzeugen von 3D-Bildern und/oder 3D-Video in Echtzeit, um eine gewünschte Benutzererfahrung einer Wiedergabe zu erreichen, schwierig sein. Daher ist es wünschenswert, 3D-Bilder und/oder 3D-Video ohne optische Fluss-Interpolation in Echtzeit und/oder während das Bild oder Video gestreamt wird, zu rendern.
  • KURZDARSTELLUNG
  • Ausführungsbeispiele beschreiben Systeme und Verfahren bezüglich 3D-Bildern und/oder Video. Bei einem allgemeinen Aspekt umfasst ein Verfahren das Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, welches auf einem Head Mount Display (HMD) angezeigt wird, das Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird, das Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld, das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe, das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf dem Sichtfeld und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.
  • Figurenliste
  • Beispielhafte Ausführungsformen werden aus der nachfolgenden detaillierten Beschreibung und den begleitenden Zeichnungen vollständiger verstanden, wobei gleiche Elemente mit gleichen Bezugsnummern dargestellt sind, die lediglich zur Veranschaulichung angegeben sind und somit die beispielhaften Ausführungsformen nicht einschränken, und wobei:
    • 1 veranschaulicht ein Blockdiagramm eines Systems zum Erfassen und Rendern eines Bildes und/oder Videos gemäß mindestens einer beispielhaften Ausführungsform.
    • 2 veranschaulicht ein Blockdiagramm eines Bildverarbeitungssystems gemäß mindestens einer beispielhaften Ausführungsform.
    • 3A veranschaulicht eine Draufsichtperspektive eines Blockdiagramms einer Bilderfassungskonfiguration gemäß mindestens einer beispielhaften Ausführungsform.
    • 3B veranschaulicht eine Vorderansichtsperspektive eines Blockdiagramms der Bilderfassungskonfiguration gemäß mindestens einer beispielhaften Ausführungsform.
    • 4 veranschaulicht ein Blockdiagramm eines Verfahrens gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 5A, 5B und 5C veranschaulichen ein Bild, wie es durch Kameras erfasst wird, die in der Mitte, links und rechts von einer zu erfassenden Szene angeordnet sind, gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 6A und 6B veranschaulichen das gleiche Bild, wie es von Augen entlang der gleichen Ebene wie die Kameras gesehen wird, gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 7A, 7B und 7C veranschaulichen das Bild, wie es durch das menschliche Sehsystem visualisiert wird.
    • Die 8A und 8B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 8C veranschaulicht ein visualisiertes Bild basierend auf den kombinierten Bildern, wenn es auf einer Anzeige eines HMD angezeigt wird, gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 9A und 9B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 9C veranschaulicht ein visualisiertes Bild, wenn es auf einer Anzeige eines HMD angezeigt wird, gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 10A und 10B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform.
    • 10C veranschaulicht ein visualisiertes Bild, wenn es auf einer Anzeige eines HMD angezeigt wird, gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 11A und 11B veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer fernen Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 11C und 11D veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer mittleren Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 11E und 11F veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer nahen Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform.
    • Die 12A und 12B veranschaulichen Blockdiagramme eines Head Mounted Display (HMD) gemäß mindestens einer beispielhaften Ausführungsform.
    • 13A veranschaulicht eine schematische Darstellung von Sichtfeldern.
    • 13B veranschaulicht die Frontalebene und die sagittale Mittelfrontalebene.
    • 13C veranschaulicht eine Ebene orthogonal zu den Frontalebenen, welche die Augen halbiert. Es sind auch die Blickvektoren von den Augen zu einem Punkt A gezeigt.
    • 14 veranschaulicht ein Beispiel einer Computervorrichtung und einer mobilen Computervorrichtung.
  • Es ist zu beachten, dass diese Figuren dazu dienen, die allgemeinen Merkmale von Verfahren, Struktur und/oder Materialien zu veranschaulichen, die in bestimmten beispielhaften Ausführungsformen verwendet werden, und um die nachfolgende schriftliche Beschreibung zu ergänzen. Diese Zeichnungen sind jedoch nicht maßstabsgerecht und bilden möglicherweise die genauen strukturellen oder Leistungsmerkmale jeder gegebenen Ausführungsform nicht genau ab und sollten nicht als Definition oder Beschränkung des Bereichs von Werten oder Eigenschaften, die in beispielhaften Ausführungsformen umfasst sind, verstanden werden.
  • Beispielsweise können die relativen Dicken und die Anordnung von strukturellen Elementen aus Gründen der Deutlichkeit reduziert oder übertrieben sein. Die Verwendung von ähnlichen oder identischen Bezugsnummern in den verschiedenen Zeichnungen soll das Vorhandensein eines ähnlichen oder identischen Elements oder Merkmals angeben.
  • AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Während beispielhafte Ausführungsformen verschiedene Modifikationen und alternative Formen umfassen können, sind Ausführungsformen davon als Beispiel in den Zeichnungen gezeigt und hierin ausführlich beschrieben. Es versteht sich jedoch, dass keine Absicht besteht, beispielhafte Ausführungsformen auf die bestimmten offenbarten Formen zu beschränken, sondern vielmehr beispielhafte Ausführungsformen alle Modifikationen, Äquivalente und Alternativen einbeziehen sollen, die sich innerhalb des Umfangs der Ansprüche befinden. Gleiche Nummern bezeichnen gleiche Elemente überall in der Beschreibung der Figuren.
  • 1 ist ein Blockdiagramm eines beispielhaften Systems 100 zum Erfassen und Rendern von Bildern und/oder Video in einer virtuellen Realität- (VR) -3D-Umgebung. Im beispielhaften System 100 kann ein Kameraträgersystem 102 Bilder über ein Netzwerk 104 erfassen und bereitstellen oder kann die Bilder alternativ direkt an ein Bildverarbeitungssystem 106 zur Analyse und zum Verarbeiten bereitstellen. Bei einigen Implementierungen des Systems 100 kann das Bildverarbeitungssystem 106 Bilder und/oder Videos auf der Grundlage von Bildern, die von dem Kameraträgersystem 102 erfasst werden, speichern, modifizieren und/oder streamen. Das Bildverarbeitungssystem 106 wird nachfolgend ausführlicher beschrieben. Bei einigen Implementierungen des Systems 100 kann eine mobile Vorrichtung 108 als das Kameraträgersystem 102 fungieren, um Bilder überall im Netzwerk 104 bereitzustellen. Sobald die Bilder erfasst sind, kann das Bildverarbeitungssystem 106 eine Anzahl von Berechnungen und Prozessen an den Bildern ausführen und die verarbeiteten Bilder beispielsweise an eine Head Mounted Display- (HMD) - Vorrichtung 110 zum Rendern über das Netzwerk 104 bereitstellen. Bei einigen Implementierungen kann das Bildverarbeitungssystem 106 die verarbeiteten Bilder auch an die mobile Vorrichtung 108 und/oder an die Computervorrichtung 112 zum Rendern, Speichern oder Weiterverarbeiten bereitstellen.
  • Die HMD-Vorrichtung 110 kann ein Headset der virtuellen Realität, eine Brille, ein Okular oder eine andere tragbare Vorrichtung darstellen, die fähig ist, Inhalte mit virtueller Realität anzuzeigen. Im Betrieb kann die HMD-Vorrichtung 110 eine VR-Anwendung (nicht gezeigt) ausführen, die empfangene und/oder verarbeitete Bilder gegenüber einem Benutzer wiedergeben kann. Bei einigen Implementierungen kann die VR-Anwendung durch eine oder mehrere von den Vorrichtungen 106, 108 oder 112 gehostet werden, die in 1 gezeigt sind. Bei einem Beispiel kann die HMD-Vorrichtung 110 eine Videowiedergabe einer Szene bereitstellen, die durch das Kameraträgersystem 102 erfasst wurde. Bei einem weiteren Beispiel kann die HMD-Vorrichtung 110 die Wiedergabe von Standbildern bereitstellen, die in eine einzelne Szene zusammengefügt sind.
  • Das Kameraträgersystem 102 kann zur Verwendung als eine Kamera (die auch als Erfassungsvorrichtung bezeichnet werden kann) und/oder eine Verarbeitungsvorrichtung zum Sammeln von Bilddaten, um Inhalt in einer VR-Umgebung zu rendern, konfiguriert sein. Beim Beschreiben der Funktionalität des Systems 100 zeigt 1 beispielsweise das Kameraträgersystem 102 ohne um das Trägersystem herum angeordnete Kameras, um Bilder zu erfassen. Andere Implementierungen des Kameraträgersystems 102 können eine beliebige Anzahl von Kameras umfassen, die um den Umfang eines kreisförmigen Kameraträgersystems herum angeordnet sein können, wie beispielsweise das Kameraträgersystem 102.
  • Wie in 1 gezeigt, umfasst das Kameraträgersystem 102 eine Anzahl von Kameras 130 und ein Kommunikationssystem 132. Die Kameras 130 können eine einzelne Fotokamera oder eine einzelne Videokamera umfassen. Bei einigen Implementierungen können die Kameras 130 mehrere Fotokameras oder mehrere Videokameras umfassen, die nebeneinander entlang dem Außenumfang (z. B. Ring) des Kameraträgersystems 102 angeordnet (z. B. gesetzt) sind. Die Kameras 130 können eine Videokamera bzw. Videokameras, ein Bildsensor bzw. Bildsensoren, eine Stereokamera bzw. Stereokameras, eine Infrarotkamera bzw. Infrarotkameras, eine mobile Vorrichtung und/oder dergleichen sein. Das Kommunikationssystem 132 kann zum Hochladen und Herunterladen von Bildern, Befehlen und/oder anderem mit einer Kamera in Zusammenhang stehendem Inhalt verwendet werden. Die Kommunikation kann verdrahtet oder drahtlos sein und kann über ein privates oder öffentliches Netzwerk erfolgen.
  • Bei einigen Implementierungen umfasst das Kameraträgersystem 102 mehrere digitale Videokameras, die in einer Seite-an-Seite- oder Rücken-an-Rücken-Weise angeordnet sind, sodass ihre Linsen jeweils in eine radial nach außen gerichtete Richtung zeigen, um einen anderen Abschnitt der umgebenden Szene oder Umgebung anzusehen. Bei einigen Implementierungen sind die mehreren digitalen Videokameras in einer tangentialen Konfiguration mit einer Betrachtungsrichtungstangente zum kreisförmigen Kameraträgersystem 102 angeordnet. Das Kameraträgersystem 102 kann beispielsweise mehrere digitale Videokameras umfassen, die derart angeordnet sind, dass ihre Linsen jeweils in einer radial nach außen gerichteten Richtung weisen, während sie tangential zu einer Basis des Trägersystems angeordnet sind. Die digitalen Videokameras können derart gerichtet werden, dass sie Inhalt in unterschiedlichen Richtungen erfassen, um Abschnitte mit unterschiedlichen Winkeln der umgebenden Szene anzusehen.
  • Bei einigen Implementierungen können die Kameras konfiguriert (z. B. eingerichtet) sein, synchron zu arbeiten, um Video von den Kameras auf dem Kameraträgersystem zu einem spezifischen Zeitpunkt zu erfassen. Bei einigen Implementierungen können die Kameras konfiguriert sein, synchron zu arbeiten, um bestimmte Abschnitte von Video von einem oder mehreren der Kameras über einen Zeitraum zu erfassen. Ein weiteres Beispiel des Kalibrierens des Kameraträgersystems kann das Konfigurieren umfassen, wie eingehende Bilder gespeichert werden. Es können beispielsweise eingehende Bilder als einzelne Frames oder Video (z. B..avi-Dateien, .mpg-Dateien) gespeichert werden und diese gespeicherten Bilder können ins Internet, zu einem anderen Server oder einer anderen Vorrichtung hochgeladen werden oder lokal mit jeder Kamera auf dem Kameraträgersystem 102 gespeichert werden. Bei einigen Implementierungen können eingehende Bilder als codiertes Video gespeichert werden.
  • Im beispielhaften System 100 können die Vorrichtungen 106, 108 und 112 ein Laptop-Computer, ein Desktop-Computer, eine mobile Computervorrichtung oder eine Spielkonsole sein. Bei einigen Implementierungen können die Vorrichtungen 106, 108 und 112 eine mobile Computervorrichtung sein, die innerhalb der HMD-Vorrichtung 110 angeordnet (z. B. platziert/lokalisiert) werden kann. Die mobile Computervorrichtung kann eine Anzeigevorrichtung umfassen, die beispielsweise als der Bildschirm für die HMD-Vorrichtung 110 verwendet werden kann. Die Vorrichtungen 106, 108 und 112 können Hardware und/oder Software umfassen, um eine VR-Anwendung auszuführen. Außerdem können die Vorrichtungen 106, 108 und 112 Hardware und/oder Software umfassen, die 3D-Bewegung der HMD-Vorrichtung 110 erkennen, überwachen und nachverfolgen kann, wenn diese Vorrichtungen vor der HMD-Vorrichtung 110 platziert oder innerhalb eines Bereichs von Positionen relativ dazu gehalten werden. Bei einigen Implementierungen können die Vorrichtungen 106, 108 und 112 zusätzlichen Inhalt an die HMD-Vorrichtung 110 über das Netzwerk 104 bereitstellen. Bei einigen Implementierungen können die Vorrichtungen 102, 106, 108, 110 und 112 mit einer oder mehreren zueinander verknüpft sein/eine Schnittstelle bilden entweder gepaart mit oder verknüpft durch Netzwerk 104. Die Verbindung kann verdrahtet oder drahtlos sein. Das Netzwerk 104 kann ein öffentliches Kommunikationsnetzwerk oder ein privates Kommunikationsnetzwerk sein.
  • Bei einem HMD (z. B. HMD-Vorrichtung 110) erfährt ein Betrachter eine visuelle virtuelle Realität durch die Verwendung von einer linken (z. B. linkes Auge) Anzeige und einer rechten (z. B. rechtes Auge) Anzeige, die ein wahrgenommenes dreidimensionales (3D) Video oder Bild projiziert. Gemäß beispielhaften Ausführungsformen ist ein Stereo- oder 3D-Video oder -Bild auf einem Server gespeichert (z. B. als eine Mehrzahl von zugehörigen 2D-Bildern, wie sie von dem Kameraträgersystem 102 erfasst sind). Das Video oder Bild kann codiert und vom Server zum HMD gestreamt werden. Das 3D-Video oder -Bild kann als ein linkes Bild und ein rechtes Bild codiert werden, die zusammen mit Metadaten über das linke Bild und das rechte Bild gepackt werden (z. B. in ein Datenpaket). Das linke Bild und das rechte Bild werden dann decodiert und durch die linke Anzeige (z. B. das linke Auge) und die rechte Anzeige (z. B. das rechte Auge) angezeigt. Gemäß beispielhaften Ausführungsformen können das linke Bild und das rechte Bild Bilder sein, die basierend auf zwei oder mehr synchron erfassten Bildern erzeugt wurden (z. B. kombiniert als ein Bild). Gemäß beispielhaften Ausführungsformen können das linke Bild und das rechte Bild Bilder sein, die basierend auf einem Sichtfeld und/oder einer Schärfentiefe erzeugt wurden (z. B. kombiniert als ein Bild).
  • Das bzw. die hier beschriebenen Systeme und Verfahren sind sowohl auf das linke Bild als auch auf das rechte Bild anwendbar und werden in der gesamten Offenbarung je nach Anwendungsfall als ein Bild, Frame, ein Abschnitt eines Bildes, ein Abschnitt eines Frames, eine Kachel und/oder dergleichen bezeichnet. Die codierten Daten, die von einem Server (z. B. Streaming-Server) an eine Benutzervorrichtung (z. B. ein HMD) kommuniziert und dann zum Anzeigen decodiert werden, können mit anderen Worten ein linkes Bild und/oder ein rechtes Bild verknüpft mit einem 3D-Video oder -Bild sein.
  • Das System 100 kann einen elektronischen Speicher umfassen. Der elektronische Informationsspeicher kann ein nicht flüchtiges Speichermedium umfassen, das elektronisch Informationen speichert. Der elektronische Speicher kann konfiguriert sein, erfasste Bilder, erlangte Bilder, vorverarbeitete Bilder, nachverarbeitete Bilder usw. zu speichern. Mit irgendwelchen der offenbarten Kameraträgersysteme erfasste Bilder können als ein oder mehrere Videostreams verarbeitet und gespeichert oder als individuelle Frames gespeichert werden. Bei einigen Implementierungen kann ein Speichern während der Erfassung erfolgen und Rendern kann direkt nach Abschnitten von Erfassung erfolgen, um schnelleren Zugriff auf Inhalt zu ermöglichen, und früher, als wenn die Erfassung und Verarbeitung gleichzeitig erfolgen würden.
  • 2 veranschaulicht ein Blockdiagramm einer Vorrichtung 200, die das Bildverarbeitungssystem 106 umfasst, gemäß mindestens einer beispielhaften Ausführungsform. Wie gezeigt in 2, kann die Vorrichtung 200 mindestens einen Speicher 205 und mindestens einen Prozessor 210 umfassen. Der mindestens eine Speicher 205 kann das Bildverarbeitungssystem 106 umfassen. Das Bildverarbeitungssystem 106 kann mindestens ein Bild-/Videoquellen-Repositorium 215, ein Bildauswahlmodul 220, ein Tiefenverarbeitungsmodul 225 und ein Bildkombiniermodul 230 umfassen. Die Vorrichtung 200 kann ein Element von mindestens einer der Vorrichtungen 106, 108, 110 oder 112 sein. Außerdem können Elemente der Vorrichtung 200 unter mindestens einer der Vorrichtungen 106, 108, 110 oder 112 aufgeteilt sein. Beispielsweise könnte das mindestens eine Bild-/Videoquellen-Repositorium 215 im vorstehend beschriebenen elektronischen Speicher beinhaltet sein, der mit dem Bildverarbeitungssystem 106 verknüpft ist, wohingegen das Tiefenverarbeitungsmodul 225 ein Untersystem des HMD 110 sein könnte.
  • Das mindestens eine Bild-/Videoquellen-Repositorium 215 kann konfiguriert sein, eine Vielzahl von 2D- und/oder 3D-Bildern und/oder Video zu speichern. Die Bilder und/oder das Video können Szenen darstellen, die durch die Kamera(s) 130 erfasst werden und von dem Kameraträgersystem 102 unter Verwendung des Kommunikationsmoduls 132 an das mindestens eine Bild-/Videoquellen-Repositorium 215 übermittelt werden. Die Bilder und/oder das Video können entsprechende Metadaten aufweisen, welche die Kameraposition, Sichtfeld, Bildauflösung, Erfassungszeit, Framereihenfolge und/oder dergleichen anzeigen.
  • Das Bildauswahlmodul 220 kann konfiguriert sein, 2D-Bilder aus dem Bild-/Videoquellen-Repositorium 215 basierend auf einem Hinweis auf ein Sichtfeld (das z. B. vom HMD 110 empfangen wurde) auszuwählen. Das Bildauswahlmodul 220 kann zum Beispiel zwei oder mehr Bilder für das rechte Auge und zwei oder mehr Bilder für das linke Auge basierend auf dem Sichtfeld vom Bild-/Videoquellen-Repositorium 215 auswählen. Die zwei oder mehr Bilder für das rechte Auge und die zwei oder mehr Bilder für das linke Auge können Bilder einer Szene sein, die von verschiedenen Kameras 130 im Wesentlichen zum gleichen Zeitpunkt aufgenommen sind. Die Auswahl kann auf den entsprechenden Metadaten für die Bilder basieren, die im Bild-/Videoquellen-Repositorium 215 gespeichert sind.
  • Das Tiefenverarbeitungsmodul 225 kann konfiguriert sein, eine Schärfentiefe oder Fokustiefe eines Benutzers zu bestimmen, der ein Bild und/oder Video unter Verwendung des HMD 110 betrachtet. Das HMD 110 kann beispielsweise eine Eyetracking-Vorrichtung (z. B. der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R veranschaulicht in 12B) umfassen, die konfiguriert ist, die Schärfentiefe zu bestimmen und/oder eine Messung auszuführen, von der die Schärfentiefe bestimmt werden kann. Die Eyetracking-Vorrichtung kann beispielsweise eine Position der Pupillen der Augen des Benutzers messen. Die Eyetracking-Vorrichtung kann die Konvergenz der Pupillen messen und den Winkel C bestimmen (siehe 13A). Der Winkel C kann verwendet werden, um die Schärfentiefe zu bestimmen.
  • Das Bildkombinationsmodul 230 kann konfiguriert sein, zwei oder mehr Bilder zu kombinieren, um ein drittes Bild zu erzeugen, das dann an das HMD 110 zum Rendern auf einer Anzeige des HMD 110 übermittelt wird. Das Bild für das linke Auge kann beispielsweise erzeugt werden, indem die zwei oder mehr Bilder für das linke Auge kombiniert werden, sodass das kombinierte Bild in der Schärfentiefe scharf (z. B. nicht verzerrt oder nicht verschwommen) ist. Um ein kombiniertes Bild zu erzeugen, kann ein erstes Bild (z. B. wie erfasst durch die Kamera 320-1) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-2), das zur gleichen (oder im Wesentlichen zur gleichen) Zeit wie das erste Bild erfasst wurde, verschoben werden, bis ein Teil des kombinierten Bildes scharf ist (z. B. der Abschnitt des ersten Bildes in der Schärfentiefe im Wesentlichen den Abschnitt des zweiten Bildes in der gleichen Schärfentiefe überlappt). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 13A) verschoben. Bei einer anderen beispielhaften Implementierung werden beide Bilder in Richtung der Mitte des Sichtfelds (z. B. zur Mitte des linken Auges) basierend auf dem entsprechenden Kamerastandort in Bezug auf die Position des Sichtfelds, und bis ein Abschnitt (welcher der Schärfentiefe entspricht) des kombinierten Bildes scharf ist, verschoben.
  • 3A veranschaulicht eine Draufsichtperspektive eines Blockdiagramms einer Bilderfassungskonfiguration gemäß mindestens einer beispielhaften Ausführungsform. Wie gezeigt in 3A umfasst die Konfiguration drei Abschnitte eines Bildes 300. Die drei Abschnitte des Bildes 300 umfassen einen fernen Abschnitt 305 des Bildes 300, einen mittleren Abschnitt 310 des Bildes 300 und einen nahen Abschnitt 315 des Bildes 300. Fern, mittel und nah zeigen Fokustiefen an, die mit einem Betrachter (z. B. mit den Augen 325-1 und 325-2) des Bildes 300 verknüpft sind. Mit anderen Worten befindet sich der ferne Abschnitt 305 des Bildes 300 wie gesehen durch den Betrachter bei einer verhältnismäßig fernen Fokustiefe, der mittlere Abschnitt 310 des Bildes 300 befindet sich wie gesehen durch den Betrachter verhältnismäßig zwischen der nahen und fernen Fokustiefe und der nahe Abschnitt 315 des Bildes 300 befindet sich wie gesehen durch den Betrachter bei einer verhältnismäßig nahen Fokustiefe.
  • 3B veranschaulicht eine Vorderansichtsperspektive des Blockdiagramms der Aufnahmekonfiguration des Bildes 300 gemäß mindestens einer beispielhaften Ausführungsform. Wie gezeigt, in 3B ist der nahe Abschnitt 315 des Bildes 300 als vor dem mittleren Abschnitt 310 des Bildes 300 veranschaulicht. Weiter ist der ferne Abschnitt 305 des Bildes 300 als hinter (und zur Übersichtlichkeit oberhalb) dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 dargestellt.
  • Bei einer beispielhaften Ausführungsform kann die 3D-Bild-Erfassung die Verwendung von mehr als einer Kamera jeweils an einer anderen Position umfassen. Dies ist durch die Kameras 320-1, 320-2 und 320-3 veranschaulicht. Die Kameras 320-1, 320-2 und 320-3 können Digitalkameras sein, die zum Erfassen von Standbildern, eines Videos und/oder von Einzelbildern eines Videos konfiguriert sind.
  • 4 veranschaulicht ein Blockdiagramm eines Verfahrens gemäß mindestens einer beispielhaften Ausführungsform. Wie in 4 gezeigt, wird in Schritt S405 ein Sichtfeld bestimmt. Das HMD 110 kann beispielsweise einen Beschleunigungsmesser umfassen, um eine Position oder eine Bewegung des Kopfes des Benutzers des HMD 110 zu überwachen. Eine Vorrichtung (z. B. eine Kamera und/oder ein Infrarotsensor) außerhalb des HMD 110 kann beispielsweise eine Position oder eine Bewegung des Kopfes des Benutzers des HMD 110 überwachen. Beispielsweise kann das HMD 110 eine Eyetracking-Vorrichtung (z. B. der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R wie gezeigt in 12B) umfassen, die konfiguriert ist, eine Blickrichtung zu bestimmen. Von der Position und/oder Bewegung des HMD 110 und/oder der Blickrichtung kann ein Sichtfeld bestimmt werden. Die Position und/oder Bewegung des HMD 110 und/oder die Blickrichtung können mit anderen Worten bestimmen, worauf (z. B. Sichtfeld) der Benutzer des HMD 110 sieht.
  • In Schritt S410 wird eine Schärfentiefe bestimmt. Das HMD 110 kann beispielsweise eine Eyetracking-Vorrichtung (z. B. der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R) umfassen, die konfiguriert ist, die Schärfentiefe zu bestimmen und/oder eine Messung auszuführen, von der die Schärfentiefe bestimmt werden kann. Die Eyetracking-Vorrichtung kann beispielsweise eine Position der Pupillen der Augen des Benutzers messen. Die Eyetracking-Vorrichtung kann die Konvergenz der Pupillen messen und den Winkel C bestimmen (siehe 13A). Der Winkel C kann verwendet werden, um die Schärfentiefe zu bestimmen. Das Tiefenverarbeitungsmodul 225 kann konfiguriert sein, die Messungen und/oder einen Hinweis auf die Schärfentiefe zu verwenden, die vom HMD 110 empfangen wurde, um die Schärfentiefe, soweit sie ein Bild betrifft, zu bestimmen.
  • In Schritt S415 werden zwei oder mehr Bilder für das rechte Auge und zwei oder mehr Bilder für das linke Auge basierend auf dem Sichtfeld ausgewählt. Beispielsweise können Bilder aus einem Datenspeicher (z. B. Speicher und/oder Datenbank) und/oder basierend auf einer Live-Erfassung ausgewählt werden. Das Bildauswahlmodul 220 kann beispielsweise 2D-Bilder aus dem Bild-/Videoquellen-Repositorium 215 basierend auf einem Hinweis auf ein Sichtfeld für jedes von dem linken Auge und dem rechten Auge auswählen. Bei einer beispielhaften Implementierung können mehrere Kameras (z. B. Kamera 320-1, 320-2, 320-3 oder 1230) verwendet werden, um Bilder und/oder Video zu erfassen. Das Sichtfeld für das linke Auge kann sich zwischen zwei der Kameras befinden (z. B. Kamera 320-1 und 320-2) und das Sichtfeld für das rechte Auge kann sich zwischen zwei (z. B. unterschiedlichen) Kameras befinden (z. B. Kamera 320-2 und 320-3). Daher kann ein Bild, das durch jede der Kameras erfasst wird, die das linke Auge flankieren (z. B. Kamera 320-1 und 320-2), ausgewählt werden, und es kann ein Bild, das durch jede der Kameras erfasst wird, die das rechte Auge flankieren (z. B. Kamera 320-2 und 320-3), ausgewählt werden.
  • In Schritt S420 wird ein Bild für das linke Auge basierend auf den zwei oder mehr Bildern für das linke Auge und der Schärfentiefe erzeugt. Beispielsweise kann das Bild für das linke Auge durch Kombinieren der zwei oder mehr Bilder für das linke Auge erzeugt (z. B. durch das Bildkombiniermodul 230) werden, sodass das kombinierte Bild in der Schärfentiefe scharf (z. B. nicht verzerrt oder nicht verschwommen) ist. Um ein kombiniertes Bild zu erzeugen, kann ein Prozessor (z. B. Prozessor 210, der eine Reihe von Befehlen ausführt) ein erstes Bild (z. B. wie erfasst durch die Kamera 320-1) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-2), das zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde verschieben, bis ein Abschnitt des kombinierten Bildes scharf ist (z. B. überlappt der Abschnitt des ersten Bildes in der Betrachtungsperspektive im Wesentlichen den Abschnitt des zweiten Bildes in der gleichen Schärfentiefe). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 13A) verschoben. Bei einer weiteren beispielhaften Implementierung werden beide Bilder zur Mitte des Sichtfeldes (z. B. zur Mitte des linken Auges) verschoben, bis ein Abschnitt (welcher der Schärfentiefe entspricht) des kombinierten Bildes scharf ist.
  • Dann können das erste Bild und das zweite Bild basierend auf der Verschiebung miteinander kombiniert (z. B. überlagert) werden. Weiter kann eine Nachbearbeitung erfolgen. Beispielsweise kann eine Farbzusammenführung oder - anpassung ausgeführt werden, sodass der kombinierte Abschnitt des Bildes im Wesentlichen die gleiche Farbpalette wie der Abschnitt des Bildes im ersten Bild und/oder zweiten Bild aufweist. Es kann beispielsweise ein Farb- (oder Pixeldatenwert) -Ausgleich bestimmt und über das kombinierte Bild angewandt werden. Der Farbenausgleich kann ein gewichteter Ausgleich sein basierend auf einem Kameraabstand von der Mitte des Sichtfeldes.
  • In Schritt S425 wird ein Bild für das rechte Auge basierend auf den zwei oder mehr Bildern für das rechte Auge und der Schärfentiefe erzeugt. Beispielsweise kann das Bild für das rechte Auge durch Kombinieren der zwei oder mehr Bilder für das rechte Auge (z. B. durch das Bildkombiniermodul 230) erzeugt werden, sodass das kombinierte Bild in der Schärfentiefe scharf (z. B. nicht verzerrt oder nicht undeutlich) ist. Um ein kombiniertes Bild zu erzeugen, kann ein Prozessor (z. B. Prozessor 210, der eine Reihe von Befehlen ausführt) ein erstes Bild (z. B. wie erfasst durch die Kamera 320-2) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-3), das zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde verschieben, bis ein Abschnitt des kombinierten Bildes scharf ist (z. B. überlappt der Abschnitt des ersten Bildes in der Schärfentiefe im Wesentlichen den Abschnitt des zweiten Bildes in der gleichen Schärfentiefe). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 13A) verschoben. Bei einer weiteren beispielhaften Implementierung werden beide Bilder zur Mitte des Sichtfeldes (z. B. zur Mitte für das rechte Auge) verschoben, bis ein Abschnitt (welcher der Schärfentiefe entspricht) des kombinierten Bildes scharf ist.
  • Dann können das erste Bild und das zweite Bild basierend auf der Verschiebung miteinander kombiniert (z. B. überlagert) werden. Weiter kann eine Nachbearbeitung erfolgen. Beispielsweise kann eine Farbzusammenführung oder - anpassung ausgeführt werden, sodass der kombinierte Abschnitt des Bildes im Wesentlichen die gleiche Farbpalette wie der Abschnitt des Bildes im ersten Bild und/oder zweiten Bild aufweist. Es kann beispielsweise ein Farb- (oder Pixeldatenwert) -Ausgleich bestimmt und über das kombinierte Bild angewandt werden. Der Farbenausgleich kann ein gewichteter Ausgleich sein basierend auf einem Kameraabstand von der Mitte des Sichtfeldes.
  • In Schritt S430 werden das Bild für das linke Auge und das Bild für das rechte Auge auf mindestens einer Anzeige des HMD 110 angezeigt. Das HMD 110 kann beispielsweise eine erste Anzeige aufweisen, die mit dem linken Auge verknüpft ist, und eine zweite Anzeige, die mit dem rechten Auge verknüpft ist. Das erzeugte Bild für das linke Auge kann auf der ersten Anzeige gerendert werden und das erzeugte Bild für das rechte Auge kann auf der zweiten Anzeige gerendert werden. Bei einer beispielhaften Implementierung kann das HMD 110 eine einzelne Anzeige umfassen, die einen ersten Abschnitt umfasst, der mit dem linken Auge verknüpft ist, und einen zweiten Abschnitt, der mit dem rechten Auge verknüpft ist.
  • Die 5A, 5B und 5C veranschaulichen das Bild 300 wie entsprechend erfasst durch die Kamera 320-1, 320-2 und 320-3. Die 6A und 6B veranschaulichen das Bild 300, wie entsprechend durch die Augen 325-1 und 325-2 gesehen. Wie gezeigt in 5B kann die Kamera 320-2 das Bild 300 im Wesentlichen direkt erfassen, da es minimale (wenn überhaupt) Unterschiede beim Vergleichen des Bildes 300 wie gezeigt in 3B mit dem Bild 300 wie gezeigt in 5B gibt. Im Gegensatz dazu das Bild 300 wie erfasst durch die Kamera 320-1 wie gezeigt in 5A. Wie ersichtlich ist das Bild 300 mit dem nahen Abschnitt 315 verschoben nach rechts (oder weg von der Kamera 320-1) verglichen mit dem mittleren Abschnitt 310 und dem fernen Abschnitt 305 verschoben nach links (oder zur Kamera 320-1) verglichen mit dem mittleren Abschnitt 310 gezeigt. Weiter ist das Bild 300 wie erfasst, durch die Kamera 320-3 wie gezeigt in 5C mit dem nahen Abschnitt 315 verschoben nach links (oder weg von der Kamera 320-3) verglichen mit dem mittleren Abschnitt 310 und dem fernen Abschnitt 305 verschoben nach rechts (oder zur Kamera 320-3) verglichen mit dem mittleren Abschnitt 310 gezeigt.
  • Wie gezeigt in 6A ist das Bild 300 wie gesehen durch Auge 325-1 (z. B. wie gesehen mit dem Auge 325-2 geschlossen) etwas ähnlich dem Bild 300 wie erfasst durch die Kamera 320-1 oder wie veranschaulicht in 5A. Dementsprechend ist in 6A das Bild 300 mit dem nahen Abschnitt 315 verschoben nach rechts (oder weg vom Auge 325-1) verglichen mit dem mittleren Abschnitt 310 und dem fernen Abschnitt 305 verschoben nach links (oder zum Auge 325-1) verglichen mit dem mittleren Abschnitt 310 gezeigt. Wie gezeigt in 6B ist das Bild 300 wie gesehen durch das Auge 325-2 (z. B. wie gesehen mit dem Auge 325-1 geschlossen) dem Bild 300 wie erfasst durch die Kamera 320-3 oder wie veranschaulicht in 5C etwas ähnlich. Dementsprechend ist in 6A das Bild 300 mit dem nahen Abschnitt 315 verschoben nach links (oder weg vom Auge 325-2) verglichen mit dem mittleren Abschnitt 310 und dem fernen Abschnitt 305 verschoben nach rechts (oder zum Auge 325-2) verglichen mit dem mittleren Abschnitt 310 gezeigt.
  • Die 7A, 7B und 7C veranschaulichen die durch das Bild 300 dargestellte Szene, wie es durch das menschliche Sehsystem visualisiert wird. Die 7A, 7B und 7C veranschaulichen das Bild 300 beispielsweise wie visualisiert durch das menschliche Sehsystem gesehen in Echtzeit oder in der echten Welt. 7A veranschaulicht die durch das Bild 300 dargestellt Szene wie visualisiert durch das menschliche Sehsystem, wenn die Fokustiefe fern ist. Mit anderen Worten veranschaulicht 7A eine Visualisierung der Szene, die durch das Bild 300 dargestellt wird, gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den fernen Abschnitt 305 der Szene dargestellt wird, die durch das Bild 300 dargestellt wird.
  • Wie gezeigt in 7A ist der ferne Abschnitt 305 des Bildes 300 wie gezeigt in 3B. Der ferne Abschnitt 305 des Bildes 300 ist mit anderen Worten als hinter (und zur Übersichtlichkeit über) dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 veranschaulicht. Der ferne Abschnitt 305 des Bildes 300 ist auch die Form (z. B. ein einzelner schattierter Stern) wie sie in 3B gezeigt ist. In 7A sind jedoch der nahe Abschnitt 315 des Bildes 300 und der mittlere Abschnitt 310 des Bildes 300 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 7A sind der nahe Abschnitt 315 des Bildes 300 und der mittlere Abschnitt 310 des Bildes 300 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 des Bildes 300 in drei visualisierte nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der visualisierte nahe Abschnitt 315-2 ist als die gleiche Form und Schattierung wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte nahe Abschnitt 315-2 ist jedoch als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die visualisierten nahen Abschnitte 315-1 und 315-3 können den Diplopieabschnitt des nahen Abschnitts 315 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den fernen Abschnitt 305 des Bildes 300 dargestellt wird.
  • Beispielsweise ist der mittlere Abschnitt 310 des Bildes 300 in drei visualisierte mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der visualisierte mittlere Abschnitt 310-2 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte mittlere Abschnitt 310-2 ist als enger als der mittlere Abschnitt 310 des Bildes 300 gezeigt, das in 3B gezeigt ist. Die visualisierten mittleren Abschnitte 310-1 und 310-3 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-1 und 310-3 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die visualisierten mittleren Abschnitte 310-1 und 310-3 können den Diplopieabschnitt des mittleren Abschnitts 310 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den fernen Abschnitt 305 des Bildes 300 dargestellt wird.
  • 7B veranschaulicht die durch das Bild 300 dargestellte Szene wie visualisiert durch das menschliche Sehsystem, wenn die Fokustiefe mittel ist. Mit anderen Worten veranschaulicht 7B eine Visualisierung der Szene, die durch das Bild 300 dargestellt wird, gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den mittleren Abschnitt 310 der Szene dargestellt wird, die durch das Bild 300 dargestellt wird.
  • Wie gezeigt in 7B ist der mittlere Abschnitt 310 des Bildes 300 wie gezeigt in 3B. Der mittlere Abschnitt 310 des Bildes 300 ist mit anderen Worten als hinter dem nahen Abschnitt 315 des Bildes 300 und vor dem fernen Abschnitt 305 des Bildes 300 veranschaulicht. Der mittlere Abschnitt 310 des Bildes 300, das in 7B gezeigt ist, ist auch die Form (z. B. querschattiertes Rechteck) und die Größe wie gezeigt in 3B. In 7B sind jedoch der nahe Abschnitt 315 des Bildes 300 und der ferne Abschnitt 305 des Bildes 300 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 7B sind der nahe Abschnitt 315 des Bildes 300 und der ferne Abschnitt 305 des Bildes 300 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 des Bildes 300 in drei visualisierte nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der visualisierte nahe Abschnitt 315-2 ist als die gleiche Form und Schattierung wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte nahe Abschnitt 315-2 ist jedoch als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die visualisierten nahen Abschnitte 315-1 und 315-3 können den Diplopieabschnitt des nahen Abschnitts 315 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den mittleren Abschnitt 310 des Bildes 300 dargestellt wird.
  • Der ferne Abschnitt 305 des Bildes 300 ist beispielsweise in zwei visualisierte ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die visualisierten fernen Abschnitte 305-1 und 305-2, die in 7B gezeigt sind, sind als die gleiche Form (z. B. ein Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-2 können den Diplopieabschnitt des fernen Abschnitts 305 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den mittleren Abschnitt 310 des Bildes 300 dargestellt wird.
  • 7C veranschaulicht die durch das Bild 300 dargestellte Szene wie visualisiert durch das menschliche Sehsystem, wenn die Fokustiefe nah ist. Mit anderen Worten veranschaulicht 7C eine Visualisierung der Szene, die durch das Bild 300 dargestellt wird, gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den nahen Abschnitt 315 der Szene dargestellt wird, die durch das Bild 300 dargestellt wird.
  • Wie gezeigt in 7C ist der nahe Abschnitt 315 des Bildes 300 wie gezeigt in 3B. Der nahe Abschnitt 310 des Bildes 300 ist mit anderen Worten als vor dem mittleren Abschnitt 315 des Bildes 300 und vor dem fernen Abschnitt 305 des Bildes 300 veranschaulicht. Der nahe Abschnitt 315 des Bildes 300, das in 7C gezeigt ist, ist auch die Form (z. B. punktschattiertes Rechteck) und die Größe wie gezeigt in 3B. In 7C sind jedoch der mittlere Abschnitt 310 des Bildes 300 und der ferne Abschnitt 305 des Bildes 300 verglichen mit dem mittleren Abschnitt 310 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 7C sind der mittlere Abschnitt 310 des Bildes 300 und der ferne Abschnitt 305 des Bildes 300 als Diplopieabschnitte gezeigt. Beispielsweise ist der mittlere Abschnitt 310 des Bildes 300 in drei visualisierte mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der visualisierte mittlere Abschnitt 310-2 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte mittlere Abschnitt 310-2 ist als enger als der mittlere Abschnitt 310 des Bildes 300 gezeigt, das in 3B gezeigt ist. Die visualisierten mittleren Abschnitte 310-1 und 310-3 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-1 und 310-3 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die visualisierten mittleren Abschnitte 310-1 und 310-3 können den Diplopieabschnitt des mittleren Abschnitts 310 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den nahen Abschnitt 315 des Bildes 300 dargestellt wird.
  • Der ferne Abschnitt 305 des Bildes 300 ist beispielsweise in zwei visualisierte ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die visualisierten fernen Abschnitte 305-1 und 305-2, die in 7C gezeigt sind, sind als die gleiche Form (z. B. ein Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-2 können den Diplopieabschnitt des fernen Abschnitts 305 des Bildes 300 darstellen gesehen in Echtzeit oder in der echten Welt und die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) sind auf die Szene fokussiert, die durch den nahen Abschnitt 315 des Bildes 300 dargestellt wird.
  • Die Beispiele, die in den 7A, 7B und 7C veranschaulicht sind, können auch miteinander verglichen werden. Beispielsweise sind die vorstehend beschriebenen Diplopieabschnitte als eine größere Verzerrung aufweisend gezeigt, je weiter sich die Fokustiefe von der Visualisierung befindet. 7B zeigt beispielsweise das Bild 300 bei Fokussierung auf die durch den mittleren Abschnitt 310 dargestellte Szene des Bildes 300 und 7C zeigt das Bild 300 bei Fokussierung auf die Szene, die durch den nahen Abschnitt 315 des Bildes 300 dargestellt ist. Dementsprechend ist die Fokustiefe verglichen mit der Szene, die durch den fernen Abschnitt 305 des Bildes 300 dargestellt ist, in 7C als weiter weg gezeigt als in 7B. Als solches sind die visualisierten fernen Abschnitte 305-1 und 305-2, die in 7C und 7B gezeigt sind, in unterschiedlichen Positionen gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-2, die in 7B gezeigt sind, sind näher zusammen (z. B. weniger verzerrt) und im Wesentlichen innerhalb der Breite des mittleren Abschnitts 310 verglichen mit den visualisierten fernen Abschnitten 305-1 und 305-2, die in 7C gezeigt sind. Eine ähnliche Analyse kann erfolgen, wenn der Fokus auf der Szene liegt, die durch den mittleren Abschnitt 310 und den fernen Abschnitt 305 des Bildes 300 dargestellt ist.
  • Die 8A und 8B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform. 8A veranschaulicht ein kombiniertes Bild 305 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-1 und 320-2. Das kombinierte Bild 805 ist als bei einer Fokustiefe basierend auf dem fernen Abschnitt 305 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 805 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 8A ist der ferne Abschnitt 305 des kombinierten Bildes 805 im Wesentlichen dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B ähnlich. In 8A ist der ferne Abschnitt 305 des kombinierten Bildes 805 als hinter (und zur Übersichtlichkeit über) dem nahen Abschnitt 315 und dem mittleren Abschnitt 310 veranschaulicht. Der ferne Abschnitt 305 des kombinierten Bildes 805 ist auch die Form (z. B. ein einzelner schattierter Stern) wie sie in 3B gezeigt ist. In 8A ist der ferne Abschnitt 305 des kombinierten Bildes 805 jedoch verglichen mit dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B verschoben nach links gezeigt. Alternativ sind der nahe Abschnitt 315 und der mittlere Abschnitt 310 als verschoben nach rechts gezeigt. Weiter sind in 8A der nahe Abschnitt 315 und der mittlere Abschnitt 310 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 8A sind der nahe Abschnitt 315 und der mittlere Abschnitt 310 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 in drei nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der nahe Abschnitt 315-2 des kombinierten Bildes 805 ist als die gleiche Form und Schattierung (ist z. B. nicht verzerrt) wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der nahe Abschnitt 315-2 des kombinierten Bildes 805 ist als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 805 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 805 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 805 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach rechts verschoben gezeigt.
  • Beispielsweise ist der mittlere Abschnitt 310 in drei mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 805 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 805 ist jedoch als schmaler als der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 805 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 805 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 805 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, mit einer Verschiebung, die geringfügig kleiner ist als die Verschiebung der nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 805 als nach rechts verschoben gezeigt (z. B. der nahe Abschnitt 315-2 des kombinierten Bildes 805 erstreckt sich über die rechte Begrenzung des mittleren Abschnitts 310-2 hinaus, der sich von dem unterscheidet, der in 7A gezeigt ist).
  • 8B veranschaulicht ein kombiniertes Bild 810 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-2 und 320-3. Das kombinierte Bild 810 ist als bei einer Fokustiefe basierend auf dem fernen Abschnitt 305 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 810 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 8B ist der ferne Abschnitt 305 des kombinierten Bildes 810 im Wesentlichen dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B ähnlich. In 8B ist der ferne Abschnitt 305 des kombinierten Bildes 810 mit anderen Worten als hinter (und zur Übersichtlichkeit über) dem nahen Abschnitt 315 und dem mittleren Abschnitt 310 veranschaulicht. Der ferne Abschnitt 305 des kombinierten Bildes 810 ist auch die Form (z. B. ein einzelner schattierter Stern) wie sie in 3B gezeigt ist. In 8B ist der ferne Abschnitt 305 des kombinierten Bildes 805 jedoch verglichen mit dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B nach rechts verschoben gezeigt. Alternativ sind der nahe Abschnitt 315 und der mittlere Abschnitt 310 als nach links verschoben gezeigt. Weiter sind in 8B der nahe Abschnitt 315 und der mittlere Abschnitt 310 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 8B sind der nahe Abschnitt 315 und der mittlere Abschnitt 310 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 in drei nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der nahe Abschnitt 315-2 des kombinierten Bildes 810 ist als die gleiche Form und Schattierung (ist z. B. nicht verzerrt) wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der nahe Abschnitt 315-2 des kombinierten Bildes 810 ist als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 810 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 810 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 810 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach links verschoben gezeigt.
  • Beispielsweise ist der mittlere Abschnitt 310 in drei mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 810 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 810 ist jedoch als schmaler als der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 810 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 810 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 810 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, mit einer Verschiebung, die geringfügig kleiner ist als die Verschiebung der nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 810 als nach links verschoben gezeigt (z. B. erstreckt sich der nahe Abschnitt 315-2 des kombinierten Bildes 810 über die linke Begrenzung des mittleren Abschnitts 310-1 hinaus, der sich von dem unterscheidet, der in 7A gezeigt ist).
  • Um ein kombiniertes Bild zu erzeugen (z. B. das kombinierte Bild 805 und/oder das kombinierte Bild 810) kann ein Prozessor (z. B. Prozessor 210, der eine Reihe von Befehlen ausführt) ein erstes Bild (z. B. wie erfasst durch die Kamera 320-1) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-2), das zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, verschieben, bis ein Abschnitt eines kombinierten Bildes (z. B. der ferne Abschnitt 305) scharf ist (z. B. überlappt der Abschnitt des ersten Bildes im Wesentlichen den Abschnitt des zweiten Bildes). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 13A) verschoben. Alternativ oder zusätzlich dazu kann der Prozessor eine Position eines Abschnitts eines Bildes (z. B. der ferne Abschnitt 305) in einem ersten Bild (z. B. wie erfasst durch die Kamera 320-1) mit einer Position eines gleichen Abschnitts eines Bildes (z. B. der ferne Abschnitt 305) in einem zweiten Bild (z. B. wie erfasst durch die Kamera 320-2), der zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, abgleichen. Dann kann das erste Bild basierend auf der abgeglichenen Position verschoben werden.
  • Dann können das erste Bild und das zweite Bild basierend auf der Verschiebung miteinander kombiniert (z. B. überlagert) werden. Weiter kann eine Nachbearbeitung erfolgen. Beispielsweise kann eine Farbzusammenführung oder - anpassung ausgeführt werden, sodass der kombinierte Abschnitt des Bildes im Wesentlichen die gleiche Farbpalette wie der Abschnitt des Bildes im ersten Bild und/oder zweiten Bild aufweist. Es kann beispielsweise ein Farb- (oder Pixeldatenwert) -Ausgleich bestimmt und über das kombinierte Bild angewandt werden.
  • 8C veranschaulicht ein visualisiertes Bild 815, wenn es auf einer Anzeige eines HMD angezeigt (und angesehen) wird, gemäß mindestens einer beispielhaften Ausführungsform. Beispielsweise könnte jeweils von dem HMD 150 das kombinierte Bild 805 auf der Anzeige 105-L angezeigt werden und das kombinierte Bild 810 auf der Anzeige 105-R angezeigt werden, wie gezeigt in 1B. Das visualisierte Bild 815 kann das Bild sein, wie es durch das menschliche Sehsystem wahrgenommen wird wie visualisiert im Gesichtsfeld mit voller binokularer Überlappung 1320 und/oder die hochauflösende Region des Gesichtsfeldes binokularer Überlappung 1325 (siehe 13A). Mit anderen Worten veranschaulicht 8C eine Visualisierung der durch das Bild 300 dargestellten Szene, wenn sie auf einem HMD gerendert und durch dieses unter Verwendung der kombinierten Bilder 805 und 810 angesehen wird. Weiter wird unter Verwendung der kombinierten Bilder 805 und 810 ein wahrgenommenes 3D-Bild gerendert, ohne 3D-Bilder von erfassten 2D-Bildern zu interpolieren.
  • Wie gezeigt in 8C ist der ferne Abschnitt 305 des visualisierten Bildes 815 im Wesentlichen dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B ähnlich. Der ferne Abschnitt 305 des visualisierten Bildes 815 ist mit anderen Worten als hinter (und zur Übersichtlichkeit über) dem nahen Abschnitt 315 des visualisierten Bildes 815 und dem mittleren Abschnitt 310 des visualisierten Bildes 815 veranschaulicht. Der ferne Abschnitt 305 des visualisierten Bildes 815 ist auch die Form (z. B. ein einzelner schattierter Stern) wie der ferne Abschnitt 305 des Bildes 300 wie gezeigt in 3B. In 8C sind jedoch der nahe Abschnitt 315 des visualisierten Bildes 815 und der mittlere Abschnitt 310 des visualisierten Bildes 815 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 8C sind der nahe Abschnitt 315 des visualisierten Bildes 815 und der mittlere Abschnitt 310 des visualisierten Bildes 815 als Dreifachsichtabschnitte gezeigt. Der nahe Abschnitt 315 des visualisierten Bildes 815 ist beispielsweise in fünf visualisierte nahe Abschnitte 315-1, 315-2, 315-3, 315-4 und 315-5 aufgeteilt. Der visualisierte nahe Abschnitt 315-2 ist als die gleiche Form und Schattierung wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte nahe Abschnitt 315-2 ist jedoch als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-4 und 315-5 sind verglichen mit den visualisierten nahen Abschnitten 315-1 und 315-3 als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-1, 315-3, 315-4 und 315-5 sind als die Breite des nahen Abschnitts 315-2 des visualisierten Bildes 815 über die Breite des mittleren Abschnitts 310 des visualisierten Bildes 815 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die visualisierten nahen Abschnitte 315-1, 315-3, 315-4 und 315-5 können den Dreifachsichtabschnitt des nahen Abschnitts 315 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 805 und 810, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den fernen Abschnitt 305 des Bildes 300 fokussiert sind.
  • Der mittlere Abschnitt 310 des visualisierten Bildes 815 ist beispielsweise in fünf visualisierte mittlere Abschnitte 310-1, 310-2a, 310-2b, 310-3 und 310-4 aufgeteilt. Die visualisierten mittleren Abschnitte 310-2a und 310-2b des visualisierten Bildes 815 sind als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-2a und 310-2b sind als einen verzerrenden Abschnitt 310-4 dazwischen aufweisend gezeigt, wohingegen der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, kontinuierlich ist. Die visualisierten mittleren Abschnitte 310-1 und 310-3 des visualisierten Bildes 815 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-1 und 310-3 des visualisierten Bildes 815 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die visualisierten mittleren Abschnitte 310-1, 310-3 und 310-5 des visualisierten Bildes 815 können den Dreifachsichtabschnitt des mittleren Abschnitts 310 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 805 und 810, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den fernen Abschnitt 305 des Bildes 300 fokussiert sind.
  • Die 9A und 9B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform. 9A veranschaulicht ein kombiniertes Bild 905 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-1 und 320-2. Das kombinierte Bild 905 ist als bei einer Fokustiefe basierend auf dem mittleren Abschnitt 310 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 905 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 9A ist der mittlere Abschnitt 310 des kombinierten Bildes 905 im Wesentlichen dem mittleren Abschnitt 310 des Bildes 300 ähnlich wie gezeigt in 3B. Mit anderen Worten ist in 9A der mittlere Abschnitt 310 des kombinierten Bildes 905 als hinter dem nahen Abschnitt 315 und vor dem fernen Abschnitt 305 veranschaulicht. Der mittlere Abschnitt 310 des kombinierten Bildes 905 ist auch die Form (z. B. ein querschattiertes Rechteck) und Größe wie gezeigt in 3B. In 9A ist jedoch der mittlere Abschnitt 310 des kombinierten Bildes 905 verglichen mit dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B verschoben nach links gezeigt. Alternativ sind der nahe Abschnitt 315 und der ferne Abschnitt 305 als verschoben nach rechts gezeigt. Weiter sind in 9A der nahe Abschnitt 315 und der ferne Abschnitt 305 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 9A sind der nahe Abschnitt 315 und der ferne Abschnitt 305 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 in drei nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der nahe Abschnitt 315-2 des kombinierten Bildes 905 ist als die gleiche Form und Schattierung (ist z. B. nicht verzerrt) wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der nahe Abschnitt 315-2 des kombinierten Bildes 905 ist als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 905 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 905 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 905 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach rechts verschoben gezeigt.
  • Der ferne Abschnitt 305 ist beispielsweise in zwei ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die fernen Abschnitte 305-1 und 305-2, die in 9A gezeigt sind, sind als die gleiche Form (z. B. ein Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die fernen Abschnitte 305-1 und 305-2 des kombinierten Bildes 905 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als verschoben nach rechts gezeigt.
  • 9B veranschaulicht ein kombiniertes Bild 910 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-2 und 320-3. Das kombinierte Bild 910 ist als bei einer Fokustiefe basierend auf dem mittleren Abschnitt 310 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 910 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 9B ist der mittlere Abschnitt 310 des kombinierten Bildes 910 im Wesentlichen dem mittleren Abschnitt 310 des Bildes 300 ähnlich wie gezeigt in 3B. Mit anderen Worten ist in 9B der mittlere Abschnitt 310 des kombinierten Bildes 910 als hinter dem nahen Abschnitt 315 und vor dem fernen Abschnitt 305 veranschaulicht. Der ferne Abschnitt 305 des kombinierten Bildes 910 ist auch die Form (z. B. ein querschattiertes Rechteck) und Größe wie gezeigt in 3B. In 9B ist jedoch der mittlere Abschnitt 310 des kombinierten Bildes 910 verglichen mit dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B verschoben nach rechts gezeigt. Alternativ sind der nahe Abschnitt 315 und der ferne Abschnitt 305 als verschoben nach links gezeigt. Weiter sind in 9B der nahe Abschnitt 315 und der ferne Abschnitt 305 verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 9B sind der nahe Abschnitt 315 und der ferne Abschnitt 305 als Diplopieabschnitte gezeigt. Beispielsweise ist der nahe Abschnitt 315 in drei nahe Abschnitte 315-1, 315-2 und 315-3 aufgeteilt. Der nahe Abschnitt 315-2 des kombinierten Bildes 910 ist als die gleiche Form und Schattierung (ist z. B. nicht verzerrt) wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der nahe Abschnitt 315-2 des kombinierten Bildes 910 ist als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 910 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 910 sind als die Breite des nahen Abschnitts 315 des Bildes 300 über die Breite des mittleren Abschnitts 310 des Bildes 300 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die nahen Abschnitte 315-1 und 315-3 des kombinierten Bildes 910 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach links verschoben gezeigt.
  • Der ferne Abschnitt 305 ist beispielsweise in zwei ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die fernen Abschnitte 305-1 und 305-2, die in 9B gezeigt sind, sind als die gleiche Form (z. B. B Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die fernen Abschnitte 305-1 und 305-2 des kombinierten Bildes 910 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach links verschoben gezeigt.
  • Um ein kombiniertes Bild zu erzeugen (z. B. das kombinierte Bild 905 und/oder das kombinierte Bild 910) kann ein Prozessor (z. B. Prozessor 210, der eine Reihe von Befehlen ausführt) ein erstes Bild (z. B. wie erfasst durch die Kamera 320-1) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-2), das zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, verschieben, bis ein Abschnitt eines kombinierten Bildes (z. B. der mittlere Abschnitt 310) scharf ist (z. B. überlappt der Abschnitt des ersten Bildes im Wesentlichen den Abschnitt des zweiten Bildes). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 2A) verschoben. Alternativ oder zusätzlich dazu kann der Prozessor eine Position eines Abschnitts eines Bildes (z. B. der mittlere Abschnitt 310) in einem ersten Bild (z. B. wie erfasst durch die Kamera 320-1) mit einer Position eines gleichen Abschnitts eines Bildes (z. B. der ferne Abschnitt 305) in einem zweiten Bild (z. B. wie erfasst durch die Kamera 320-2), der zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, abgleichen. Dann kann das erste Bild basierend auf der abgegeglichenen Position verschoben werden.
  • Dann können das erste Bild und das zweite Bild basierend auf der Verschiebung miteinander kombiniert (z. B. überlagert) werden. Weiter kann eine Nachbearbeitung erfolgen. Beispielsweise kann eine Farbzusammenführung oder -anpassung ausgeführt werden, sodass der kombinierte Abschnitt des Bildes im Wesentlichen die gleiche Farbpalette wie der Abschnitt des Bildes im ersten Bild und/oder zweiten Bild aufweist. Es kann beispielsweise ein Farb- (oder Pixeldatenwert) -Ausgleich bestimmt und über das kombinierte Bild angewandt werden.
  • 9C veranschaulicht ein visualisiertes Bild 915, wenn es auf einer Anzeige eines HMD angezeigt (und angesehen) wird, gemäß mindestens einer beispielhaften Ausführungsform. Beispielsweise könnte jeweils von dem HMD 150 das kombinierte Bild 905 auf der Anzeige 105-L angezeigt werden und das kombinierte Bild 910 auf der Anzeige 105-R angezeigt werden, wie gezeigt in 1B. Das visualisierte Bild 915 kann das Bild sein, wie es durch das menschliche Sehsystem wahrgenommen wird wie visualisiert im Gesichtsfeld mit voller binokularer Überlappung 1320 und/oder der hochauflösenden Region des Gesichtsfeldes binokularer Überlappung 1325 (siehe 13A). Mit anderen Worten veranschaulicht 9C eine Visualisierung der durch das Bild 300 dargestellten Szene, wenn sie auf einem HMD gerendert und durch dieses unter Verwendung der kombinierten Bilder 905 und 910 angesehen wird. Weiter wird unter Verwendung der kombinierten Bilder 905 und 910 ein wahrgenommenes 3D-Bild gerendert, ohne 3D-Bilder von erfassten 2D-Bildern zu interpolieren.
  • Wie gezeigt in 9C ist der mittlere Abschnitt 310 des visualisierten Bildes 915 im Wesentlichen dem mittleren Abschnitt 310 des Bildes 300 wie gezeigt in 3B ähnlich. Mit anderen Worten ist in 9C der mittlere Abschnitt 310 des visualisierten Bildes 915 als hinter dem nahen Abschnitt 315 und vor dem fernen Abschnitt 305 veranschaulicht. Der mittlere Abschnitt 310 des visualisierten Bildes 915 ist auch die Form (z. B. ein querschattiertes Rechteck) und Größe wie gezeigt in 3B. In 9C sind der nahe Abschnitt 315 des visualisierten Bildes 915 und der ferne Abschnitt 305 des visualisierten Bildes 915 jedoch verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 9C sind der nahe Abschnitt 315 des visualisierten Bildes 915 und der ferne Abschnitt 305 des visualisierten Bildes 915 als Dreifachsichtabschnitte gezeigt. Der nahe Abschnitt 315 des visualisierten Bildes 915 ist beispielsweise in fünf visualisierte nahe Abschnitte 315-1, 315-2, 315-3, 315-4 und 315-5 aufgeteilt. Der visualisierte nahe Abschnitt 315-2 ist als die gleiche Form und Schattierung wie der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte nahe Abschnitt 315-2 ist jedoch als schmaler als der nahe Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die visualisierten nahen Abschnitte 315-1 und 315-3 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-4 und 315-5 sind verglichen mit den visualisierten nahen Abschnitten 315-1 und 315-3 als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten nahen Abschnitte 315-1, 315-3, 315-4 und 315-5 sind als die Breite des nahen Abschnitts 315-2 des visualisierten Bildes 915 über die Breite des mittleren Abschnitts 310 des visualisierten Bildes 915 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die visualisierten nahen Abschnitte 315-1, 315-3, 315-4 und 315-5 können den Dreifachsichtabschnitt des nahen Abschnitts 315 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 905 und 910, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den fernen Abschnitt 305 des Bildes 300 fokussiert sind.
  • Der ferne Abschnitt 305 des visualisierten Bildes 915 ist beispielsweise in drei visualisierte ferne Abschnitte 305-1, 305-2 und 305-3 aufgeteilt. Der visualisierte ferne Abschnitt 305-2 des visualisierten Bildes 915 ist als die gleiche Form und Schattierung wie der ferne Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-3 des visualisierten Bildes 915 sind jedoch verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-3 des visualisierten Bildes 915 können den Dreifachsichtabschnitt des fernen Abschnitts 305 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 905 und 910, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den fernen Abschnitt 305 des Bildes 300 fokussiert sind.
  • Die 10A und 10B veranschaulichen Diagramme von kombinierten Bildern gemäß mindestens einer beispielhaften Ausführungsform. 10A veranschaulicht ein kombiniertes Bild 1005 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-1 und 320-2. Das kombinierte Bild 1005 ist als bei einer Fokustiefe basierend auf dem nahen Abschnitt 315 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 1005 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 10A ist der nahe Abschnitt 315 des kombinierten Bildes 1005 im Wesentlichen dem nahen Abschnitt 315 des Bildes 300 wie gezeigt in 3B ähnlich. Mit anderen Worten ist in 10A der mittlere Abschnitt 315 des kombinierten Bildes 1005 als vor dem mittleren Abschnitt 310 und vor dem fernen Abschnitt 305 veranschaulicht. Der nahe Abschnitt 315 des kombinierten Bildes 1005 ist auch die Form (z. B. ein punktschattiertes Rechteck) und Größe wie gezeigt in 3B. In 10A ist jedoch der nahe Abschnitt 315 des kombinierten Bildes 1005 verglichen mit dem nahen Abschnitt 315 des Bildes 300 wie gezeigt in 3B als nach rechts verschoben gezeigt. Alternativ sind der mittlere Abschnitt 310 und der ferne Abschnitt 305 als verschoben nach links gezeigt. Weiter sind in 10A der mittlere Abschnitt 310 und der ferne Abschnitt 305 verglichen mit dem mittleren Abschnitt 310 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 10A sind der mittlere Abschnitt 310 und der ferne Abschnitt 305 als Diplopieabschnitte gezeigt. Beispielsweise ist der mittlere Abschnitt 310 in drei mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 1005 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 1005 ist jedoch als schmaler als der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 1005 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 1005 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter als der mittlere Abschnitt 310 des Bildes 300 ist, wie gezeigt in 3B. Die mittleren Abschnitte 310-1, 310-2 und 310-3 des kombinierten Bildes 1005 sind als nach links verschoben gezeigt.
  • Der ferne Abschnitt 305 ist beispielsweise in zwei ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die fernen Abschnitte 305-1 und 305-2, die in 10A gezeigt sind, sind als die gleiche Form (z. B. ein Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die fernen Abschnitte 305-1 und 305-2 des kombinierten Bildes 1005 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als nach links verschoben gezeigt.
  • 10B veranschaulicht ein kombiniertes Bild 1010 basierend auf dem kombinierenden Bild 300 wie erfasst durch die Kamera 320-2 und 320-3. Das kombinierte Bild 1010 ist als bei einer Fokustiefe basierend auf dem nahen Abschnitt 315 des Bildes 300 kombiniert gezeigt. Das kombinierte Bild 1010 ist mit anderen Worten eine Kombination aus dem Bild 300 von zwei unterschiedlichen Sichtfeldern. Wie gezeigt in 10B ist der nahe Abschnitt 315 des kombinierten Bildes 1010 im Wesentlichen dem nahen Abschnitt 315 des Bildes 300 wie gezeigt in 3B ähnlich. Mit anderen Worten ist in 10B der nahe Abschnitt 315 des kombinierten Bildes 1010 als vor dem mittleren Abschnitt 310 und vor dem fernen Abschnitt 305 veranschaulicht. Der nahe Abschnitt 315 des kombinierten Bildes 1010 ist auch die Form (z. B. ein punktschattiertes Rechteck) und Größe wie gezeigt in 3B. In 10B ist jedoch der nahe Abschnitt 315 des kombinierten Bildes 1010 verglichen mit dem nahen Abschnitt 315 des Bildes 300 wie gezeigt in 3B als nach links verschoben gezeigt. Alternativ sind der mittlere Abschnitt 310 und der ferne Abschnitt 305 als verschoben nach rechts gezeigt. Weiter sind in 10B der mittlere Abschnitt 310 und der ferne Abschnitt 305 verglichen mit dem mittleren Abschnitt 310 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B als verzerrt gezeigt.
  • Wie gezeigt in 10B sind der mittlere Abschnitt 310 und der ferne Abschnitt 305 als Diplopieabschnitte gezeigt. Beispielsweise ist der mittlere Abschnitt 310 in drei mittlere Abschnitte 310-1, 310-2 und 310-3 aufgeteilt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 1010 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der mittlere Abschnitt 310-2 des kombinierten Bildes 1010 ist jedoch als schmaler als der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 1010 sind verglichen mit dem mittleren Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die mittleren Abschnitte 310-1 und 310-3 des kombinierten Bildes 1010 sind als die Breite des mittleren Abschnitts 310 des Bildes 300 ausdehnend gezeigt, sodass die Breite des mittleren Abschnitts 310 des Bildes 300 breiter ist als der mittlere Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die mittleren Abschnitte 310-1, 310-2 und 310-3 des kombinierten Bildes 1005 sind als nach rechts verschoben gezeigt.
  • Der ferne Abschnitt 305 ist beispielsweise in zwei ferne Abschnitte 305-1 und 305-2 aufgeteilt. Die fernen Abschnitte 305-1 und 305-2, die in 10B gezeigt sind, sind als die gleiche Form (z. B. B Stern) und eine leichtere Schattierung verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die fernen Abschnitte 305-1 und 305-2 des kombinierten Bildes 1010 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als verschoben nach rechts gezeigt.
  • Um ein kombiniertes Bild zu erzeugen (z. B. das kombinierte Bild 1005 und/oder das kombinierte Bild 1010) kann ein Prozessor (z. B. Prozessor 210, der eine Reihe von Befehlen ausführt) ein erstes Bild (z. B. wie erfasst durch die Kamera 320-1) in Bezug auf ein zweites Bild (z. B. wie erfasst durch die Kamera 320-2), das zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, verschieben, bis ein Abschnitt eines kombinierten Bildes (z. B. der nahe Abschnitt 315) scharf ist (z. B. überlappt der Abschnitt des ersten Bildes im Wesentlichen den Abschnitt des zweiten Bildes). Bei einer beispielhaften Implementierung ist das erste Bild um eine Anzahl von Pixeln basierend auf einem Abstand zwischen den zwei Kameras und einem Winkel (z. B. C, siehe 2A) verschoben. Alternativ oder zusätzlich dazu kann der Prozessor eine Position eines Abschnitts eines Bildes (z. B. der nahe Abschnitt 315) in einem ersten Bild (z. B. wie erfasst durch die Kamera 320-1) mit einer Position eines gleichen Abschnitts eines Bildes (z. B. der nahe Abschnitt 315) in einem zweiten Bild (z. B. wie erfasst durch die Kamera 320-2), der zur gleichen (oder im Wesentlichen der gleichen) Zeit wie das erste Bild erfasst wurde, abgleichen. Dann kann das erste Bild basierend auf der abgegeglichenen Position verschoben werden.
  • Dann können das erste Bild und das zweite Bild basierend auf der Verschiebung miteinander kombiniert (z. B. überlagert) werden. Weiter kann eine Nachbearbeitung erfolgen. Beispielsweise kann eine Farbzusammenführung oder - anpassung ausgeführt werden, sodass der kombinierte Abschnitt des Bildes im Wesentlichen die gleiche Farbpalette wie der Abschnitt des Bildes im ersten Bild und/oder zweiten Bild aufweist. Es kann beispielsweise ein Farb- (oder Pixeldatenwert) -Ausgleich bestimmt und über das kombinierte Bild angewandt werden.
  • 10C veranschaulicht ein visualisiertes Bild 1015, wenn es auf einer Anzeige eines HMD angezeigt (und angesehen) wird, gemäß mindestens einer beispielhaften Ausführungsform. Beispielsweise könnte das kombinierte Bild 1005 auf der Anzeige 105-L angezeigt werden und das kombinierte Bild 1010 könnte auf der Anzeige 105-R jeweils vom HMD 150 angezeigt werden, wie gezeigt in 1B. Das visualisierte Bild 1015 kann das Bild sein, wie es durch das menschliche Sehsystem wahrgenommen wird, wie visualisiert im Gesichtsfeld mit voller binokularer Überlappung 1320 und/oder der hochauflösenden Region des Gesichtsfeldes binokularer Überlappung 1325 (siehe 13A). Mit anderen Worten veranschaulicht 10C eine Visualisierung der durch das Bild 300 dargestellten Szene, wenn sie auf einem HMD gerendert und durch dieses unter Verwendung der kombinierten Bilder 1005 und 1010 angesehen wird. Weiter wird unter Verwendung der kombinierten Bilder 1005 und 1010 ein wahrgenommenes 3D-Bild gerendert, ohne 3D-Bilder von erfassten 2D-Bildern zu interpolieren.
  • Wie gezeigt in 10C ist der mittlere Abschnitt 310 des visualisierten Bildes 1015 im Wesentlichen dem nahen Abschnitt 315 des Bildes 300 wie gezeigt in 3B ähnlich. Mit anderen Worten ist in 10C der nahe Abschnitt 315 des visualisierten Bildes 1015 als vor dem mittleren Abschnitt 310 und vor dem fernen Abschnitt 305 veranschaulicht. Der nahe Abschnitt 315 des visualisierten Bildes 1015 ist auch die Form (z. B. ein punktschattiertes Rechteck) und Größe wie gezeigt in 3B. In 10C sind der mittlere Abschnitt 310 des visualisierten Bildes 1015 und der ferne Abschnitt 305 des visualisierten Bildes 915 als verzerrt gezeigt verglichen mit dem nahen Abschnitt 315 des Bildes 300 und dem fernen Abschnitt 305 des Bildes 300 wie gezeigt in 3B. Der Grund ist, dass das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Wie gezeigt in 10C sind der mittlere Abschnitt 310 des visualisierten Bildes 1015 und der ferne Abschnitt 305 des visualisierten Bildes 1015 als Dreifachsichtabschnitte gezeigt. Der mittlere Abschnitt 310 des visualisierten Bildes 1015 ist beispielsweise in fünf visualisierte mittlere Abschnitte 310-1, 310-2, 310-3, 310-4 und 310-5 aufgeteilt. Der visualisierte mittlere Abschnitt 310-2 ist als die gleiche Form und Schattierung wie der mittlere Abschnitt 310 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Der visualisierte mittlere Abschnitt 310-2 ist als enger als der mittlere Abschnitt 310 des Bildes 300 gezeigt, das in 3B gezeigt ist. Die visualisierten mittleren Abschnitte 310-1 und 310-3 sind verglichen mit dem nahen Abschnitt 315 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-4 und 310-5 sind verglichen mit den visualisierten mittleren Abschnitten 310-1 und 310-3 als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten mittleren Abschnitte 310-1, 310-3, 310-4 und 310-5 sind als die Breite des mittleren Abschnitts 310-2 des visualisierten Bildes 915 über die Breite des mittleren Abschnitts 310 des visualisierten Bildes 915 hinaus ausdehnend gezeigt ähnlich dem mittleren Abschnitt 310 des Bildes 300, wie gezeigt in 3B. Die visualisierten mittleren Abschnitte 310-1, 310-3, 310-4 und 310-5 können den Dreifachsichtabschnitt des nahen Abschnitts 315 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 1005 und 1010, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den nahen Abschnitt 315 des Bildes 300 fokussiert sind.
  • Der ferne Abschnitt 305 des visualisierten Bildes 1015 ist beispielsweise in drei visualisierte ferne Abschnitte 305-1, 305-2 und 305-3 aufgeteilt. Der visualisierte ferne Abschnitt 305-2 des visualisierten Bildes 1015 ist als die gleiche Form und Schattierung wie der ferne Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-3 des visualisierten Bildes 1015 sind jedoch verglichen mit dem fernen Abschnitt 305 des Bildes 300, das in 3B gezeigt ist, als die gleiche Form und eine leichtere Schattierung aufweisend gezeigt. Die visualisierten fernen Abschnitte 305-1 und 305-3 des visualisierten Bildes 915 können den Dreifachsichtabschnitt des fernen Abschnitts 305 des Bildes 300 darstellen gesehen durch ein HMD unter Verwendung der kombinierten Bilder 1005 und 1010, und wenn die Augen (z. B. die Augen 205-1, 205-2 oder 325-1, 325-2) auf den nahen Abschnitt 315 des Bildes 300 fokussiert sind.
  • Die 11A und 11B veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer fernen Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform. Das visualisierte Bild 300, das in 11A veranschaulicht ist, ist das gleiche visualisierte Bild 300, das in 7A veranschaulicht ist. Dementsprechend ist das visualisierte Bild 300, das in 11A veranschaulicht ist, in Bezug auf 7A vorstehend beschrieben. Das visualisierte Bild 815, das in 11B veranschaulicht ist, ist das gleiche visualisierte Bild 815, das in 8C veranschaulicht ist. Dementsprechend ist das visualisierte Bild 815, das in 11B veranschaulicht ist, in Bezug auf 8C vorstehend beschrieben. Das visualisierte Bild 300, das in 11A veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn auf die Szene gesehen wird, die dem Bild 300, das in 3B gezeigt ist, entspricht. Das visualisierte Bild 815, das in 11B veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn ein 3D-Bild angesehen wird, das Bild 300 entspricht, das in 3B gezeigt ist, gerendert auf einem HMD unter Verwendung der kombinierten Bilder 805 und 810 gemäß einer beispielhaften Implementierung.
  • Wenn man das visualisierte Bild 300, das in 11A veranschaulicht ist, mit dem visualisierten Bild 815, das in 11B veranschaulicht ist, vergleicht, ist der Abschnitt der visualisierten Bilder bei der Fokustiefe im Wesentlichen der gleiche. Mit anderen Worten ist der ferne Abschnitt 305 des Bildes 300, das in 11A gezeigt ist, im Wesentlichen der gleiche wie der ferne Abschnitt 305 des Bildes 815, das in 11B gezeigt ist. Der mittlere Abschnitt 310 und der nahe Abschnitt 315 des Bildes 300, das in 11A gezeigt ist, unterscheiden sich vom mittleren Abschnitt 310 und dem nahen Abschnitt 315 des Bildes 815, das in 11B gezeigt ist. Beispielsweise sind der mittlere Abschnitt 310 und der nahe Abschnitt 315 des Bildes 300, das in 11A gezeigt ist, verdoppelt und der mittlere Abschnitt 310 und der nahe Abschnitt 315 des Bildes 815, das in 11B gezeigt ist, sind verdreifacht. Der Unterschied zwischen dem visualisierten Bild 300, das in 11A gezeigt ist, und dem gerenderten visualisierten Bild 815, das in 11B gezeigt ist, ist akzeptabel, da das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Die 11C und 11D veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer mittleren Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform. Das visualisierte Bild 300, das in 11C veranschaulicht ist, ist das gleiche visualisierte Bild 300, das in 7B veranschaulicht ist. Dementsprechend ist das visualisierte Bild 300, das in 11C veranschaulicht ist, in Bezug auf 7B vorstehend beschrieben. Das visualisierte Bild 915, das in 11D veranschaulicht ist, ist das gleiche visualisierte Bild 915, das in 9C veranschaulicht ist. Dementsprechend ist das visualisierte Bild 915, das in 11D veranschaulicht ist, in Bezug auf 9C vorstehend beschrieben. Das visualisierte Bild 300, das in 11C veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn auf die Szene gesehen wird, die dem Bild 300, das in 3B gezeigt ist, entspricht. Das visualisierte Bild 915, das in 11D veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn ein 3D-Bild angesehen wird, das Bild 300 entspricht, das in 3B gezeigt ist, gerendert auf einem HMD unter Verwendung der kombinierten Bilder 905 und 910 gemäß einer beispielhaften Implementierung.
  • Wenn man das visualisierte Bild 300, das in 11C veranschaulicht ist, mit dem visualisierten Bild 915, das in 11D veranschaulicht ist, vergleicht, ist der Abschnitt der visualisierten Bilder bei der Fokustiefe im Wesentlichen der gleiche. Mit anderen Worten ist der mittlere Abschnitt 310 des Bildes 300, das in 11C gezeigt ist, im Wesentlichen das gleiche wie der mittlere Abschnitt 310 des Bildes 915, das in 11D gezeigt ist. Der ferne Abschnitt 305 und der nahe Abschnitt 315 des Bildes 300, das in 11C gezeigt ist, unterscheiden sich vom fernen Abschnitt 305 und dem nahen Abschnitt 315 des Bildes 915, das in 11D gezeigt ist. Beispielsweise sind der ferne Abschnitt 305 und der nahe Abschnitt 315 des Bildes 300, das in 11C gezeigt ist, verdoppelt und der ferne Abschnitt 305 und der nahe Abschnitt 315 des Bildes 915, das in 11D gezeigt ist, sind verdreifacht. Der Unterschied zwischen dem visualisierten Bild 300, das in 11C gezeigt ist, und dem gerenderten visualisierten Bild 915, das in 11D gezeigt ist, ist akzeptabel, da das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • Die 11E und 11F veranschaulichen Diagramme einer Gegenüberstellung von visualisierten Bildern bei einer nahen Schärfentiefe gemäß mindestens einer beispielhaften Ausführungsform. Das visualisierte Bild 300, das in 11E veranschaulicht ist, ist das gleiche visualisierte Bild 300, das in 7C veranschaulicht ist. Dementsprechend ist das visualisierte Bild 300, das in 11E veranschaulicht ist, in Bezug auf 7C vorstehend beschrieben. Das visualisierte Bild 1015, das in 11F veranschaulicht ist, ist das gleiche visualisierte Bild 1015, das in 10C veranschaulicht ist. Dementsprechend ist das visualisierte Bild 1015, das in 11F veranschaulicht ist, in Bezug auf 10C vorstehend beschrieben. Das visualisierte Bild 300, das in 11E veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn auf die Szene gesehen wird, die dem Bild 300, das in 3B gezeigt ist, entspricht. Das visualisierte Bild 1015, das in 11F veranschaulicht ist, kann dem entsprechen, was das menschliche Sehsystem tatsächlich sehen würde, wenn ein 3D-Bild angesehen wird, das Bild 300 entspricht, das in 3B gezeigt ist, gerendert auf einem HMD unter Verwendung der kombinierten Bilder 1005 und 1010 gemäß einer beispielhaften Implementierung.
  • Wenn man das visualisierte Bild 300, das in 11E veranschaulicht ist, mit dem visualisierten Bild 1015, das in 11F veranschaulicht ist, vergleicht, ist der Abschnitt der visualisierten Bilder bei der Fokustiefe im Wesentlichen der gleiche. Mit anderen Worten ist der nahe Abschnitt 315 des Bildes 300, das in 11E gezeigt ist, im Wesentlichen das gleiche wie der nahe Abschnitt 315 des Bildes 1015, das in 11F gezeigt ist. Der ferne Abschnitt 305 und der mittlere Abschnitt 310 des Bildes 300, das in 11E gezeigt ist, unterscheiden sich vom fernen Abschnitt 305 und dem mittleren Abschnitt 310 des Bildes 1015, das in 11F gezeigt ist. Beispielsweise sind der ferne Abschnitt 305 und der mittlere Abschnitt 310 des Bildes 300, das in 11E gezeigt ist, verdoppelt und der ferne Abschnitt 305 und der mittlere Abschnitt 310 des Bildes 1015, das in 11F gezeigt ist, sind verdreifacht. Der Unterschied zwischen dem visualisierten Bild 300, das in 11E gezeigt ist, und dem gerenderten visualisierten Bild 1015, das in 11F gezeigt ist, ist akzeptabel, da das menschliche Sehsystem nur bei einer Fokustiefe deutlich sehen kann.
  • 12A veranschaulicht ein Blockdiagramm eines Head Mounted Display (HMD) gemäß mindestens einer beispielhaften Ausführungsform. Wie gezeigt in 12A umfasst das HMD 1200 eine Anzeige 1205, einen ersten Abschnitt der Anzeige 1210 und einen zweiten Abschnitt der Anzeige 1215. Der erste Abschnitt der Anzeige 1210 kann ein Abschnitt der Anzeige 1205 sein, auf die ein Auge fokussiert ist, oder das Sichtfeld eines Benutzers des HMD 1200. Der zweite Abschnitt der Anzeige 1215 kann ein Abschnitt der Anzeige 1205 sein, der zum Fokus des Auges peripher ist, oder die Peripherieansicht eines Benutzers des HMD 1200.
  • Gemäß beispielhaften Ausführungsformen kann ein 2D-Bild und/oder 2D-Frame eines Videos zum Anzeigen auf jeder Anzeige eines HMD basierend auf dem Nachverfolgen eines Sichtfeldes und einer Schärfentiefe eines Auges unter Verwendung eines Eyetracking-Sensors ausgewählt werden, um 3D-Bilder und/oder 3D-Video zu rendern. Infolgedessen hat der Benutzer des HMD eine 3D-Erfahrung, ohne 3D-Bilder von erfassten 2D-Bildern zu interpolieren.
  • 12B veranschaulicht ein Blockdiagramm eines Head Mounted Display (HMD) gemäß mindestens einer beispielhaften Ausführungsform. Wie gezeigt in 12B umfasst das HMD 1250 eine erste Anzeige 1205-L, eine zweite Anzeige 1205-R, einen ersten Eyetracking-Sensor 1220-L und einen zweiten Eyetracking-Sensor 1220-R. Die erste Anzeige 1205-L kann einen ersten Abschnitt der Anzeige 1210-L und einen zweiten Abschnitt der 1215-L Anzeige umfassen. Der erste Abschnitt der Anzeige 1210-L kann ein Abschnitt von der ersten Anzeige 1205-L sein, auf den ein Auge fokussiert ist, oder das Sichtfeld eines Benutzers des HMD 1250. Der zweite Abschnitt der Anzeige 1215-L kann ein Abschnitt der ersten Anzeige 1205-L sein, der zum Fokus des Auges peripher ist, oder die Peripherieansicht eines Benutzers des HMD 1250. Die zweite Anzeige 1205-R kann einen ersten Abschnitt der Anzeige 1210-R und einen zweiten Abschnitt der Anzeige 1215-R umfassen. Der erste Abschnitt der Anzeige 1210-R kann ein Abschnitt der zweiten Anzeige 1205-R sein, auf den ein Auge fokussiert ist, oder das Sichtfeld eines Benutzers des HMD 1250. Der zweite Abschnitt der Anzeige 1215-R kann ein Abschnitt der zweiten Anzeige 1205-R sein, der zum Fokus des Auges peripher ist, oder die Peripherieansicht eines Benutzers des HMD 1250.
  • Der erste Abschnitt der Anzeige 1210-L der ersten Anzeige 1205-L und der erste Abschnitt der Anzeige 1210-R der zweiten Anzeige 1205-R können konfiguriert sein, Bilder und/oder Videodaten in einem mit einer hochauflösenden Region einer binokularen Überlappung verknüpften Sichtfeld (das nachfolgend ausführlicher beschrieben wird) anzuzeigen. Der zweite Abschnitt der Anzeige 1215-L der ersten Anzeige 1205-L und der zweite Abschnitt der Anzeige 1215-R der zweiten Anzeige 1205-R können konfiguriert sein, Bilder und/oder Video in einem Sichtfeld außerhalb oder peripher zu der hochauflösenden Region binokularer Überlappung einschließlich einer weiteren Region binokularer Überlappung, die eine niedrigere Auflösung umfasst, anzuzeigen. Die erste Anzeige 1205-L kann mit einem linken Auge verknüpft und konfiguriert sein, ein Bild für das linke Auge in einem 3D-Bild oder Video anzuzeigen. Die zweite Anzeige 1205-R kann mit einem rechten Auge verknüpft und konfiguriert sein, ein Bild für das rechte Auge in dem 3D-Bild oder Video anzuzeigen. Bei einer alternativen Ausführungsform sind die erste Anzeige 1205-L und die zweite Anzeige 1205-R aus einem ganzheitlichen Anzeigefeld gebildet, das fähig ist, ein Bild zu zeigen, das in zwei Teile aufgeteilt ist, die linke und rechte Bilder umfassen.
  • Der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R sind konfiguriert, eine Position eines entsprechenden Auges nachzuverfolgen. Der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R können eine Kamera, ein Infrarotsensor, eine Kombination davon und/oder dergleichen sein. Bei einer beispielhaften Implementierung können der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R konfiguriert sein, ein leistungsschwaches Infrarotlicht in ein Auge eines Benutzers zu projizieren. Dann kann das reflektierte Infrarotlicht detektiert und eine Messung des reflektierten Infrarotlichts (z. B. als ein Perkinje-Bild) verwendet werden, um eine Position eines Auges zu bestimmen. Bei einer weiteren beispielhaften Implementierung kann eine Blickrichtung durch Lokalisieren der Pupille relativ zum Rest des Auges unter Umgebungslichtbedingungen bestimmt werden. Der erste Eyetracking-Sensor 1220-L und der zweite Eyetracking-Sensor 1220-R können die absolute Blickrichtung des Benutzers relativ zu einem Punkt auf dem HMD und/oder einer Winkelverschiebung der Pupille auf jede Augenbewegung messen.
  • Bei einer beispielhaften Implementierung können der erste Eyetracking-Sensor L 1220 und der zweite 1220-R Eyetracking-Sensor verwendet werden, um eine Blickrichtung (die in dieser Offenbarung auch als Betrachtungsperspektive bezeichnet wird) und eine Blicktiefe eines Benutzers des HMD zu bestimmen. Die Blickrichtung und die Blicktiefe können verwendet werden, um ein Bild zu bestimmen, das auf jeder von der ersten Anzeige 1205-L und der zweiten Anzeige 1205-R angezeigt werden soll.
  • 13A veranschaulicht eine schematische Darstellung von einer Draufsicht von horizontalen Gesichtsfeldern. Wie gezeigt in 13A können Augen 1305-1, 1305-2 (z. B. menschliche Augen) einschließlich Pupillen 1330-1, 1330-2 visuell ein linkes Gesichtsfeld 1310 und ein rechtes Gesichtsfeld 1315 wahrnehmen. Innerhalb des linken Gesichtsfeldes 1310 und des rechten Gesichtsfeldes 1315 können die Augen 1305-1, 1305-2 visuell ein Gesichtsfeld mit voller binokularer Überlappung 1320 wahrnehmen, das so groß sein kann wie 120 Grad. Eine Teilregion der vollen binokularen Überlappung kann als die hochauflösende Region des Gesichtsfeldes binokularer Überlappung 1325 bezeichnet werden. Wie gezeigt in 13B (und überall in dieser Beschreibung), halbiert eine Vertikalebene, die im Folgenden als die sagittale Mittelfrontalebene bezeichnet wird, den Kopf zwischen den Augen, und eine Vertikalebene, die im Folgenden als die vertikale Frontalebene bezeichnet wird, schneidet den Kopf orthogonal zur sagittalen Mittelebene an einer Position, welche die Augen 1305-1 und 1305-2 halbiert. 13C zeigt eine Horizontalebene, die sich in einer Richtung links und rechts (oder horizontal) in Bezug auf die Augen 1305-1, 1305-2 erstreckt und die ebenfalls die Augen halbiert. Die Ebene in 13C kann die horizontale Frontalebene genannt werden. Die drei Ebenen, die in 13B und 13C definiert sind, können sich am Mittelpunkt eines Liniensegments schneiden, das sich von der Mitte des linken Auges zur Mitte des rechten Auges erstreckt.
  • Die Sehgrube ist der zentrale Abschnitt der Netzhaut von jedem von den Augen 1305-1, 1305-2, der die höchste Auflösung wahrnimmt. Die Blickrichtung (veranschaulicht durch Vektor G parallel zur sagittalen Mittelebene) kann durch einen Vektor von der Mitte der Sehgrube durch die Mitte der Pupille definiert werden. Weder das Auge 1305-1 noch das Auge 1305-2 wendet oder dreht sich ausreichend, um der Blickrichtung zu ermöglichen, das volle horizontale Gesichtsfeld 1310 oder 1315 zu scannen. Daher kann Bildmaterial, das über die Drehgrenze der Augen 1305-1, 1305-2 hinausgeht, von der Sehgrube nicht gesehen werden (obwohl solch ein Bildmaterial durch andere Teile der Netzhaut gesehen wird).
  • Es sollte jedoch beachtet werden dass, obwohl die Sehgrube nur einen kleinen Bogenöffnungswinkel aufweist, sich das Drehen der Augen über den Winkelbereich erstrecken kann, über den eine Anzeige mit einer fovealen Auflösung übereinstimmen sollte. Wenn sich die Augen des Benutzers bewegen und sich die Blickrichtung ändert, ist eine Auflösung, die mit der Sehgrube übereinstimmt, gegenüber dem Bereich des angenehmen Blickscannens wünschenswert. Der Bereich des angenehmen Blickscannens beträgt ca 15 Grad in jeder Richtung in Bezug auf den Vektor G in 13A. Der Blick kann über größere Winkel mit fortschreitend mehr Unbehagen scannen, während der Scanwinkel über 15 Grad vom Vektor G zunimmt.
  • Bei einer beispielhaften Implementierung eines HMD (unter Bezugnahme auf 13C) können alle Horizontalwinkel (z. B. Winkel entlang der horizontalen Frontalebene wie 8) in Bezug auf die sagittale Frontalebene (z. B. die Kopfsymmetrieebene, die zwischen den Augen zentriert ist) gemessen werden (z. B. unter Verwendung des ersten Eyetracking-Sensors 1220-L und des zweiten Eyetracking-Sensors 1220-R). Die Regionen des linken Gesichtsfelds 1310 und des rechten Gesichtsfelds 1315 stellen die Gesichtsfelder der linken und rechten Augen dar, denen Bilder mit partieller binokularer Überlappung bereitgestellt werden können, die so viel wie 120 Grad pro Auge sein kann (z. B. die Region des Gesichtsfelds mit voller binokularer Überlappung 1320, die mit der Überlappung im menschlichen Sehsystem übereinstimmt). Die hochauflösende Region des Gesichtsfelds binokularer Überlappung 1325 kann durch linke und rechte Anzeigen (z. B. Anzeige 105-L und Anzeige 105-R) bereitgestellt werden.
  • Als solches können die Augen 1305-1, 1305-2 ein 3D-Bild basierend auf dem Auswählen von Bildern, die auf linke und rechte Anzeigen projiziert werden (oder durch diese angezeigt werden), visualisieren, welche die Gesichtsfelder der linken und rechten Augen in der hochauflösenden Region des Gesichtsfelds binokularer Überlappung 1325 (und bis zu einem gewissen Grad der Region des Gesichtsfeldes mit voller binokularer Überlappung 1320) darstellen. Das Auswählen von Bildern zum Anzeigen in der Region des Gesichtsfeldes mit voller binokularer Überlappung 1320 kann mit anderen Worten mit der Überlappung im menschlichen Sehsystem übereinstimmen, was darin resultiert, dass das menschliche Sehsystem ein 3D-Bild und/oder 3D-Video visualisiert. Wie nachfolgend ausführlicher beschrieben, kann die Blicktiefe verwendet werden, um das menschliche Sehsystem realistischer darzustellen.
  • Gemäß einer beispielhaften Implementierung kann ein Bild zur Projektion auf einer Anzeige für jedes Auge auf der Blickrichtung basieren, die in Bezug auf den Punkt A und den Winkel Θ, die in 13C gezeigt sind, gezeigt ist. Jedes Bild kann dann durch eine Tiefe der Sicht basierend auf dem Winkel C, der in 13A gezeigt ist, modifiziert werden. Beispielsweise kann Punkt A, Winkel Θ und Winkel C können basierend auf Messungen, die unter Verwendung des ersten Eyetracking-Sensors 1220-L und des zweiten Eyetracking-Sensors 1220-R erfasst wurden, bestimmt werden. Der Punkt A, der Winkel Θ und/oder der Winkel C können verwendet werden, um das vorstehend beschriebene Sichtfeld und/oder die Schärfentiefe zu bestimmen. Beispielsweise kann der Winkel C eine Schärfentiefe anzeigen und Punkt A in Kombination mit dem Winkel Θ kann ein Sichtfeld anzeigen.
  • 14 zeigt ein Beispiel einer Computervorrichtung 1400 und einer mobilen Computervorrichtung 1450, die mit den hier beschriebenen Techniken verwendet werden können. Die Computervorrichtung 1400 soll verschiedene Formen von digitalen Computern wie Laptops, Desktops, Arbeitsstationen, Personal Digital Assistants, Fernseher, Server, Blade-Server, Mainframes und andere geeignete Computer darstellen. Die Computervorrichtung 1450 soll verschiedene Formen mobiler Vorrichtungen, wie Personal Digital Assistants, Mobiltelefone, Smartphones und andere ähnliche Computervorrichtungen darstellen. Die hier gezeigten Komponenten, ihre Verbindungen und Beziehungen und ihre Funktionen sollen nur beispielhaft sein und sollen Implementierungen der in diesem Dokument beschriebenen und/oder beanspruchten Erfindungen nicht einschränken.
  • Die Computervorrichtung 1400 umfasst einen Prozessor 1402, einen Speicher 1404, eine Speichervorrichtung 1406, eine Hochgeschwindigkeitsschnittstelle 1408, die mit Speicher 1404 und Hochgeschwindigkeitserweiterungsanschlüssen 1410 verbindet, und eine Niedergeschwindigkeitsschnittstelle 1412, die mit dem Niedergeschwindigkeitsbus 1414 und der Speichervorrichtung 1406 verbindet. Alle Komponenten 1402, 1404, 1406, 1408, 1410 und 1412 sind unter Verwendung verschiedener Busse miteinander verbunden und können auf einem gängigen Motherboard oder gegebenenfalls in anderer Weise angebracht sein. Der Prozessor 1402 kann Befehle zur Ausführung innerhalb der Computervorrichtung 1400 verarbeiten, die Befehle umfassen, die in dem Speicher 1404 oder auf der Speichervorrichtung 1406 gespeichert sind, um grafische Informationen für eine GUI auf einer externen Eingabe-/Ausgabevorrichtung wie dem Display 1416, das mit der Hochgeschwindigkeitsschnittstelle 1408 gekoppelt ist, anzuzeigen. Bei anderen Implementierungen können mehrere Prozessoren und/oder mehrere Busse, wie jeweils anwendbar, zusammen mit mehreren Speichern und Speicherarten verwendet werden. Es können außerdem auch mehrere Computervorrichtungen 1400 verbunden sein, wobei jede Vorrichtung Teile der notwendigen Vorgänge bereitstellt (z. B. als eine Serverbank, eine Gruppe von Blade-Servern oder ein Mehrprozessorsystem).
  • Der Speicher 1404 speichert Informationen innerhalb der Computervorrichtung 1400. Bei einer Implementierung ist der Speicher 1404 eine nicht flüchtige Speichereinheit oder -einheiten. Bei einer anderen Implementierung ist der Speicher 1404 eine nicht flüchtige Speichereinheit oder -einheiten. Der Speicher 1404 kann auch eine andere Form von computerlesbarem Medium sein, wie beispielsweise ein magnetischer oder optischer Datenträger.
  • Die Speichervorrichtung 1406 ist in der Lage, Massenspeicher für die Computervorrichtung 1400 bereitzustellen. Bei einer Implementierung kann die Speichervorrichtung 1406 ein computerlesbares Medium sein oder beinhalten, wie ein Floppy-Disk-Laufwerk, ein Festplattenlaufwerk, ein optisches Laufwerk, eine Magnetbandeinheit, ein Flash-Speicher oder eine andere ähnliche Solid-State-Speichervorrichtung oder eine Reihe von Vorrichtungen, einschließlich Vorrichtungen in einem Speichernetzwerk oder anderen Konfigurationen. Ein Computerprogrammprodukt kann greifbar in einem Informationsträger verkörpert sein. Das Computerprogrammprodukt kann auch Befehle enthalten, die bei Ausführung ein oder mehrere Verfahren wie diejenigen, die vorstehend beschrieben sind, ausführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium wie der Speicher 1404, die Speichervorrichtung 1406 oder Speicher auf Prozessor 1402.
  • Die Hochgeschwindigkeitssteuerung 1408 verwaltet bandbreitenintensive Operationen für die Computervorrichtung 1400, während die Niedergeschwindigkeitssteuerung 1412 niedrigere bandbreitenintensive Operationen verwaltet. Eine solche Zuordnung von Funktionen ist nur beispielhaft. Bei einer Implementierung ist die Hochgeschwindigkeitssteuerung 1408 mit Speicher 1404, Display 1416 (z. B. über einen Grafikprozessor oder -beschleuniger) und mit den Hochgeschwindigkeitserweiterungsanschlüssen 1410, die verschiedene Erweiterungskarten (nicht gezeigt) aufnehmen können, gekoppelt. Bei der Implementierung ist die Niedergeschwindigkeitssteuerung 1412 mit der Speichervorrichtung 1406 und dem Niedergeschwindigkeitserweiterungsanschluss 1414 gekoppelt. Der Niedergeschwindigkeitserweiterungsanschluss, der verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth, Ethernet, Funkethernet) umfassen kann, kann an ein oder mehrere Eingabe-/Ausgabevorrichtungen wie eine Tastatur, eine Zeigevorrichtung, einen Scanner oder eine Netzwerkvorrichtung wie einen Switch oder Router z. B. durch einen Netzwerkadapter gekoppelt sein.
  • Die Computervorrichtung kann 1400 in eine Anzahl an unterschiedlichen Formen wie in der Abbildung gezeigt implementiert werden. So kann sie beispielsweise als ein Standardserver 1420 oder in einer Gruppe solcher Server mehrfach implementiert sein. Sie kann außerdem als Teil eines Rackserversystems 1424 implementiert sein. Zusätzlich kann sie in einem Personal Computer wie einem Laptop 1422 implementiert sein. Alternativ können Komponenten von der Computervorrichtung 1400 mit anderen Komponenten in einer mobilen Vorrichtung (nicht dargestellt), wie z. B. Vorrichtung 1450, kombiniert sein. Jede dieser Vorrichtungen kann eine oder mehrere der Computervorrichtungen 1400, 1450 enthalten und ein gesamtes System kann aus mehreren Computervorrichtungen 1400, 1450, die miteinander kommunizieren, zusammengesetzt sein.
  • Die Computervorrichtung 1450 umfasst neben anderen Komponenten einen Prozessor 1452, einen Speicher 1464, eine Eingabe-/Ausgabevorrichtung wie eine Anzeige 1454, eine Kommunikationsschnittstelle 1466 und einen Transceiver 1468. Die Vorrichtung 1450 kann ebenfalls mit einer Speichervorrichtung, wie z. B. einem Microdrive, oder einer anderen Vorrichtung ausgestattet sein, um zusätzlichen Speicher bereitzustellen. Alle Komponenten 1450, 1452, 1464, 1454, 1466 und 1468 sind unter Verwendung verschiedener Busse miteinander verbunden und mehrere der Komponenten können auf einem gängigen Motherboard oder gegebenenfalls in anderer Weise angebracht sein.
  • Der Prozessor kann 1452 Befehle innerhalb der Computervorrichtung 1450 ausführen, Befehle umfassend, die im Speicher 1464 gespeichert sind. Der Prozessor kann als ein Chipsatz von Chips implementiert sein, die separate und mehrere analoge und digitale Prozessoren umfassen. Der Prozessor kann beispielsweise die Koordination der anderen Komponenten der Vorrichtung 1450 bereitstellen, wie beispielsweise die Steuerung von Benutzerschnittstellen, von Anwendungen, die von Vorrichtung 1450 ausgeführt werden, und von drahtloser Kommunikation durch die Vorrichtung 1450.
  • Der Prozessor 1452 kann mit einem Benutzer über die Steuerschnittstelle 1458 und die Anzeigeschnittstelle 1456, die mit einer Anzeige 1454 gekoppelt ist, kommunizieren. Das Display 1454 kann beispielsweise eine TFT-LCD-(Dünnschichttransistor-Flüssigkristallanzeige) oder ein OLED- (organische Leuchtdiode) -Anzeige oder eine andere geeignete Anzeigetechnologie sein. Die Anzeigeschnittstelle 1456 kann geeignete Schaltungen zum Ansteuern der Anzeige 1454 umfassen, um einem Benutzer grafische und andere Informationen zu präsentieren. Die Steuerschnittstelle 1458 kann Befehle von einem Benutzer empfangen und sie zur Eingabe in den Prozessor 1452 konvertieren. Zusätzlich kann eine externe Schnittstelle 1462 in Verbindung mit dem Prozessor 1452 vorgesehen sein, um eine Nahbereichskommunikation von Vorrichtung 1450 mit anderen Vorrichtungen zu ermöglichen. Die externe Schnittstelle 1462 kann beispielsweise bei manchen Implementierungen eine drahtgestützte Verbindung oder bei anderen Implementierungen eine drahtlose Verbindung sein, und es können auch mehrere Schnittstellen verwendet werden.
  • Der Speicher 1464 speichert Informationen innerhalb der Computervorrichtung 1450. Der Speicher 1464 kann als ein oder mehrere von einem computerlesbaren Medium oder Medien, einem flüchtigen Speicher oder Speichern oder einem nicht flüchtigen Speicher oder Speichern implementiert sein. Der Erweiterungsspeicher 1474 kann ebenfalls bereitgestellt und mit der Vorrichtung 1450 über die Erweiterungsschnittstelle 1472 verbunden werden, die zum Beispiel eine SIMM- (Single In Line Memory Module) -Kartenschnittstelle umfassen kann. Ein solcher Erweiterungsspeicher 1474 kann zusätzlichen Speicherplatz für die Vorrichtung 1450 bereitstellen oder kann auch Anwendungen oder andere Informationen für die Vorrichtung 1450 speichern. Insbesondere kann der Erweiterungsspeicher 1474 Befehle zum Ausführen oder Ergänzen der vorstehend beschriebenen Prozesse umfassen und er kann außerdem sichere Informationen umfassen. Demnach kann der Erweiterungsspeicher 1474 beispielsweise als ein Sicherheitsmodul für Vorrichtung 1450 bereitgestellt und mit Befehlen programmiert werden, die eine sichere Benutzung von Vorrichtung 1450 erlauben. Zusätzlich können über die SIMM-Karten sichere Anwendungen zusammen mit zusätzlichen Informationen, wie dem Ablegen von Identifizierungsinformationen auf der SIMM-Karte auf eine Weise, die nicht gehackt werden kann, bereitgestellt werden.
  • Der Speicher kann zum Beispiel Flashspeicher und/oder NVRAM-Speicher umfassen, wie nachstehend beschrieben. Bei einer Implementierung ist ein Computerprogrammprodukt in einem Informationsträger greifbar verkörpert. Das Computerprogrammprodukt enthält Befehle, die bei Ausführung ein oder mehrere Verfahren wie die vorstehend beschriebenen ausführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium, wie der Speicher 1464, die Speichererweiterung 1474 oder der Prozessorspeicher 1452, das beispielsweise über den Transceiver 1468 oder die externe Schnittstelle 1462 empfangen werden kann.
  • Die Vorrichtung 1450 kann über die Kommunikationsschnittstelle 1466 drahtlos kommunizieren, die bei Bedarf eine digitale Signalverarbeitungsschaltung umfassen kann. Die Kommunikationsschnittstelle 1466 kann Verbindungen mit verschiedenen Kommunikationstypen oder -protokollen, wie beispielsweise unter anderen GSM-Sprachanrufe, SMS, EMS oder MMS-Messaging, CDMA, TDMA, PDC, WCDMA, CDMA2000 oder GPRS, konstruieren. Eine solche Kommunikation kann beispielsweise durch Funkfrequenztransceiver 1468 stattfinden. Zusätzlich kann eine Kurzstreckenkommunikation stattfinden, wie unter Verwendung eines Bluetooth-, Wi-Fi- oder anderen solchen Transceivers (nicht gezeigt). Außerdem kann das GPS- (Global Positioning System) -Empfängermodul 1470 zusätzliche navigations- und ortsbezogene drahtlose Daten für die Vorrichtung 1450 bereitstellen, die gegebenenfalls von Anwendungen verwendet werden können, die auf der Vorrichtung 1450 ausgeführt werden.
  • Die Vorrichtung 1450 kann ebenfalls unter Verwendung des Audiocodec 1460, der gesprochene Informationen von einem Benutzer empfangen und diese in nutzbare digitale Informationen konvertieren kann, hörbar kommunizieren. Der Audiocodec 1460 kann ebenfalls hörbaren Ton für einen Benutzer erzeugen, wie beispielsweise durch einen Lautsprecher zum Beispiel in einer Handvorrichtung von Vorrichtung 1450. Ein derartiger Ton kann einen Ton von Sprachanrufen beinhalten, kann aufgenommene Töne (z. B. Sprachnachrichten, Musikdateien usw.) beinhalten und kann auch Töne, beinhalten, die von Anwendungen erzeugt werden, die auf der Vorrichtung 1450 betrieben werden.
  • Die Computervorrichtung 1450 kann wie in der Figur gezeigt in einer Anzahl an unterschiedlichen Formen implementiert werden. Sie kann beispielsweise als ein Mobiltelefon 1480 implementiert sein. Sie kann außerdem als Teil eines Smartphones 1482, Personal Digital Assistant oder einer anderen ähnlichen mobilen Vorrichtung implementiert sein.
  • Bei einem allgemeinen Aspekt umfasst ein Verfahren das Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, welches auf einem Head Mount Display (HMD) angezeigt wird, das Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird, das Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld, das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe, das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf dem Sichtfeld und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.
  • Bei einem weiteren allgemeinen Aspekt umfasst ein Verfahren das Streamen eines dreidimensionalen (3D) Videos zu einem Head Mount Display (HMD). Jeder Frame des 3D-Videos umfasst ein Bild für das linke Auge und ein Bild für das rechte Auge. Das Verfahren umfasst weiter das Erzeugen eines anschließenden Frames, was das Bestimmen eines mit dem 3D-Video verknüpften Sichtfeldes umfasst, das Bestimmen einer Schärfentiefe, die mit dem 3D-Video verknüpft ist, das Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld, das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge als das Bild für das rechte Auge basierend auf der Schärfentiefe, das Auswählen eines ersten Bildes für das linke Auge und eines zweiten Bildes für das linke Auge basierend auf dem Sichtfeld und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge als das Bild für das linke Auge basierend auf der Schärfentiefe.
  • Bei noch einem weiteren allgemeinen Aspekt veranlasst ein nicht flüchtiges computerlesbares Speichermedium, auf dem computerausführbarer Programmcode gespeichert ist, bei Ausführung auf einem Computersystem das Computersystem Schritte auszuführen. Die Schritte umfassen das Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, welches auf einem Head Mount Display (HMD) angezeigt wird, das Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird, das Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld, das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe, das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf dem Sichtfeld und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.
  • Implementierungen können eines oder mehrere von den folgenden Merkmalen in einer oder mehreren Kombinationen davon umfassen. Beispielsweise kann das Auswählen des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge das Bestimmen einer Position des rechten Auges eines Benutzers des HMD, das Auswählen des ersten Bildes für das rechte Auge als ein Bild, das durch eine erste Kamera aufgenommen wurde, die rechts von der Position des rechten Auges positioniert ist, und das Auswählen des zweiten Bildes für das rechte Auge als ein Bild, das durch eine links von der Position des rechten Auges positionierte zweite Kamera aufgenommen wurde, umfassen.
  • Beispielsweise kann das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge das Bestimmen einer Position des linken Auges eines Benutzers des HMD, das Auswählen des ersten Bildes für das linke Auge als ein Bild, das durch eine erste Kamera aufgenommen wurde, die links von der Position des linken Auges positioniert ist, und das Auswählen des zweiten Bildes für das linke Auge als ein Bild, das durch eine links von der Position des linken Auges positionierte zweite Kamera aufgenommen wurde, umfassen. Das erste Bild für das rechte Auge, das zweite Bild für das rechte Auge, das erste Bild für das linke Auge und das zweite Bild für das linke Auge können von mehreren Bildern ausgewählt werden, die in im Wesentlichen dem gleichen Augenblick in der Zeit erfasst werden. Das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge kann das Verschieben des ersten Bildes für das rechte Auge in Bezug auf das zweite Bild für das rechte Auge umfassen, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist. Das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge kann das Verschieben sowohl des ersten Bildes für das rechte Auge als auch des zweiten Bildes für das rechte Auge zur Mitte des Sichtfeldes umfassen, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  • Beispielsweise kann das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge eine Farbzusammenführung umfassen, sodass ein Abschnitt des kombinierten Bildes im Wesentlichen eine gleiche Farbpalette wie ein entsprechender Abschnitt von mindestens einem von dem ersten Bild für das rechte Auge und dem zweiten Bild für das rechte Auge aufweist. Das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge kann eine Farbzusammenführung unter Verwendung eines Farbenausgleichs basierend auf einem gewichteten Ausgleich, der mit einem Kameraabstand von der Mitte des Sichtfeldes verknüpft ist, umfassen. Das erste Bild für das linke Auge, das zweite Bild für das linke Auge, das erste Bild für das linke Auge und das zweite Bild für das linke Auge können aus mehreren Bildern ausgewählt werden, die in im Wesentlichen dem gleichen Augenblick in der Zeit erfasst sind. Das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge kann das Verschieben des ersten Bildes für das linke Auge in Bezug auf das zweite Bild für das linke Auge umfassen, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  • Beispielsweise kann das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge das Verschieben sowohl des ersten Bildes für das linke Auge als auch des zweiten Bildes für das linke Auge zur Mitte des Sichtfeldes umfassen, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist. Das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge kann eine Farbzusammenführung des kombinierten Bildes umfassen, sodass ein Abschnitt des kombinierten Bildes im Wesentlichen eine gleiche Farbpalette wie ein entsprechender Abschnitt von mindestens einem von dem ersten Bild für das linke Auge und dem zweiten Bild für das linke Auge aufweist. Das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge kann eine Farbzusammenführung des kombinierten Bildes unter Verwendung eines Farbenausgleichs basierend auf einem gewichteten Ausgleich, der mit einem Kameraabstand von der Mitte des Sichtfeldes verknüpft ist, umfassen.
  • Das Auswählen des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge kann beispielsweise das Bestimmen einer Position des rechten Auges eines Benutzers des HMD, das Auswählen des ersten Bildes für das rechte Auge als ein Bild, das durch eine erste Kamera aufgenommen wurde, die rechts von der Position des rechten Auges positioniert ist, und das Auswählen des zweiten Bildes für das rechte Auge als ein Bild, das durch eine zweite Kamera aufgenommen wurde, die links von der Position des rechten Auges positioniert ist, umfassen. Beispielsweise kann das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge das Bestimmen einer Position des linken Auges eines Benutzers des HMD, das Auswählen des ersten Bildes für das linke Auge als ein Bild, das durch eine erste Kamera aufgenommen wurde, die links von der Position des linken Auges positioniert ist, und das Auswählen des zweiten Bildes für das linke Auge als ein Bild, das durch eine links von der Position des linken Auges positionierte zweite Kamera aufgenommen wurde, umfassen.
  • Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können in digitalen elektronischen Schaltungen, integrierten Schaltungen, speziell konzipierten ASICs (anwendungsorientierten integrierten Schaltungen), Computerhardware, Firmware, Software und/oder Kombinationen davon realisiert sein. Diese verschiedenen Implementierungen können eine Implementierung in einem oder mehreren Computerprogrammen umfassen, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das mindestens einen programmierbaren Prozessor umfasst, der ein spezieller oder für allgemeine Zwecke sein kann und der zum Empfangen von Daten und Befehlen von und zum Übertragen von Daten und Befehlen an ein Speichersystem, mindestens eine Eingabevorrichtung und mindestens eine Ausgabevorrichtung gekoppelt ist. Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können als eine Schaltung, ein Modul, ein Block oder ein System, das Software und Hardwareaspekte kombinieren kann, realisiert sein und/oder generell hierin als solche bezeichnet sein. Beispielsweise kann ein Modul die Funktionen/Handlungen/Computerprogrammbefehle umfassen, die auf einem Prozessor (z. B. einem Prozessor, der auf einem Siliziumsubstrat, einem GaAs-Substrat und dergleichen gebildet ist) oder einer anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden.
  • Einige der vorstehenden beispielhaften Ausführungsformen sind als Prozesse oder Verfahren anhand von Ablaufdiagrammen beschrieben. Obwohl die Ablaufdiagramme die Operationen als sequenzielle Prozesse darstellen, können viele der Operationen parallel, gleichzeitig oder simultan ausgeführt werden. Zusätzlich kann die Reihenfolge der Operationen neu angeordnet werden. Die Prozesse können beendet werden, wenn die Operationen abgeschlossen sind, können aber auch zusätzliche Schritte aufweisen, die nicht in der Figur dargestellt sind. Die Prozesse können Verfahren, Funktionen, Prozeduren, Subroutinen, Subprogrammen usw. entsprechen.
  • Die vorstehend erörterten Verfahren, von denen einige durch die Ablaufdiagramme veranschaulicht sind, können durch Hardware, Software, Firmware, Middleware, Mikrocode, Hardwarebeschreibungssprachen oder eine beliebige Kombination davon implementiert werden. Sofern durch Software, Firmware, Middleware oder Microcode implementiert, kann der Programmcode oder Codesegmente, um die erforderlichen Aufgaben ausführen, auf einem maschinen- oder computerlesbaren Medium, wie z. B. einem Speichermedium, gespeichert werden. Ein Prozessor bzw. Prozessoren können die erforderlichen Aufgaben ausführen.
  • Spezifische strukturelle und funktionelle Details, die hier offenbart sind, sind lediglich zum Zwecke der Beschreibung beispielhafter Ausführungsformen angegeben. Beispielhafte Ausführungsformen können in vielen alternativen Formen umgesetzt werden und sollten nicht als auf die hierin beschriebenen Ausführungsformen begrenzt angesehen werden.
  • Es versteht sich, dass, obgleich die Begriffe erste, zweite usw. hier verwendet sein können, um verschiedene Elemente zu beschreiben, die verschiedenen Elemente nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur dazu verwendet, ein Element vom anderen zu unterscheiden. Es könnte beispielsweise ein erstes Element ein zweites Element genannt werden und ähnlich könnte ein zweites Element ein erstes Element genannt werden, ohne vom Umfang der beispielhaften Ausführungsformen abzuweichen. Wie hier verwendet, schließt der Ausdruck „und/oder“ sämtliche Kombinationen von einem oder mehreren der zugehörigen angegebenen Elemente ein.
  • Es versteht sich, dass wenn ein Element als mit einem anderen Element verbunden oder gekoppelt bezeichnet ist, es mit dem anderen Element direkt verbunden oder gekoppelt sein kann, oder dazwischen geschaltete Elemente vorhanden sein können. Im Gegensatz dazu sind keine dazwischenliegenden Elemente vorhanden, wenn auf ein Element als direkt verbunden mit oder direkt gekoppelt mit einem anderen Element verwiesen wird. Andere Worte, die verwendet werden, um die Beziehung zwischen Elementen zu beschrieben, sollten in gleicher Weise interpretiert werden (z. B. „zwischen“ gegenüber „direkt zwischen“, „angrenzend“ gegenüber „direkt angrenzend“ usw.).
  • Die hierin verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungsformen und soll die beispielhaften Ausführungsformen in keiner Weise einschränken. Wie hierin verwendet sind die Singularformen „ein“ und „der/die/das“ dazu beabsichtigt, die Mehrzahlformen ebenfalls einzuschließen, sofern aus dem Kontext nicht eindeutig das Gegenteil hervorgeht. Es sei weiter klargestellt, dass die Begriffe „umfasst“, „umfassend“, „beinhaltet“ und/oder „beinhaltend“, sofern hier verwendet, das Vorhandensein von angeführten Funktionen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, aber nicht das Vorhandensein oder das Hinzufügen von ein oder mehreren anderen Funktionen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Gruppen davon ausschließen.
  • Es ist außerdem zu beachten, dass bei einigen alternativen Implementierungen die angegebenen Funktionen/Handlungen in einer anderen als der in den Figuren dargestellten Reihenfolge auftreten können. Zwei Figuren, die nacheinander gezeigt sind, können je nach den involvierten Funktionalitäten/Handlungen tatsächlich gleichzeitig oder manchmal in umgekehrter Reihenfolge ausgeführt werden.
  • Sofern nicht anders definiert haben alle Begriffe (einschließlich technischer und wissenschaftlicher Begriffe), die hier verwendet werden, die gleiche Bedeutung, die gewöhnlich von einem Fachmann für die beispielhaften Ausführungsformen verwendet wird. Es sei weiter klargestellt, dass Begriffe, die z. B. in allgemein verwendeten Wörterbüchern definiert sind, so auszulegen sind, dass sie im Einklang mit ihrer Bedeutung im Kontext der relevanten Technik verwendet werden und nicht in einem idealisierten oder allzu formalen Sinne, sofern sie hier nicht ausdrücklich derart definiert sind.
  • Teile der vorstehenden beispielhaften Ausführungsformen und die entsprechende ausführliche Beschreibung sind im Sinne von Software oder Algorithmen und symbolischen Darstellungen der Operationen an Datenbits innerhalb eines Computerspeichers dargestellt. Diese Beschreibungen und Darstellungen sind von einem Durchschnittsfachmann verwendete Mittel, um das Wesentliche seiner Arbeit einem anderen Durchschnittsfachmann zu vermitteln. Ein Algorithmus, so wie der Begriff hier verwendet und im Allgemeinen verstanden wird, wird als selbstkonsistente Sequenz von Schritten verstanden, die zu einem erwünschten Ergebnis führen. Bei diesen Schritten handelt es sich um solche, die eine physische Manipulation physischer Quantitäten erfordern. Gewöhnlich, obwohl nicht notwendigerweise, nehmen diese Mengen die Form von optischen, elektrischen oder magnetischen Signalen an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Es hat sich grundsätzlich aus Gründen des allgemeinen Sprachgebrauchs als geeignet erwiesen, diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Begriffe, Zahlen oder Ähnliches zu bezeichnen.
  • Bei den vorstehenden beispielhaften Ausführungsformen umfasst die Bezugnahme auf Handlungen und symbolische Darstellungen von Operationen (z. B. in Form von Ablaufdiagrammen), die als Programmmodule oder funktionale Prozesse implementiert werden können, Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen implementieren, und sie können unter Verwendung bestehender Hardware an vorhandenen Strukturelementen beschrieben und/oder implementiert werden. Diese bestehende Hardware kann eine oder mehrere zentrale Recheneinheiten (CPUs), digitale Signalprozessoren (DSPs), anwendungsspezifische integrierte Schaltungen, feldprogrammierbare Gate-Arrays- (FPGAs) -Computer oder dergleichen beinhalten.
  • Es sollte jedoch beachtet werden, dass all diese und ähnliche Begriffe den geeigneten physikalischen Mengen zuzuordnen sind, und lediglich geeignete Bezeichnungen sind, die auf diese Mengen angewandt werden. Wenn nicht spezifisch anders angegeben oder wie offensichtlich aus der Erörterung hierin, verweisen die Begriffe, wie z. B. „Verarbeiten“ oder „Berechnen“ oder „Ausrechnen“ oder „Bestimmen“ oder „Darlegen“ und dergleichen, auf die Handlungen und Prozesse eines Computersystems oder einer ähnlichen elektronischen Computervorrichtung, die Daten, die als physische (elektronische) Mengen innerhalb der Register und Speicher des Computersystems dargestellt sind, in andere Daten transformiert und manipuliert, die gleichermaßen als physische Mengen innerhalb der Computersystemspeicher oder -register oder innerhalb anderer solcher Informationsspeicher, Übertragungs- oder Displayvorrichtungen dargestellt sind.
  • Es ist außerdem zu beachten, dass die softwareimplementierten Aspekte der beispielhaften Ausführungsformen normalerweise auf irgendeiner Form eines nicht flüchtigen Programmspeichermediums codiert oder über irgendeine Art von Übertragungsmedium implementiert sind. Das Programmspeichermedium kann magnetisch (z. B. eine Diskette oder ein Festplattenlaufwerk) oder optisch (z. B. eine Compact-Disc-Read Only Memory oder CD-ROM) sein und kann nur Lesen oder Direktzugriff sein. Auf gleiche Weise kann das Übertragungsmedium verdrillte Adernpaare, Koaxialkabel, Lichtwellenleiter oder ein anderes geeignetes, dem Fach bekanntes Übertragungsmedium sein. Die beispielhaften Ausführungsformen sind nicht auf die Aspekte der beschriebenen Implementierungen beschränkt.
  • Und schließlich sollte auch beachtet werden, dass, obgleich die beigefügten Ansprüche spezielle Kombinationen von hier beschriebenen Merkmalen darstellen, der Umfang der vorliegenden Offenbarung nicht auf die nachstehend beanspruchten speziellen Kombinationen beschränkt ist, sondern stattdessen eine beliebige Kombination von hierin offenbarten Merkmalen oder Ausführungsformen umfasst, unabhängig davon, ob diese spezifische Kombination in den beigefügten Ansprüchen zu diesem Zeitpunkt speziell aufgezählt wurde oder nicht.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 14/850114 [0001]

Claims (20)

  1. Verfahren, umfassend: Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, das auf einem Head Mount Display (HMD) angezeigt wird; Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird; Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld; Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe; Auswählen eines erstes Bild für das linke Auge und eines zweiten Bildes für das linke Auge basierend auf dem Sichtfeld; und Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.
  2. Verfahren nach Anspruch 1, wobei das Auswählen des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge umfasst: Bestimmen einer Position des rechten Auges eines Benutzers des HMD; Auswählen des ersten Bildes für das rechte Auge als ein durch eine erste Kamera aufgenommenes Bild, die rechts von der Position des rechten Auges positioniert ist; und Auswählen des zweiten Bildes für das rechte Auge als ein durch eine zweite Kamera aufgenommenes Bild, die links von der Position des rechten Auges positioniert ist.
  3. Verfahren nach Anspruch 1, wobei das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge umfasst: Bestimmen einer Position des linken Auges eines Benutzers des HMD; Auswählen des ersten Bildes für das linke Auge als ein durch eine erste Kamera aufgenommenes Bild, die rechts von der Position des linken Auges positioniert ist; und Auswählen des zweiten Bildes für das linke Auge als ein durch eine zweite Kamera aufgenommenes Bild, die links von der Position des linken Auges positioniert ist.
  4. Verfahren nach Anspruch 1, wobei das erste Bild für das rechte Auge, das zweite Bild für das rechte Auge, das erste Bild für das linke Auge und das zweite Bild für das linke Auge aus mehreren Bildern ausgewählt werden, die in im Wesentlichen dem gleichen Augenblick in der Zeit erfasst sind.
  5. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge das Verschieben des ersten Bildes für das rechte Auge in Bezug auf das zweite Bild für das rechte Auge umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  6. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge Verschieben sowohl des ersten Bildes für das rechte Auge als auch des zweiten Bildes für das rechte Auge zur Mitte des Sichtfeldes umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  7. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge eine Farbzusammenführung umfasst, sodass ein Abschnitt des kombinierten Bildes im Wesentlichen eine gleiche Farbpalette wie ein entsprechender Abschnitt von mindestens einem von dem ersten Bild für das rechte Auge und dem zweiten Bild für das rechte Auge aufweist.
  8. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge eine Farbzusammenführung unter Verwendung von einem Farbenausgleich basierend auf einem gewichteten Ausgleich, der mit einem Kameraabstand von der Mitte des Sichtfeldes verknüpft ist, umfasst.
  9. Verfahren nach Anspruch 1, wobei das erste Bild für das linke Auge, das zweite Bild für das linke Auge, das erste Bild für das linke Auge und das zweite Bild für das linke Auge aus mehreren Bildern ausgewählt werden, die in im Wesentlichen dem gleichen Augenblick in der Zeit erfasst sind.
  10. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge Verschieben des ersten Bildes für das linke Auge in Bezug auf das zweite Bild für das linke Auge umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  11. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge Verschieben sowohl des ersten Bildes für das linke Auge als auch des zweiten Bildes für das linke Auge zur Mitte des Sichtfeldes umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  12. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge eine Farbzusammenführung des kombinierten Bildes umfasst, sodass ein Abschnitt des kombinierten Bildes im Wesentlichen eine gleiche Farbpalette wie ein entsprechender Abschnitt von mindestens einem von dem ersten Bild für das linke Auge und dem zweiten Bild für das linke Auge aufweist.
  13. Verfahren nach Anspruch 1, wobei das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge eine Farbzusammenführung des kombinierten Bildes unter Verwendung eines Farbenausgleichs basierend auf einem gewichteten Ausgleich, der mit einem Kameraabstand von der Mitte des Sichtfeldes verknüpft ist, umfasst.
  14. Verfahren, umfassend: Streamen eines dreidimensionalen (3D) Videos zu einem Head Mount Display (HMD), wobei jeder Frame des 3D-Videos ein Bild für das linke Auge und ein Bild für das rechte Auge umfasst; und Erzeugen eines anschließenden Frames umfasst: Bestimmen eines Sichtfeldes, das mit dem 3D-Video verknüpft ist; Bestimmen einer Schärfentiefe, die mit dem 3D-Video verknüpft ist; Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld; Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge als das Bild für das rechte Auge basierend auf der Schärfentiefe; Auswählen eines erstes Bild für das linke Auge und eines zweiten Bildes für das linke Auge basierend auf dem Sichtfeld; und Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge als das Bild für das linke Auge basierend auf der Schärfentiefe.
  15. Verfahren nach Anspruch 14, wobei das Auswählen des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge umfasst: Bestimmen einer Position des rechten Auges eines Benutzers des HMD, Auswählen des ersten Bildes für das rechte Auge als ein durch eine erste Kamera aufgenommenes Bild, die rechts von der Position des rechten Auges positioniert ist, und Auswählen des zweiten Bildes für das rechte Auge als ein durch eine zweite Kamera aufgenommenes Bild, die links von der Position des rechten Auges positioniert ist; und das Auswählen des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge umfasst: Bestimmen einer Position des linken Auges eines Benutzers des HMD, Auswählen des ersten Bildes für das linke Auge als ein durch eine erste Kamera aufgenommenes Bild, die rechts von der Position des linken Auges positioniert ist, und Auswählen des zweiten Bildes für das linke Auge als ein durch eine zweite Kamera aufgenommenes Bild, die links von der Position des linken Auges positioniert ist.
  16. Verfahren nach Anspruch 14, wobei das erste Bild für das rechte Auge, das zweite Bild für das rechte Auge, das erste Bild für das linke Auge und das zweite Bild für das linke Auge aus mehreren Bildern ausgewählt werden, die in im Wesentlichen dem gleichen Augenblick in der Zeit erfasst sind.
  17. Verfahren nach Anspruch 14, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge Verschieben des ersten Bildes für das rechte Auge in Bezug auf das zweite Bild für das rechte Auge umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist, und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge Verschieben des ersten Bildes für das linke Auge in Bezug auf das zweite Bild für das linke Auge umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  18. Verfahren nach Anspruch 14, wobei das Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge Verschieben sowohl des ersten Bildes für das rechte Auge als auch des zweiten Bildes für das rechte Auge zur Mitte des Sichtfeldes umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist, und das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge Verschieben sowohl des ersten Bildes für das linke Auge als auch des zweiten Bildes für das linke Auge zur Mitte des Sichtfeldes umfasst, bis ein Abschnitt eines kombinierten Bildes basierend auf der Schärfentiefe scharf ist.
  19. Verfahren nach Anspruch 14, wobei das Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge eine Farbzusammenführung des kombinierten Bildes umfasst.
  20. Nicht flüchtiges computerlesbares Speichermedium auf dem computerausführbarer Programmcode gespeichert ist, der bei Ausführung auf einem Computersystem das Computersystem veranlasst, Schritte auszuführen, die umfassen: Empfangen eines Hinweises auf ein Sichtfeld, das mit einem dreidimensionalen (3D) Bild verknüpft ist, das auf einem Head Mount Display (HMD) angezeigt wird; Empfangen eines Hinweises auf eine Schärfentiefe, die mit dem 3D-Bild verknüpft ist, das auf dem HMD angezeigt wird; Auswählen eines ersten Bildes für das rechte Auge und eines zweiten Bildes für das rechte Auge basierend auf dem Sichtfeld; Kombinieren des ersten Bildes für das rechte Auge und des zweiten Bildes für das rechte Auge basierend auf der Schärfentiefe; Auswählen eines ersten Bildes für das linke Auge und eines zweiten Bildes für das linke Auge basierend auf dem Sichtfeld; und Kombinieren des ersten Bildes für das linke Auge und des zweiten Bildes für das linke Auge basierend auf der Schärfentiefe.
DE112016004114.4T 2015-09-10 2016-09-09 Stereorenderingsystem Pending DE112016004114T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/850,114 US10757399B2 (en) 2015-09-10 2015-09-10 Stereo rendering system
US14/850,114 2015-09-10
PCT/US2016/051012 WO2017044790A1 (en) 2015-09-10 2016-09-09 Stereo rendering system

Publications (1)

Publication Number Publication Date
DE112016004114T5 true DE112016004114T5 (de) 2018-06-14

Family

ID=56959077

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016004114.4T Pending DE112016004114T5 (de) 2015-09-10 2016-09-09 Stereorenderingsystem

Country Status (8)

Country Link
US (1) US10757399B2 (de)
EP (1) EP3348054B1 (de)
JP (1) JP6596510B2 (de)
KR (1) KR101978896B1 (de)
CN (1) CN107810633B (de)
DE (1) DE112016004114T5 (de)
GB (1) GB2556207B (de)
WO (1) WO2017044790A1 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996814B1 (ja) * 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145154A1 (en) * 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
WO2019005045A1 (en) * 2017-06-28 2019-01-03 Halliburton Energy Services, Inc. INTERACTIVE HANDLING WITH VIRTUAL REALITY OF DOWNHOLE DATA
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
JP2019053644A (ja) * 2017-09-19 2019-04-04 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
CN110741634B (zh) * 2017-12-11 2021-06-25 深圳市柔宇科技股份有限公司 图像处理方法、头戴显示设备和头戴显示系统
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10409068B1 (en) * 2018-03-27 2019-09-10 Tectus Corporation Binocular femtoprojector layouts
JP6868288B2 (ja) * 2018-09-11 2021-05-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム
US10911743B2 (en) * 2018-10-19 2021-02-02 Facebook Technologies, Llc Field of view expansion by color separation
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
CN111988533B (zh) * 2019-05-23 2022-07-22 川田科技株式会社 焊接辅助方法及装置
US11190755B2 (en) * 2019-06-12 2021-11-30 Sony Interactive Entertainment Inc. Asymmetric arrangement of left and right displays to improve image quality for a stereoscopic head-mounted display (HMD)
KR20220093041A (ko) * 2019-11-06 2022-07-05 에이치이에스 아이피 홀딩스, 엘엘씨 깊이를 갖는 오브젝트를 디스플레이하기 위한 시스템 및 방법
EP3984016A4 (de) 2020-08-14 2023-09-06 HES IP Holdings, LLC Systeme und verfahren zur überlagerung von virtuellen bildern auf echtzeitbildern
CN114616511A (zh) 2020-09-03 2022-06-10 海思智财控股有限公司 改善双眼视觉的系统与方法
CN116420104A (zh) 2020-09-30 2023-07-11 海思智财控股有限公司 用于虚拟实境及扩增实境装置的虚拟影像显示系统
US20220122239A1 (en) * 2020-10-21 2022-04-21 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085011A1 (en) 2012-09-26 2014-03-27 Industry-Academic Cooperation Foundation, Yonsei University Supply regulated voltage controlled oscillator including active loop filter and phase locked loop using the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US20040238732A1 (en) 2001-10-19 2004-12-02 Andrei State Methods and systems for dynamic virtual convergence and head mountable display
JP2006229725A (ja) 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
EP2084672A1 (de) 2006-11-20 2009-08-05 THOMSON Licensing System und verfahren zum zusammensetzen von 3d-bildern
KR20090052169A (ko) 2007-11-20 2009-05-25 삼성전자주식회사 두부(頭部) 장착 디스플레이
US8363090B1 (en) * 2008-07-17 2013-01-29 Pixar Animation Studios Combining stereo image layers for display
US20100278232A1 (en) 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
CN102714739A (zh) 2009-12-04 2012-10-03 诺基亚公司 处理器、设备以及相关联的方法
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP4939639B2 (ja) 2010-09-28 2012-05-30 シャープ株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US20140247286A1 (en) 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US8736692B1 (en) 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
US9618759B2 (en) 2012-08-06 2017-04-11 Sony Corporation Image display apparatus and image display method
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US20160033770A1 (en) 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP6369005B2 (ja) 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6337418B2 (ja) 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US20150187115A1 (en) 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085011A1 (en) 2012-09-26 2014-03-27 Industry-Academic Cooperation Foundation, Yonsei University Supply regulated voltage controlled oscillator including active loop filter and phase locked loop using the same

Also Published As

Publication number Publication date
EP3348054B1 (de) 2022-11-02
EP3348054A1 (de) 2018-07-18
JP2018533232A (ja) 2018-11-08
CN107810633A (zh) 2018-03-16
US20170078651A1 (en) 2017-03-16
WO2017044790A1 (en) 2017-03-16
KR101978896B1 (ko) 2019-05-15
CN107810633B (zh) 2020-12-08
GB2556207B (en) 2021-08-11
JP6596510B2 (ja) 2019-10-23
GB201717596D0 (en) 2017-12-13
US10757399B2 (en) 2020-08-25
GB2556207A (en) 2018-05-23
KR20170133461A (ko) 2017-12-05

Similar Documents

Publication Publication Date Title
DE112016004114T5 (de) Stereorenderingsystem
DE112016004216T5 (de) Allgemeine Sphärische Erfassungsverfahren
DE102017126116A1 (de) Okulare Videostabilisierung
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
DE112020003794T5 (de) Tiefenbewusste Fotobearbeitung
DE202017105899U1 (de) Kameraeinstellungsanpassung basierend auf vorhergesagten Umgebungsfaktoren und Nachverfolgungssysteme, die diese einsetzen
DE112016006081T5 (de) Automatische Echtzeit-Fahrzeugkamerakalibrierung
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
DE102009049073A1 (de) Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20140055580A1 (en) Depth Of Field Maintaining Apparatus, 3D Display System And Display Method
DE102007023506A1 (de) Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
DE112013003257T5 (de) Verbesserte Informationsübertragung durch ein transparentes Display
KR20150104458A (ko) 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치
CN103945205B (zh) 兼容2d与多视点裸眼3d显示的视频处理装置及方法
CN103747236A (zh) 结合人眼跟踪的立体视频处理系统及方法
DE102018209377A1 (de) Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
EP2469868B1 (de) Verfahren zur Korrektur der Hyperstereoskopie, und entsprechendes Visualisierungssystem mit Helm
DE102013213492A1 (de) Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen
CN104299517A (zh) 显示装置
US9529825B2 (en) Method, device and system for restoring resized depth frame into original depth frame
DE102015100680B4 (de) Verfahren und Vorrichtungen zur Umgebungsdarstellung
KR20200120282A (ko) 깊이 카메라와 입체영상 디스플레이 장치를 이용한 라이트 필드 디스플레이 시스템 및 방법
US9964772B2 (en) Three-dimensional image display apparatus, methods and systems
EP3086554B1 (de) System und verfahren zur herstellung und abgabe stereoskopischer videofilme
DE102022116074A1 (de) Augenverfolgungsdatenfilterung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication