Die vorliegende Anmeldung betrifft Verfahren, Vorrichtungen und Systeme zur Umgebungsdarstellung auf einer von einem Benutzer zu betrachtenden Anzeige, ggf. kombiniert mit weiteren Informationen oder Daten.The present application relates to methods, devices and systems for environmental representation on a display to be viewed by a user, possibly combined with other information or data.
In den letzten Jahren wurden z. B. Datenbrillen entwickelt, welche eine Betrachtung dargestellter Daten (Bilder, Texte, Videos etc.) durch einen Benutzer ermöglichen. Bei manchen dieser Datenbrillen werden Daten nur in einen Teil eines Brillenglases eingespiegelt, sodass der Benutzer zusätzlich durch die Datenbrille hindurch die Umgebung betrachten kann. Bei anderen Datenbrillen erfolgt eine Dateneinspiegelung über halbtransparente Elemente.In recent years, for. B. Data glasses are developed, which allow viewing of displayed data (images, text, videos, etc.) by a user. In some of these data glasses, data is only reflected in a part of a spectacle lens, so that the user can additionally view the environment through the data glasses. For other data glasses, data entry is done via semitransparent elements.
Um Datenbrillen mit niedrigen Kosten realisieren zu können, werden zudem Betrachtungsvorrichtungen bereitgestellt, welche eine Aufnahme für eine mobile Computervorrichtung wie ein Smartphone oder ein Tablet aufweisen und welche an einem Kopf eines Benutzers zu befestigen sind. Teilweise können derartige Betrachtungsvorrichtungen auch Optiken zum Betrachten einer Anzeige der mobilen Computervorrichtung aufweisen. Bei derartigen Betrachtungsvorrichtungen ist eine direkte Betrachtung der Umgebung durch einen Benutzer häufig nicht möglich, da verwendete mobile Computervorrichtungen üblicherweise lichtundurchlässig sind.In order to realize low-cost data glasses, viewing devices are also provided which have a receptacle for a mobile computing device such as a smartphone or a tablet and which are to be attached to a user's head. In part, such viewing devices may also include optics for viewing a display of the mobile computing device. In such viewing devices, direct viewing of the environment by a user is often not possible because mobile computing devices used are usually opaque.
Eine Möglichkeit wäre es grundsätzlich, eine in die mobile Computervorrichtung eingebaute Kamera zur Aufnahme der Umgebung zu nutzen und ein entsprechendes Bild auf der Anzeige der mobilen Computervorrichtung darzustellen. Üblicherweise weisen mobile Computervorrichtungen jedoch nur eine hierzu nutzbare Kamera auf einer der Anzeige gegenüber liegenden Seite auf, sodass auf diese Weise keine Stereodarstellung realisierbar ist. Bei einigen wenigen mobilen Computervorrichtungen sind auch zwei Kameras zur Stereobildaufnahme bereitgestellt. Hier ist jedoch üblicherweise eine Stereobasis, d. h. ein Abstand zwischen den Kameras, zu klein, um eine korrekte Wiedergabe mit richtiger Stereobasis (entsprechend beispielsweise dem Augenabstand beim Menschen, durchschnittlich etwa 63 mm) zuzulassen.One possibility would be basically to use a built-in mobile computing device camera to record the environment and display a corresponding image on the display of the mobile computing device. Usually, however, mobile computing devices only have a camera usable for this purpose on a side opposite the display, so that in this way no stereo display can be realized. In a few mobile computing devices, two cameras are also provided for stereo imaging. However, here is usually a stereo base, i. H. a distance between the cameras, too small to allow a correct reproduction with the correct stereo base (for example, the human eye distance, on average about 63 mm).
Bei einer derartigen Darstellung ist es zudem wünschenswert, einer Stereodarstellung zusätzliche Inhalte überlagern zu können. Bei vielen Anwendungen ist hier eine möglichst genaue Tiefenkartierung wünschenswert, um beispielsweise derartige Objekte in einer gewünschten Tiefenebene (d. h. in einem gewünschten wahrgenommenen Abstand) darstellen zu können.In such a representation, it is also desirable to be able to superimpose additional content on a stereo presentation. In many applications, the most accurate depth mapping is desirable here in order, for example, to be able to represent such objects in a desired depth plane (that is to say at a desired perceived distance).
Aus der EP 2 458 880 A2 ist eine mobile Vorrichtung, insbesondere ein Smartphone, für 3D-Aufnahmen bekannt. Hierzu weist das Smartphone zwei voneinander beabstandete Kameras auf.From the EP 2 458 880 A2 is a mobile device, in particular a smartphone, known for 3D recordings. For this purpose, the smartphone has two spaced-apart cameras.
Die WO 2011/119459 A1 offenbart eine Betrachtungsvorrichtung, in die beispielsweise ein Smartphone einsetzbar ist. Durch Darstellung zweier Bilder für linkes bzw. rechtes Auge auf einer Anzeige des Smartphones wird dann beim Betrachter ein 3D-Effekt hervorgerufen.The WO 2011/119459 A1 discloses a viewing device in which, for example, a smartphone can be used. By displaying two images for left or right eye on a display of the smartphone, the viewer is then caused a 3D effect.
Die US 2013/0293670 A1 offenbart eine Vorrichtung, bei der mittels einer einzigen Kamera eines Smartphones eine Aufnahme von 3D-Bildern möglich ist. Hierzu wird ein reflektierendes Element zwischen zwei verschiedenen Positionen derart bewegt, dass es in einer Position Licht von einer Öffnung zu der Kamera lenkt und in der anderen Position Licht von der anderen Öffnung zur Kamera lenkt. Für diese Herangehensweise ist eine sehr genaue Bewegung und Positionierung des reflektierenden Elements nötig, um korrekte 3D-Aufnahmen zu erstellen.The US 2013/0293670 A1 discloses a device in which by means of a single camera of a smartphone recording of 3D images is possible. For this purpose, a reflective element between two different positions is moved so that it directs light from one opening to the camera in one position and directs light from the other opening to the camera in the other position. This approach requires very precise movement and positioning of the reflective element to produce correct 3D images.
Es ist daher eine Aufgabe, hier verbesserte Möglichkeiten zu finden, bei welchen das Problem einer derart exakten Positionierung eines beweglichen Elements in zwei Positionen nicht auftritt.It is therefore an object to find here improved possibilities in which the problem of such an exact positioning of a movable element in two positions does not occur.
Diesbezüglich wird eine Betrachtungsvorrichtung nach Anspruch 1 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsformen der Betrachtungsvorrichtung sowie ein System mit einer derartigen Betrachtungsvorrichtung und einer mobilen Computervorrichtung.In this regard, a viewing device according to claim 1 is provided. The subclaims define further embodiments of the viewing device and a system having such a viewing device and a mobile computing device.
Erfindungsgemäß wird eine Betrachtungsvorrichtung bereitgestellt, umfassend:
eine erste Öffnung,
eine von der ersten Öffnung beabstandete zweite Öffnung,
eine Aufnahme für eine mobile Computervorrichtung, und
eine optische Anordnung, welche eingerichtet ist, Licht von der ersten Öffnung und von der zweiten Öffnung zu einer Position zu leiten, an der sich mindestens eine Kamera der mobilen Computervorrichtung befindet, wenn sich die mobile Computervorrichtung in der Aufnahme befindet. Diese Position(en) der mindestens einen Kamera entsprechen beispielsweise Kameraöffnungen in der Aufnahme. Durch die Bereitstellung einer derartigen optischen Anordnung können insbesondere Bilder mit einer guten Stereobasis mittels einer eingebauten Kamera einer herkömmlichen mobilen Computervorrichtung aufgenommen werden.According to the invention, a viewing device is provided, comprising:
a first opening,
a second opening spaced from the first opening,
a recording for a mobile computing device, and
an optical assembly configured to direct light from the first opening and from the second opening to a position where at least one camera of the mobile computing device is located when the mobile computing device is in the receptacle. This position (s) of the at least one camera correspond for example to camera openings in the recording. By providing such an optical arrangement, in particular, images with a good stereo base can be recorded by means of a built-in camera of a conventional mobile computing device.
Eine derartige Bertrachtungsvorrichtung kann z. B. als Datenbrille, als am Kopf zu tragende Einrichtung (HMD, vom Englischen „Head mounted Display”), als eine an einem Helm zu befestigende Einrichtung („Helmet mounted Display”), als Videobrille oder als geschlossene Augmented-Reality-Brille ausgestaltet sein.Such a recharging device can, for. B. as data glasses, as head-worn device (HMD, from English "Head mounted Display "), be configured as a helmet-mounted device (" Helmet mounted Display "), as video glasses or as closed augmented reality glasses.
Ein Abstand zwischen der ersten Öffnung und der zweiten Öffnung kann über 30 mm, z. B. zwischen 40 und 90 mm liegen.A distance between the first opening and the second opening may be more than 30 mm, e.g. B. between 40 and 90 mm.
Die optische Anordnung ist eingerichtet, wahlweise Licht von der ersten Öffnung oder der zweiten Öffnung zu einer gleichen Position einer einzigen Kamera zu lenken.The optical assembly is configured to selectively direct light from the first opening or the second opening to a same position of a single camera.
Hierfür umfasst die optische Anordnung einen der ersten Öffnung zugeordneten ersten Shutter und einen der zweiten Öffnung zugeordneten zweiten Shutter oder auch einen oder mehrere zwischen einem transparenten Zustand und einem reflektierenden Zustand schaltbaren Spiegel, insbesondere gekreuzte Spiegel.For this purpose, the optical arrangement comprises a first shutter associated with the first opening and a second shutter associated with the second opening, or also one or more mirrors switchable between a transparent state and a reflective state, in particular crossed mirrors.
Die optische Anordnung kann auch einen Klappspiegel umfassen.The optical assembly may also include a folding mirror.
Zudem wird ein System bereitgestellt, umfassend:
eine Betrachtungsvorrichtung wie oben beschrieben, und
eine in der Aufnahme der Betrachtungsanordnung angeordnete mobile Computervorrichtung.In addition, a system is provided, comprising:
a viewing device as described above, and
a mobile computing device arranged in the receptacle of the viewing device.
Die mobile Computervorrichtung umfasst dabei:
eine Anzeige, mindestens eine Kamera, einen Speicher mit darin gespeichertem Programmcode, wobei der Programmcode, wenn er auf dem Prozessor ausgeführt wird, bewirkt, dass der Prozessor die mindestens eine Kamera ansteuert, um erste Bilder und zweite Bilder aufzunehmen, wobei die ersten Bilder und zweiten Bilder stereoskopische Bildpaare bilden, und dass der Prozessor die Anzeige ansteuert, um auf der Anzeige stereoskopische Bilder mit einer Stereobasis auf Basis der ersten und zweiten Bilder anzuzeigen.The mobile computing device includes:
a display, at least one camera, a memory having program code stored therein, the program code, when executed on the processor, causing the processor to drive the at least one camera to capture first images and second images, the first images and second images form stereoscopic image pairs, and that the processor drives the display to display on the display stereoscopic images with a stereo base based on the first and second images.
Die Stereobasis kann über 30 mm, z. B. zwischen 40 mm und 90 mm liegen.The stereo base can be over 30 mm, z. B. between 40 mm and 90 mm.
Die mobile Computervorrichtung kann weiter eine Schnittstelle umfassen, wobei der Programmcode, wenn er auf dem Prozessor ausgeführt wird, weiter bewirkt, dass die mobile Computervorrichtung über die Schnittstelle Steuersignale zur Steuerung einer wahlweisen optischen Kopplung einer ersten Öffnung oder einer zweiten Öffnung mit einer Kamera der mindestens einen Kamera ausgibt, und dass der Prozessor die Kamera synchron mit der wahlweisen optischen Kopplung zur Aufnahme der ersten Bilder und der zweiten Bilder ansteuert.The mobile computing device may further comprise an interface, wherein the program code, when executed on the processor, further causes the mobile computing device to control signals via the interface to selectively control optical coupling of a first opening or a second opening to a camera of the at least one outputs a camera, and that the processor drives the camera in synchronism with the selective optical coupling to capture the first images and the second images.
Der Programmcode, wenn er auf dem Prozessor ausgeführt wird, kann weiter bewirken, dass zusätzliche virtuelle Informationen auf der Anzeige der Anzeige der stereoskopischen Bilder überlagert werden.The program code, when executed on the processor, may further cause additional virtual information on the display to be overlaid on the display of the stereoscopic images.
Ein Grad der Überlagerung kann einstellbar sein.One degree of overlay can be adjustable.
Das Überlagern von zusätzlichen virtuellen Informationen kann ein Gewinnen von Tiefeninformationen auf Basis der ersten Bilder und zweiten Bilder umfassen, und das Überlagern kann weiter auf Basis der Tiefeninformationen vorgenommen werden.Superimposing additional virtual information may include obtaining depth information based on the first images and second images, and the overlaying may be further performed based on the depth information.
So kann z. B. eine so genannte Tiefenkarte auf Basis der ersten und zweiten Bilder berechnet werden. Diese Berechnung kann direkt auf der mobilen Computervorrichtung erfolgen, kann aber bei anderen Ausführungsbeispielen auch extern vorgenommen werden.So z. B. a so-called depth map based on the first and second images are calculated. This calculation may be done directly on the mobile computing device, but may be made externally in other embodiments.
Ein derartiges Gewinnen von Tiefeninformationen und/oder eine Tiefenkartierung, kann bei verschiedenen Ausführungsbeispielen einen oder mehrere der folgenden Vorteile haben:
- – Eine Augmentierung kann in einer „richtigen” Ebene erfolgen.
- – Objekte im Vordergrund können hervorgehoben werden (dies ist z. B. interessant für Sehbehinderte zur Erleichterung der Navigation im Raum)
- – Einem Betrachter kann eine Tiefe von Objekten in seiner Umwelt dargestellt werden (z. B. in Falschfarben), was z. B. für messtechnische Anwendungen interessant ist.
Such depth information acquisition and / or depth mapping may, in various embodiments, have one or more of the following advantages: - - Augmentation can be done in a "correct" level.
- - Objects in the foreground can be highlighted (this is for example interesting for the visually impaired to facilitate the navigation in the room)
- A viewer can be presented with a depth of objects in his environment (eg in false colors). B. for metrological applications is interesting.
Die zusätzlichen virtuellen Informationen können ein modifiziertes Darstellen von Bildbereichen der ersten und zweiten Bilder umfassen.The additional virtual information may include a modified representation of image areas of the first and second images.
Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung anhand von Ausführungsbeispielen näher erläutert. Es zeigen:The invention will be explained in more detail with reference to the accompanying drawings with reference to embodiments. Show it:
1 ein Blockdiagramm einer mobilen Computervorrichtung, welche in einem erfindungsgemäßen System verwendbar ist, 1 10 is a block diagram of a mobile computing device usable in a system according to the invention;
2 eine schematische Außenansicht einer mobilen Computervorrichtung, welche in einem erfindungsgemäßen System verwendbar ist, 2 FIG. 2 is a schematic external view of a mobile computing device usable in a system according to the invention; FIG.
3 eine schematische Ansicht eines Systems gemäß einem Ausführungsbeispiel, 3 a schematic view of a system according to an embodiment,
4 eine schematische Darstellung einer optischen Anordnung in einem System gemäß einem Ausführungsbeispiel, 4 a schematic representation of an optical arrangement in a system according to an embodiment,
5 eine schematische Darstellung einer optischen Anordnung eines Systems gemäß einem weiteren Ausführungsbeispiel, 5 a schematic representation of an optical arrangement of a system according to another embodiment,
6 Beispiele für Signale in der optischen Anordnung der 5, 6 Examples of signals in the optical arrangement of 5 .
7 eine schematische Darstellung eines Systems gemäß einem weiteren Ausführungsbeispiel, 7 a schematic representation of a system according to another embodiment,
8 eine schematische Darstellung eines Systems, welches kein beanspruchtes Ausführungsbeispiel ist, 8th a schematic representation of a system which is not a claimed embodiment,
9 ein Diagramm zur Veranschaulichung der Arbeitsweise von manchen Ausführungsbeispielen, und 9 a diagram illustrating the operation of some embodiments, and
10A–10C Beispielbilder zur Veranschaulichung einer überlagernden Darstellung bei manchen Ausführungsbeispielen. 10A - 10C Example images illustrating a superimposed representation in some embodiments.
Im Folgenden werden verschiedene Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen detailliert erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise bedeutet eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Merkmalen nicht, dass alle diese Elemente oder Merkmale zur Implementierung von Ausführungsbeispielen notwendig sind. Vielmehr können andere Ausführungsbeispiele weniger Merkmale oder Elemente, alternative Merkmale oder Elemente und/oder zusätzliche Merkmale oder Elemente aufweisen. Zudem können Merkmale oder Elemente verschiedener Ausführungsbeispiele miteinander kombiniert werden, sofern nichts anderes angegeben ist.Hereinafter, various embodiments of the present invention will be explained in detail with reference to the accompanying drawings. These embodiments are merely illustrative and are not to be construed as limiting. For example, a description of an embodiment having a plurality of elements or features does not imply that all of these elements or features are necessary to implement embodiments. Rather, other embodiments may include fewer features or elements, alternative features or elements, and / or additional features or elements. In addition, features or elements of various embodiments may be combined with each other unless otherwise specified.
Manche Ausführungsbeispiele, welche im Folgenden näher erläutert werden, betreffen eine am Kopf zu tragende Vorrichtung, in welche eine mobile Computervorrichtung wie ein Smartphone eingesetzt werden kann. Eine Kombination aus der am Kopf zu tragenden Vorrichtung und der mobilen Computervorrichtung wird im Rahmen dieser Anmeldung auch als System bezeichnet.Some embodiments, which are explained in more detail below, relate to a device to be worn on the head into which a mobile computing device such as a smartphone can be inserted. A combination of the head-worn device and the mobile computing device is also referred to as a system in the context of this application.
Zunächst werden unter Bezugnahme auf 1 und 2 mobile Computervorrichtungen diskutiert, die in erfindungsgemäßen Systemen einsetzbar sind.First, referring to 1 and 2 mobile computing devices that can be used in systems according to the invention.
In 1 ist eine mobile Computervorrichtung 10 dargestellt. Die mobile Computervorrichtung 10 kann beispielsweise mittels eines Smartphones, eines Tablet-Computers oder mittels einer anderen mobilen Computervorrichtung (beispielsweise einem mobilen Spielgerät) implementiert sein. Derartige mobile Computervorrichtungen, welche als Grundlage für die Implementierung der mobilen Computervorrichtung 10 der 1 dienen können, sind häufig frei programmierbar, verfügen über einen Prozessor, eine Anzeige (Display, gegebenenfalls berührungsempfindlich), verschiedene Eingabeeinrichtungen, Schnittstellen etc. Wie im Folgenden näher erläutert wird, werden bei Ausführungsbeispielen der vorliegenden Erfindung derartige mobile Computervorrichtungen genutzt, um Möglichkeiten zur Stereodarstellung einer Umgebung bereitzustellen. Hierzu kann insbesondere die mobile Computervorrichtung entsprechend programmiert werden, beispielsweise mittels einer oder mehrerer sogenannter Apps (vom Englischen „applications”, d. h. Anwenderprogramme).In 1 is a mobile computing device 10 shown. The mobile computing device 10 may be implemented, for example, by means of a smartphone, a tablet computer or by means of another mobile computing device (for example a mobile gaming device). Such mobile computing devices, which serve as the basis for the implementation of the mobile computing device 10 of the 1 are often freely programmable, have a processor, a display (display, possibly touch-sensitive), various input devices, interfaces, etc. As will be explained in more detail below, embodiments of the present invention, such mobile computing devices are used to stereo viewing options to provide an environment. For this purpose, in particular the mobile computing device can be programmed accordingly, for example by means of one or more so-called apps (from English "applications", ie user programs).
Als Beispiel umfasst die mobile Computervorrichtung der 1 einen Prozessor 13, beispielsweise eine CPU. Bei anderen mobilen Computervorrichtungen können auch mehrere Prozessoren oder ein Prozessor mit mehreren Prozessorkernen bereitgestellt sein. Der Prozessor 13 ist mit einem Speicher 15, beispielsweise einem Speicher mit wahlfreiem Zugriff (RAM) oder einem nicht-flüchtigen Speicher wie einem Flashspeicher gekoppelt, oder Kombinationen hiervon. In dem Speicher 15 können Daten sowie Programme zum Betreiben des Prozessors 13 und der mobilen Computervorrichtung 10 abgelegt sein. Insbesondere können verschiedene Anwendungsprogramme (Apps) in dem Speicher 15 abgelegt sein, beispielsweise Anwendungsprogrammmodule 16 und 17, welche später näher diskutiert werden.As an example, the mobile computing device includes the 1 a processor 13 , for example, a CPU. Other mobile computing devices may also provide multiple processors or a processor with multiple processor cores. The processor 13 is with a memory 15 , for example, a random access memory (RAM) or a non-volatile memory such as a flash memory coupled, or combinations thereof. In the store 15 can data as well as programs for operating the processor 13 and the mobile computing device 10 be filed. In particular, various application programs (apps) can be stored in memory 15 be stored, such as application program modules 16 and 17 , which will be discussed later.
Der Prozessor 13 ist weiter mit einer Anzeige 11 gekoppelt, über welche Bilder, z. B. Informationen, Grafiken, Zeichen, Symbole und dergleichen zum Betrachten durch einen Benutzer dargestellt werden können. Der Bergriff „Bild” wird hier allgemein benutzt, um Inhalte zu bezeichnen, welche auf einer Anzeige dargestellt werden. Ein derartiges Bild kann beispielsweise Zeichen, Symbole, Grafiken, Bilder, Videos und/oder andere Elemente umfassen. Des Weiteren ist der Prozessor 13 mit einer Eingabeeinrichtung 12 gekoppelt. Bei manchen Ausführungsbeispielen kann die Anzeige 11 berührungsempfindlich sein und somit gleichzeitig die Eingabeeinrichtung 12 oder einen Teil hievon darstellen. Zusätzlich oder alternativ kann die Eingabeeinrichtung Knöpfe, Drehregler, eine Tastatur, ein Mikrofon zum Empfangen von Geräuschen oder einer Spracheingabe und/oder Sensoren wie einen Neigungssensor oder einen Beschleunigungssensor umfassen.The processor 13 is next with an ad 11 coupled, about which pictures, z. For example, information, graphics, characters, symbols and the like may be displayed for viewing by a user. The term "image" is used here generally to denote contents that are displayed on a display. Such an image may include, for example, characters, symbols, graphics, images, videos and / or other elements. Furthermore, the processor 13 with an input device 12 coupled. In some embodiments, the display 11 be touch-sensitive and thus at the same time the input device 12 or part of it. Additionally or alternatively, the input device may include buttons, knobs, a keyboard, a microphone for receiving sounds or a voice input, and / or sensors such as a tilt sensor or an acceleration sensor.
Des Weiteren weist die mobile Computervorrichtung 10 der 1 eine oder mehrere Kameras 19 auf. Beispielsweise weisen moderne Smartphones typischerweise zumindest eine Frontkamera, welche sich auf der gleichen Seite wie die Anzeige 11 befindet, sowie eine rückseitige Kamera auf der gegenüberliegenden Seite auf, wobei in vielen Fällen die rückseitige Kamera eine höhere Auflösung bietet. Es sind jedoch auch andere Konfigurationen möglich. Bei manchen Ausführungsbeispielen wird eine derartige Kamera, wie die Kamera 19, verwendet, ein Bild einer Umgebung aufzunehmen, wobei wie später erläutert Möglichkeiten zur Stereo-Bildaufnahme bereitgestellt sind.Furthermore, the mobile computing device 10 of the 1 one or more cameras 19 on. For example, modern smartphones typically have at least one front camera, which yourself on the same page as the ad 11 and a rear camera on the opposite side, in many cases the rear camera offers a higher resolution. However, other configurations are possible. In some embodiments, such a camera as the camera 19 , uses to capture an image of an environment, where stereo imaging capabilities are provided as discussed below.
Des Weiteren umfasst die mobile Computervorrichtung 10 der 1 eine Schnittstelle 14, mittels der die Computervorrichtung 10 mit weiteren Vorrichtungen kommunizieren kann. Die Schnittstelle 14 kann beispielsweise eine Netzschnittstelle wie Mobilfunkschnittstelle zur Kommunikation über ein Mobilfunknetz, eine Bluetooth-Schnittstelle und/oder eine Wifi/WLAN-Schnittstelle oder auch eine kabelgebundene Schnittstelle wie eine USB-Schnittstelle umfassen, ist jedoch nicht hierauf beschränkt. Eine derartige Schnittstelle 14 kann beispielsweise zur Kommunikation mit einer externen Vorrichtung, welche eine Stereo-Bildaufnahme ermöglicht, dienen. Dies wird später näher erläutert. Zu bemerken ist, dass die mobile Computervorrichtung 10 weitere herkömmliche Komponenten von mobilen Computervorrichtungen wie beispielsweise Smartphones aufweisen kann.Furthermore, the mobile computing device includes 10 of the 1 an interface 14 , by means of which the computer device 10 can communicate with other devices. the interface 14 For example, it may include, but is not limited to, a network interface such as a mobile radio interface for communication over a cellular network, a Bluetooth interface and / or a Wifi / WLAN interface, or even a wired interface such as a USB interface. Such an interface 14 For example, it may be used to communicate with an external device that allows stereo imaging. This will be explained later. It should be noted that the mobile computing device 10 may include other conventional components of mobile computing devices such as smartphones.
Bei der dargestellten mobilen Computervorrichtung sind in dem Speicher 15 als Anwendungsprogramme ein Darstellungsmodul 16 zur Stereo-Bilddarstellung und optional zusätzlich ein weiteres Modul 17 abgelegt.In the illustrated mobile computing device are in the memory 15 as application programs, a presentation module 16 for stereo image display and optionally an additional module 17 stored.
Wie durch Pfeile angedeutet können die Module auch miteinander interagieren, insbesondere Daten austauschen.As indicated by arrows, the modules can also interact with each other, in particular exchange data.
Das Darstellungsmodul 16 kann hierzu Bilder von der Kamera 19 empfangen und auf der Anzeige 11 darstellen. Dabei können insbesondere getrennte Bilder für das linke und das rechte Auge dargestellt werden. Um Bilder für eine derartige Stereodarstellung zu erhalten, können, wie später näher erläutert werden wird, Bilder von zwei verschiedenen, voneinander beabstandeten Bereichen zu der Kamera 19 gelenkt werden.The presentation module 16 can take pictures of the camera 19 received and on display 11 represent. In particular, separate images for the left and the right eye can be displayed. To obtain images for such a stereo representation, as will be explained in more detail later, images of two different, spaced-apart areas may be added to the camera 19 be steered.
Zudem können weitere Elemente in die dargestellten Bilder eingefügt werden, beispielsweise zur Darstellung zusätzlicher Informationen, oder manche Elemente können betont werden, beispielsweise durch Farbveränderung oder Verstärkung von Konturen. Eine derartige Darstellung der Umgebung mit zusätzlichen Elementen wird auch als „Augmented Reality” bezeichnet.In addition, other elements can be inserted in the images shown, for example, to display additional information, or some elements can be emphasized, for example, by color change or enhancement of contours. Such a representation of the environment with additional elements is also referred to as "augmented reality".
Das optionale weitere Modul 17 kann weitere Funktionen ausführen und beispielsweise zusätzliche Bilddaten zur Darstellung auf der Anzeige 11 an das Darstellungsmodul 15 liefern.The optional further module 17 can perform additional functions and, for example, additional image data for display on the display 11 to the presentation module 15 deliver.
In 2 ist ein Beispiel für eine Außenansicht einer mobilen Vorrichtung 20 dargestellt. Die mobile Vorrichtung 20 der 2 kann beispielsweise der mobilen Computervorrichtung 10 der 1 entsprechen und ist in dem Beispiel der 2 als Smartphone ausgestaltet. Je nach Art des Smartphones kann sich die Außenansicht von der in 2 dargestellten unterscheiden. Die mobile Computervorrichtung 20 weist eine Anzeige 21 auf, welche insbesondere als berührungsempfindliche Anzeige (sogenannter Touchscreen) realisiert sein kann. Zudem weist bei dem dargestellten Beispiel die mobile Computervorrichtung 20 einen Bedienknopf 22 sowie eine Kamera 23 auf. Die Kamera 23 wird auch als Frontkamera bezeichnet. Eine weitere (in 2 nicht dargestellte) Kamera kann sich auf der gegenüberliegenden Seite (Rückseite) der mobilen Computervorrichtung 20 befinden. Die mobile Computervorrichtung 20 kann weitere in 2 nicht dargestellte Elemente aufweisen, wie beispielsweise einen Kopfhörerausgang, weitere Bedienelemente, einen Lautsprecher oder ein Mikrofon.In 2 is an example of an external view of a mobile device 20 shown. The mobile device 20 of the 2 may, for example, the mobile computing device 10 of the 1 correspond and is in the example of the 2 designed as a smartphone. Depending on the type of smartphone, the external view of the in 2 differed. The mobile computing device 20 has an ad 21 on, which in particular as a touch-sensitive display (so-called touch screen) can be realized. In addition, in the illustrated example, the mobile computing device 20 a control knob 22 as well as a camera 23 on. The camera 23 is also referred to as a front camera. Another (in 2 not shown) camera may be on the opposite side (back) of the mobile computing device 20 are located. The mobile computing device 20 can be more in 2 not shown elements, such as a headphone output, other controls, a speaker or a microphone.
Wie in 2 dargestellt kann die Anzeige 21 in zwei Bereiche 21A und 21B unterteilt werden. In diesem Fall kann beispielsweise der Bereich 21A zur Darstellung eines Bildes und/oder einer Beleuchtung für ein linkes Auge eines Benutzers und der Bereich 21B zur Darstellung eines Bildes und/oder Beleuchtung für ein rechtes Auge eines Benutzers genutzt werden. Wie nachfolgend näher erläutert werden wird, kann die mobile Computervorrichtung 20 in eine entsprechende insbesondere am Kopf zu tragende Betrachtungsvorrichtung eingesetzt werden.As in 2 the display can be displayed 21 in two areas 21A and 21B be divided. In this case, for example, the area 21A for displaying a picture and / or a lighting for a left eye of a user and the area 21B for displaying a picture and / or lighting for a right eye of a user. As will be explained in more detail below, the mobile computing device 20 be used in a corresponding particular to be worn on the head viewing device.
In den Bereichen 21A und 21B können beispielsweise Bilder für linkes und rechtes Augen entsprechend einem Pupillenabstand dargestellt werden, um eine Stereobetrachtung zu ermöglichen. Beispielsweise kann ein Abstand korrespondierender Punkte so angepasst sein, dass er in etwa dem Pupillenabstand eines erwachsenen Menschen entspricht, beispielsweise ungefähr 65 mm. Bei manchen Ausführungsbeispielen kann der Pupillenabstand auch ein Parameter sein, sodass die Darstellung an einem jeweiligen Benutzer und dessen Pupillenabstand angepasst werden kann.In the fields of 21A and 21B For example, images for left and right eyes may be displayed according to a pupil distance to allow stereo viewing. For example, a distance of corresponding points may be adjusted to be approximately equal to the pupillary distance of an adult human, for example about 65 mm. In some embodiments, the pupil distance may also be a parameter, so that the representation can be adapted to a respective user and his pupillary distance.
Mobile Computervorrichtungen wie in 1 und 2 dargestellt sind häufig vergleichsweise kostengünstig, da sie in großen Stückzahlen hergestellt werden. Dennoch sind in derartigen Vorrichtungen häufig hochwertige Anzeigen (Displays) Kameras, Sensoren etc. eingesetzt.Mobile computing devices like in 1 and 2 shown are often relatively inexpensive, since they are produced in large quantities. Nevertheless, in such devices often high-quality displays (displays) cameras, sensors, etc. are used.
In 3 ist eine mobile Computervorrichtung 30 in einer Aufnahme einer am Kopf zu tragenden Betrachtungsvorrichtung 33 eingesetzt dargestellt. Bei der Darstellung der 3 wird die Betrachtungsvorrichtung 33 an einem Kopf 39 eines Benutzers getragen. Die mobile Computervorrichtung 30 umfasst bei dem Ausführungsbeispiel der 3 eine rückseitige Kamera 31 sowie eine Anzeige 32. Die mobile Computervorrichtung 30 kann insbesondere wie unter Bezugnahme auf die 1 und 2 diskutiert eingerichtet sein.In 3 is a mobile computing device 30 in a picture of a head to be worn viewing device 33 shown used. In the presentation of 3 becomes the viewing device 33 on a head 39 worn by a user. The mobile computing device 30 includes in the embodiment of 3 a back camera 31 and an ad 32 , The mobile computing device 30 can in particular as with reference to the 1 and 2 be set up to be discussed.
Die Betrachtungsvorrichtung 33 weist dabei Optiken 310, 34 auf, durch welche der Benutzer die Anzeige 30 betrachten kann, beispielsweise Bereiche für linkes und rechtes Auge wie unter Bezugnahme auf 2 erläutert. Während die Optiken 310, 34 in 3 als einzelne Linsen dargestellt sind, können bei anderen Ausführungsbeispielen auch Optiken mit mehreren Elementen, beispielsweise mehreren Linsen, und/oder mit anderen optischen Elementen als Linsen verwendet werden.The viewing device 33 has optics 310 . 34 on, by which the user the ad 30 For example, consider areas for left and right eyes as with reference to FIG 2 explained. While the optics 310 . 34 in 3 are shown as individual lenses, optics with a plurality of elements, for example a plurality of lenses, and / or with other optical elements can be used as lenses in other embodiments.
Des Weiteren weist die Betrachtungsvorrichtung 33 Öffnungen 311, 312 auf, welche einen Abstand entsprechend einer gewünschten Stereobasis aufweisen können, beispielsweise im Bereich 40 mm bis 90 mm, bevorzugt 60–70 mm, beispielsweise ungefähr 65 mm. Bei manchen Ausführungsbeispielen kann aber, z. B. für spezielle Anwendungen, auch eine deutlich höhere Stereobasis gewählt werden (z. B. größer 100 mm oder mehr), z. B. um bewusst einen übertriebenen Tiefeneindruck zu vermitteln oder um Objekte in weiter Ferne stereoskopisch erscheinen zu lassen. Bei dem dargestellten Ausführungsbeispiel sind die Öffnungen 311, 312 mit Elementen 35 bzw. 36 abgedeckt. Bei manchen Ausführungsbeispielen können die Elemente 35, 36 einfache Schutzgläser sein. Bei anderen Ausführungsbeispielen können die Elemente 35, 36 beispielsweise auch Shutter sein, welche steuerbar abgedunkelt werden können. Ein entsprechendes Ausführungsbeispiel mit Shuttern wird später unter Bezugnahme auf 4 noch näher erläutert.Furthermore, the viewing device 33 openings 311 . 312 which may have a distance corresponding to a desired stereo base, for example in the range 40 mm to 90 mm, preferably 60-70 mm, for example about 65 mm. In some embodiments, but can, for. B. for special applications, also a much higher stereo base are selected (eg., Greater than 100 mm or more), z. For example, to consciously convey an exaggerated impression of depth or to make objects appear stereoscopic in the distance. In the illustrated embodiment, the openings 311 . 312 with elements 35 respectively. 36 covered. In some embodiments, the elements may 35 . 36 be simple protective glasses. In other embodiments, the elements may 35 . 36 For example, be shutter, which can be darkened controllable. A corresponding embodiment with shutters will be described later with reference to 4 explained in more detail.
Über einen halbtransparenten Spiegel oder Strahlteiler 37 gelangt Licht durch die Öffnung 311 zu der Kamera 31. Über einen Umlenkspiegel 38 und den halbtransparenten Spiegel oder Strahlteiler 37 gelangt Licht von der Öffnung 312 zu der Kamera 31. Somit können mit der Kamera 31 Bilder einer Stereobasis aufgenommen werden. Dabei steht für jedes Bild z. B. etwas weniger als die Hälfte der Fläche eines Chips der Kamera 31 zur Verfügung. Bei Ausführungsbeispielen werden dabei Bilder auf Basis von Licht durch die Öffnung 311 und auf Basis von Licht durch die Öffnung 312 alternierend aufgenommen, wozu Shutter oder schaltbare Spiegel zum Einsatz kommen. Derartige Ausführungsbeispiele werden später noch näher erläutert. In jedem Fall können auf diese Weise mittels einer einzigen Kamera 31 Bilder für eine Stereodarstellung aufgenommen werden, wobei diese Bilder eine Stereobasis aufweisen, welche durch einen Abstand der Öffnungen 311, 312 bestimmt ist. Hierdurch kann insbesondere eine Stereobasis erreicht werden, welche nahe der natürlichen Stereobasis des Menschen ist, die durchschnittlich ca. 63 mm beträgt.Via a semi-transparent mirror or beam splitter 37 gets light through the opening 311 to the camera 31 , About a deflection mirror 38 and the semi-transparent mirror or beam splitter 37 gets light from the opening 312 to the camera 31 , Thus, with the camera 31 Pictures taken of a stereo base. It stands for every picture z. B. slightly less than half the area of a chip of the camera 31 to disposal. In embodiments, images are based on light through the opening 311 and based on light through the opening 312 alternately, using shutters or switchable mirrors. Such embodiments will be explained later in more detail. In any case, this way, by means of a single camera 31 Images are taken for a stereo presentation, these images have a stereo base, which by a distance of the openings 311 . 312 is determined. As a result, in particular a stereo base can be achieved, which is close to the natural stereo base of humans, which is on average about 63 mm.
Wie bereits erwähnt können die so gewonnenen Stereobilder dann auf der Anzeige 32 für linkes und rechtes Auge des Benutzers angezeigt werden. Dabei können zusätzliche Bilddaten als virtuelle Informationen hinzugefügt werden, wobei das von der Umgebung aufgenommene Kamerabild um die zusätzlichen Bilddaten in der mobilen Computervorrichtung 30 zueinander ausgerichtet und überlagert werden. Hierzu kann die mobile Computervorrichtung 30 aus den gewonnenen Stereobildern auch Tiefeninformationen z. B. für einzelne Elemente der Stereobilder gewinnen, beispielsweise durch Vergleich der Stereobilder (d. h. der durch die Öffnung 311 und die Öffnung 312 aufgenommenen Bilder) miteinander. Beispielsweise ändert sich die Position von Objekten, welche nahe bei den Öffnungen 311, 312 sind, zwischen den jeweils beiden aufgenommenen Bildern oder Bildteilen für die Öffnung 311 und 312 stärker als für Objekte, welche weiter entfernt sind, sodass aus der Objektverschiebung zwischen den Bildern ein Abstand abgeschätzt werden kann.As already mentioned, the stereo images obtained in this way can then be displayed 32 be displayed for the user's left and right eyes. In this case, additional image data can be added as virtual information, wherein the captured from the environment camera image to the additional image data in the mobile computing device 30 aligned and overlaid. For this purpose, the mobile computing device 30 from the obtained stereo images also depth information z. B. win for individual elements of the stereo images, for example by comparing the stereo images (ie the through the opening 311 and the opening 312 taken pictures) with each other. For example, the position of objects that are close to the openings changes 311 . 312 are between the two captured images or image parts for the opening 311 and 312 stronger than for objects that are farther away so that a distance can be estimated from the object displacement between the images.
Im Folgenden werden verschiedene Möglichkeiten zur Stereobildaufnahme mit einer einzelnen Kamera wie in 3 gezeigt erläutert. Wie bereits erwähnt ist eine erste Möglichkeit, die kein beanspruchtes Ausführungsbeispiel darstellt, zwei Bilder „nebeneinander” auf einem Bildsensor abzubilden. Eine weitere Möglichkeit ist die Verwendung von Shuttern. Die Verwendung von Shuttern wird nunmehr unter Bezugnahme auf 4 erläutert.The following are different ways to take stereo images with a single camera as in 3 shown explained. As already mentioned, a first possibility, which is not a claimed embodiment, maps two images "side by side" on an image sensor. Another option is the use of shutters. The use of shutters will now be with reference to 4 explained.
In 4 ist eine optische Anordnung zur Aufnahme einer dreidimensionalen Szene 42 (in 4 vereinfacht als Strich dargestellt) gezeigt, wobei die optische Anordnung beispielsweise in einer Betrachtungsvorrichtung wie der Betrachtungsvorrichtung 33 der 3 integriert sein kann. Dabei sind beispielsweise in Öffnungen wie den Öffnungen 311, 312 oder an anderen geeigneten Stellen in zwei getrennten Lichtwegen Shutter 40, 41 angeordnet, welche zwischen einem lichtdurchlässigen Zustand und einem lichtundurchlässigen Zustand umschaltbar sind. Die Shutter 40, 41 können beispielsweise Flüssigkristallshutter (LC-Shutter, vom englischen „liquid crystal”) sein.In 4 is an optical arrangement for taking a three-dimensional scene 42 (in 4 simplified as a dash), wherein the optical arrangement is, for example, in a viewing device such as the viewing device 33 of the 3 can be integrated. In this case, for example, in openings such as the openings 311 . 312 or at other suitable locations in two separate light paths shutter 40 . 41 arranged, which are switchable between a light-transmitting state and an opaque state. The shutter 40 . 41 For example, liquid crystal shuttles (LC shutter) can be used.
Über Umlenkspiegel 43–46 wird Licht von den Shuttern 40, 41 zu der Kamera 31 der mobilen Computervorrichtung 30 gelenkt. Die Umlenkspiegel 43–46 stellen nur ein Beispiel für eine mögliche optische Anordnung dar, und es sind auch andere Anordnungen, beispielsweise mit einem Spiegel und einem halbdurchlässigen Spiegel oder Strahlteiler wie in 3 gezeigt, möglich.About deflection mirror 43 - 46 gets light from the shutters 40 . 41 to the camera 31 the mobile computing device 30 directed. The deflection mirror 43 - 46 are only an example of a possible optical arrangement, and there are also other arrangements, for example with a mirror and a semitransparent mirror or beam splitter as in 3 shown, possible.
Die Shutter 40, 41 werden wie durch gestrichelte Linien 47, 48 angedeutet durch die mobile Computervorrichtung 30 gesteuert z. B. über eine Schnittstelle wie die Schnittstelle 14 der 1. Diese Steuerung erfolgt bei dem Ausführungsbeispiel der 4 synchron zu der Bildaufnahme mit der Kamera 31, sodass beispielsweise die Shutter 40, 41 alternierend geöffnet und geschlossen werden und immer, wenn einer der Shutter geöffnet ist, ein Bild aufgenommen wird. Somit werden gleichsam abwechselnd Bilder für das linke und für das rechte Auge aufgenommen, und diese Bilder können dann als Grundlage für eine Stereodarstellung und/oder Tiefenkartierung dienen.The shutter 40 . 41 be like dashed lines 47 . 48 indicated by the mobile computing device 30 controlled z. B. via an interface such as the interface 14 of the 1 , This control takes place in the embodiment of 4 in sync with the image capture with the camera 31 so that, for example, the shutter 40 . 41 be alternately opened and closed, and always, when one of the shutter is open, a picture is taken. Thus, pictures are alternately taken for the left and the right eye, and these pictures can then serve as a basis for a stereo presentation and / or depth mapping.
Bei anderen Ausführungsbeispielen können statt Shuttern schaltbare Spiegelschichten verwendet werden. Derartige Spiegelschichten können durch ein Steuersignal zwischen einem transparenten Zustand und einem spiegelnden Zustand umgeschaltet werden. Solche Spiegelschichten sind grundsätzlich für sich genommen bekannt und kommerziell erhältlich. Ein derartiges System mit einer Spiegelanordnung 52 ist schematisch in 5 dargestellt. Dabei kann eine Spiegelanordnung 52 mit zwei gekreuzten schaltbaren Spiegeln S1_1, S1_2 und S2_1, S2_2 wie dargestellt beispielsweise die Spiegel 44, 45 der 4 ersetzen. Die Spiegel werden durch Signalgeber 50, 51 wahlweise transparent oder spiegelnd geschaltet, wobei dies wie durch Synchronisationsblöcke 53, 54 angedeutet in synchroner Weise geschieht. Insbesondere werden die Spiegelabschnitte S1_1 und S1_2 synchron geschaltet, und die Spiegelabschnitte S2_1 und S2_2 werden synchron geschaltet. Die Steuerung hiervon kann wiederum durch die mobile Computervorrichtung 30, beispielsweise ein Smartphone, erfolgen. Zu bemerken ist, dass in Fällen, in welchen die mobile Computervorrichtung 30 an einem Ausgang Signale liefern kann, welche die Spiegel direkt ansteuern können, die Signalquellen 50, 51 auch weggelassen werden können.In other embodiments, switchable mirror layers may be used instead of shutters. Such mirror layers can be switched by a control signal between a transparent state and a specular state. Such mirror layers are generally known per se and are commercially available. Such a system with a mirror arrangement 52 is schematic in 5 shown. In this case, a mirror arrangement 52 with two crossed switchable mirrors S1_1, S1_2 and S2_1, S2_2 as shown, for example, the mirrors 44 . 45 of the 4 replace. The mirrors are powered by sounders 50 . 51 optionally switched transparent or mirroring, as if by synchronization blocks 53 . 54 implied in a synchronous manner happens. Specifically, mirror sections S1_1 and S1_2 are synchronized, and mirror sections S2_1 and S2_2 are synchronized. The control thereof may in turn by the mobile computing device 30 For example, a smartphone, done. It should be noted that in cases where the mobile computing device 30 can deliver at an output signals that can drive the mirror directly, the signal sources 50 . 51 can also be omitted.
Ein Beispiel für eine entsprechende Ansteuerung ist in 6 dargestellt. Dabei wird bei dem Ausführungsbeispiel der 6 davon ausgegangen, dass ein logisch hoher Pegel eines Steuersignals den jeweiligen Spiegel spiegelnd schaltet, und ein niedriger Pegel des jeweiligen Steuersignals den jeweiligen Spiegel transparent schaltet.An example of a corresponding control is in 6 shown. It is in the embodiment of the 6 It is assumed that a logic high level of a control signal will mirror the respective mirror, and a low level of the respective control signal will render the respective mirror transparent.
Mit 60 ist ein Steuersignal für den Spiegel S1_1, mit 61 ein Steuersignal für den Spiegel S1_2, mit 62 ein Steuersignal für den Spiegel S2_1 und mit 63 ein Steuersignal für den Spiegel S2_2 bezeichnet. Wie in 6 dargestellt werden die Spiegel S1_1 und S1_2 synchron spiegelnd geschaltet, während die Spiegel S2_1 und S2_2 transparent sind. Dann werden bei dem dargestellten Beispiel die Spiegel S2_1 und S2_2 spiegelnd geschaltet, während die Spiegel S1_1 und S1_2 transparent sind. Im ersten Fall wird beispielsweise ein von dem Spiegel 43 kommender Lichtstrahl über den Spiegel S1_1, S1_2 zu der Kamera der mobilen Computervorrichtung 30 gelenkt, im zweiten Fall ein von dem Spiegel 46 kommender Lichtstrahl. Der in 6 veranschaulichte Zyklus zur Aufnahme eines „linken” Bildes und eines „rechten” Bildes wird dann wiederholt, sodass kontinuierlich „linke” Bilder und kontinuierlich „rechte” Bilder aufgebaut werden.With 60 is a control signal for the mirror S1_1, with 61 a control signal for the mirror S1_2, with 62 a control signal for the mirror S2_1 and with 63 denotes a control signal for the mirror S2_2. As in 6 the mirrors S1_1 and S1_2 are shown in a mirror-synchronous manner while the mirrors S2_1 and S2_2 are transparent. Then, in the illustrated example, the mirrors S2_1 and S2_2 are mirrored while the mirrors S1_1 and S1_2 are transparent. In the first case, for example, one of the mirror 43 incoming light beam via the mirror S1_1, S1_2 to the camera of the mobile computing device 30 steered, in the second case one of the mirror 46 incoming light beam. The in 6 The illustrated cycle for capturing a "left" image and a "right" image is then repeated so that continuously "left" images and continuously "right" images are built up.
Synchron hierzu wird wie durch ein Signal 64 angedeutet die Bildaufnahme gesteuert. Auch hier zeigt ein hoher Pegel des Signals 64 eine Bildaufnahme an, die jeweils gleichzeitig mit dem Spiegelndschalten von Spiegeln erfolgt. Bei dem dargestellten Beispiel wird zuerst ein Bild für das linke Auge (wenn die Spiegel S1_1 und S1_2 spiegelnd sind) und dann ein Bild für das rechte Auge (wenn die Spiegel S2_1 und S2_2 spiegelnd sind) aufgenommen, da dann beispielsweise Licht von einer jeweiligen Öffnung zu einer Kamera wie der Kamera 31 der mobilen Computervorrichtung 30 gelenkt wird.Synchronous to this is like a signal 64 indicated the image acquisition controlled. Again, shows a high level of the signal 64 an image capture, which takes place simultaneously with the Spiegelndschalten of mirrors. In the illustrated example, first, an image for the left eye (when the mirrors S1_1 and S1_2 are specular) and then an image for the right eye (when the mirrors S2_1 and S2_2 are specular) are taken, for example, light from a respective aperture to a camera like the camera 31 the mobile computing device 30 is steered.
Wenn der Benutzer mit einer Spiegelanordnung wie der Spiegelanordnung der 5 die „normale” Kamerafunktion beispielsweise der Kamera 31 nutzen will, können alle Spiegel transparent geschaltet werden.If the user is using a mirror assembly such as the mirror assembly of the 5 the "normal" camera function, for example, the camera 31 want to use all mirrors can be switched transparent.
Während in 5 eine Spiegelanordnung 52 mit gekreuzten schaltbaren Spiegeln gezeigt ist, kann je nach optischem Aufbau auch eine andere Anordnung vorgesehen sein. Beispielsweise kann bei dem Ausführungsbeispiel der 3 der halbtransparente Spiegel 37 auch durch einen schaltbaren Spiegel ersetzt werden. Wenn der Spiegel transparent geschaltet ist, gelangt Licht von der Öffnung 31 zu der Kamera 31, und wenn der Spiegel 37 dann spiegelnd geschaltet ist, gelangt Licht von der Öffnung 312 zu der Kamera 31.While in 5 a mirror arrangement 52 is shown with crossed switchable mirrors, depending on the optical design, a different arrangement may be provided. For example, in the embodiment of the 3 the semi-transparent mirror 37 also be replaced by a switchable mirror. When the mirror is switched transparent, light comes from the opening 31 to the camera 31 and if the mirror 37 then switched to mirror, light comes from the opening 312 to the camera 31 ,
Eine weitere Ausführungsvariante ist in 7 dargestellt. Die Ausführungsvariante 7 entspricht weitgehend der Ausführungsvariante der 3, und gleiche Elemente tragen die gleichen Bezugszeichen und werden nicht nochmals erläutert.Another embodiment is in 7 shown. The embodiment variant 7 corresponds largely to the embodiment of the 3 , and like elements bear the same reference numerals and will not be explained again.
Bei dem Ausführungsbeispiel der 7 ist statt des teildurchlässigen Spiegels oder Strahlteilers 37 der 3 ein Klappspiegel 70 bereitgestellt, welcher wie durch einen Pfeil angedeutet in den Strahlengang herein und aus dem Strahlengang heraus geschwenkt werden kann. In der dargestellten Stellung lenkt der Spiegel 70 Licht von der Öffnung 312 zu der Kamera 31. Wenn der Spiegel aus dem Strahlengang herausgeklappt ist, gelangt demgegenüber Licht von der Öffnung 311 zur Kamera 31. Durch alternierendes Herein- und Herausklappen des Spiegels 70 kann somit abwechselnd ein linkes Bild und ein rechtes Bild aufgenommen werden. Die Steuerung dieser Bewegung des Spiegels 70 kann wiederum über das Smartphone 30 synchronisiert mit der Bildaufnahme erfolgen. In dem Fall der 7 können die Elemente 35, 36 einfache Schutzgläser sein oder können auch weggelassen sein.In the embodiment of the 7 is instead of the partially transparent mirror or beam splitter 37 of the 3 a folding mirror 70 provided, which as indicated by an arrow in the beam path in and out of the beam path can be pivoted out. In the position shown, the mirror deflects 70 Light from the opening 312 to the camera 31 , When the mirror is folded out of the beam path, on the other hand, light passes from the opening 311 to the camera 31 , By alternating folding in and out of the mirror 70 Thus, a left picture and a right picture can be taken alternately. The control of this movement of the mirror 70 can turn over the smartphone 30 synchronized with the image capture done. In the case of 7 can the elements 35 . 36 be simple protective glasses or may also be omitted.
Bei den bisher diskutierten Ausführungsbeispielen einer Betrachtungsvorrichtung wird eine einzige Kamera einer mobilen Computervorrichtung 30, insbesondere eine rückseitige Kamera, benutzt, um linke und rechte Bilder zur Stereodarstellung aufzunehmen. Wie bereits erläutert weisen viele mobile Computervorrichtungen zusätzlich eine Frontkamera auf. Bei anderen Implementierungen, welche keinem beanspruchten Ausführungsbeispiel entsprechen, kann daher diese Frontkamera zusätzlich verwendet werden. Ein entsprechendes System ist in 8 dargestellt.In the previously discussed embodiments of a viewing device, a single camera of a mobile computing device 30 , especially a back camera, used to record left and right stereo images. As already explained, many mobile computing devices additionally have a front camera. In other implementations, which do not correspond to a claimed embodiment, therefore, this front camera can additionally be used. A corresponding system is in 8th shown.
Das System der 8 basiert wiederum auf dem Ausführungsbeispiel der 3, und gleiche oder einander entsprechende Elemente tragen die gleichen Bezugszeichen und werden nicht nochmals detailliert erläutert.The system of 8th is again based on the embodiment of 3 , and like or corresponding elements bear the same reference numerals and will not be explained again in detail.
Bei dem System der 8 gelangt Licht von der Öffnung 311 zu der Kamera 31. Das Element 35 kann in diesem Fall beispielsweise ein einfaches Schutzglas sein.In the system of 8th gets light from the opening 311 to the camera 31 , The element 35 In this case, for example, it may be a simple protective glass.
Zudem ist eine weitere Öffnung 83 bereitgestellt, welche ebenfalls beispielsweise durch ein Schutzglas 84 oder anderes Element abgedeckt ist. Von der Öffnung 83 gelangt Licht über eine Periskopspiegelanordnung 81, 82 zu einer Frontkamera 80 der mobilen Computervorrichtung 30. Auf diese Weise können beide Kameras 31, 80 der mobilen Computervorrichtung 30, obwohl sie auf gegenüberliegenden Seiten angeordnet sind, zur Stereobildaufnahme genutzt werden.There is also another opening 83 provided, which also for example by a protective glass 84 or other element is covered. From the opening 83 light passes through a periscope mirror assembly 81 . 82 to a front camera 80 the mobile computing device 30 , That way, both cameras can 31 . 80 the mobile computing device 30 although they are arranged on opposite sides, they are used for stereo imaging.
Falls ein geringerer Abstand zwischen den Öffnungen 311, 83 zur Bereitstellung einer kleineren Stereobasis oder ein größerer Abstand zur Bereitstellung einer größeren Stereobasis gewünscht wird, kann dies durch entsprechende Umlenkspiegel realisiert werden.If a smaller distance between the openings 311 . 83 is desired to provide a smaller stereo base or a greater distance to provide a larger stereo base, this can be realized by appropriate deflection mirror.
In 9 ist ein Beispiel für einen Signalfluss in einem erfindungsgemäßen System mit einer Betrachtungsvorrichtung und einer mobilen Computervorrichtung wie oben diskutiert dargestellt.In 9 FIG. 10 is an example of a signal flow in a system according to the invention with a viewing device and a mobile computing device as discussed above.
Zunächst werden kontinuierlich „linke” und „rechte” Bilder entsprechend einer Stereobasis aufgenommen. Dies ist in 9 durch zwei Kameras 90, 91 symbolisiert. Diese Bildaufnahme kann wie erläutert erfindungsgemäß mittels einer einzigen Kamera einer mobilen Computervorrichtung oder auch bei Implementierungen, die kein Ausführungsbeispiel sind, mit zwei Kameras, beispielsweise Frontkamera und Rückkamera, einer mobilen Computervorrichtung erfolgen. Die Bildaufnahme kann insbesondere mit einer Stereobasis größer 30 mm, z. B. zwischen 40 und 90 mm, beispielsweise zwischen 55 und 70 mm, bevorzugt ungefähr 63 mm, erfolgen. Die so aufgenommenen Bilddaten werden dann in einer Datenverarbeitungseinheit 94 verarbeitet. Diese kann beispielsweise wie bereits unter Bezugnahme auf 1 erläutert durch ein oder mehrere Anwenderprogramme auf der mobilen Computervorrichtung realisiert sein, d. h. im Wesentlichen durch entsprechende Programmierung eines Prozessors der mobilen Computervorrichtung. Dabei erfolgt bei 95 ein Stereoabgleich, bei welchem insbesondere Tiefeninformationen (z. B. eine Tiefenkarte) auf Basis der Stereobilder, beispielsweise mithilfe einer Stereorekonstruktion, ermittelt wird. Bei 96 erfolgt dann eine zweidimensionale und/oder dreidimensionale Augmentierung des Stereobildes, d. h. es können zusätzliche Informationen, welche darzustellen sind, bereitgestellt werden, und/oder die vorliegenden Stereobilder können modifiziert werden, beispielsweise zur Hervorhebung, z. B. Vergrößerung, mancher Elemente, z. B. Hervorhebung naher Objekte. Dabei können insbesondere darzustellende Informationen durch Abgleich eines Koordinatensystems der zusätzlich darzustellenden Informationen mit dem Koordinatensystem der „echten Welt” entsprechend den aufgenommenen Stereobildern beispielsweise durch Rotation und/oder Translation abgeglichen werden. Die so korrigierten Augmentierungsinformationen können dann mit der Stereorekonstruktion der aufgenommenen Bilder registriert werden.First, "left" and "right" images are continuously recorded according to a stereo base. This is in 9 through two cameras 90 . 91 symbolizes. As described above, this image acquisition can take place according to the invention by means of a single camera of a mobile computer device or also in implementations which are not an exemplary embodiment with two cameras, for example front camera and rear camera, of a mobile computer device. The image recording can in particular with a stereo base greater than 30 mm, z. B. between 40 and 90 mm, for example between 55 and 70 mm, preferably about 63 mm, take place. The image data thus acquired are then stored in a data processing unit 94 processed. This can, for example, as already with reference to 1 illustrated by one or more user programs on the mobile computing device, ie, essentially by appropriate programming of a processor of the mobile computing device. This takes place at 95 a stereo adjustment, in which in particular depth information (eg a depth map) is determined on the basis of the stereo images, for example by means of a stereo reconstruction. at 96 then takes place a two-dimensional and / or three-dimensional augmentation of the stereo image, ie, additional information to be displayed can be provided, and / or the present stereo images can be modified, for example, to highlight, for. B. magnification, some elements, eg. B. highlighting nearby objects. In this case, in particular information to be displayed can be adjusted by adjusting a coordinate system of the additional information to be displayed with the coordinate system of the "real world" corresponding to the recorded stereo images, for example by rotation and / or translation. The thus corrected augmentation information can then be registered with the stereo reconstruction of the captured images.
Bei 97 erfolgt dann ein Rendering der darzustellenden Augmentierungsinformation unter Einbeziehung der Tiefeninformation sowie eine Fusion (Verbindung) und ggf. Vorverzeichnung (zur korrekten Darstellung) der Daten, welche dann beispielsweise in Bereichen 21A, 21B einer Anzeige wie unter Bezugnahme auf 2 erläutert dargestellt werden.at 97 Then, a rendering of the displayed augmentation information including the depth information and a fusion (compound) and possibly pre-distortion (for correct representation) of the data, which then, for example, in areas 21A . 21B an ad as described with reference to 2 explained explained.
Neben den Bildern kann die Datenverarbeitungseinheit 94 zusätzliche Informationen erhalten, beispielsweise von einer Sensorik der mobilen Computervorrichtung (z. B. Neigungssensor, Beschleunigungssensor), von Kommunikationseinheiten der mobilen Computervorrichtung (z. B. Telefonverbindungen, Netzschnittstellen) oder auch von externen Kontrollgeräten, welche beispielsweise über Derartige externe Kontrollgeräte können beispielsweise Spielgeräte zur Durchführung von Spielen oder dgl. Sein.. Ebenfalls kann die Umgebung, die durch die Kameras 90, 91 aufgenommen wird, kartographiert werden. Dadurch kann eine virtuelle Repräsentation des Raums erstellt werden, in dem sich der Träger der Vorrichtung befindet. Diese kann wiederum z. B. zur absoluten Referenzierung (Positionsbestimmung des Trägers im Raum) genützt werden.In addition to the images, the data processing unit 94 receive additional information, for example, from a sensor of the mobile computing device (eg inclination sensor, acceleration sensor), communication units of the mobile computing device (eg telephone connections, network interfaces) or also from external control devices, which for example via such external control devices, game equipment Also, the environment can be through the cameras 90 . 91 is recorded, mapped. Thereby, a virtual representation of the space in which the wearer of the device is located can be created. This can in turn z. B. for absolute referencing (determining the position of the carrier in the room) are used.
Bei manchen Ausführungsbeispielen kann dabei ein Verhältnis, mit welchem die Stereobilddarstellung auf Basis der aufgenommenen Bilder mit den zusätzlichen Augmentierungsinhalten gemischt wird, variabel sein. Dies wird schematisch anhand eines einfachen Beispiels unter Bezugnahme auf die 10A–10C erläutert. Bei dem einfachen Beispiel der 10A–10C ist ein Haus 101 ein aufgenommenes Element der Umgebung, welches darzustellen ist. Eine Figur 102 ist ein virtueller Inhalt, welcher dem aufgenommenen Bild zu überlagern ist. In dem Beispiel der 10A wird das Haus 101 in einem Bild 100 deutlich dargestellt, während die Figur 102 nur schwach dargestellt wird. Hierzu kann beispielsweise ein Mischverhältnis von 80% reales (aufgenommenes) Bild und 20% virtuelle Inhalte eingestellt sein. In dem Beispiel der 10B ist das Verhältnis etwa ausgewogen, und beide Elemente 101, 102 werden etwa gleichberechtigt in dem Bild 100 dargestellt. Dies kann einer Einstellung beispielsweise 50%/50% oder ähnlich entsprechen. In dem Beispiel der 10C ist das Haus 101 völlig ausgeblendet, und es wird nur der virtuelle Inhalt 102 dargestellt. (Beispielsweise 0% reales Bild, 100% virtueller Inhalt). Diese Einstellung kann sich beispielsweise eigenen, einen Film oder dgl. anzusehen, während ein Benutzer an einem Ort sitzt, an welchem eine Sicht auf die Umgebung nicht notwendig ist.In some embodiments, a ratio with which the stereo image representation is mixed on the basis of the recorded images with the additional augmenting contents may be variable. This will be described schematically by way of a simple example with reference to FIGS 10A - 10C explained. In the simple example of 10A - 10C is a house 101 a recorded element of the environment, which is to be represented. A figure 102 is a virtual content that is superimposed on the captured image. In the example of 10A becomes the house 101 in a picture 100 clearly shown while the figure 102 only weakly displayed. For example, a mixing ratio of 80% real (recorded) image and 20% virtual content can be set for this purpose. In the example of 10B the relationship is about balanced, and both elements 101 . 102 become about equal in the picture 100 shown. This may correspond to a setting such as 50% / 50% or similar. In the example of 10C is the house 101 completely hidden, and it becomes only the virtual content 102 shown. (For example, 0% real image, 100% virtual content). This setting may be, for example, watching a movie or the like while a user is sitting in a place where a view of the surroundings is not necessary.
Andere Mischungsverhältnisse sind ebenso möglich.Other mixing ratios are also possible.
Durch die dargestellten Ausführungsbeispiele können verschiedene Vorteile realisiert werden. Zum einen können Bilder mit einer korrekten Stereobasis mittels einer in der mobilen Computervorrichtung ohnehin vorhandenen Kamera aufgenommen werden, d. h. es werden keine zusätzlichen Kameras benötigt, sondern lediglich eine vergleichsweise einfache Vorsatzoptik. Somit kann sich ein Benutzer mit einer am Kopf zu tragenden Vorrichtung wie beschrieben tatsächlich im Raum bewegen, Entfernungen einschätzen und Gegenständen ausweichen, Gegenstände greifen etc.By the illustrated embodiments, various advantages can be realized. On the one hand, images with a correct stereo base can be recorded by means of a camera which is present in any case in the mobile computing device, i. H. no additional cameras are needed, but only a comparatively simple front optics. Thus, a user with a head-worn device as described can actually move in space, estimate distances and avoid objects, grab objects, etc.
Die Bilddarstellung kann auch vergrößert erfolgen. Dann können mittels eines erfindungsgemäßen Systems bei einem Ausführungsbeispiel Tätigkeiten erleichtert werden, die ein stereoskopisches Sehen erfordern, beispielsweise Löten oder Basteln.The image representation can also be made enlarged. Then, by means of a system according to the invention, in one embodiment, activities requiring stereoscopic vision, such as soldering or crafting, can be facilitated.
Zudem können bei Ausführungsbeispielen einem Benutzer zusätzliche Informationen in der richtigen Tiefe bereitgestellt werden, da auf Basis der Stereobildaufnahme Tiefeninformation gewonnen werden kann. Es kann somit eine stereoskopische „Augmented Reality” bereitgestellt werden. Der Benutzer sieht also bei Ausführungsbeispielen ein räumliches Bild seiner Umgebung und zusätzlich eingeblendete virtuelle und bei Bedarf räumliche Information.In addition, in embodiments, additional information can be provided to a user at the correct depth, since depth information can be obtained on the basis of the stereo image recording. Thus, a stereoscopic augmented reality can be provided. The user thus sees in embodiments a spatial image of his environment and additionally displayed virtual and spatial information if necessary.
Zudem kann eine Augmentierung benutzt werden, um beispielsweise für sehbehinderte Personen Objekte, die sich nahe bei dem Benutzer befinden, kontrastverstärkt darzustellen.In addition, an augmentation can be used, for example, for visually impaired persons represent objects that are close to the user, contrast-enhanced.
Somit weisen Ausführungsbeispiele der vorliegenden Erfindung eine Vielzahl von Anwendungsmöglichkeiten auf.Thus, embodiments of the present invention have a variety of uses.
