DE102012205217B4 - Information display system with a virtual input zone - Google Patents

Information display system with a virtual input zone Download PDF

Info

Publication number
DE102012205217B4
DE102012205217B4 DE102012205217.8A DE102012205217A DE102012205217B4 DE 102012205217 B4 DE102012205217 B4 DE 102012205217B4 DE 102012205217 A DE102012205217 A DE 102012205217A DE 102012205217 B4 DE102012205217 B4 DE 102012205217B4
Authority
DE
Germany
Prior art keywords
pmd
light source
virtual input
information display
input zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012205217.8A
Other languages
German (de)
Other versions
DE102012205217A1 (en
Inventor
Markus Kirchner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102012205217.8A priority Critical patent/DE102012205217B4/en
Publication of DE102012205217A1 publication Critical patent/DE102012205217A1/en
Application granted granted Critical
Publication of DE102012205217B4 publication Critical patent/DE102012205217B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Informationsanzeigesystem (120) mit einer virtuellen Eingabezone (130), dadurch gekennzeichnet, dass eine PMD-Kamera (20) die virtuelle Eingabenone (130) überwacht, wobei eine Geste nur dann als Eingabe in der virtuellen Eingabezone (130) erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfolgt, und dass eine PMD-Lichtquelle (12) für die PMD-Kamera (20) derart angeordnet ist, dass das Licht der PMD-Lichtquelle (12) über eine Optik (123) des Informationsanzeigesystems (120) geleitet wird.An information display system (120) having a virtual input zone (130), characterized in that a PMD camera (20) monitors the virtual input zone (130), wherein a gesture is detected as input to the virtual input zone (130) only if the Gesture within a defined space area, and that a PMD light source (12) for the PMD camera (20) is arranged such that the light of the PMD light source (12) via an optics (123) of the information display system (120) passed becomes.

Description

Die Erfindung geht aus von einem Informationsanzeigesystem, vorzugsweise einem Head-up-display in einem Fahrzeug, mit einer virtuellen Eingabezone, wobei eine PMD-Kamera die Eingabezone überwacht und eine Auswerteeinheit des Systems derart ausgestaltet ist, dass eine Geste nur dann als Eingabe in der virtuellen Eingabezone erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfolgt.The invention relates to an information display system, preferably a head-up display in a vehicle, having a virtual input zone, wherein a PMD camera monitors the input zone and an evaluation unit of the system is configured such that a gesture only as input in the virtual input zone is detected when the gesture is within a defined space area.

Derartige Informationsanzeigesysteme, insbesondere Head-up-displays (HUD) sind aus einer Vielzahl von Veröffentlichungen bekannt. Beispielsweise offenbart die DE 10 2009 024 192 A1 ein System für eine in Augenhöhe projizierte Anzeige. Ein derartiges HUD-System umfasst typischerweise eine Anzeigevorrichtung deren Bild über Linsen und Reflektoren auf eine Windschutzscheibe projiziert wird und so in Überlappung mit der über die Windschutzscheibe sichtbaren Szene vom Fahrer erfasst werden kann. Die Anzeigevorrichtung bildet vorzugsweise eine lichtemittierende Vorrichtung beispielsweise eine Fluoreszenzanzeige, eine Kristallanzeige oder LED-Anzeige. Die Anzeigevorrichtung nebst Optik und Reflektoren sind vorzugsweise im Armaturenbrett des Fahrzeugs untergebracht. In einer besonderen Ausgestaltung können die Optikelemente bzw. reflektierenden Spiegel und somit das projizierte Bild an die Augenpositionen des Fahrers angepasst werden.Such information display systems, in particular head-up displays (HUD) are known from a variety of publications. For example, the DE 10 2009 024 192 A1 a system for an eye-projected display. Such a HUD system typically includes a display device whose image is projected onto a windshield via lenses and reflectors and thus can be detected by the driver in overlap with the scene visible across the windshield. The display device preferably forms a light-emitting device, for example a fluorescence display, a crystal display or LED display. The display device along with optics and reflectors are preferably housed in the dashboard of the vehicle. In a particular embodiment, the optical elements or reflective mirrors and thus the projected image can be adapted to the driver's eye positions.

Aus der DE 10 2007 001 266 A1 sind weitere Ausgestaltungen eines derartigen Head-up-displays bekannt. Beispielsweise ist es vorgesehen, im Strahlengang des Head-up-displays über einen Strahlteiler einen optischen Sensor mit einer Infrarotlichtquelle anzuordnen. Auf Grundlage der Bildinformationen des optischen Sensors ist es vorgesehen, Gesten der wahrgenommenen Person zu erkennen. Darüber hinaus ist es vorgesehen, über den optischen Sensor beispielsweise anhand der Lidschlagfrequenz des Fahrers seinen Wachzustand zu überprüfen.From the DE 10 2007 001 266 A1 Further embodiments of such a head-up displays are known. For example, it is provided to arrange an optical sensor with an infrared light source in the beam path of the head-up displays via a beam splitter. Based on the image information of the optical sensor, it is provided to recognize gestures of the perceived person. In addition, it is provided to check on the optical sensor, for example based on the blinking frequency of the driver's waking state.

Hinsichtlich Gestenerkennung offenbart die EP 2 018 992 B1 ein Kraftfahrzeugcockpit mit einer Vielzahl von Anzeigeeinheiten zur Darstellung von Informationen, wobei diese Einheiten im Innenraum des Kraftfahrzeugs angeordnet sind und über eine Videokamera eine Hand des Fahrers erkannt werden kann, wobei in Abhängigkeit der Gestik die Informationsdarstellung verändert werden kann.Regarding gesture recognition reveals the EP 2 018 992 B1 a motor vehicle cockpit with a plurality of display units for displaying information, wherein these units are arranged in the interior of the motor vehicle and a hand of the driver can be detected by a video camera, wherein the information representation can be changed depending on the gesture.

Aus der EP 1 284 432 A1 ist eine Vorrichtung und ein Verfahren zur Bedienung eines Fahrerunterstützungssystems bekannt, bei dem über das Head-up-display dargebotene Menüoptionen allein durch die Blickrichtung und Augenposition des Fahrers ausgewählt werden können. Zur Erfassung der Blickrichtung ist im Innenspiegel des Fahrzeugs eine Kamera angeordnet.From the EP 1 284 432 A1 For example, an apparatus and a method for operating a driver assistance system are known in which menu options presented via the head-up display can be selected solely by the line of sight and eye position of the driver. For detecting the viewing direction, a camera is arranged in the interior mirror of the vehicle.

Ferner ist aus der DE 10 2009 046 376 A1 ein Head-Up-Display bekannt, bei dem über berührungslose Sensoren, insbesondere optischer Annäherungsdetektoren oder einer Videoerfassung, Gesten als Funktionseingaben in einer Eingabevorrichtung in einem Fahrzeuginnenraumbereich erkannt werden.Furthermore, from the DE 10 2009 046 376 A1 a head-up display is known in which are detected via non-contact sensors, in particular optical proximity detectors or video detection, gestures as function inputs in an input device in a vehicle interior region.

Die DE 10 2006 059 068 A1 offenbart ein Fahrerassistenzsystem, bei dem die Umgebung eines Kraftfahrzeugs im Hinblick auf Objekte und Fahrspuren mit Hilfe von Sensoren und ggf. auch PMD-Sensoren überwacht wird.The DE 10 2006 059 068 A1 discloses a driver assistance system in which the environment of a motor vehicle with respect to objects and lanes is monitored by means of sensors and possibly also PMD sensors.

Aus der US 2010/0110069 A1 ist ein Anzeigesystem zur Projektion einer dreidimensionalen Darstellung bekannt, bei dem die Darstellung in Abhängigkeit der Blickrichtung des Betrachters angepasst wird, wobei die Blickrichtung mit einer 3D-Kamera insbesondere Stereo-Kamera erfasst wird.From the US 2010/0110069 A1 a display system for the projection of a three-dimensional representation is known, in which the representation is adjusted depending on the viewing direction of the viewer, wherein the viewing direction is detected with a 3D camera, in particular stereo camera.

Aus der DE 10 2009 036 368 A1 ist eine Anzeigevorrichtung bekannt, bei der Steuerelemente über Gesten angesteuert werden können. Die dreidimensionale Erfassung der Gesten erfolgt über eine Referenz- und Sendediodenanordnung, bei der aus der Anpassung der Referenzlichtamplitude an das intensitätsschwächere, von einem Objekt rückreflektierte Licht eine Entfernung bestimmt wird.From the DE 10 2009 036 368 A1 a display device is known in which controls can be controlled via gestures. The three-dimensional detection of the gestures takes place via a reference and transmitting diode arrangement in which a distance is determined from the adaptation of the reference light amplitude to the intensity-weaker light reflected back from an object.

Ferner offenbart die nachveröffentlichte DE 10 2011 089 195 A1 eine Vorrichtung zur berührungslosen Erfassung von Personen und von diesen ausgeführten Gesten und Bedienvorgängen in einem Fahrzeuginnenraum mit einer Anzeige- und einer optischen Erfassungseinheit. Als Erfassungseinheit sind Stereokameras und TOF-Kameras, insbesondere PMD-Kameras und als Anzeigeeinheit ein Head-up-Display offenbart.Furthermore, the post-published DE 10 2011 089 195 A1 a device for non-contact detection of persons and gestures and operations carried out in a vehicle interior with a display and an optical detection unit. As a detection unit stereo cameras and TOF cameras, in particular PMD cameras and a display unit as a head-up display are disclosed.

Aus der US 2008/0059915 A1 ist ein Mobiltelefon bekannt, das über Gesten im Raum vor dem Anzeigedisplay gesteuert werden kann.From the US 2008/0059915 A1 is a known mobile phone that can be controlled by gestures in the space in front of the display.

Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen EP 1 777 747 A1 , US 6 587 186 B2 und auch DE 197 04 496 A1 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.In particular, PMD cameras with photonic mixer detectors (PMD) are suitable as the light transit time or 3D TOF cameras, as described, inter alia, in the applications EP 1 777 747 A1 . US Pat. No. 6,587,186 B2 and also DE 197 04 496 A1 described and, for example, by the company, ifm electronic gmbh 'as frame grabber O3D relate. In particular, the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.

Aufgabe der Erfindung ist es ein Informationsanzeigesystem, insbesondere Head-up-display, in Hinblick auf eine zuverlässige und sichere Eingabe zu verbessern. Die Aufgabe wird durch das erfindungsgemäße Informationsanzeigesystem, dass eine virtuelle Eingabezone aufweist, dadurch vorteilhaft gelöst, dass eine PMD-Kamera die Eingabezone überwacht und eine Geste nur dann als Eingabe in der virtuellen Eingabezone erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfasst wird, wobei das Licht der PMD-Lichtquelle über ein Optik des Informationsanzeigesystems geleitet wird.The object of the invention is an information display system, in particular a head-up display, to improve in terms of reliable and safe input. The object is advantageously solved by the information display system according to the invention, which has a virtual input zone, in that a PMD camera monitors the input zone and a gesture is detected as input in the virtual input zone only if the gesture is detected within a defined spatial region, wherein the light of the PMD light source is passed through an optic of the information display system.

Dieses Vorgehen hat den besonderen Vorteil, dass die Informationsprojektion und das Licht der PMD-Lichtquelle im Wesentlichen denselben Strahlengang aufweisen, so dass zuverlässig eine Dejustierung der Projektionslichtquelle und der PMD-Lichtquelle vermieden werden kann. Ferner erlaubt eine derartige Anordnung der PMD- und Projektionslichtquelle einen größeren Spielraum in der Anordnung der PMD-Kamera. Im Weiteren wird die virtuelle Eingabezone optimal beleuchtet, so dass gültige Gesteneingaben in der Eingabezone zuverlässig erkannt werden können.This approach has the particular advantage that the information projection and the light of the PMD light source have substantially the same beam path, so that reliably a misalignment of the projection light source and the PMD light source can be avoided. Furthermore, such an arrangement of the PMD and projection light source allows greater latitude in the arrangement of the PMD camera. Furthermore, the virtual input zone is optimally illuminated, so that valid gesture inputs in the input zone can be reliably detected.

Bevorzugt ist die PMD-Lichtquelle ein integraler Bestandteil der Projektionslichtquelle des Informationsanzeigesystems. Durch dieses Vorgehen ist es möglich in einfacher Art und Weise ein Beleuchtungspanel bereitzustellen, das unterschiedliche Systeme mit funktionsadäquatem Licht versorgt.Preferably, the PMD light source is an integral part of the projection light source of the information display system. By doing so, it is possible to easily provide a lighting panel that supplies different systems with functionally adequate light.

Besonders praktisch ist es, die PMD-Kamera bzw. die PMD-Lichtquelle und den PMD-Sensor in einem Gehäuse des Informationsanzeigesystems anzuordnen.It is particularly convenient to arrange the PMD camera or the PMD light source and the PMD sensor in a housing of the information display system.

In einem bevorzugten Ausführungsbeispiel ist das Informationsanzeigesystem als Head-up-Display in einem Fahrzeug ausgebildet wobei sich die virtuelle Eingabezone vorzugsweise in einem Raumbereich oberhalb des Lenkrades erstreckt. Dies hat den Vorteil, dass die Gesten in einen Raumbereich erfolgen, der typischerweise beim Führen des Fahrzeugs im Blickwinkel des Fahrers liegen. Somit braucht der Blick des Fahrers, trotz Bedienung der virtuellen Eingabezone, nicht vom Fahrgeschehen abgewendet werden.In a preferred embodiment, the information display system is designed as a head-up display in a vehicle, wherein the virtual input zone preferably extends in a space above the steering wheel. This has the advantage that the gestures are carried out in a spatial area, which are typically in the driver's perspective when the vehicle is being guided. Thus, the driver's gaze, despite the operation of the virtual input zone, does not need to be averted from the driving situation.

Vorteilhaft ist auch möglich die PMD-Kamera im Bereich des Fahrzeugscockpits angeordnet. Aufgrund der Trennung von Kamera und Beleuchtung ist es möglich, die PMD-Kamera in einer sehr kleinen Bauform zu realisieren und an geeigneten Positionen im Fahrgastraum zu platzieren.Advantageously, the PMD camera is also possible in the area of the vehicle cockpit. Due to the separation of camera and lighting, it is possible to realize the PMD camera in a very small design and to place it in suitable positions in the passenger compartment.

Bevorzugt ist der Erfassungsbereich der PMD-Kamera derart ausgelegt, dass sowohl die virtuelle Eingabezone als zumindest auch der Kopf des Fahrers erfasst wird. Vorzugsweise wird neben der Kopfposition auch die Augenposition des Fahrers erfasst. Durch dieses Vorgehen werden nicht nur die Eingaben des Fahrers, sondern auch die Aufmerksamkeit bzw. der Wachzustand des Fahrers überwacht. Darüber hinaus kann durch die bekannte Kopf und/oder Augenposition auch die Darstellung der Informationsanzeige optimiert werden, insbesondere bei autostereoskopischen Projektionen.Preferably, the detection range of the PMD camera is designed such that both the virtual input zone and at least the head of the driver is detected. Preferably, in addition to the head position and the eye position of the driver is detected. By doing so, not only the driver's input but also the driver's attention and waking state are monitored. In addition, the representation of the information display can be optimized by the known head and / or eye position, especially in autostereoscopic projections.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen:Show it:

1 das schematisch grundlegende Prinzip eines PMD-Kamerasystems, 1 the schematic basic principle of a PMD camera system,

2 eine Sicht des Fahrers auf ein Head-up-display, 2 a driver's view of a head-up display,

3 eine Ansicht des Fahrers auf ein Auswahlmenü, 3 a view of the driver on a selection menu,

4 eine Seiteansicht eines Cockpits mit einem erfindungsgemäßen Informationsanzeigesystems, 4 a side view of a cockpit with an information display system according to the invention,

5 eine Seitenansicht eines Cockpits mit einer PMD-HUD-Kombination, 5 a side view of a cockpit with a PMD-HUD combination,

6 schematisch eine Variante einer PMD-HUD-Kombination, 6 schematically a variant of a PMD-HUD combination,

7 schematisch eine Projektionslichtquelle. 7 schematically a projection light source.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a light time camera, as for example from the DE 197 04 496 A1 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung bzw. PMD-Lichtquelle 12 und einer Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitfotosensor 22. Der Lichtlaufzeitfotosensor 22 bzw. Lichtlaufzeitsensor 22 weist ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet.The light transit time camera system 1 comprises a transmitting unit or a lighting module 10 with a lighting or PMD light source 12 and a beam shaping optics 15 as well as a receiving unit or light runtime camera 20 with a receiving optics 25 and a light time photo sensor 22 , The light time photo sensor 22 or light transit time sensor 22 has a pixel array and is designed in particular as a PMD sensor. The receiving optics 25 typically consists of improving the imaging characteristics of multiple optical elements. The beam shaping optics 15 the transmitting unit 10 is preferably formed as a reflector.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitfotosensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz M(p1) mit einer ersten Phasenlage p1 beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal S(p1) mit der ersten Phaselage p1 aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage p2 als Empfangssignal S(p2) auf den Lichtlaufzeitfotosensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M(p1) mit dem empfangenen Signal S(p2), gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.The measuring principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance traveled Distance of the received light can be determined. For this purpose, the light source 12 and the light time photo sensor 22 via a modulator 30 applied together with a certain modulation frequency M (p1) with a first phase position p1. The light source sends according to the modulation frequency 12 an amplitude modulated signal S (p1) with the first phase position p1. This signal or the electromagnetic radiation is in the illustrated case of an object 40 Reflected and due to the distance covered coincident with a second phase position p2 as a received signal S (p2) on the light transit time photo sensor 22 , In the time of flight sensor 22 the modulation signal M (p1) is mixed with the received signal S (p2), wherein the phase shift or the object distance d is determined from the resulting signal.

2 zeigt eine bereits aus dem Stand der Technik bekannte Sicht auf ein Head-up-Display auf einer Windschutzscheibe 300. Das virtuelle Bild 128, das auf die Windschutzscheibe 300 durch das System projiziert wird, kann beispielsweise wie im dargestellten Fall wichtige Sicherheit- und Navigationsinformationen darstellen. 2 shows a already known from the prior art view of a head-up display on a windshield 300 , The virtual picture 128 on the windshield 300 For example, as projected by the system, as in the illustrated case, it may represent important safety and navigation information.

3 zeigt eine Situation in der anstelle der Navigationsinformationen ein Auswahlmenü dargestellt wird. Zur Bedienung dieses Auswahlmenüs erstreckt sich über dem Lenkrad 220 eine Eingabezone 130, die in verschiedenen virtuellen Eingabefelder 131 aufgeteilt ist. Beispielsweise kann in diesen Eingabefeldern 131 zwischen verschiedenen Komfort- oder Sicherheitsfunktionen umgeschaltet werden. Die Bedienung derartiger Funktionen in einem virtuellen Eingabefeld 131 hat den Vorteil, dass der Blick des Fahrers von der Verkehrssituation nicht abgewendet werden muss. Darüber hinaus müssen für die einzelnen Funktionen keine zusätzlichen Schalter oder Wahlknöpfe im Fahrzeugraum angebracht werden. 3 shows a situation in which a selection menu is displayed instead of the navigation information. To operate this selection menu extends over the steering wheel 220 an input zone 130 in different virtual input fields 131 is divided. For example, in these input fields 131 be switched between different comfort or safety functions. The operation of such functions in a virtual input field 131 has the advantage that the driver's gaze does not have to be averted from the traffic situation. In addition, no additional switches or dials must be installed in the vehicle compartment for each function.

4 zeigt einen Innenraum eines Kraftfahrzeugs und skizzenhaft einen Querschnitt durch ein Fahrzeugcockpit 210. Auf bzw. im Fahrzeugcockpit 210 sind ein PMD-Kamerasystem 1 und ein Head-up-display 120 angeordnet. Das Head-up-display 120 projiziert auf die Windschutzscheibe 300 ein Bild in ein Projektionsbereich 125. Im dargestellten Fall werden vom Head-up-Display auf die Projektionsfläche 125 virtuelle Eingabefelder 131 projiziert. Der Fahrer 230 gewinnt den Eindruck, dass sich diese Eingabefelder 131 über dem Lenkrad schwebend befinden. Dieser Eindruck kann insbesondere durch eine autostereoskopische Projektion zusätzlich verstärkt werden. Die im Cockpit angeordnete PMD-Kamera 1 ist in Richtung des Fahrers ausgerichtet und überwacht sowohl den Kopf des Fahrers als auch die virtuelle Eingabezone 130 oberhalb des Lenkrades 220. Eine Auswerteeinheit der PMD-Kamera bzw. des Informationsanzeigesystems 120 ist derart ausgestaltet, dass nur in einem wohldefinierten Raumbereich, der virtuellen Eingabezone 130 Gesten bzw. Handpositionen als gültige Eingabe erfasst werden. Im vorliegenden Fall ist die virtuelle Eingabezone in drei übereinander liegende virtuelle Eingabefelder 131 aufgeteilt. Der Fahrer greift im dargestellten Fall mit seiner Hand in das untere Eingabefeld und kann somit beispielsweise eine Komfortfunktion oder ähnliches auslösen. 4 shows an interior of a motor vehicle and sketchy a cross section through a vehicle cockpit 210 , On or in the vehicle cockpit 210 are a PMD camera system 1 and a head-up display 120 arranged. The head-up display 120 projected onto the windshield 300 a picture in a projection area 125 , In the case shown, from the head-up display to the projection screen 125 virtual input fields 131 projected. The driver 230 Gains the impression that these input fields 131 Floating over the steering wheel. In particular, this impression can be intensified by an autostereoscopic projection. The cockpit PMD camera 1 is directed towards the driver and monitors both the driver's head and the virtual input zone 130 above the steering wheel 220 , An evaluation unit of the PMD camera or the information display system 120 is designed such that only in a well-defined space area, the virtual input zone 130 Gestures or hand positions are detected as valid input. In the present case, the virtual input zone is in three superimposed virtual input fields 131 divided up. The driver engages in the case shown with his hand in the lower input field and can thus trigger, for example, a comfort function or the like.

In einem weiteren nicht dargestellten Ausführungsbeispiel kann es auch vorgesehen sein, durch eine Handbewegung virtuelle Schieberegler oder virtuelle Drehknöpfe zu bedienen.In a further embodiment, not shown, it may also be provided to operate by a hand movement virtual sliders or virtual knobs.

5 zeigt eine Variante bei der die PMD-Kamera bzw. das Kamerasystem 1 integraler Bestandteil des Infomationsanzeigesystems 120 bzw. des Head-up-displays ist. Hierbei kann beispielsweise der PMD-Sensor 22 mitsamt seiner PMD-Lichtquelle 12 auf einer Ebene mit der Projektionslichtquelle 121 des HUD angeordnet sein, wobei sowohl der Projektionslichtquelle 121 als auch das PMD-Kamerasystem 1 über eine gemeinsame Optik 123 Licht sendet und empfängt. 5 shows a variant in which the PMD camera or the camera system 1 integral part of the information display system 120 or the head-up displays. Here, for example, the PMD sensor 22 together with its PMD light source 12 on a plane with the projection light source 121 be arranged of the HUD, wherein both the projection light source 121 as well as the PMD camera system 1 about a common look 123 Light sends and receives.

6 zeigt eine weitere mögliche Variante der Kombination eines PMD-Kamerasystems 1 mit einer Projektionslichtquelle 121 über einen Strahlteiler 124. Im dargestellten Fall sendet und empfängt das PMD-Kamerasystem 1 Licht über Reflektion am Strahlteiler 124, während die Projektionslichtquelle 121 den Strahlteiler 124 durchleuchtet. 6 shows another possible variant of the combination of a PMD camera system 1 with a projection light source 121 via a beam splitter 124 , In the case shown, the PMD camera system sends and receives 1 Light over reflection at the beam splitter 124 while the projection light source 121 the beam splitter 124 rayed.

In einer weiteren nicht gezeigten Ausführung umfasst die Projektionslichtquelle 121 auch die PMD-Lichtquelle 12.In a further embodiment not shown, the projection light source comprises 121 also the PMD light source 12 ,

7 zeigt eine mögliche gemeinsame Anordnung des PMD-Kamerasystems 1 mit Projektionslichtquelle 121 auf einer gemeinsamen Ebene. Im dargestellten Beispiel ist der PMD-Sensor 22 in einem mittleren Bereich der Projektionslichtquelle 121 sowie der PMD-Lichtquelle 12 eingebettet. Beispielsweise kann die Projektionslichtquelle 121 als LED-Matrix aufgebaut sein. Ein Teil der LED-Matrix bzw. einzelne LEDs können insbesondere auch als Infrarot-LEDs ausgebildet sein und somit für die PMD-Lichtquelle 12 zur Verfügung stehen. Diese Anordnung hat den Vorteil, dass die Projektionslichtquelle 121 sowohl Informationen an den Fahrer übermitteln kann als auch in einem für den Fahrer 230 nicht sichtbaren Spektrum als PMD-Lichtquelle 12 für den PMD-Sensor 22 dienen kann. 7 shows a possible common arrangement of the PMD camera system 1 with projection light source 121 on a common level. In the example shown, the PMD sensor is 22 in a central region of the projection light source 121 as well as the PMD light source 12 embedded. For example, the projection light source 121 be constructed as an LED matrix. A part of the LED matrix or individual LEDs can in particular also be embodied as infrared LEDs and thus for the PMD light source 12 be available. This arrangement has the advantage that the projection light source 121 can both convey information to the driver and in one for the driver 230 invisible spectrum as a PMD light source 12 for the PMD sensor 22 can serve.

In einer weiteren Ausgestaltung kann der PMD-Sensor 22 zur Verbesserung der optischen Abbildung ein zusätzlich zur gemeinsamen Optik 123 eine eigene Linse bzw. Linsenssystem 25 aufweisen.In a further embodiment, the PMD sensor 22 to improve the optical image in addition to the common look 123 a separate lens or lens system 25 exhibit.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
PMD-KamerasystemPMD camera system
1010
Sendeeinheit, BeleuchtungsmodulTransmitting unit, lighting module
1212
PMD-LichtquellePMD light source
1515
StrahlformungsoptikBeam shaping optics
2020
PMD-KameraPMD camera
2222
PMD-SensorPMD sensor
2525
Empfangsoptikreceiving optics
120120
Informationsanzeigesystem, Head-up-display,Information display system, head-up display,
121121
ProjektionslichtquelleProjection light source
123123
HUD-OptikHUD optics
124124
Strahlteilerbeamsplitter
125125
Projektionsbereich,Projection area,
128128
Informationseinblendungen,Information overlays,
130130
virtuelle Eingabezone,virtual input zone,
131131
virtuelle Eingabefelder,virtual input fields,
300300
Windschutzscheibe,Windshield,
210210
Cockpit,Cockpit,
215215
Cockpit-InstrumenteCockpit instruments
220220
Lenkrad,Steering wheel,
230230
Fahrerdriver

Claims (5)

Informationsanzeigesystem (120) mit einer virtuellen Eingabezone (130), dadurch gekennzeichnet, dass eine PMD-Kamera (20) die virtuelle Eingabenone (130) überwacht, wobei eine Geste nur dann als Eingabe in der virtuellen Eingabezone (130) erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfolgt, und dass eine PMD-Lichtquelle (12) für die PMD-Kamera (20) derart angeordnet ist, dass das Licht der PMD-Lichtquelle (12) über eine Optik (123) des Informationsanzeigesystems (120) geleitet wird.Information display system ( 120 ) with a virtual input zone ( 130 ), characterized in that a PMD camera ( 20 ) the virtual input zone ( 130 ), where a gesture is only input to the virtual input zone ( 130 ) is detected when the gesture is within a defined area of space, and that a PMD light source ( 12 ) for the PMD camera ( 20 ) is arranged such that the light of the PMD light source ( 12 ) via an optic ( 123 ) of the information display system ( 120 ). System (120) nach Anspruch 1, bei dem die PMD-Lichtquelle (12) ein integraler Bestandteil der Projektionslichtquelle (121) des Informationsanzeigesystems (120) ist.System ( 120 ) according to claim 1, wherein the PMD light source ( 12 ) an integral part of the projection light source ( 121 ) of the information display system ( 120 ). System (120) nach einem der vorhergehenden Ansprüche, bei dem das Informationsanzeigesystem (120), die PMD-Lichtquelle (12) und die PMD-Kamera (20) ein einem gemeinsamen Gehäuse angeordnet sind.System ( 120 ) according to one of the preceding claims, in which the information display system ( 120 ), the PMD light source ( 12 ) and the PMD camera ( 20 ) are arranged in a common housing. System nach einem der vorhergehenden Ansprüche, bei dem das Informationsanzeigesystem als Head-up-display (120) in einem Fahrzeug ausgebildet ist und die virtuelle Eingabezone (130) sich in einem Raumbereich oberhalb des Lenkrades (220) erstreckt.System according to one of the preceding claims, in which the information display system is used as a head-up display ( 120 ) is formed in a vehicle and the virtual input zone ( 130 ) in a space above the steering wheel ( 220 ). System nach einem der vorhergehenden Ansprüche, bei dem die Erfassungsbereich der PMD-Kamera (1) derart ausgelegt ist, dass sowohl die virtuelle Eingabezone (130) als zumindest auch der Kopf des Fahrers (230) erfasst wird.System according to one of the preceding claims, wherein the detection range of the PMD camera ( 1 ) is designed such that both the virtual input zone ( 130 ) as at least the head of the driver ( 230 ) is detected.
DE102012205217.8A 2012-03-30 2012-03-30 Information display system with a virtual input zone Active DE102012205217B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012205217.8A DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012205217.8A DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Publications (2)

Publication Number Publication Date
DE102012205217A1 DE102012205217A1 (en) 2013-10-02
DE102012205217B4 true DE102012205217B4 (en) 2015-08-20

Family

ID=49154740

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012205217.8A Active DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Country Status (1)

Country Link
DE (1) DE102012205217B4 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014015087A1 (en) 2014-10-11 2016-04-14 Daimler Ag Operating a control system for a motor vehicle and control system for a motor vehicle
DE102014116292A1 (en) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle
DE102015213424A1 (en) * 2015-07-16 2017-01-19 Audi Ag Method and operating system for operating at least one function in a vehicle
DE102017205277A1 (en) * 2017-03-29 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Method for interaction between a means of transportation and an occupant, driver assistance system and means of transportation
DE102017211462B4 (en) * 2017-07-05 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Method for supporting a user of a means of transportation, driver assistance system and means of transportation
DE102017213654A1 (en) * 2017-08-07 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft User interface, door operating module, roof control module and means of transport for displaying user-facing control element labels

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) * 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
EP1284432A1 (en) * 2001-08-14 2003-02-19 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Device and process for operating a driver assistance system
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) * 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
US20080059915A1 (en) * 2006-09-05 2008-03-06 Marc Boillot Method and Apparatus for Touchless Control of a Device
DE102006059068A1 (en) * 2006-12-14 2008-06-19 Robert Bosch Gmbh Method for a driver assistance system and driver assistance system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102009024192A1 (en) * 2008-06-09 2009-12-10 Yazaki Corp. System for an eye-level projected display
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
EP2018992B1 (en) * 2007-07-27 2010-11-17 Continental Automotive GmbH Motor vehicle cockpit
DE102009036368A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag User interface providing method for use in motor vehicle, involves selecting one of widget-representatives of list, and displaying widget-object assigned to widget-representatives on display area of display device
DE102009046376A1 (en) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) * 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1284432A1 (en) * 2001-08-14 2003-02-19 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Device and process for operating a driver assistance system
EP1777747A1 (en) * 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
US20080059915A1 (en) * 2006-09-05 2008-03-06 Marc Boillot Method and Apparatus for Touchless Control of a Device
DE102006059068A1 (en) * 2006-12-14 2008-06-19 Robert Bosch Gmbh Method for a driver assistance system and driver assistance system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP2018992B1 (en) * 2007-07-27 2010-11-17 Continental Automotive GmbH Motor vehicle cockpit
DE102009024192A1 (en) * 2008-06-09 2009-12-10 Yazaki Corp. System for an eye-level projected display
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
DE102009036368A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag User interface providing method for use in motor vehicle, involves selecting one of widget-representatives of list, and displaying widget-object assigned to widget-representatives on display area of display device
DE102009046376A1 (en) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Also Published As

Publication number Publication date
DE102012205217A1 (en) 2013-10-02

Similar Documents

Publication Publication Date Title
DE102013203925B4 (en) Control system for vehicle headlights
DE112013007216B4 (en) Information display device
DE102012205217B4 (en) Information display system with a virtual input zone
EP1783531B1 (en) Projection display
EP3475755B1 (en) Display projecting a virtual image into the field of view of a user
EP2894509A1 (en) Field of vision display for a vehicle for displaying image information in two independent images to a viewer
EP3688511A1 (en) Display device, in particular for a vehicle, and vehicle having a display device of this kind
DE112015001200T5 (en) Light emitting vehicle display device and vehicle display system
DE102011083662B4 (en) Display apparatus for an occupant of a vehicle, vehicle and method for generating a display in an occupant's field of view
DE102012211729A1 (en) Camera system for detecting the position of a driver of a motor vehicle
DE102011084618A1 (en) Driver assistance system
DE102015215180A1 (en) View-dependent adjustment of the brightness of the display of a head-up display
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE10257484B4 (en) Apparatus and method for representing the environment of a vehicle
DE102008055186B4 (en) Projection display device for vehicles
DE19802220A1 (en) Information display device used with computer or onboard automobile
DE102010002956A1 (en) Head-up display for vehicles, particularly for use as display area for displaying information by imaging unit of lucent surface in vehicle, has imaging lens that is arranged between imaging unit and display area
DE102005041535A1 (en) Night-vision-system e.g. infrared camera, for recording motor vehicle surrounding, has laser detection device detecting position of objects from laser pulse that is reflected by objects, where position of objects is displayed on wind shield
DE112018005630B4 (en) Head-up display device
DE102012205212B4 (en) Information display system with a virtual input zone and method for operating an information display system
DE10050174C1 (en) Device for displaying information in a vehicle
DE102016111119A1 (en) Laser projection device and method for generating virtual images
DE102013207916B4 (en) Optical device for a roof lining of a motor vehicle interior
DE112021002765T5 (en) Convex lens/concave lens based see-through virtual display device of dead zone directly in front of a vehicle and associated method
DE102019210862A1 (en) Lighting unit for an observation device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G02B0027010000

Ipc: B60R0016020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE