DE102020106003A1 - METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE - Google Patents

METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE Download PDF

Info

Publication number
DE102020106003A1
DE102020106003A1 DE102020106003.3A DE102020106003A DE102020106003A1 DE 102020106003 A1 DE102020106003 A1 DE 102020106003A1 DE 102020106003 A DE102020106003 A DE 102020106003A DE 102020106003 A1 DE102020106003 A1 DE 102020106003A1
Authority
DE
Germany
Prior art keywords
vehicle
gesture
free space
detection sensor
clearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020106003.3A
Other languages
German (de)
Inventor
Finn Jacobsen
Wenhao Cai
Marcus Muttersbach
Lisa Jäschke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gestigon GmbH
Original Assignee
Gestigon GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gestigon GmbH filed Critical Gestigon GmbH
Priority to DE102020106003.3A priority Critical patent/DE102020106003A1/en
Priority to PCT/EP2021/054958 priority patent/WO2021175749A1/en
Publication of DE102020106003A1 publication Critical patent/DE102020106003A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung richtet sich auf ein Verfahren und ein entsprechendes System zum Auslösen einer Bildaufnahme des Innenraums eines Fahrzeugs, das auf dem Erfassen einer Freiraumgeste beruht, die von einem menschlichen Benutzer ausgeführt wird, zum Beispiel von einem Fahrer oder einem anderen Insassen des Fahrzeugs. Das Verfahren weist unter Verwendung eines Freiraumgesten-Erfassungssensors, der in oder an einem Fahrzeug angebracht ist, das Erfassen einer spezifischen, vorbestimmten Freiraumgeste auf, die von einem menschlichen Benutzer in einem Sichtfeld des Freiraumgesten-Erfassungssensors ausgeführt wird; und nach Erfassen der spezifischen, vorbestimmten Freiraumgeste das Erzeugen eines Signals zum Auslösen eines Bildsensors, der nicht mit dem Freiraumgesten-Erfassungssensor zusammenfällt und der in oder an dem Fahrzeug so angebracht ist, dass sein Sichtfeld den Innenraum des Fahrzeugs zumindest teilweise abdeckt, um ein Bild oder eine Sequenz von Bildern aufzunehmen, zum Beispiel zur Aufnahme eines Videos oder zur Aufnahme einer begrenzten Anzahl von einem oder mehreren Einzelbildern.The invention is directed to a method and a corresponding system for triggering an image recording of the interior of a vehicle, which is based on the detection of a free space gesture that is carried out by a human user, for example by a driver or another occupant of the vehicle. The method comprises, using a clearance gesture detection sensor mounted in or on a vehicle, detecting a specific, predetermined clearance gesture performed by a human user in a field of view of the clearance gesture detection sensor; and after detecting the specific, predetermined free space gesture, generating a signal for triggering an image sensor which does not coincide with the free space gesture detection sensor and which is mounted in or on the vehicle such that its field of view at least partially covers the interior of the vehicle in order to obtain an image or to record a sequence of images, for example to record a video or to record a limited number of one or more individual images.

Description

Die vorliegende Erfindung betrifft den Bereich der Mensch-Maschine-Schnittstellen (HMI) für Fahrzeuge, insbesondere Automobile. Insbesondere richtet sich die Erfindung auf ein Verfahren und ein System zum Auslösen einer Bildaufnahme des Innenraums eines Fahrzeugs, das auf einem Erfassen einer Freiraumgeste beruht, die von einem menschlichen Benutzer ausgeführt wird, zum Beispiel von einem Fahrer oder einem anderen Insassen des Fahrzeugs.The present invention relates to the field of human-machine interfaces (HMI) for vehicles, in particular automobiles. In particular, the invention is directed to a method and a system for triggering an image recording of the interior of a vehicle, which is based on the detection of a free space gesture that is carried out by a human user, for example by a driver or another occupant of the vehicle.

Moderne HMIs für Fahrzeuge sind nicht mehr darauf beschränkt, verschiedene Drucktasten oder Schalter oder andere konventionelle Eingabevorrichtungen für den Empfang von Benutzereingaben bereitzustellen. Insbesondere haben manche Autohersteller zusätzlich zu berührungsempfindlichen Oberflächen, wozu insbesondere Touchscreens zählen, vor kurzem das Erfassen von Freiraumgesten, die von einem menschlichen Benutzer ausgeführt werden, zu der Palette verfügbarer Eingabemethoden für Kfz-HMIs hinzugefügt. Typischerweise werden solche Gesten von einer einzelnen 2D- oder 3D-Kamera im Fahrzeug erfasst, wenn sie im Sichtfeld der Kamera ausgeführt werden, und werden zur Steuerung einer Funktionalität, wie zum Beispiel der Lautstärke, eines Unterhaltungssystems, zum Beispiel eines Infotainment-Systems, eines Fahrzeugs oder zum Ein- oder Ausschalten eines Lichts im Fahrzeug verwendet.Modern HMIs for vehicles are no longer limited to providing various pushbuttons or switches or other conventional input devices for receiving user input. In particular, in addition to touch-sensitive surfaces, particularly touchscreens, some automakers have recently added the ability to capture free space gestures performed by a human user to the range of available input methods for automotive HMIs. Typically, such gestures are captured by a single 2D or 3D camera in the vehicle when they are performed in the camera's field of view and are used to control a functionality, such as the volume, of an entertainment system, for example an infotainment system Vehicle or to switch a light in the vehicle on or off.

Ein weiterer Trend, der in jüngerer Zeit an Bedeutung gewonnen hat, ist die Aufnahme von so genannten „Selfies“, d. h. von digitalen Schnappschüssen, also Fotos oder Videos, von sich selbst und optional auch von anderen, oft zur Verwendung in sozialen Netzwerken. Meist werden zu diesem Zweck elektronische Handgeräte wie zum Beispiel Smartphones oder Tablet-Computer verwendet. Während das Aufnehmen von solchen Bildern in stationären Umgebungen, wie zum Beispiel in Restaurants, Büros oder Privatwohnungen, aufgrund der Verwendung von solchen elektronischen Handgeräten allgegenwärtig geworden ist, könnte das Aufnehmen von solchen Bildern auf die gleiche Weise in einem fahrenden Fahrzeug, wie zum Beispiel in einem Auto, in Konflikt mit den Sicherheitsanforderungen und den gegebenen räumlichen Einschränkungen stehen, insbesondere wenn der Fahrer selbst das Bild aufnehmen soll oder selbst auf dem Bild sein soll oder wenn mehrere Personen, die verschiedene Sitze im Auto belegen, alle auf dem Bild sein sollen. Another trend that has recently become more prominent is the taking of so-called “selfies”. H. of digital snapshots, i.e. photos or videos, of yourself and optionally also of others, often for use in social networks. Electronic hand-held devices such as smartphones or tablet computers are mostly used for this purpose. While taking such images has become ubiquitous in stationary environments such as restaurants, offices, or private homes due to the use of such handheld electronic devices, taking such images could be done in the same way in a moving vehicle, such as in a car, are in conflict with the safety requirements and the given spatial restrictions, especially if the driver should take the picture himself or should be in the picture himself or if several people occupying different seats in the car should all be in the picture.

Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, eine sichere und einfach zu benutzende Möglichkeit bereitzustellen, um Bilder vom Inneren eines Fahrzeugs, insbesondere Selfies von einem oder mehreren Insassen des Fahrzeugs, zu machen. Insbesondere ist es wünschenswert, einen oder mehrere der oben genannten Nachteile der konventionellen Aufnahme von Selfies unter Verwendung von elektronischen Handgeräten in einer fahrzeugbasierten Umgebung anzugehen.The present invention is based on the object of providing a safe and easy-to-use option for taking pictures of the interior of a vehicle, in particular selfies of one or more occupants of the vehicle. In particular, it is desirable to address one or more of the aforementioned disadvantages of conventionally taking selfies using handheld electronic devices in a vehicle-based environment.

Eine Lösung für dieses Problem wird durch die Lehre der unabhängigen Ansprüche bereitgestellt. Verschiedene bevorzugte Ausführungsformen der vorliegenden Erfindung werden durch die Lehre der abhängigen Ansprüche bereitgestellt.A solution to this problem is provided by the teaching of the independent claims. Various preferred embodiments of the present invention are provided by the teaching of the dependent claims.

Ein erster Aspekt der Erfindung richtet sich auf ein Verfahren zum Auslösen einer Bildaufnahme des Innenraums eines Fahrzeugs, insbesondere eines Selfie-Bildes oder eines Selfie-Videos von einem oder mehreren Insassen in dem Fahrzeug. Das Verfahren weist auf: (i) unter Verwendung eines Freiraumgesten-Erfassungssensors, der in oder an einem Fahrzeug angebracht ist, das Erfassen einer spezifischen, vorbestimmten Freiraumgeste, die von einem menschlichen Benutzer in einem Sichtfeld des Freiraumgesten-Erfassungssensors ausgeführt wird; und (ii) nach Erfassen der spezifischen, vorbestimmten Freiraumgeste das Erzeugen eines Signals zum Auslösen eines Bildsensors, der nicht mit dem Freiraumgesten-Erfassungssensor zusammenfällt und der in oder an dem Fahrzeug so angebracht ist, dass sein Sichtfeld den Innenraum des Fahrzeugs zumindest teilweise abdeckt, um ein Bild oder eine Sequenz von Bildern aufzunehmen, zum Beispiel zur Aufnahme eines Videos oder zur Aufnahme einer begrenzten Anzahl von einem oder mehreren Einzelbildern.A first aspect of the invention is directed to a method for triggering an image recording of the interior of a vehicle, in particular a selfie image or a selfie video of one or more occupants in the vehicle. The method comprises: (i) using a clearance gesture detection sensor mounted in or on a vehicle, detecting a specific, predetermined clearance gesture performed by a human user in a field of view of the clearance gesture detection sensor; and (ii) after detecting the specific, predetermined free space gesture, generating a signal for triggering an image sensor which does not coincide with the free space gesture detection sensor and which is mounted in or on the vehicle in such a way that its field of view at least partially covers the interior of the vehicle, to record an image or a sequence of images, for example to record a video or to record a limited number of one or more individual images.

Der Begriff „Freiraumgeste“, wie er hier verwendet wird, bezieht sich insbesondere auf eine körperliche Bewegung oder einen Zustand eines menschlichen Benutzers, d. h. eine Geste, die im gewöhnlichen dreidimensionalen Raum ausgeführt wird, um ein oder mehrere Geräte zu steuern oder anderweitig mit ihnen zu interagieren, ohne dass sie jedoch physisch berührt werden müssen.The term “free space gesture” as used here relates in particular to a physical movement or a state of a human user, i. H. a gesture performed in ordinary three-dimensional space to control or otherwise interact with one or more devices without physically touching them.

Der Begriff „Sichtfeld“ (FOV) eines Sensors, wie er hier verwendet wird, bezieht sich auf die räumliche Ausdehnung der beobachtbaren Welt, die zu einem gegebenen Zeitpunkt durch den Sensor erfasst werden kann. Im Falle von optischen Instrumenten oder Sensoren, zum Beispiel Kameras, ist es normalerweise ein Raumwinkel, über den ein Detektor für elektromagnetische Strahlung empfindlich ist.The term “field of view” (FOV) of a sensor, as it is used here, refers to the spatial extent of the observable world that can be recorded by the sensor at a given point in time. In the case of optical instruments or sensors, for example cameras, it is usually a solid angle over which a detector is sensitive to electromagnetic radiation.

Der Begriff „Innenraum des Fahrzeugs“, wie er hier verwendet wird, bezieht sich insbesondere auf den Innenraum eines Fahrgastraumes des Fahrzeuges, zum Beispiel eines Autos.The term “interior of the vehicle” as used here relates in particular to the interior of a passenger compartment of the vehicle, for example a car.

Die Begriffe „erster“, „zweiter“, „dritter“ und dergleichen in der Beschreibung und in den Ansprüchen werden zur Unterscheidung zwischen ähnlichen Elementen und nicht unbedingt zum Beschreiben einer sequentiellen oder chronologischen Reihenfolge verwendet. Es soll so verstanden werden, dass die so verwendeten Begriffe unter geeigneten Umständen austauschbar sind und dass die hier beschriebenen Ausführungsformen der Erfindung in anderen als den hier beschriebenen oder abgebildeten Abfolgen ausgeführt werden können.The terms “first”, “second”, “third” and the like in the description and in the Claims are used to distinguish between similar elements and are not necessarily used to describe a sequential or chronological order. It is to be understood that the terms so used are interchangeable under appropriate circumstances and that the embodiments of the invention described herein may be carried out in sequences other than those described or depicted herein.

Wenn in der vorliegenden Beschreibung und den Ansprüchen der Begriff „aufweisen“ oder „beinhalten“ verwendet wird, schließt dies weitere Elemente oder Schritte nicht aus. Wenn ein unbestimmter oder ein bestimmter Artikel verwendet wird, wo sich dies auf ein Substantiv im Singular bezieht, zum Beispiel „ein“ oder „eine“, „der / die / das“, schließt dies einen Plural dieses Substantivs ein, sofern nicht ausdrücklich etwas anderes angegeben ist.If the term “have” or “include” is used in the present description and claims, this does not exclude further elements or steps. When an indefinite or a definite article is used where it refers to a singular noun, for example “a” or “an”, “der / die / das”, this includes a plural of that noun unless specifically stated otherwise other is indicated.

Ferner bezieht sich „oder“, sofern nicht ausdrücklich etwas anderes angegeben ist, auf ein inklusives oder und nicht auf ein exklusives oder. Zum Beispiel wird eine Bedingung A oder B durch jede der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist nicht wahr (oder nicht vorhanden), A ist nicht wahr (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).Furthermore, unless expressly stated otherwise, “or” refers to an inclusive or rather than an exclusive or. For example, a condition A or B is met by any of the following: A is true (or present) and B is not true (or not present), A is not true (or not present), and B is true (or present) , and both A and B are true (or present).

Dementsprechend stellt das obige Verfahren eine einfach zu benutzende Möglichkeit bereit, um Bilder vom Inneren des Fahrzeugs, insbesondere von Selfies von einem oder mehreren Insassen des Fahrzeugs, zu machen, wobei das Auslösen der Bildaufnahme auf dem Erkennen einer bestimmten vordefinierten Freiraumgeste basiert, die von einem Benutzer ausgeführt werden soll.Accordingly, the above method provides an easy-to-use option for taking pictures of the interior of the vehicle, in particular selfies of one or more occupants of the vehicle, the triggering of the image recording being based on the recognition of a certain predefined free space gesture made by a User should run.

Das Ausführen einer solchen Freiraumgeste ist im Allgemeinen einfacher als das Bedienen einer bestimmten Taste, eines Schalters oder eines anderen klassischen HMI-Elements, da es ausreicht, dass die Geste innerhalb des Sichtfelds des Freiraumgesten-Erfassungssensors ausgeführt wird, ohne dass es nötig wäre, einen Finger genau auf einer typischerweise bestimmten kleinen Stelle eines klassischen HMI-Elements zu positionieren, zum Beispiel einen bestimmten Oberflächenabschnitt einer Drucktaste oder eines Kippschalters. Darüber hinaus ist es nicht nötig, dass der Benutzer das Ausführen der Geste beobachtet, um sie korrekt ausführen zu können. Dies ermöglicht es dem Benutzer, insbesondere einem Fahrer eines Fahrzeugs, den Verkehr um ihn herum weiterhin zu beobachten, während er die Geste ausführt und damit die Bildaufnahme auslöst. Das Aufnehmen von Bildern im Inneren des Fahrzeugs kann so sicherer gemacht werden, als wenn es auf einer Bedienung von klassischen HMI-Elementen basieren würde.Carrying out such a free space gesture is generally easier than operating a specific button, switch or other classic HMI element, since it is sufficient for the gesture to be carried out within the field of view of the free space gesture detection sensor without the need to activate a To position fingers precisely on a typically specific small point of a classic HMI element, for example a specific surface section of a pushbutton or a toggle switch. In addition, it is not necessary for the user to observe the execution of the gesture in order to be able to execute it correctly. This enables the user, in particular a driver of a vehicle, to continue to observe the traffic around him while he executes the gesture and thus triggers the image recording. Taking pictures inside the vehicle can be made safer than if it were based on the operation of classic HMI elements.

Darüber hinaus gibt es weitere Vorteile, darunter insbesondere die Tatsache, dass die Verwendung eines vom Bildsensor getrennten Freiraumgesten-Erfassungssensors eine individuelle Konfiguration, Optimierung, Verbesserung und Austausch eines jeden der Sensoren unabhängig von dem jeweils anderen Sensor ermöglicht. Insbesondere können die beiden Sensoren von unterschiedlicher Art sein, wobei jeder für seinen bestimmten Zweck im Rahmen der vorliegenden Erfindung optimiert ist, d. h. Gestenerfassung einerseits und Bildaufnahme andererseits. Das Gleiche gilt für etwaige Software, die zur Konfiguration oder zum Betrieb des einen oder des anderen der Sensoren oder zur Verarbeitung ihrer jeweiligen Sensordaten verwendet werden kann.In addition, there are further advantages, including in particular the fact that the use of a free space gesture detection sensor that is separate from the image sensor enables an individual configuration, optimization, improvement and replacement of each of the sensors independently of the respective other sensor. In particular, the two sensors can be of different types, each being optimized for its particular purpose within the scope of the present invention; H. Gesture capture on the one hand and image recording on the other. The same applies to any software that can be used to configure or operate one or the other of the sensors or to process their respective sensor data.

Darüber hinaus ermöglicht die Verwendung von zwei getrennten Sensoren anstelle eines einzigen sowohl für das Erfassen einer Geste als auch zum Aufnehmen von Bildern die Verwendung von zwei unterschiedlichen Sichtfeldern für diese beiden Sensoren, so dass das Ausführen der zu erfassenden Geste insbesondere außerhalb des Sichtfeldes des Bildsensors liegen kann. Entsprechend kann, anders als in Fällen, bei denen ein und derselbe Sensor sowohl für die Gestenerfassung als auch für die Bildaufnahme verwendet wird und bei denen somit das Objekt, zum Beispiel ein Körperteil, das die Geste ausführt, zwangsläufig auf den aufgenommenen Bildern zu sehen ist, dies vermieden werden, wenn zwei separate Sensoren verwendet werden, jeweils einer für jeden dieser unterschiedlichen Zwecke.In addition, the use of two separate sensors instead of a single one both for capturing a gesture and for capturing images enables the use of two different fields of view for these two sensors, so that the execution of the gesture to be captured are in particular outside the field of view of the image sensor can. Accordingly, unlike in cases in which one and the same sensor is used both for the gesture detection and for the image recording and in which the object, for example a body part that is performing the gesture, is therefore inevitably to be seen on the recorded images This can be avoided by using two separate sensors, one for each of these different purposes.

Im Folgenden werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die beliebig miteinander oder mit anderen Aspekten der vorliegenden Erfindung kombiniert werden können, es sei denn, eine solche Kombination ist ausdrücklich ausgeschlossen oder technisch unmöglich.Preferred embodiments of the method are described below, which can be combined with one another or with other aspects of the present invention as desired, unless such a combination is expressly excluded or technically impossible.

In manchen Ausführungsformen haben sowohl der Freiraumgesten-Erfassungssensor als auch der Bildsensor jeweils eine zugeordnete individuelle Beleuchtungseinheit um ihre jeweiligen Sichtfelder während ihrer jeweiligen Erfassungsaktivität zumindest teilweise zu beleuchten, und das Verfahren weist ferner das De-synchronisieren der Aktivitäten der Beleuchtungseinheiten des Freiraumgesten-Erfassungssensors und des Bildsensors auf, so dass die Beleuchtungseinheiten nicht gleichzeitig aktiviert sind. Dieses De-synchronisieren hat zur Folge, dass der Betrieb von keinem der beiden Sensoren durch die dem jeweils anderen Sensor zugeordnete Beleuchtung nachteilig beeinflusst wird. Insbesondere, wenn zum Beispiel der Freiraumgesten-Erfassungssensor in einem bestimmten Bereich des elektromagnetischen Spektrums arbeitet, zum Beispiel im sichtbaren oder infraroten Bereich des Spektrums, könnte seine Funktion und Zuverlässigkeit nachteilig beeinflusst werden, wenn gleichzeitig die dem Bildsensor zugeordnete Beleuchtungseinheit Licht in diesem gleichen Bereich des Spektrums ausstrahlen würde. Umgekehrt könnte die Strahlung, die von der dem Freiraumgesten-Erfassungssensor zugeordneten Beleuchtungseinheit in einem Bereich des Spektrums emittiert wird, in dem der Bildsensor empfindlich ist, die Qualität der vom Bildsensor aufgenommenen Bilder bei gleichzeitigem Betrieb nachteilig beeinflussen.In some embodiments, both the free space gesture detection sensor and the image sensor each have an associated individual lighting unit to at least partially illuminate their respective fields of view during their respective detection activity, and the method further comprises de-synchronizing the activities of the lighting units of the free space gesture detection sensor and the Image sensor so that the lighting units are not activated at the same time. This de-synchronizing has the consequence that the operation of neither of the two sensors is adversely affected by the lighting assigned to the respective other sensor. In particular, if, for example, the free space gesture detection sensor is operating in a certain region of the electromagnetic spectrum, for example in the visible or infrared region of the spectrum, its function and reliability could be adversely affected if the dem Illumination unit assigned to the image sensor would emit light in this same region of the spectrum. Conversely, the radiation that is emitted by the lighting unit assigned to the free space gesture detection sensor in a region of the spectrum in which the image sensor is sensitive could adversely affect the quality of the images recorded by the image sensor during simultaneous operation.

In manchen Ausführungsformen ist der Freiraumgesten-Erfassungssensor eine TOF-Kamera (Time of Flight) oder weist eine solche auf, die dazu verwendet wird, die spezifische, vorgegebene Freiraumgeste zu erfassen. Eine „TOF-Kamera“ ist ein 3D-Kamerasystem, das Entfernungen auf der Grundlage einer Laufzeitmethode (TOF) misst. Das Messprinzip beruht darauf, dass die aufzunehmende Szene durch einen Lichtimpuls beleuchtet wird und die Kamera für jedes Pixel die Zeit misst, die das Licht benötigt, um das Objekt zu erreichen und wieder zurückzukehren. Diese Zeit ist aufgrund der Konstanz der Lichtgeschwindigkeit direkt proportional zur Entfernung. Die Kamera liefert somit die Entfernung des auf jedes Pixel abgebildeten Objekts. Die Verwendung eines TOF-Kamerasystems stellt eine besonders effektive und hochauflösende Implementierungsmöglichkeit für einen 3D-Bildsensor dar und kann insbesondere zum zuverlässigen und effizienten Erfassen von Freiraumgesten benutzt werden.In some embodiments, the free space gesture detection sensor is or includes a time of flight (TOF) camera that is used to detect the specific, predetermined free space gesture. A "TOF camera" is a 3D camera system that measures distances based on a time of flight (TOF) method. The measuring principle is based on the fact that the scene to be recorded is illuminated by a light pulse and the camera measures the time it takes for the light to reach the object and return for each pixel. Due to the constancy of the speed of light, this time is directly proportional to the distance. The camera thus provides the distance of the object imaged on each pixel. The use of a TOF camera system represents a particularly effective and high-resolution implementation option for a 3D image sensor and can in particular be used for the reliable and efficient detection of free space gestures.

In manchen Ausführungsformen ist der Bildsensor eine 2D-Fotokamera oder weist eine solche auf, die so konfiguriert ist und verwendet wird, dass sie das Bild im sichtbaren oder infraroten Teil des elektromagnetischen Spektrums aufnimmt. Dies ermöglicht die Aufnahme gewöhnlicher zweidimensionaler Fotos, insbesondere digitaler Fotos. Insbesondere kann die Fotokamera, wenn sie für den Betrieb im Infrarotbereich des elektromagnetischen Spektrums ausgelegt ist, zur Aufnahme von Bildern in relativ dunklen Umgebungen ohne Blitzlicht oder eine andere künstliche Beleuchtung ihres Sichtfeldes verwendet werden. Im Idealfall ist die Fotokamera eingerichtet, um sowohl im sichtbaren als auch im infraroten Teil des Spektrums zu arbeiten, so dass sie sowohl in hellen als auch in dunklen Umgebungen verwendet werden kann, insbesondere tagsüber, wenn Tageslicht zur Beleuchtung zur Verfügung steht, und nachts, wenn Infrarotstrahlung im Vergleich zu sichtbarer Strahlung relevanter wird.In some embodiments, the image sensor is or includes a 2D photo camera that is configured and used to capture the image in the visible or infrared portion of the electromagnetic spectrum. This enables ordinary two-dimensional photos, especially digital photos, to be taken. In particular, the photo camera, if it is designed for operation in the infrared range of the electromagnetic spectrum, can be used to record images in relatively dark surroundings without flash light or other artificial lighting of its field of view. Ideally, the photo camera is set up to work in both the visible and infrared parts of the spectrum so that it can be used in both bright and dark environments, especially during the day when daylight is available for illumination, and at night, when infrared radiation becomes more relevant compared to visible radiation.

In manchen Ausführungsformen weist das Erkennen der genannten spezifischen, vorbestimmten Freiraumgeste wenigstens eines der Folgenden auf: (i) Verarbeiten von Sensordaten, die von dem Freiraumgesten-Erfassungssensor erzeugt werden, um zu prüfen, ob die Sensordaten eine Situation darstellen, in der ein Benutzer diese spezifische vorbestimmte Freiraumgeste ausführt oder nicht; und (ii) Übermitteln von Sensordaten, die von dem Freiraumgesten-Erfassungssensor erzeugt werden, an eine fahrzeugexterne Verarbeitungsplattform, zum Beispiel an einen Server, der über das Internet oder eine andere Kommunikationsverbindung erreicht werden kann, und als Antwort darauf Empfangen von Ergebnisdaten, die von der Verarbeitungsplattform erzeugt werden und die anzeigen, ob die Sensordaten eine Situation darstellen, in der ein Benutzer diese spezifische vorbestimmte Freiraumgeste ausführt oder nicht. Während die Option (i) besonders nützlich für eine autonome Lösung ist, die vollständig von einem in ein Fahrzeug zu integrierenden System implementiert werden kann, hat die Option (ii) den Vorteil, dass stattdessen externe Verarbeitungsleistung, zum Beispiel die eines leistungsfähigen Servers, verwendet werden kann, die sonst möglicherweise nicht in dem Fahrzeug zur Verfügung stehen würde oder die dessen Komplexität und Kosten erhöhen würde. Dies gilt insbesondere für die oft rechenintensive Verarbeitung, die im Zusammenhang mit dem korrekten Erkennen einer bestimmten Geste auf der Grundlage der vom Freiraumgesten-Erfassungssensor gelieferten Sensordaten erforderlich ist.In some embodiments, the recognition of said specific, predetermined free space gesture comprises at least one of the following: (i) Processing of sensor data generated by the free space gesture detection sensor in order to check whether the sensor data represent a situation in which a user does this perform or not perform specific predetermined clearance gesture; and (ii) transmitting sensor data generated by the clearance gesture detection sensor to a processing platform external to the vehicle, for example to a server that can be reached via the Internet or other communication link, and in response receiving result data from of the processing platform and indicating whether or not the sensor data represents a situation in which a user is performing this specific predetermined free space gesture. While option (i) is particularly useful for an autonomous solution that can be implemented entirely by a system to be integrated into a vehicle, option (ii) has the advantage that it uses external processing power, for example that of a powerful server, instead that might otherwise not be available in the vehicle or that would increase its complexity and costs. This applies in particular to the often computationally intensive processing that is required in connection with the correct recognition of a specific gesture on the basis of the sensor data supplied by the free space gesture detection sensor.

Insbesondere wird in manchen verwandten Ausführungsformen die Verarbeitung der Sensordaten getrennt von einem Verfahren zur Steuerung des Freiraumgesten-Erfassungssensors und des Bildsensors durchgeführt. Insbesondere kann zum Beispiel die Verarbeitung der Sensordaten in Verbindung mit der Erkennung der genannten spezifischen, vorbestimmten Freiraumgeste von einer fahrzeugexternen Verarbeitungsplattform, wie zum Beispiel einem Server in einem Backend, der von dem Fahrzeug aus über das Internet oder eine andere Kommunikationsverbindung erreicht werden kann, durchgeführt werden, während eine Anwendung, welche die HMI definiert und welche zur Steuerung des Betriebs des Freiraumgesten-Erfassungssensors und des Bildsensors verwendet wird, auf einer fahrzeuginternen Prozessorplattform, zum Beispiel in einem Infotainment-System oder einer anderen Steuereinheit des Fahrzeugs, ausgeführt werden kann. Insbesondere ermöglicht dies einerseits eine optimale Aufteilung der für die Durchführung des Verfahrens erforderlichen Verarbeitung und andererseits die Möglichkeit, die jeweiligen Verarbeitungsmittel getrennt zu konfigurieren, zu optimieren, zu skalieren, zu erweitern, zu warten oder zu ersetzen, sei es auf der Hardware- oder auf der Softwareebene oder auf beiden.In particular, in some related embodiments, the processing of the sensor data is performed separately from a method for controlling the free space gesture detection sensor and the image sensor. In particular, the processing of the sensor data in connection with the recognition of the specific, predetermined free space gesture mentioned can be carried out by a processing platform external to the vehicle, such as a server in a backend that can be reached from the vehicle via the Internet or another communication connection while an application which defines the HMI and which is used to control the operation of the clearance gesture detection sensor and the image sensor can be executed on an in-vehicle processor platform, for example in an infotainment system or other control unit of the vehicle. In particular, this enables, on the one hand, an optimal division of the processing required to carry out the method and, on the other hand, the possibility of configuring, optimizing, scaling, expanding, maintaining or replacing the respective processing means separately, be it on the hardware or on the the software level or both.

In manchen Ausführungsformen wird jede einer vorgegebenen begrenzten Menge von mehreren verschiedenen vorgegebenen Freiraumgesten, die möglicherweise von dem Benutzer ausgeführt werden können, als diese spezifische vorgegebene Freiraumgeste darstellend definiert. Das bedeutet, dass es mehr als eine spezifische, vorgegebene Freiraumgeste geben kann, die für das Auslösen der Bildaufnahme durch den Bildsensor genügt. Dies kann auf mindestens zwei Arten vorteilhaft sein: Erstens kann dies dazu genutzt werden, die Benutzerfreundlichkeit und damit auch die Zuverlässigkeit des Verfahrens zu erhöhen, indem auch weitere ähnliche, aber nicht identische Gesten als qualifizierende Gesten für das Auslösen der Bildaufnahme definiert werden, solange sie sicher von anderen Gesten unterschieden werden können, die nicht zum Auslösen einer solchen Bildaufnahme gedacht sind. Zweitens kann dies dazu benutzt werden, um eine Implementierung zu ermöglichen, die dem Benutzer die Möglichkeit gibt, zwischen verschiedenen Bildaufnahmeoptionen zu wählen, wie zum Beispiel - ohne dass dies als Einschränkung angesehen werden soll - Timing- oder Farboptionen oder andere Modi oder Konfigurationen des Bildsensors, zum Beispiel zur Auswahl bestimmter Belichtungs- oder Filterparameter und ähnliches.In some embodiments, each of a predetermined limited set of a plurality of different predetermined clearance gestures that may possibly be performed by the user is defined as representing that specific predetermined clearance gesture. This means that there can be more than one specific, predetermined free space gesture that is responsible for triggering the Image recording by the image sensor is sufficient. This can be advantageous in at least two ways: Firstly, it can be used to increase the user-friendliness and thus also the reliability of the method by defining other similar but not identical gestures as qualifying gestures for triggering the image recording, as long as they are can be safely distinguished from other gestures that are not intended to trigger such an image recording. Second, this can be used to enable an implementation that gives the user the ability to choose between different image capture options, such as, without this being considered a limitation, timing or color options or other modes or configurations of the image sensor , for example to select certain exposure or filter parameters and the like.

In manchen verwandten Ausführungsformen weist das Erfassen der spezifischen Freiraumgeste insbesondere das Erfassen, welche der mehreren vorgegebenen Freiraumgesten aus dieser Menge von dem Benutzer ausgeführt wird. Darüber hinaus wird der Zeitpunkt des Auslösens des Bildsensors zur Aufnahme eines Bildes oder einer Sequenz von Bildern auf der Grundlage dessen bestimmt, welche der mehreren vorgegebenen Freiraumgesten aus dieser Menge erfasst wird. Auf diese Weise können beispielsweise unterschiedliche Timing-Szenarien implementiert werden, derart, dass eine erste Geste aus der Menge von Gesten einen sofortigen Schnappschuss auslöst, während eine zweite, unterschiedliche Geste aus der Menge von Gesten nur einen voreingestellten Timer auslöst, so dass die Bildaufnahme verzögert und erst nach Ablauf des voreingestellten Timers eingeleitet wird.In some related embodiments, the detection of the specific free space gesture includes, in particular, the detection of which of the plurality of predetermined free space gestures from this set is carried out by the user. In addition, the point in time at which the image sensor is triggered to record an image or a sequence of images is determined on the basis of which of the plurality of predetermined free space gestures is detected from this set. In this way, for example, different timing scenarios can be implemented, such that a first gesture from the set of gestures triggers an immediate snapshot, while a second, different gesture from the set of gestures only triggers a preset timer, so that the image recording is delayed and is only initiated after the preset timer has expired.

In manchen Ausführungsformen wird eine von dem Benutzer ausgeführte Geste als der spezifischen, vorbestimmten Freiraumgeste genügend definiert, wenn sie eine der Folgenden ist: (i) eine Geste, bei welcher der Benutzer zwei Finger einer Hand so spreizt, dass eine V-Form im Sichtfeld des Freiraumgesten-Erfassungssensors dargestellt wird; (ii) eine Geste, bei welcher der Benutzer eine offene Hand im Sichtfeld des Freiraumgesten-Erfassungssensors zeigt. Diesen Gesten ist gemeinsam, dass sie auch von einem unerfahrenen Benutzer relativ einfach auszuführen sind und dass sie leicht und zuverlässig voneinander und von anderen Freiraumgesten, die ein Benutzer ausführen kann, unterschieden werden können. Es sei angemerkt, dass diese spezifischen Gesten nur besonders gut geeignete Beispiele von Gesten sind und dass natürlich zusätzlich oder stattdessen auch andere Definitionen einer oder mehrerer spezifischer vorgegebener Freiraumgesten möglich sind.In some embodiments, a gesture performed by the user is sufficiently defined as the specific, predetermined clearance gesture if it is one of the following: (i) a gesture in which the user spreads two fingers of one hand so that a V-shape is in the field of view of the clearance gesture detection sensor is displayed; (ii) a gesture in which the user shows an open hand in the field of view of the clearance gesture detection sensor. What these gestures have in common is that they are relatively easy to carry out even by an inexperienced user and that they can be easily and reliably distinguished from one another and from other free space gestures that a user can carry out. It should be noted that these specific gestures are only particularly well-suited examples of gestures and that, of course, in addition or instead of this, other definitions of one or more specific, predetermined free space gestures are also possible.

Ein zweiter Aspekt der vorliegenden Erfindung richtet sich auf ein System zum Auslösen von Bildaufnahmen des Innenraums eines Fahrzeugs. Das System weist auf: (i) einen Freiraumgesten-Erfassungssensor, der in oder an einem Fahrzeug angebracht ist oder zur Anbringung in oder an einem Fahrzeug eingerichtet ist, und der eingerichtet ist, eine spezifische, vorbestimmte Freiraumgeste zu erfassen, die von einem menschlichen Benutzer ausgeführt wird; und (ii) einen Bildsensor, der nicht mit dem Freiraumgesten-Erfassungssensor zusammenfällt und der so in oder an dem Fahrzeug angebracht ist oder zur Anbringung in oder an dem Fahrzeug eingerichtet ist, dass sein Sichtfeld den Innenraum des Fahrzeugs zumindest teilweise abdeckt. Das System ist dazu eingerichtet, das Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen.A second aspect of the present invention is directed to a system for triggering image recordings of the interior of a vehicle. The system comprises: (i) a clearance gesture detection sensor which is mounted in or on a vehicle or is adapted to be mounted in or on a vehicle and which is adapted to detect a specific, predetermined clearance gesture made by a human user is performed; and (ii) an image sensor which does not coincide with the clearance gesture detection sensor and which is mounted in or on the vehicle or is adapted to be mounted in or on the vehicle such that its field of view at least partially covers the interior of the vehicle. The system is set up to carry out the method according to the first aspect of the invention.

Im Folgenden werden bevorzugte Ausführungsformen des Systems beschrieben, die beliebig miteinander oder mit anderen Aspekten der vorliegenden Erfindung kombiniert werden können, es sei denn, eine solche Kombination ist ausdrücklich ausgeschlossen oder technisch unmöglich.Preferred embodiments of the system are described below, which can be combined with one another or with other aspects of the present invention as desired, unless such a combination is expressly excluded or technically impossible.

In manchen Ausführungsformen ist der Freiraumgesten-Erfassungssensor relativ zu dem Bildsensor so angeordnet, dass sein Sichtfeld im Innenraum des Fahrzeugs zumindest teilweise außerhalb des Sichtfeldes des Bildsensors liegt. Auf diese Weise ist es dem Benutzer möglich, die Bildaufnahme durch Ausführen der genannten spezifischen, vorgegebenen Freiraumgeste oder, falls mehrere solcher Gesten als solche gelten, einer beliebigen dieser qualifizierenden Gesten, in einem speziellen Bereich, der sich innerhalb des Sichtfeldes des Freiraumgesten-Erfassungssensors, nicht aber innerhalb des Sichtfeldes des Bildsensors befindet, auszulösen. Dementsprechend zeigen das eine oder die mehrere aufgenommenen Bilder nicht den Körperteil oder ein anderes Objekt, das der Benutzer zum Ausführen der spezifischen Freiraumgeste zum Auslösen der Bildaufnahme verwendet. Somit wird der auf dem einen oder den mehreren Bildern gezeigte Inhalt also nicht durch den Betrieb des Systems beeinträchtigt.In some embodiments, the free space gesture detection sensor is arranged relative to the image sensor in such a way that its field of view in the interior of the vehicle is at least partially outside the field of view of the image sensor. In this way, it is possible for the user to take the image by executing the specific, predetermined free space gesture mentioned or, if several such gestures count as such, any of these qualifying gestures, in a special area that is within the field of view of the free space gesture detection sensor, but not within the field of view of the image sensor. Accordingly, the one or more recorded images do not show the body part or another object that the user uses to carry out the specific free space gesture for triggering the image recording. Thus, the content shown on the one or more images is not affected by the operation of the system.

Bei manchen Ausführungsformen ist wenigstens einer von dem Freiraumgesten-Erfassungssensor und dem Bildsensor (i) außerhalb eines in dem Innenraum des Fahrzeugs befindlichen Fahrgastraums an dem Fahrzeug angebracht oder zur dortigen Anbringung konfiguriert und (ii) mit einem entsprechenden Sichtfeld ausgestattet, das sich zumindest teilweise in den Fahrgastraum hinein erstreckt. Auf diese Weise können mehrere weitere Vorteile realisiert werden. Insbesondere muss der wenigstens eine der Sensoren nicht in dem Fahrgastraum angeordnet sein und verbraucht somit keinen Platz in diesem. Darüber hinaus kann das Sichtfeld und insbesondere die Perspektive, die durch den jeweiligen Sensor erfasst werden kann, als „von außen nach innen“-Perspektive definiert werden. Dies kann insbesondere für den Bildsensor von Bedeutung sein, da auf diese Weise Bilder von außerhalb des Fahrzeugs aufgenommen werden können, zum Beispiel ähnlich wie eine Sicht, die jemand hätte, wenn er auf einem Gehweg steht oder sich in einem anderen Fahrzeug neben dem betreffenden Fahrzeug befindet. Insbesondere ist in manchen verwandten Ausführungsformen der wenigstens eine von dem Freiraumgesten-Erfassungssensor und dem Bildsensor an einer Außenspiegelanordnung des Fahrzeugs angebracht oder zur dortigen Anbringung konfiguriert.In some embodiments, at least one of the clearance gesture detection sensor and the image sensor (i) is attached to the vehicle outside a passenger compartment located in the interior of the vehicle or is configured to be attached there and (ii) is equipped with a corresponding field of view that is at least partially in extends into the passenger compartment. Several other advantages can be realized in this way. In particular, the at least one of the sensors does not have to be arranged in the passenger compartment and therefore does not take up any space in it. In addition, the field of view and, in particular, the perspective that is provided by the respective sensor can be defined as an “outside-in” perspective. This can be of particular importance for the image sensor, since in this way images can be recorded from outside the vehicle, for example similar to a view that someone would have if he was standing on a sidewalk or in another vehicle next to the vehicle in question is located. In particular, in some related embodiments, the at least one of the clearance gesture detection sensor and the image sensor is attached to or configured to be attached to an exterior mirror assembly of the vehicle.

In manchen Ausführungsformen (i) ist der Freiraumgesten-Erfassungssensor an einem Dachmodul des Fahrzeugs montiert oder darin integriert oder so konfiguriert, dass er an einem Dachmodul des Fahrzeugs montiert oder darin integriert werden kann; und (ii) der Bildsensor ist an einem Rückspiegel in dem Fahrzeug montiert oder darin integriert oder so konfiguriert, dass er an einem Rückspiegel in dem Fahrzeug montiert oder darin integriert werden kann. Insbesondere ermöglicht dies eine besonders geeignete räumliche Anordnung der Sensoren, bei der sich das Sichtfeld des Freiraumgesten-Erfassungssensors überwiegend vom Fahrzeugdach aus nach unten erstreckt, während sich das Sichtfeld des Bildsensors vom Rückspiegel aus überwiegend horizontal erstreckt und idealerweise auch eine nach unten gerichtete Komponente hat. Jedes der Sichtfelder kann insbesondere die Form eines Kegels haben, der um eine Symmetrieachse zentriert ist, welche die Hauptrichtung in dem jeweiligen Sichtfeld definiert. Während sich die beiden Sichtfelder also zwar überlappen dürfen, können sie aber relativ zueinander so positioniert sein, dass der Benutzer Freiraumgesten ausführen kann, die innerhalb des Sichtfeldes des Freiraumgesten-Erfassungssensors in einem räumlichen Bereich zu erfassen sind, der sich gleichzeitig außerhalb und unterhalb des Sichtfeldes des Bildsensors befindet. Der räumliche Bereich kann zum Beispiel über einer Mittelkonsole des Fahrzeugs (insbesondere eines Autos), aber unterhalb des Sichtfeldes des Bildsensors liegen. Um nochmal zu wiederholen, dies ermöglicht die Aufnahme von Bildern, deren Inhalt nicht das Ausführen der spezifischen Freiraumgeste zeigt, die zum Auslösen der Bildaufnahme benutzt wird.In some embodiments, (i) the clearance gesture detection sensor is mounted on or integrated into a roof module of the vehicle, or is configured to be mounted on or integrated into a roof module of the vehicle; and (ii) the image sensor is mounted on or integrated into a rearview mirror in the vehicle or configured to be mounted on or integrated into a rearview mirror in the vehicle. In particular, this enables a particularly suitable spatial arrangement of the sensors, in which the field of view of the free space gesture detection sensor extends downwards predominantly from the vehicle roof, while the field of vision of the image sensor from the rearview mirror extends predominantly horizontally and ideally also has a downward component. Each of the fields of view can in particular have the shape of a cone which is centered about an axis of symmetry which defines the main direction in the respective field of view. While the two fields of view are allowed to overlap, they can be positioned relative to one another in such a way that the user can perform free space gestures that are to be detected within the field of view of the free space gesture detection sensor in a spatial area that is simultaneously outside and below the field of view of the image sensor. The spatial area can, for example, lie above a center console of the vehicle (in particular a car), but below the field of view of the image sensor. To repeat again, this enables the acquisition of images, the content of which does not show the execution of the specific free space gesture that is used to trigger the image acquisition.

Ein dritter Aspekt der vorliegenden Erfindung richtet sich auf ein Fahrzeug, das ein System gemäß dem zweiten Aspekt zum Auslösen einer Bildaufnahme von zumindest einem Teil des Innenraums des Fahrzeugs aufweist.A third aspect of the present invention is directed to a vehicle which has a system according to the second aspect for triggering an image recording of at least part of the interior of the vehicle.

Ein vierter Aspekt der vorliegenden Erfindung richtet sich auf ein Computerprogramm oder ein Computerprogrammprodukt, das Anweisungen enthält, um das System gemäß dem zweiten Aspekt dazu zu veranlassen, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.A fourth aspect of the present invention is directed to a computer program or a computer program product containing instructions for causing the system according to the second aspect to carry out the method according to the first aspect of the present invention.

Das Computerprogramm (oder Computerprogrammprodukt) kann insbesondere in Form eines Datenträgers implementiert sein, auf dem ein oder mehrere Programme zur Durchführung des Verfahrens gespeichert sind. Vorzugsweise handelt es sich dabei um einen Datenträger, wie zum Beispiel eine CD, eine DVD oder ein Flash-Speichermodul. Dies kann vorteilhaft sein, falls beabsichtigt ist, dass das Computerprogrammprodukt als Einzelprodukt unabhängig von der Prozessorplattform, auf der das eine oder die mehreren Programme ausgeführt werden sollen, gehandelt werden soll. In einer anderen Implementierung wird das Computerprogramm (oder Computerprogrammprodukt) als Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server, bereitgestellt und kann über eine Datenverbindung, zum Beispiel das Internet oder eine dedizierte Datenverbindung, wie zum Beispiel ein proprietäres oder lokales Netzwerk, heruntergeladen werden.The computer program (or computer program product) can in particular be implemented in the form of a data carrier on which one or more programs for carrying out the method are stored. This is preferably a data carrier, such as a CD, a DVD or a flash memory module. This can be advantageous if it is intended that the computer program product is to be traded as an individual product independently of the processor platform on which the one or more programs are to be executed. In another implementation, the computer program (or computer program product) is provided as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.

Das System gemäß dem zweiten Aspekt kann dementsprechend über einen Programmspeicher verfügen, in dem das Computerprogramm gespeichert wird. Alternativ kann das System auch so eingerichtet sein, dass es über eine Kommunikationsverbindung auf ein Computerprogramm zugreift, das extern, zum Beispiel auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten, verfügbar ist, insbesondere um mit ihm Daten auszutauschen, die im Verlauf der Ausführung des Computerprogramms verwendet werden oder Ausgaben des Computerprogramms darstellen.The system according to the second aspect can accordingly have a program memory in which the computer program is stored. Alternatively, the system can also be set up in such a way that it accesses a computer program via a communication link that is available externally, for example on one or more servers or other data processing units, in particular to exchange data with it, which occurs in the course of the execution of the computer program are used or represent outputs of the computer program.

Die verschiedenen Ausführungsformen und Vorteile, die oben im Zusammenhang mit dem ersten Aspekt der vorliegenden Erfindung beschrieben wurden, gelten in ähnlicher Weise auch für die anderen Aspekte der Erfindung. Ebenso gelten die verschiedenen Ausführungsformen und Vorteile, die oben im Zusammenhang mit dem zweiten Aspekt der vorliegenden Erfindung beschrieben wurden, in ähnlicher Weise auch für den dritten Aspekt der Erfindung.The various embodiments and advantages described above in connection with the first aspect of the present invention also apply in a similar manner to the other aspects of the invention. The various embodiments and advantages that have been described above in connection with the second aspect of the present invention also apply in a similar manner to the third aspect of the invention.

Weitere Vorteile, Merkmale und Anwendungen der vorliegenden Erfindung sind in der folgenden detaillierten Beschreibung und den beigefügten Figuren dargestellt, wobei:

  • 1 zeigt schematisch ein beispielhaftes Fahrzeug mit einem System nach einer Ausführungsform der vorliegenden Erfindung;
  • 2 veranschaulicht schematisch ein allgemeines Konzept, das dem Verfahren der vorliegenden Erfindung zugrunde liegt; und
  • 3 zeigt ein Flussdiagramm, das eine beispielhafte Ausführungsform eines Verfahrens der vorliegenden Erfindung veranschaulicht.
Further advantages, features and applications of the present invention are shown in the following detailed description and the accompanying figures, wherein:
  • 1 Figure 3 schematically shows an exemplary vehicle having a system in accordance with an embodiment of the present invention;
  • 2 illustrates schematically a general concept underlying the method of the present invention; and
  • 3 Figure 12 is a flow diagram illustrating an exemplary embodiment of a method of the present invention.

In den Figuren werden gleiche Bezugszeichen für die gleichen oder für einander entsprechende Elemente der hier beschriebenen Systeme verwendet.In the figures, the same reference symbols are used for the same or corresponding elements of the systems described here.

Gemäß 1 weist ein beispielhaftes Fahrzeug 100 nach einer Ausführungsform der vorliegenden Erfindung ein System 105 zum Auslösen von Bildaufnahmen von zumindest einem Teil des Innenraums des Fahrzeugs auf. Zu diesem Zweck weist das System 105 einen Freiraumgesten-Erfassungssensor 110 auf, der im Fahrgastraum an einer Innenfläche des Fahrzeugdaches 100 angeordnet ist. Der Freiraumgesten-Erfassungssensor 110 ist als 3D-Bildsensor vom Typ „Time of Flight“ (TOF-Kamera) ausgebildet. Er hat ein Sichtfeld (FOV) 115, das im Wesentlichen die Form eines Kegels hat, der seine Spitze am Freiraumgesten-Erfassungssensor 100 hat und sich überwiegend nach unten erstreckt, wahlweise aber auch mit einer horizontalen Richtungskomponente zu einer neben dem Fahrersitz des Fahrzeugs 100 angeordneten Mittelkonsole. Der Freiraumgesten-Erfassungssensor 110 ist so konfiguriert, dass er Freiraumgesten G erfasst, die innerhalb seines Sichtfeldes 115 von einer Person (einem Benutzer) U, wie zum Beispiel einem Fahrer des Fahrzeugs 100, ausgeführt werden. In dem in dargestellten spezifischen Beispiel führt die Benutzerin U eine spezifische vorbestimmte Freiraumgeste G mit zwei Fingern ihrer rechten Hand aus, wobei diese beiden Finger eine „V“-Form innerhalb einer virtuellen Ebene bilden, die im Wesentlichen horizontal und damit überwiegend senkrecht zu der überwiegend vertikalen Zentralrichtung des Kegels verläuft, der das FOV 115 des Gestenerfassungssensors 110 definiert. Dementsprechend ist die „V“-Form für den Gestenerfassungssensor 110 „sichtbar“ und somit als solche erkennbar.According to 1 exhibits an exemplary vehicle 100 according to one embodiment of the present invention, a system 105 for triggering image recordings of at least part of the interior of the vehicle. To this end, the system instructs 105 a free space gesture detection sensor 110 on, which is in the passenger compartment on an inner surface of the vehicle roof 100 is arranged. The free space gesture detection sensor 110 is designed as a 3D image sensor of the "Time of Flight" (TOF camera) type. He has a field of view (FOV) 115 which is essentially in the shape of a cone that has its tip on the clearance gesture detection sensor 100 and extends mainly downwards, but optionally also with a horizontal directional component to one next to the driver's seat of the vehicle 100 arranged center console. The free space gesture detection sensor 110 is configured to detect free space gestures G that are within its field of view 115 from a person (user) U, such as a driver of the vehicle 100 to be executed. In the in The specific example shown, the user U performs a specific predetermined free space gesture G with two fingers of her right hand, these two fingers forming a “V” shape within a virtual plane that is essentially horizontal and thus predominantly perpendicular to the predominantly vertical central direction of the Cone that the FOV 115 of the gesture detection sensor 110 Are defined. Accordingly, the "V" shape is for the gesture detection sensor 110 "Visible" and thus recognizable as such.

Das System 105 weist ferner einen Bildsensor 120 in Form einer 2D-Fotokamera auf, die sowohl im sichtbaren als auch zumindest in Teilen des Infrarotbereichs des elektromagnetischen Spektrums empfindlich ist, so dass sie Bilder nicht nur dann aufnehmen kann, wenn der Innenraum des Fahrzeugs 100 - ob künstlich oder durch Tageslicht - beleuchtet ist, sondern auch wenn es relativ dunkel ist, insbesondere bei Nacht. Der Bildsensor 120 ist an dem Rückspiegel des Fahrzeugs im Fahrgastraum angeordnet und hat ein Sichtfeld 125, das sich überwiegend in Richtung der Position des Fahrersitzes erstreckt und diese zumindest teilweise abdeckt und wahlweise auch die Position eines oder mehrerer weiterer Fahrgastsitze des Fahrzeugs 100. Dementsprechend ist der Bildsensor 120 so eingerichtet, dass er Fotos oder Videos von einem oder mehreren Insassen des Fahrzeugs 100 aufnehmen kann, während sie auf ihren jeweiligen Fahrgastsitzen sitzen, d.h. insbesondere „Selfies“. Während sich das Sichtfeld 115 des Gestenerfassungssensors 110 und das Sichtfeld 125 des Bildsensors 120 zwar teilweise überschneiden, stimmen sie nicht vollständig überein, so dass insbesondere ein räumlicher Bereich über der Mittelkonsole des Fahrzeugs 100 nur innerhalb des FOV 115 des Gestenerfassungssensors 110, nicht aber innerhalb des FOV 125 des Bildsensors 120 liegt. Wenn eine Geste G innerhalb dieses räumlichen Bereichs von dem Benutzer U ausgeführt wird, werden dementsprechend Körperteile oder andere Objekte, die der Benutzer U zum Ausführen der Geste G gegebenenfalls verwendet, nicht in Fotos oder Videos abgebildet, die von dem Bildsensor 120 aufgenommen werden.The system 105 further comprises an image sensor 120 in the form of a 2D photo camera, which is sensitive both in the visible and at least in parts of the infrared range of the electromagnetic spectrum, so that it can not only take pictures when the interior of the vehicle 100 - whether artificially or by daylight - is illuminated, but also when it is relatively dark, especially at night. The image sensor 120 is located on the rearview mirror of the vehicle in the passenger compartment and has a field of view 125 , which extends predominantly in the direction of the position of the driver's seat and at least partially covers it and optionally also the position of one or more other passenger seats of the vehicle 100 . The image sensor is accordingly 120 set up to take photos or videos of one or more occupants of the vehicle 100 can record while they are sitting in their respective passenger seats, ie in particular "selfies". While the field of view 115 of the gesture detection sensor 110 and the field of view 125 of the image sensor 120 Although they partially overlap, they do not completely match, so that in particular a spatial area above the center console of the vehicle 100 only within the FOV 115 of the gesture detection sensor 110 but not within the FOV 125 of the image sensor 120 lies. If a gesture G is carried out by the user U within this spatial region, body parts or other objects that the user U may use to carry out the gesture G are accordingly not shown in photos or videos that are captured by the image sensor 120 be included.

Jedem der Sensoren 110 und 120 kann eine eigene Beleuchtungseinheit 111 bzw. 121 zugeordnet sein, um das zugehörige Sichtfeld 115 bzw. 125 mit elektromagnetischer Strahlung zu beleuchten, für die der jeweilige Sensor empfindlich ist, zum Beispiel in dem sichtbaren oder infraroten Teil des elektromagnetischen Spektrums. Jede dieser Beleuchtungseinheiten 111 und 121 kann einzeln aktiviert und deaktiviert werden. Insbesondere können sie so gesteuert werden, dass zu jedem gegebenen Zeitpunkt nur eine oder keine der beiden Beleuchtungseinheiten 111 und 121 aktiviert ist.Each of the sensors 110 and 120 can have its own lighting unit 111 respectively. 121 assigned to the associated field of view 115 respectively. 125 to illuminate with electromagnetic radiation to which the respective sensor is sensitive, for example in the visible or infrared part of the electromagnetic spectrum. Any of these lighting units 111 and 121 can be activated and deactivated individually. In particular, they can be controlled in such a way that at any given point in time only one or none of the two lighting units 111 and 121 is activated.

Darüber hinaus weist das System 105 eine Verarbeitungseinheit 130 auf, die signaltechnisch sowohl mit dem Gestenerfassungssensor 110 als auch mit dem Bildsensor 120 gekoppelt ist, um diese zu steuern und ihre jeweiligen Sensordaten zur weiteren Verarbeitung zu empfangen. Insbesondere kann die Verarbeitungseinheit 130 in einem entsprechenden Speicher ein oder mehrere Computerprogramme enthalten, die als Anwendung für das Auslösen von Bildaufnahmen auf Grund von Freiraumgesten konfiguriert sind, so dass ein Benutzer U das Aufnehmen von Bildern durch Ausführen einer spezifischen, vorbestimmten Geste, die einer solchen Bildaufnahme im FOV 115 des Bilderfassungssensors 110 entspricht, auslösen kann.In addition, the system 105 a processing unit 130 on the signaling with both the gesture detection sensor 110 as well as with the image sensor 120 is coupled to control them and to receive their respective sensor data for further processing. In particular, the processing unit 130 contain in a corresponding memory one or more computer programs which are configured as an application for triggering image recordings on the basis of free space gestures, so that a user U can record images by executing a specific, predetermined gesture that allows such image recording in the FOV 115 of the image capture sensor 110 can trigger.

Darüber hinaus kann die Verarbeitungseinheit 130 so konfiguriert sein, dass sie eine oder mehrere verschiedene vorgegebene Gesten erkennen kann, wenn diese durch die Sensordaten repräsentiert werden, die von dem Gestenerfassungssensor 110 geliefert werden. Dementsprechend ist der Gestenerfassungssensor 110 in Kombination mit der Verarbeitungseinheit 130 dann in der Lage, eine oder mehrere unterschiedliche, vorbestimmte Freiraumgesten zu erfassen, die von dem Benutzer U innerhalb des FOV 115 des Sensors 110 ausgeführt werden. Insbesondere können eine oder mehrere dieser Gesten als Gesten vorgegeben sein, die, wenn sie wahrscheinlich erkannt werden, die Bildaufnahme durch den Bildsensor 120 auslösen.In addition, the processing unit 130 be configured so that it can recognize one or more different predetermined gestures when these are represented by the sensor data received from the gesture detection sensor 110 to be delivered. The gesture detection sensor is accordingly 110 in combination with the processing unit 130 then able to capture one or more different, predetermined free space gestures made by the user U within the FOV 115 of the sensor 110 are executed. In particular, one or more of these gestures can be specified as gestures which, if they are likely to be recognized, the image recording by the image sensor 120 trigger.

Optional kann das System 105 ferner eine Kommunikationseinheit 135 aufweisen, die so konfiguriert ist, dass sie Daten über eine Kommunikationsverbindung mit einer fahrzeugexternen Verarbeitungsplattform 145, wie zum Beispiel einem Backend-Server, austauschen kann. Wie in 1 dargestellt, kann die Kommunikationsverbindung beispielsweise eine drahtlose Verbindung sein, und dementsprechend kann die Kommunikationseinheit 135 signaltechnisch mit einer Antenne 140 des Fahrzeugs 102 verbunden sein, um damit HF-Signale für die Kommunikation über die drahtlose Verbindung zu senden und zu empfangen. Insbesondere kann der Aufbau dazu verwendet werden, Sensordaten, die von dem Gestenerfassungssensor 110 erzeugt werden, an die Verarbeitungsplattform 145 zu übermitteln, um eine ähnliche Verarbeitung wie oben mit Bezug auf die Verarbeitungseinheit 130 im Zusammenhang mit der Gestenerkennung durchzuführen. Dies kann insbesondere dann vorteilhaft sein, wenn eine beträchtliche Anzahl von verschiedenen und manchmal komplexen Gesten zuverlässig erkannt werden muss, so dass eine starke Verarbeitungsleistung erforderlich ist, um die Erkennung und Unterscheidung dieser verschiedenen Gesten durchzuführen. Typischerweise könnte es einfacher und effizienter sein, eine solche starke Rechenleistung außerhalb des Fahrzeugs auf einer dedizierten Verarbeitungsplattform 145 bereitzustellen, anstatt die Verarbeitungseinheit 130 als entsprechende Hochleistungs-Verarbeitungsplattform zu konzipieren. Der letztere Ansatz könnte alle möglichen negativen Auswirkungen haben, einschließlich höhere durchschnittliche Kosten für die Gestenerkennung pro Fahrzeug und Geste oder höhere Anforderungen hinsichtlich Platz-, Leistungs- oder Kühlungsbedarf usw.Optionally, the system 105 furthermore a communication unit 135 configured to receive data over a communication link with an off-vehicle processing platform 145 , such as a backend server. As in 1 shown, the communication link can be, for example, a wireless link, and accordingly the communication unit 135 signaling with an antenna 140 of the vehicle 102 so as to transmit and receive RF signals for communication over the wireless link. In particular, the structure can be used to collect sensor data from the gesture detection sensor 110 are generated to the processing platform 145 to be transmitted to processing similar to the above with respect to the processing unit 130 in connection with gesture recognition. This can be particularly advantageous when a considerable number of different and sometimes complex gestures must be reliably recognized, so that a large amount of processing power is required in order to carry out the recognition and differentiation of these various gestures. Typically, it could be simpler and more efficient to have such a large amount of computing power outside the vehicle on a dedicated processing platform 145 instead of the processing unit 130 to be designed as a corresponding high-performance processing platform. The latter approach could have all sorts of negative effects, including higher average gesture recognition costs per vehicle per gesture, or higher space, power, or cooling requirements, etc.

Es wird nun auf die 2 Bezug genommen, gemäß der ein allgemeines Konzept 200, das dem Verfahren der vorliegenden Erfindung zugrunde liegt, aufweist (i) einen Prozess zum Erfassen 205, mittels eines Freiraumgesten-Erfassungssensors 110, einer spezifischen (d. h. nach einem entsprechenden vorbestimmten Gestenunterscheidungskriterium „qualifizierenden“) vorbestimmten Freiraumgeste G, die von einem Benutzer U ausgeführt wird, (ii) wenn eine solche qualifizierende Geste G erkannt wird, das Auslösen 210 einer Aufnahme 210 von Bildern 215, zum Beispiel von einem oder mehreren einzelnen Fotos oder einer Sequenz von Fotos (zum Beispiel einem Video), durch einen Bildsensor 120, zum Beispiel eine 2D- oder 3D-Foto- oder Videokamera.It is now on the 2 Reference is made according to a general concept 200 , on which the method of the present invention is based, comprises (i) a process for acquiring 205 , by means of a free space gesture detection sensor 110 , a specific (ie “qualifying” according to a corresponding predetermined gesture differentiation criterion) predetermined free space gesture G, which is carried out by a user U, (ii) if such a qualifying gesture G is recognized, triggering 210 a recording 210 of pictures 215 , for example from one or more individual photos or a sequence of photos (e.g. a video), by an image sensor 120 , for example a 2D or 3D photo or video camera.

Es wird nun auf die 3 Bezug genommen, die ein Verfahren 300 nach einer Ausführungsform der vorliegenden Erfindung zeigt. Darüber hinaus wird zur besseren Erläuterung und ohne Einschränkung zusätzlich nochmals auf das in 1 dargestellte Fahrzeug verwiesen. Das Verfahren 300 weist einen Schritt 305 auf, bei dem ein Freiraumgesten-Erfassungssensor 110 vom Typ TOF-Kamera kontinuierlich „Ausschau hält“, d.h. sein Sichtfeld 115 auf Freiraumgesten, die von einem Benutzer U, zum Beispiel einem Fahrer oder einem anderen Insassen des Fahrzeugs 100 ausgeführt werden, überwacht. Wenn der Gestenerfassungssensor 110 aktiviert ist, kann auch seine Beleuchtungseinheit 111 aktiviert sein, um das Sichtfeld 115 zu beleuchten, während die Beleuchtungseinheit 121 des Bildsensors 120 zu dieser Zeit deaktiviert ist. Dementsprechend wird die Erfassungsaktivität des Gestenerfassungssensors 110 durch Strahlung, die von der Beleuchtungseinheit 121 des Bildsensors 120 ausgesandt wird, nicht negativ beeinflusst (Desynchronisation).It is now on the 3 Referred to that a procedure 300 according to an embodiment of the present invention. In addition, for a better explanation and without restriction, reference is made again to the in 1 referenced vehicle. The procedure 300 has a step 305 on which a free space gesture detection sensor 110 of the TOF camera type continuously “looks out”, ie its field of view 115 to free space gestures made by a user U, for example a driver or another occupant of the vehicle 100 executed, monitored. When the gesture detection sensor 110 is activated, its lighting unit can also 111 be activated to the field of view 115 to illuminate while the lighting unit 121 of the image sensor 120 is disabled at this time. Accordingly, the detection activity of the gesture detection sensor becomes 110 by radiation emitted by the lighting unit 121 of the image sensor 120 is sent, not negatively influenced (desynchronization).

In einem weiteren Schritt 310 werden die vom Gestenerfassungssensor 110 gelieferten Sensordaten verarbeitet, um festzustellen, (i) ob eine vorbestimmte Geste auf der Grundlage der Sensordaten erkannt werden kann (Auswertungsteilschritt 315), (ii) wenn ja, ob eine solche erkannte Geste eine qualifizierende Geste gemäß einem vorgegebenen Qualifikationskriterium zur Unterscheidung von Gesten, die mit der Bildaufnahme verbunden sind, von irgendwelchen anderen möglichen vorbestimmten Gesten für andere Zwecke ist (Auswertungsteilschritt 320), und (iii) für den Fall, dass es eine vordefinierte Menge von mehreren qualifizierenden Gesten für die Aufnahme von Bildern gibt, von welcher Art die erkannte qualifizierende Geste ist, d. h. welcher der vorbestimmten Gesten in der Menge sie entspricht (Auswertungsteilschritt 325).In a further step 310 are those from the gesture detection sensor 110 The sensor data supplied are processed in order to determine (i) whether a predetermined gesture can be recognized on the basis of the sensor data (evaluation sub-step 315 ), (ii) if so, whether such a recognized gesture is a qualifying gesture according to a predetermined qualification criterion for distinguishing gestures associated with the image recording from any other possible predetermined gestures for other purposes (evaluation sub-step 320 ), and (iii) in the event that there is a predefined set of several qualifying gestures for the recording of images, of what type the recognized qualifying gesture is, ie which of the predetermined gestures in the set it corresponds to (evaluation sub-step 325 ).

Wenn nach den Ergebnissen einer solchen Verarbeitung entweder keine vorbestimmte Geste erkannt wurde (315 - nein) oder eine erkannte Geste keine nach dem Qualifikationskriterium qualifizierende ist (320 - nein), kehrt das Verfahren zum Schritt 305 in den „Ausschau Halten“-Modus zurück. Andernfalls (315 - ja und 320 - ja) zweigt das Verfahren je nach der Art der qualifizierenden Geste, die in dem Auswertungsteilschritt 325 ermittelt wurde, ab. In dem vorliegenden Beispiel gibt es zwei vordefinierte Freiraumgesten in der Menge der qualifizierenden Gesten, nämlich eine erste Geste, die dem entspricht, dass der Benutzer U mit einer seiner Hände eine „offene Hand“ bildet, und eine zweite Geste, die dem entspricht, dass der Benutzer U mit zwei Fingern einer seiner Hände eine „V-Form“ bildet.If, according to the results of such processing, either no predetermined gesture was recognized ( 315 - no) or a recognized gesture is not a qualifying one according to the qualification criterion ( 320 - no), the procedure returns to step 305 return to the “keep an eye out” mode. Otherwise ( 315 - Yes and 320 - yes) the method branches off depending on the type of qualifying gesture in the evaluation substep 325 was determined from. In the present example there are two predefined free space gestures in the set of qualifying gestures, namely a first gesture which corresponds to the fact that the user U forms an “open hand” with one of his hands, and a second gesture which corresponds to that the user U forms a "V-shape" with two fingers of one of his hands.

Wenn die erkannte qualifizierende Geste vom Typ „offene Hand“ ist, dann wird in einem Schritt 330 ein voreingestellter Timer (zum Beispiel 5 Sekunden) ausgelöst, und das Verfahren 300 wartet dann bis zum Ablauf des Timers, bevor es mit einem Schritt 335 fortfährt, in dem die Bildaufnahme durch den Bildsensor 120 ausgelöst wird, während die Beleuchtungseinheit 111 des Gestenerfassungssensors deaktiviert wird. Wenn jedoch die erkannte qualifizierende Geste vom Typ „V-Form“ ist, dann folgt Schritt 335 unmittelbar auf den Teilschritt 325, wodurch der Schritt 330 ausgelassen wird.If the recognized qualifying gesture is of the “open hand” type, then in one step 330 a preset timer (for example 5 seconds) triggered, and the procedure 300 then waits for the timer to expire before taking a step 335 continues in which the image is captured by the image sensor 120 is triggered while the lighting unit 111 of the gesture detection sensor is deactivated. However, if the recognized qualifying gesture is of the "V-shape" type, then step follows 335 directly to the partial step 325 making the step 330 is left out.

Schließlich werden Bilddaten, die von dem Bildsensor 120 erzeugt werden und die das eine oder mehrere Bilder darstellen, die bei dem Ausführen des Auslöseschritts 335 entsprechend vom Innenraum des Fahrzeugs 100 aufgenommen werden, in einem Speicher abgelegt oder an einer entsprechenden Schnittstelle, zum Beispiel an einer Datenschnittstelle oder einem Monitor im Fahrzeug 100, ausgegeben. Das Verfahren 300 kehrt dann für einen weiteren Durchlauf zum Schritt 305 zurück.Finally, image data received from the image sensor 120 are generated and which represent the one or more images that are generated during the execution of the triggering step 335 accordingly from the interior of the vehicle 100 be recorded, stored in a memory or at a corresponding interface, for example at a data interface or a monitor in the vehicle 100 , issued. The procedure 300 then returns to step for one more pass 305 return.

Während vorausgehend wenigstens eine beispielhafte Ausführungsform der vorliegenden Erfindung beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, wie die vorliegende Erfindung umgesetzt werden kann, und dass es nicht beabsichtigt ist, den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zu Implementierung mindestens einer beispielhaften Ausführungsform der Erfindung liefern, wobei es sich zu verstehen hat, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der Elemente der beispielhaften Ausführungsform vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.While at least one exemplary embodiment of the present invention has been described above, it should be understood that a large number of variations thereon exist. It should also be noted that the exemplary embodiments described only represent non-limiting examples of how the present invention can be implemented and that it is not intended to limit the scope, applicability or configuration of the devices and methods described here. Rather, the preceding description will provide a person skilled in the art with instructions for implementing at least one exemplary embodiment of the invention, it being understood that various changes in the mode of operation and the arrangement of the elements of the exemplary embodiment can be made without the dependency on the in the subject matter specified in each case and its legal equivalents are deviated from the attached claims.

BezugszeichenlisteList of reference symbols

100100
Fahrzeugvehicle
105105
System für das auf Freiraumgesten basierende Auslösen von BildaufnahmenSystem for triggering image recordings based on free space gestures
110110
Freiraumgesten-Erfassungssensor vom Typ TOFTOF type free space gesture detection sensor
111111
Beleuchtungseinheit für Freiraumgesten-Erfassungssensor 110Lighting unit for free space gesture detection sensor 110
115115
Sichtfeld des Freiraumgesten-Erfassungssensors 110Field of view of the clearance gesture detection sensor 110
120120
Bildsensor, FotokameraImage sensor, photo camera
121121
Beleuchtungseinheit für Bildsensor 120Illumination unit for image sensor 120
125125
Sichtfeld des Bildsensors 120Field of view of the image sensor 120
130130
VerarbeitungseinheitProcessing unit
135135
KommunikationseinheitCommunication unit
140140
Antenne für drahtlose KommunikationsverbindungWireless communication link antenna
145145
Fahrzeug-externe Verarbeitungsplattform, zum Beispiel Server Processing platform external to the vehicle, for example server
200200
allgemeines Konzept, das dem Verfahren zugrunde liegt, zum Beispiel Verfahren 300general concept on which the method is based, for example method 300
205205
GestenerfassungsprozessGesture capture process
210210
AuslöseprozessTriggering process
215215
Bildaufnahme-Prozess Image acquisition process
300300
beispielhaftes Verfahren für ein auf Freiraumgesten basierendes Auslösen von Bildaufnahmenexemplary method for triggering image recordings based on free space gestures
305 - 340305-340
Schritte des Verfahrens 300Steps of method 300

Claims (16)

Verfahren (300) zum Auslösen einer Bildaufnahme des Innenraums eines Fahrzeugs, wobei das Verfahren (300) aufweist: unter Verwendung eines Freiraumgesten-Erfassungssensors (110), der in oder an einem Fahrzeug angebracht ist, das Erfassen einer spezifischen, vorbestimmten Freiraumgeste (G) die von einem menschlichen Benutzer in einem Sichtfeld (115) des Freiraumgesten-Erfassungssensors ausgeführt wird; und nach Erfassen der spezifischen, vorbestimmten Freiraumgeste (G) das Erzeugen eines Signals zum Auslösen eines Bildsensors, der nicht mit dem Freiraumgesten-Erfassungssensor (110) zusammenfällt und der in oder an dem Fahrzeug (100) so angebracht ist, dass sein Sichtfeld (125) den Innenraum des Fahrzeugs (100) zumindest teilweise abdeckt, um ein Bild oder eine Sequenz von Bildern aufzunehmen.Method (300) for triggering an image recording of the interior of a vehicle, the method (300) comprising: using a clearance gesture detection sensor (110) which is mounted in or on a vehicle, detecting a specific, predetermined clearance gesture (G) carried out by a human user in a field of view (115) of the clearance gesture detection sensor; and after detecting the specific, predetermined free space gesture (G), generating a signal for triggering an image sensor which does not coincide with the free space gesture detection sensor (110) and which is mounted in or on the vehicle (100) in such a way that its field of view (125) at least partially covers the interior of the vehicle (100) in order to record an image or a sequence of images. Verfahren (300) nach Anspruch 1, wobei sowohl der Freiraumgesten-Erfassungssensor (110) als auch der Bildsensor jeweils eine zugeordnete individuelle Beleuchtungseinheit (111; 121) haben, um ihre jeweiligen Sichtfelder während ihrer jeweiligen Erfassungsaktivität zumindest teilweise zu beleuchten, wobei das Verfahren (300) ferner aufweist: De-synchronisieren der Aktivitäten der Beleuchtungseinheiten des Freiraumgesten-Erfassungssensors (110) und des Bildsensors, so dass die Beleuchtungseinheiten nicht gleichzeitig aktiviert sind.Method (300) according to Claim 1 wherein both the free space gesture detection sensor (110) and the image sensor each have an associated individual lighting unit (111; 121) in order to at least partially illuminate their respective fields of view during their respective detection activity, the method (300) further comprising: synchronizing the activities of the lighting units of the clearance gesture detection sensor (110) and the image sensor so that the lighting units are not activated at the same time. Verfahren (300) nach einem der vorhergehenden Ansprüche, wobei der Freiraumgesten-Erfassungssensor (110) eine TOF-Kamera (Time of Flight) ist oder eine solche aufweist, die dazu verwendet wird, die spezifische, vorgegebene Freiraumgeste (G) zu erfassen.The method (300) according to any one of the preceding claims, wherein the free space gesture detection sensor (110) is or has a TOF (Time of Flight) camera which is used to detect the specific, predetermined free space gesture (G). Verfahren (300) nach einem der vorhergehenden Ansprüche, wobei der Bildsensor (120) eine 2D-Fotokamera ist oder eine solche aufweist, die so konfiguriert ist und verwendet wird, dass sie das Bild im sichtbaren oder infraroten Teil des elektromagnetischen Spektrums aufnimmt.The method (300) according to any one of the preceding claims, wherein the image sensor (120) is a 2D photo camera or has one that has such configured and used to pick up the image in the visible or infrared portion of the electromagnetic spectrum. Verfahren (300) nach einem der vorhergehenden Ansprüche, wobei das Erfassen der genannten spezifischen, vorbestimmten Freiraumgeste (G) wenigstens eines der Folgenden aufweist: Verarbeiten von Sensordaten, die von dem Freiraumgesten-Erfassungssensor (110) erzeugt werden, um zu prüfen, ob die Sensordaten eine Situation darstellen, in der ein Benutzer diese spezifische vorbestimmte Freiraumgeste (G) ausführt oder nicht; und Übermitteln von Sensordaten, die von dem Freiraumgesten-Erfassungssensor (110) erzeugt werden, an eine fahrzeugexterne Verarbeitungsplattform und als Antwort darauf Empfangen von Ergebnisdaten, die von der Verarbeitungsplattform erzeugt werden und die anzeigen, ob die Sensordaten eine Situation darstellen, in der ein Benutzer diese spezifische vorbestimmte Freiraumgeste (G) ausführt oder nicht.The method (300) according to any one of the preceding claims, wherein the capturing of said specific, predetermined free space gesture (G) comprises at least one of the following: Processing sensor data generated by the free space gesture detection sensor (110) to check whether the sensor data represents a situation in which a user makes this specific predetermined free space gesture (G) or not; and Transmitting sensor data, which are generated by the clearance gesture detection sensor (110), to a processing platform external to the vehicle and, in response thereto, receiving result data which are generated by the processing platform and which indicate whether the sensor data represent a situation in which a user does this performs or does not perform specific predetermined clearance gesture (G). Verfahren (300) nach Anspruch 5, wobei die Verarbeitung der Sensordaten getrennt von einem Verfahren zur Steuerung des Freiraumgesten-Erfassungssensors (110) und des Bildsensors (120) durchgeführt wird.Method (300) according to Claim 5 wherein the processing of the sensor data is carried out separately from a method for controlling the free space gesture detection sensor (110) and the image sensor (120). Verfahren (300) nach einem der vorhergehenden Ansprüche, wobei jede einer vorgegebenen begrenzten Menge von mehreren verschiedenen vorgegebenen Freiraumgesten, die möglicherweise von dem Benutzer ausgeführt werden können, als diese spezifische vorgegebene Freiraumgeste (G) darstellend definiert wird.The method (300) according to any one of the preceding claims, wherein each of a predetermined limited set of a plurality of different predetermined free space gestures that can possibly be performed by the user is defined as representing this specific predetermined free space gesture (G). Verfahren (300) nach Anspruch 7, wobei: das Erfassen der spezifischen Freiraumgeste (G) das Erfassen aufweist, welche der mehreren vorgegebenen Freiraumgesten aus dieser Menge von dem Benutzer ausgeführt wird; und der Zeitpunkt des Auslösens des Bildsensors (120) zur Aufnahme eines Bildes oder einer Sequenz von Bildern auf der Grundlage dessen bestimmt wird, welche der mehreren vorgegebenen Freiraumgesten aus dieser Menge erfasst wird.Method (300) according to Claim 7 wherein: detecting the specific free space gesture (G) comprises detecting which of the plurality of predetermined free space gestures from this set is carried out by the user; and the time at which the image sensor (120) is triggered to record an image or a sequence of images is determined on the basis of which of the plurality of predetermined free space gestures is detected from this set. Verfahren (300) nach einem der vorhergehenden Ansprüche, wobei eine von dem Benutzer ausgeführte Geste (G) als der spezifischen, vorbestimmten Freiraumgeste (G) genügend definiert ist, wenn sie eine der Folgenden ist: eine Geste, bei welcher der Benutzer zwei Finger einer Hand so spreizt, dass eine V-Form im Sichtfeld des Freiraumgesten-Erfassungssensors dargestellt wird; eine Geste, bei welcher der Benutzer eine offene Hand im Sichtfeld des Freiraumgesten-Erfassungssensors zeigt.Method (300) according to one of the preceding claims, wherein a gesture (G) carried out by the user is sufficiently defined as the specific, predetermined free space gesture (G) if it is one of the following: a gesture in which the user spreads two fingers of one hand so that a V-shape is displayed in the field of view of the clearance gesture detection sensor; a gesture in which the user shows an open hand in the field of view of the clearance gesture detection sensor. System zum Auslösen von Bildaufnahmen des Innenraums eines Fahrzeugs, wobei das System aufweist: einen Freiraumgesten-Erfassungssensor (110), der in oder an einem Fahrzeug (100) angebracht ist oder zur Anbringung in oder an einem Fahrzeug (100) eingerichtet ist, und der eingerichtet ist, eine spezifische, vorbestimmte Freiraumgeste (G) zu erfassen, die von einem menschlichen Benutzer ausgeführt wird; und einen Bildsensor, der nicht mit dem Freiraumgesten-Erfassungssensor (110) zusammenfällt und der so in oder an dem Fahrzeug (100) angebracht ist oder zur Anbringung in oder an dem Fahrzeug (100) eingerichtet ist, dass sein Sichtfeld den Innenraum des Fahrzeugs (100) zumindest teilweise abdeckt; wobei das System dazu eingerichtet ist, das Verfahren (300) nach einem der vorhergehenden Ansprüche auszuführen.A system for triggering images of the interior of a vehicle, the system comprising: a clearance gesture detection sensor (110) which is mounted in or on a vehicle (100) or is adapted for mounting in or on a vehicle (100), and which is adapted to detect a specific, predetermined clearance gesture (G) which executed by a human user; and an image sensor which does not coincide with the clearance gesture detection sensor (110) and which is so mounted in or on the vehicle (100) or is adapted for mounting in or on the vehicle (100) that its field of view the interior of the vehicle ( 100) at least partially covers; wherein the system is set up to carry out the method (300) according to one of the preceding claims. System nach Anspruch 10, wobei der Freiraumgesten-Erfassungssensor (110) relativ zu dem Bildsensor so angeordnet ist, dass sein Sichtfeld im Innenraum des Fahrzeugs (100) zumindest teilweise außerhalb des Sichtfeldes des Bildsensors (120) liegt.System according to Claim 10 wherein the free space gesture detection sensor (110) is arranged relative to the image sensor such that its field of view in the interior of the vehicle (100) is at least partially outside the field of view of the image sensor (120). System nach Anspruch 10 oder 11, wobei wenigstens einer von dem Freiraumgesten-Erfassungssensor (110) und dem Bildsensor (120) außerhalb eines in dem Innenraum des Fahrzeugs (100) befindlichen Fahrgastraums an dem Fahrzeug (100) angebracht oder zur dortigen Anbringung konfiguriert ist und mit einem entsprechenden Sichtfeld ausgestattet ist, das sich zumindest teilweise in den Fahrgastraum hinein erstreckt.System according to Claim 10 or 11 wherein at least one of the clearance gesture detection sensor (110) and the image sensor (120) is attached to the vehicle (100) outside a passenger compartment located in the interior of the vehicle (100) or is configured to be attached there and is equipped with a corresponding field of view , which extends at least partially into the passenger compartment. System nach Anspruch 12, wobei der wenigstens eine von dem Freiraumgesten-Erfassungssensor (110) und dem Bildsensor (120) an einer Außenspiegelanordnung des Fahrzeugs angebracht ist oder zur dortigen Anbringung konfiguriert ist.System according to Claim 12 wherein the at least one of the clearance gesture detection sensor (110) and the image sensor (120) is attached to or configured to be attached to an exterior mirror assembly of the vehicle. System nach Anspruch 10 oder 11, wobei: der Freiraumgesten-Erfassungssensor (110) an einem Dachmodul des Fahrzeugs montiert oder darin integriert ist oder so konfiguriert ist, dass er an einem Dachmodul des Fahrzeugs montiert oder darin integriert werden kann; und der Bildsensor (120) an einem Rückspiegel in dem Fahrzeug montiert oder darin integriert ist oder so konfiguriert ist, dass er an einem Rückspiegel in dem Fahrzeug montiert oder darin integriert werden kann.System according to Claim 10 or 11 wherein: the clearance gesture detection sensor (110) is mounted on or integrated into a roof module of the vehicle or is configured to be mounted on or integrated into a roof module of the vehicle; and the image sensor (120) is mounted on or integrated into a rearview mirror in the vehicle or is configured to be mounted on or integrated into a rearview mirror in the vehicle. Fahrzeug (100), das ein System nach einem der Ansprüche 10 bis 14 zum Auslösen einer Bildaufnahme von zumindest einem Teil des Innenraums des Fahrzeugs aufweist.Vehicle (100) that has a system according to one of the Claims 10 until 14th for triggering an image recording of at least part of the interior of the vehicle. Computerprogramm, das Anweisungen enthält, um das System nach einem der Ansprüche 10 bis 14 dazu zu veranlassen, das Verfahren (300) nach einem der Ansprüche 1 bis 9 auszuführen.Computer program containing instructions to run the system according to one of the Claims 10 until 14th to cause the method (300) according to one of the Claims 1 until 9 to execute.
DE102020106003.3A 2020-03-05 2020-03-05 METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE Pending DE102020106003A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020106003.3A DE102020106003A1 (en) 2020-03-05 2020-03-05 METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE
PCT/EP2021/054958 WO2021175749A1 (en) 2020-03-05 2021-03-01 Method and system for triggering picture-taking of the interior of a vehicle based on a detection of a free-space gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020106003.3A DE102020106003A1 (en) 2020-03-05 2020-03-05 METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE

Publications (1)

Publication Number Publication Date
DE102020106003A1 true DE102020106003A1 (en) 2021-09-09

Family

ID=74853627

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020106003.3A Pending DE102020106003A1 (en) 2020-03-05 2020-03-05 METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE

Country Status (2)

Country Link
DE (1) DE102020106003A1 (en)
WO (1) WO2021175749A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020106021A1 (en) 2020-03-05 2021-09-09 Gestigon Gmbh METHOD AND SYSTEM FOR OPERATING A SELECTION MENU OF A GRAPHIC USER INTERFACE BASED ON THE CAPTURE OF A ROTATING CLEAR GESTURE
CN114347788A (en) * 2021-11-30 2022-04-15 岚图汽车科技有限公司 Service-oriented intelligent cabin man-machine interaction key control system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923355A (en) * 2021-09-30 2022-01-11 上海商汤临港智能科技有限公司 Vehicle, image shooting method, device, equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162039A1 (en) 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
US20170013188A1 (en) 2014-09-19 2017-01-12 Be Topnotch, Llc Smart vehicle sun visor
WO2018195671A1 (en) 2017-04-28 2018-11-01 Klashwerks Inc. In-vehicle monitoring system and devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10723267B2 (en) * 2014-09-19 2020-07-28 Be Topnotch, Llc Display rear passenger view on a display screen in vehicle
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
DE102018211908A1 (en) * 2018-07-17 2020-01-23 Audi Ag Method for capturing a digital image of an environment of a motor vehicle and motor vehicle with an image capturing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162039A1 (en) 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
US20170013188A1 (en) 2014-09-19 2017-01-12 Be Topnotch, Llc Smart vehicle sun visor
WO2018195671A1 (en) 2017-04-28 2018-11-01 Klashwerks Inc. In-vehicle monitoring system and devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020106021A1 (en) 2020-03-05 2021-09-09 Gestigon Gmbh METHOD AND SYSTEM FOR OPERATING A SELECTION MENU OF A GRAPHIC USER INTERFACE BASED ON THE CAPTURE OF A ROTATING CLEAR GESTURE
CN114347788A (en) * 2021-11-30 2022-04-15 岚图汽车科技有限公司 Service-oriented intelligent cabin man-machine interaction key control system
CN114347788B (en) * 2021-11-30 2023-10-13 岚图汽车科技有限公司 Intelligent cabin man-machine interaction key control system based on service

Also Published As

Publication number Publication date
WO2021175749A1 (en) 2021-09-10

Similar Documents

Publication Publication Date Title
DE102020106003A1 (en) METHOD AND SYSTEM FOR TRIGGERING A PICTURE RECORDING OF THE INTERIOR OF A VEHICLE BASED ON THE DETERMINATION OF A GESTURE OF CLEARANCE
EP2623374B1 (en) Vision system for commercial vehicles for the display of the statutory fields of view of a main mirror and a wide-angle mirror
DE112015001804B4 (en) On-board image display device, on-board image display method for vehicle, and on-board image setting device
DE102018105951B4 (en) METHOD FOR DYNAMICALLY DISPLAYING IMAGES ON AN ELECTRONIC DISPLAY DEVICE OF A VEHICLE
DE102018110419A1 (en) USE OF NIR LIGHTING DEVICES TO IMPROVE VEHICLE CAMERA PERFORMANCE IN SCENARIOS WITH WEAK LIGHT
DE102013019138A1 (en) A method for detecting a hidden state of a camera, camera system and motor vehicle
DE102016220979A1 (en) Method and apparatus for controlling operation of a side and rear surveillance camera system
DE102018212655A1 (en) Detection of the intention to move a pedestrian from camera images
DE102013221668A1 (en) A system and method for providing a user interface in the vehicle, wherein recognizing a handheld shape track is used
DE102013019210A1 (en) Lighting device for the passenger compartment of a motor vehicle and method for controlling the lighting device
DE102019123219A1 (en) Dual mode vehicle camera for Visual Light Communication
DE112018007360T5 (en) Image processing apparatus, image display system and image processing method
WO2016124278A1 (en) Determination of a position of a non-vehicle object in a vehicle
EP3230828A1 (en) Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units
DE102012204541B4 (en) Method and device for image processing of image data
DE102009026091A1 (en) Method for monitoring three-dimensional spatial area, particularly work cell of automatic working machine, for e.g. robot, involves accomplishing independent scene analysis of images in or for each camera
WO2018149768A1 (en) Automated activation of a vision support system
DE102020103653A1 (en) VEHICLE IMAGE DISPLAY SYSTEM AND METHOD FOR A PARKING SOLUTION
DE102016217037A1 (en) Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
DE102012025580A1 (en) Method of operating camera system of motor vehicle, involves setting current parameter value of parameter of slave camera in dependence on current parameter value of same parameter of master camera
DE102018218480A1 (en) VEHICLE CONTROL
EP3106349B1 (en) Vision system for a commercial vehicle for the display of the statutory fields of view of a main mirror and a wide-angle mirror
DE102020134814A1 (en) Device for monitoring the surroundings of a vehicle
EP2312525A2 (en) Method and camera system for generating images for transfer to an external control unit
DE102020210055A1 (en) Method and device for monitoring the interior of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed