DE102013021929A1 - Motor vehicle with cameras and image analysis devices - Google Patents
Motor vehicle with cameras and image analysis devices Download PDFInfo
- Publication number
- DE102013021929A1 DE102013021929A1 DE102013021929.9A DE102013021929A DE102013021929A1 DE 102013021929 A1 DE102013021929 A1 DE 102013021929A1 DE 102013021929 A DE102013021929 A DE 102013021929A DE 102013021929 A1 DE102013021929 A1 DE 102013021929A1
- Authority
- DE
- Germany
- Prior art keywords
- analysis
- camera
- analysis device
- data
- motor vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title description 3
- 238000004458 analytical method Methods 0.000 claims abstract description 172
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 230000008878 coupling Effects 0.000 claims abstract description 31
- 238000010168 coupling process Methods 0.000 claims abstract description 31
- 238000005859 coupling reaction Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000001931 thermography Methods 0.000 claims description 7
- 238000004378 air conditioning Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 2
- 238000003331 infrared imaging Methods 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 12
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 230000003699 hair surface Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs (10), welches zumindest zwei Kameras (16, 18) sowie für jede Kamera (16, 18) eine jeweilige Analyseeinrichtung (20, 24) zum kamerabildbasierten Ermitteln eines jeweiligen Eigenschaftsparameters (E1, E2) einer von den Kameras (16, 18) gefilmten Person (12) aufweist, wobei die Analyseeinrichtungen (20, 24) mittels ihres jeweiligen Eigenschaftsparameters (E1, E2) zumindest ein Fahrzeugsystem (22, 26) steuern. Der Erfindung liegt die Aufgabe zugrunde, zumindest einen der Eigenschaftsparameter (E1, E2) zuverlässiger zu ermitteln. Eine Koppeleinrichtung (28) steuert hierzu bei zumindest einer der Analyseeinrichtungen (20, 24) eine Segmentierung (38, 38') und/oder eine Merkmalsextraktion (40, 40') und/oder die auf der Segmentierung (38, 38') und/oder der Merkmalsextraktion (40, 40') basierende Ermittlung des jeweiligen Eigenschaftsparameters (E1, E2) in Abhängigkeit von Analysedaten (S1, S2, F1, F2, E1, E2) der jeweils übrigen Analyseeinrichtungen (20, 24).The invention relates to a method for operating a motor vehicle (10), which has at least two cameras (16, 18) and a respective analysis device (20, 24) for camera-based determination of a respective property parameter (E1, E2) for each camera (16, 18). a person (12) filmed by the cameras (16, 18), wherein the analysis devices (20, 24) control at least one vehicle system (22, 26) by means of their respective property parameter (E1, E2). The object of the invention is to determine at least one of the property parameters (E1, E2) more reliably. For this purpose, a coupling device (28) controls at least one of the analysis devices (20, 24) a segmentation (38, 38 ') and / or a feature extraction (40, 40') and / or on the segmentation (38, 38 ') and or the feature extraction (40, 40 ') based determination of the respective property parameter (E1, E2) in dependence on analysis data (S1, S2, F1, F2, E1, E2) of the respective remaining analysis means (20, 24).
Description
Die Erfindung betrifft ein Kraftfahrzeug, welches zwei Kameras sowie für jede Kamera eine jeweilige Analyseeinrichtung zum kamerabildbasierten Ermitteln von Eigenschaftsparametern einer von den Kameras gefilmten Person aufweist. Ein solcher Eigenschaftsparameter kann beispielsweise die Kopfposition der Person oder die Blickrichtung der Person angeben. Zumindest eine der Analyseeinrichtungen übergibt den ermittelten Eigenschaftswert an ein Fahrzeugsystem, welches in Abhängigkeit von dem Eigenschaftsparameter eine vorbestimmte Funktion in dem Kraftfahrzeug bereitstellt.The invention relates to a motor vehicle which has two cameras and, for each camera, a respective analysis device for camera-image-based determination of property parameters of a person filmed by the cameras. Such a property parameter may indicate, for example, the person's head position or the person's line of sight. At least one of the analysis devices transfers the determined property value to a vehicle system, which provides a predetermined function in the motor vehicle as a function of the property parameter.
Hierzu ist aus der
Aus der
Aus der
Aus der
Aus der
Aus der
Zusammenfassend sind somit aus dem Stand der Technik Kamerasysteme bekannt, die den Fahrer beziehungsweise andere Fahrzeuginsassen beobachten. Aus den Bilddaten der Kamerasysteme werden Eigenschaftsparameter der beobachteten Person zum Steuern von Fahrzeugsystemen, wie zum Beispiel Komfortsystemen, Assistenzsystemen oder Sicherheitssystemen, ermittelt. Wichtig hierbei ist die geeignete Wahl des Erfassungs- oder Funktionsprinzips (z. B. Farbbild oder Infrarot) des verwendeten Kamerasystems, um die für die Steuerung des jeweiligen Fahrzeugsystems benötigten Eigenschaftsparameter der gefilmten Person robust und z. B. unter möglichst vielen Beleuchtungssituationen zuverlässig ermitteln zu können.In summary, camera systems are known from the prior art that observe the driver or other vehicle occupants. Property parameters of the observed person for controlling vehicle systems, such as comfort systems, assistance systems or safety systems, are determined from the image data of the camera systems. Important here is the suitable choice of the detection or operating principle (eg color image or infrared) of the camera system used to robust and required for the control of the vehicle system property parameters of the filmed person. B. to be able to reliably determine under as many lighting situations.
Der Erfindung liegt die Aufgabe zugrunde, einen Eigenschaftsparameter, der zum Steuern von zumindest einem Fahrzeugsystem verwendet werden soll, zuverlässig zu ermitteln.The object of the invention is to reliably determine a property parameter which is to be used for controlling at least one vehicle system.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.The object is solved by the subject matters of the independent claims. Advantageous developments of the invention will become apparent from the features of the dependent claims.
Die Erfindung beruht auf der Idee, Analyseeinrichtungen, die aus Bilddaten unterschiedlicher Kameras jeweils einen eigenen Eigenschaftsparameter extrahieren, miteinander zu koppeln, um hierdurch zumindest eine der Analyseeinrichtungen bei ihrer Analyse mittels Analysedaten einer anderen Analyseeinrichtung zu unterstützen. Beispielsweise kann man ein Eye-Tracking-System, welches als Eigenschaftsparameter eine Blickrichtung ermittelt, dahingehend unterstützen, dass beispielsweise ein Analysesystem, welches Wärmebilddaten einer Wärmebild-Kamera analysiert, Informationen zur Position des Gesichtes an die Analyseeinrichtung des Eye-Tracking-Systems überträgt. Dann kann verifiziert werden, ob überhaupt die Augen richtig erkannt wurden.The invention is based on the idea of coupling analysis devices, which each extract a separate property parameter from image data from different cameras, in order thereby to support at least one of the analysis devices in their analysis by means of analysis data from another analysis device. For example, one can support an eye-tracking system, which determines a viewing direction as a property parameter, such that, for example, an analysis system which analyzes thermal image data of a thermal imaging camera transmits information on the position of the face to the analysis device of the eye-tracking system. Then it can be verified, if the eyes were recognized correctly.
Allgemein sieht die Erfindung ein Kraftfahrzeug vor, welches eine erste Kamera zum Filmen einer Person sowie eine erste Analyseeinrichtung aufweist, also z. B. einen Eyetracker, wobei die erste Analyseeinrichtung dazu ausgelegt ist, aus Bilddaten der ersten Kamera einen die Person beschreibenden ersten Eigenschaftsparameter zu ermitteln. Zusätzlich ist eine zweite Kamera zum Filmen derselben Person sowie eine zweite Analyseeinrichtung bereitgestellt, also z. B. die Wärmebildauswertung, wobei die zweite Analyseeinrichtung dazu ausgelegt ist, aus den Bilddaten der zweiten Kamera einen die Person beschreibenden zweiten Eigenschaftsparameter zu ermitteln.Generally, the invention provides a motor vehicle, which has a first camera for filming a person and a first analysis device, ie z. B. an eye tracker, the first Analysis device is designed to determine from image data of the first camera a person describing the first property parameter. In addition, a second camera for filming the same person and a second analysis device is provided, so z. B. the thermal image analysis, wherein the second analysis device is adapted to determine from the image data of the second camera a person describing the second property parameter.
Bei den beiden Kameras kann es sich um Kameras desselben Funktionsprinzips handeln oder dann sogar um dieselbe Kamera. Bevorzugt ist aber vorgesehen, dass die erste Kamera und die zweite Kamera ihre Bilddaten auf Grundlage unterschiedlicher Funktionsprinzipien erfassen, wobei die erste Kamera und die zweite Kamera bevorzugt jeweils eines der folgenden Funktionsprinzipien aufweisen: PMD (Photonic Mixing Device), Wärmebilderfassung, Infrarotbilderfassung, Farbbilderfassung, Farbintensitätsbilderfassung (Schwarz-Weiß), Stereoskopie. Im letzten Fall handelt es sich dann bei der entsprechenden Kamera um eine Stereokamera.The two cameras can be cameras of the same functional principle or even the same camera. However, it is preferably provided that the first camera and the second camera capture their image data on the basis of different functional principles, wherein the first camera and the second camera preferably each have one of the following functional principles: PMD (Photonic Mixing Device), thermal image acquisition, infrared image acquisition, color image acquisition, Color intensity image capture (black and white), stereoscopy. In the latter case, the corresponding camera is a stereo camera.
Bei den beiden Analyseeinrichtungen kann es sich um zwei an sich aus dem Stand der Technik bekannte, für die Steuerung derselben oder unterschiedlicher Fahrzeugsysteme bereitgestellte Analyseeinrichtungen handeln. Zumindest die erste Analyseeinrichtung ist dazu ausgelegt, zumindest ein Fahrzeugsystem durch ihren ersten Eigenschaftsparameter zu steuern, das heißt das zumindest eine Fahrzeugsystem ist dazu ausgelegt, in Abhängigkeit von dem ersten Eigenschaftsparameter eine vorbestimmte Funktion in dem Kraftfahrzeug bereitzustellen. Die zweite Analyseeinrichtung kann ihren Eigenschaftsparameter ebenfalls an das zumindest eine Fahrzeugsystem oder auch an ein anderes Fahrzeugsystem ausgeben. Bei dem zumindest einen Fahrzeugsystem handelt es sich bei entsprechenden Weiterbildungen der Erfindung um ein Fahrerassistenzsystem und/oder ein Sicherheitssystem zum Vermeiden von oder Schützen bei Verkehrsunfällen und/oder ein Klimatisierungssystem und/oder ein Infotainmentsystem und/oder ein Rear-Seat-Entertainmentsystem. Die beiden Analyseeinrichtungen können zum Ermitteln desselben Eigenschaftsparameters ausgelegt sein. Es ist aber bevorzugt vorgesehen, dass die beiden Analyseeinrichtungen unterschiedliche Eigenschaftsparameter ermitteln. Natürlich kann vorgesehen sein, dass eine oder beide der Analyseeinrichtungen auch mehrere Eigenschaftsparameter ermitteln, also beispielsweise sowohl eine Blickrichtung als auch einen Bewegungsvektor, welcher eine zeitliche Veränderung der Blickrichtung beschreibt.The two analysis devices may be two analysis devices known per se from the prior art and provided for the control of the same or different vehicle systems. At least the first analysis device is designed to control at least one vehicle system by its first property parameter, that is, the at least one vehicle system is configured to provide a predetermined function in the motor vehicle depending on the first property parameter. The second analysis device can also output its property parameter to the at least one vehicle system or also to another vehicle system. In the case of at least one vehicle system, corresponding refinements of the invention are a driver assistance system and / or a safety system for avoiding or protecting traffic accidents and / or an air conditioning system and / or an infotainment system and / or a rear seat entertainment system. The two analysis devices can be designed to determine the same property parameter. However, it is preferably provided that the two analysis devices determine different property parameters. Of course, it may be provided that one or both of the analysis devices also determine a plurality of property parameters, that is to say, for example, both a viewing direction and a motion vector which describes a temporal change of the viewing direction.
Um nun zumindest die erste Analyseeinrichtung beim Ermitteln des ersten Eigenschaftsparameters zu unterstützen, sind erfindungsgemäß die erste Analyseeinrichtung und die zweite Analyseeinrichtung über eine Koppeleinrichtung gekoppelt. Die Koppeleinrichtung ist dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Analysedaten zu betreiben, welche von der zweiten Analyseeinrichtung anhand der Bilddaten der zweiten Kamera ermittelt worden sind.In order to support at least the first analysis device when determining the first property parameter, according to the invention the first analysis device and the second analysis device are coupled via a coupling device. The coupling device is designed to operate the first analysis device as a function of analysis data that has been determined by the second analysis device on the basis of the image data of the second camera.
Die Erfindung weist den Vorteil auf, dass nun in der ersten Analyseeinrichtung Analysedaten, die die erste Analyseeinrichtung selbst anhand der Bilddaten der ersten Kamera ermittelt hat, überprüft werden können und/oder auf der Grundlage der Analysedaten der zweiten Analyseeinrichtung überhaupt erst hergeleitet werden können. Genauso kann der erste Eigenschaftsparameter nun nicht nur auf Grundlage der Bilddaten der ersten Kamera, sondern auch auf Grundlage der Analysedaten ermittelt werden. Mit anderen Worten wird mittels der Koppeleinrichtung der erste Eigenschaftsparameter nun zusätzlich in Abhängigkeit von Analysedaten der zweiten Analyseeinrichtung ermittelt.The invention has the advantage that analysis data which the first analysis device itself has determined on the basis of the image data of the first camera can now be checked in the first analysis device and / or can first be derived on the basis of the analysis data of the second analysis device. Likewise, the first property parameter can now be determined not only on the basis of the image data of the first camera, but also on the basis of the analysis data. In other words, the first property parameter is now additionally determined as a function of analysis data of the second analysis device by means of the coupling device.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Koppeleinrichtung auch umgekehrt Analysedaten, welche die erste Analyseeinrichtung auf Grundlage der Bilddaten der ersten Kamera ermittelt hat, zum Betreiben der zweiten Analyseeinrichtung nutzt.According to one embodiment of the invention, it is provided that the coupling device also conversely uses analysis data, which the first analysis device has determined on the basis of the image data of the first camera, for operating the second analysis device.
Weiterbildungen der Erfindung betreffen die von den beiden Analyseeinrichtungen ermittelten Eigenschaftsparameter. Die erste Analyseeinrichtung und/oder die zweite Analyseeinrichtung können jeweils dazu ausgelegt sein, zumindest einen aus den folgenden Eigenschaftsparametern zu ermitteln: eine Kopfposition, eine Kopfausrichtung (Lage der Kopfhochachse im Raum und/oder Richtungsvektor einer Gesichtsfläche des Kopfes), eine Blickrichtung, eine Handposition, eine Handstellung, eine Fingerstellung, eine Bewegungsrichtung, eine Bewegungsgeschwindigkeit.Further developments of the invention relate to the property parameters determined by the two analysis devices. The first analysis device and / or the second analysis device can each be designed to determine at least one of the following property parameters: a head position, a head orientation (position of the head vertical axis in space and / or direction vector of a face of the head), a viewing direction, a hand position , a hand position, a finger position, a movement direction, a movement speed.
Zusätzliche Weiterbildungen ergeben sich in Abhängigkeit davon, welche Analysedaten aus der zweiten Analyseeinrichtung die Koppeleinrichtung zum Betreiben der ersten Analyseeinrichtung nutzt oder umkehrt, welche Analysedaten der ersten Analyseeinrichtung zum Betreiben der zweiten Analyseeinrichtung. Der im Folgenden beschriebene erste Fall (erste Analyseeinrichtung betrieben durch Analysedaten der zweiten Analyseeinrichtung) gilt entsprechend umgekehrt auch für die den zweiten Fall (zweite Analyseeinrichtung betrieben durch Analysedaten der ersten Analyseeinrichtung).Additional developments arise as a function of which analysis data from the second analysis device uses or reverses the coupling device for operating the first analysis device, which analysis data of the first analysis device for operating the second analysis device. The first case described in the following (first analysis device operated by analysis data of the second analysis device) accordingly applies conversely also to the second case (second analysis device operated by analysis data of the first analysis device).
Gemäß einer Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Segmentierungsdaten der zweiten Analyseeinrichtung zu betreiben. Die Segmentierungsdaten beschreiben eine Segmentierung der Bilddaten der zweiten Kamera. Eine Segmentierung ist eine Einteilung eines durch die Bilddaten beschriebenen Bildes in Bildflächen, wobei Bildpunkte innerhalb einer jeweiligen Bildfläche ein jeweiliges vorbestimmtes Homogenitätskriterium erfüllen. Beispielsweise kann eine Bildfläche hautfarbene Bildpunkte aufweisen und eine benachbarte Bildfläche beispielsweise Bildpunkte einer bestimmten Haarfarbe. Hierdurch ergibt sich dann eine Segmentierung eines Bildes in Gesicht und Haarfläche. So kann beispielsweise eine durch die erste Analyseeinrichtung durchgeführte Segmentierung durch die Segmentierungsdaten der zweiten Analyseeinrichtung plausibilisiert, verifiziert oder ergänzt werden.According to a development, the coupling device is designed to enable the first analysis device as a function of segmentation data of the operate second analysis device. The segmentation data describe a segmentation of the image data of the second camera. A segmentation is a division of an image described by the image data into image areas, wherein pixels within a respective image area fulfill a respective predetermined homogeneity criterion. By way of example, one image surface may have skin-colored pixels, and an adjacent image surface may have, for example, pixels of a specific hair color. This results in a segmentation of an image in the face and hair area. Thus, for example, a segmentation performed by the first analysis device can be made plausible, verified or supplemented by the segmentation data of the second analysis device.
Gemäß einer anderen Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von Merkmalsdaten der zweiten Analyseeinrichtung zu betreiben. Merkmalsdaten beschreiben eine zu den Bilddaten der zweiten Kamera mittels einer Merkmalsextraktion ermittelte Zuordnung von Bildpunkten oder Bildflächen zu Körpermerkmalen der Person. Beispielsweise können Merkmalsdaten also angeben, dass eine bestimmtem Bildfläche Haare darstellt oder ein Gesicht oder eine Hand. Die Merkmalsdaten der zweiten Analyseeinrichtung können hierbei auf Segmentierungsdaten der zweiten Analyseeinrichtung beruhen. Beruht die erste Analyseeinrichtung beispielsweise auf einer Farbbildauswertung und stören Schlagschatten oder eine farbige Beleuchtung die Erkennung beispielsweise von Hautflächen, so kann als zweite Analyseeinrichtung beispielsweise die Bildanalyse einer Wärmebild-Kamera genutzt werden, da die Eigenwärme von unbedeckter Haut ein zuverlässiges Indiz für Hautflächen ist. So kann die zweite Analyseeinrichtung sehr viel robuster unbedeckte Haut erkennen und das Merkmal „Haut” für einzelne Bildpunkte oder bereits segmentierte Bildflächen an die Koppeleinrichtung übergeben, welche mittels dieser Merkmalsdaten die erste Analyseeinrichtung beim Segmentieren oder Klassifizieren von Bildflächen unterstützen kann oder die Klassifizierung sogar ganz ersetzen kann, da bereits in den Merkmalsdaten enthaltene Klassifizierungsergebnis der zweiten Analyseeinrichtung ausreicht. Mittels der Merkmalsdaten kann in der ersten Analyseeinrichtung auch beispielsweise plausibilisiert werden, ob die Erkennung von Augen korrekt ist, denn diese müssen sich innerhalb einer Bildfläche, welche ein Gesicht beschreibt, befinden.According to another development, the coupling device is designed to operate the first analysis device as a function of feature data of the second analysis device. Feature data describe a mapping of pixels or image areas to body features of the person determined with the image data of the second camera by means of a feature extraction. For example, feature data may indicate that a particular image area represents hair or a face or a hand. The feature data of the second analysis device can hereby be based on segmentation data of the second analysis device. If the first analysis device is based, for example, on a color image evaluation and if shadow or colored illumination disturbs the recognition of skin surfaces, for example, the image analysis of a thermal imaging camera can be used as the second analysis device since the self-heat of uncovered skin is a reliable indication of skin areas. Thus, the second analysis device can recognize much more robust uncovered skin and transfer the feature "skin" for individual pixels or already segmented image surfaces to the coupling device, which can support the first analysis device in segmenting or classifying image surfaces by means of this feature data or even completely replace the classification can, since already contained in the feature data classification result of the second analysis device is sufficient. By means of the feature data, for example, it can also be made plausible in the first analysis device whether the recognition of eyes is correct, because they must be located within an image area which describes a face.
Gemäß einer anderen Weiterbildung ist die Koppeleinrichtung dazu ausgelegt, die erste Analyseeinrichtung in Abhängigkeit von dem zumindest einen zweiten Eigenschaftswert zu betreiben. Mit anderen Worten wird das fertige Analyseergebnis, nämlich der zweite Eigenschaftswert, zum Steuern der ersten Analyseeinrichtung verwendet.According to another development, the coupling device is designed to operate the first analysis device as a function of the at least one second property value. In other words, the final analysis result, namely the second property value, is used to control the first analyzer.
Die im Folgenden erläuterten Weiterbildungen betreffen die Art und Weise, wie die Analysedaten der zweiten Analyseeinrichtung zum Betreiben der ersten Analyseeinrichtung genutzt werden können.The refinements explained below relate to the manner in which the analysis data of the second analysis device can be used to operate the first analysis device.
Die Koppeleinrichtung ist insbesondere dazu ausgelegt, Analysedaten der ersten Analyseeinrichtung (d. h. durch die erste Analyseeinrichtung anhand der Bilddaten der ersten Kamera ermittelte Daten) mittels der Analysedaten der zweiten Analyseeinrichtung zu plausibilisieren und/oder abzugleichen und/oder zu ergänzen und/oder zu ersetzen und/oder zu kombinieren. Mit Plausibilisieren ist hierbei gemeint, dass die Analysedaten der ersten Analyseeinrichtung mit den Analysedaten der zweiten Analyseeinrichtung verglichen werden und bei Übereinstimmung durch ein Konfidenz-Signal signalisiert wird, dass die Analysedaten der ersten Analyseeinrichtung richtig ermittelt worden sind. Bei Erkennen eines Unterschiedes wird dagegen durch das Konfidenz-Signal signalisiert, dass die Analysedaten von der ersten Analyseeinrichtung falsch ermittelt worden sind oder zumindest das Risiko einer Falscherkennung besteht. Mit Abgleichen ist gemeint, dass die erste Analyseeinrichtung so lange ihre Analysedaten beispielsweise iterativ ermittelt, bis diese Analysedaten mit den Analysedaten der zweiten Analyseeinrichtung mindestens bis auf einen vorbestimmten Toleranzwert übereinstimmen. Mit Ergänzen ist gemeint, dass die erste Analyseeinrichtung sowohl ihre eigenen Analysedaten als auch die Analysedaten der zweiten Analyseeinrichtung der Ermittlung des ersten Eigenschaftswerts zugrunde legt. Mit anderen Worten beruht der erste Eigenschaftswert dann auch auf Analysedaten, die die erste Analyseeinrichtung nicht selbst ermittelt hat, sondern die von der zweiten Analyseeinrichtung ermittelt worden sind. Mit Ersetzen ist gemeint, dass die Analysedaten der ersten Analyseeinrichtung verworfen werden und stattdessen die Analysedaten der zweiten Analyseeinrichtung verwendet werden. Dies kann beispielsweise in Abhängigkeit von jeweiligen Konfidenz-Werten für die Analysedaten der ersten Analyseeinrichtung und der zweiten Analyseeinrichtung entschieden werden, wenn die Wahrscheinlichkeit für eine Fehlerkennung der Analysedaten der ersten Analyseeinrichtung größer ist als diejenige für die zweite Analyseeinrichtung. Beispiele für solche Konfidenz-Werte sind an sich beispielsweise im Zusammenhang mit der Klassifizierung auf der Grundlage von Hidden-Markov-Modellen oder anderen statistischen Klassifikatoren bekannt. Mit Kombinieren ist gemeint, dass Analysedaten ermittelt werden, die sowohl auf den Analysedaten der ersten Analyseeinrichtung als auch auf denjenigen der zweiten Analyseeinrichtung beruhen. Beispielsweise kann eine gewichtete Summe aus den Analysedaten beider Analyseeinrichtungen berechnet werden. Die Gewichtung kann hierbei wieder auf den beschriebenen Konfidenz-Werten beruhen.The coupling device is in particular designed to validate and / or compare and / or replace analysis data of the first analysis device (ie data determined by the first analysis device based on the image data of the first camera) by means of the analysis data of the second analysis device and / or or to combine. By plausibility is meant that the analysis data of the first analysis device is compared with the analysis data of the second analysis device, and if it is matched by a confidence signal, it is signaled that the analysis data of the first analysis device has been correctly determined. When a difference is detected, however, it is signaled by the confidence signal that the analysis data has been incorrectly determined by the first analysis device or at least the risk of misrecognition exists. By matching, it is meant that the first analyzing means iteratively determines its analysis data, for example, until such analysis data coincide with the analysis data of the second analysis means at least up to a predetermined tolerance value. By supplementing it is meant that the first analysis device bases both its own analysis data and the analysis data of the second analysis device on the determination of the first property value. In other words, the first property value is then also based on analysis data which the first analysis device has not itself determined, but which have been determined by the second analysis device. By replacement is meant that the analysis data of the first analyzer is discarded and instead the analysis data of the second analyzer is used. This can be decided, for example, as a function of respective confidence values for the analysis data of the first analysis device and the second analysis device if the probability of an error detection of the analysis data of the first analysis device is greater than that for the second analysis device. Examples of such confidence values are known per se, for example, in the context of classification based on hidden Markov models or other statistical classifiers. By combining, it is meant that analysis data based on both the analysis data of the first analyzer and that of the second analyzer is detected. For example, a weighted sum of the Analysis data of both analysis facilities are calculated. The weighting can here again be based on the described confidence values.
Die bisher beschriebenen Ausführungsformen der Erfindung betreffen lediglich zwei Analyseeinrichtungen. Bevorzugt ist vorgesehen, dass bei dem Kraftfahrzeug zumindest eine weitere Analyseeinrichtung zum Ermitteln von zumindest einem die Person beschreibenden weiteren Eigenschaftsparameter aus Bilddaten zumindest einer weiteren Kamera bereitgestellt ist. Die Koppeleinrichtung ist dann dazu ausgelegt, die erste Analyseeinrichtung auch in Abhängigkeit von durch die zumindest eine weitere Analyseeinrichtung ermittelten Analysedaten zu betreiben. Mit anderen Worten nutzt also die erste Analyseeinrichtung Analysedaten sowohl der zweiten als auch der zumindest einen weiteren Analyseeinrichtung zum Ermitteln des ersten Eigenschaftsparameters.The embodiments of the invention described so far relate only to two analysis devices. It is preferably provided that in the motor vehicle at least one further analysis device for determining at least one further property parameter describing the person from image data of at least one further camera is provided. The coupling device is then designed to operate the first analysis device as a function of the analysis data determined by the at least one further analysis device. In other words, the first analysis device thus uses analysis data of both the second and the at least one further analysis device for determining the first property parameter.
Allgemein formuliert wird durch das erfindungsgemäße Kraftfahrzeug also das folgende erfindungsgemäße Verfahren durchgeführt, das darauf basiert, dass das Kraftfahrzeug zumindest zwei Kameras sowie für jede Kamera eine jeweilige Analyseeinrichtung zum kamerabildbasierten Ermitteln eines jeweiligen Eigenschaftsparameters einer von den Kameras gefilmten Person aufweist. Jede Analyseeinrichtung steuert hierbei mittels ihres jeweiligen Eigenschaftsparameters zumindest ein Fahrzeugsystem. Gemäß dem Verfahren steuert eine Koppeleinrichtung bei zumindest einer der Analyseeinrichtungen eine Segmentierung und/oder eine Merkmalsextraktion und/oder die insbesondere auf der Segmentierung und/oder der Merkmalsextraktion basierende Ermittlung des jeweiligen Eigenschaftsparameters in Abhängigkeit von Analysedaten der jeweils übrigen Analyseeinrichtungen.Generally speaking, the motor vehicle according to the invention thus carries out the following method based on the motor vehicle having at least two cameras and for each camera a respective analysis device for camera-image-based determination of a respective property parameter of a person filmed by the cameras. Each analysis device controls by means of their respective property parameter at least one vehicle system. According to the method, a coupling device controls in at least one of the analysis devices a segmentation and / or a feature extraction and / or the particular determination of the respective property parameter based on the segmentation and / or the feature extraction in dependence on analysis data of the respectively remaining analysis devices.
Jede Analyseeinrichtung kann beispielsweise als ein Programmmodul einer Prozessoreinrichtung des Kraftfahrzeugs bereitgestellt sein. Auch die Koppeleinrichtung kann als ein solches Programmmodul oder auch als eine Koppelschaltung beispielsweise zwischen zwei Steuergeräten bereitgestellt sein.Each analysis device can be provided, for example, as a program module of a processor device of the motor vehicle. Also, the coupling device may be provided as such a program module or as a coupling circuit, for example, between two control devices.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, welche Merkmale aufweisen, die bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund werden die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.The invention also includes further developments of the method according to the invention, which have features which have already been described in connection with the developments of the motor vehicle according to the invention. For this reason, the corresponding developments of the method according to the invention will not be described again here.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen, ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Aisführungsform des erfindungsgemäßen Kraftfahrzeugs.In the following an embodiment of the invention is described. For this purpose, the single FIGURE (FIG.) Shows a schematic representation of an embodiment of the motor vehicle according to the invention.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment each represent individual features of the invention, which are to be considered independently of each other, which also develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.
In der Fig. ist schematisch ein Kraftfahrzeug
Die Kamera
Bei der ersten Kamera
Die erste Analyseeinrichtung
Das erste Fahrzeugsystem
Die erste Analyseeinrichtung
Die erste Analyseeinrichtung
Die zweite Analyseeinrichtung
Die erste Analyseeinrichtung
Die ausgetauschten Analysedaten S1, S2, F1, F2, E1, E2 können dann zum Plausibilisieren, Abgleichen, Ergänzen, Ersetzen und/oder Kombinieren mit den jeweils durch die empfangende Analyseeinrichtung
Die erste und die zweite Analyseeinrichtung
Die Kameras
Insgesamt ist somit durch das Beispiel gezeigt, wie z. B. bei einer Gestensteuerung und/oder einem Eye-Tracking ein Abgleich von Analysedaten aus einer Wärmebild-Kamera und/oder Eye-Tracking-Kamera und/oder PMD-Kamera erfolgen kann, um hierdurch gegen Umfeldvariationen robustere und/oder zuverlässigere Analyseergebnisse zu erhalten.Overall, it is thus shown by the example, such. B. in a gesture control and / or an eye tracking a comparison of analysis data from a thermal imaging camera and / or eye-tracking camera and / or PMD camera can be done to thereby obtain more robust and / or more reliable analysis results against environmental variations ,
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 202009018513 U1 [0002] DE 202009018513 U1 [0002]
- DE 102007023140 A1 [0003] DE 102007023140 A1 [0003]
- DE 102007023141 A1 [0004] DE 102007023141 A1 [0004]
- EP 1562102 A2 [0005] EP 1562102 A2 [0005]
- DE 10257963 A1 [0006] DE 10257963 A1 [0006]
- DE 102008038816 A1 [0007] DE 102008038816 A1 [0007]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013021929.9A DE102013021929B4 (en) | 2013-12-20 | 2013-12-20 | Motor vehicle with cameras and image analysis devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013021929.9A DE102013021929B4 (en) | 2013-12-20 | 2013-12-20 | Motor vehicle with cameras and image analysis devices |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102013021929A1 true DE102013021929A1 (en) | 2015-06-25 |
DE102013021929B4 DE102013021929B4 (en) | 2022-01-27 |
Family
ID=53274954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013021929.9A Expired - Fee Related DE102013021929B4 (en) | 2013-12-20 | 2013-12-20 | Motor vehicle with cameras and image analysis devices |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102013021929B4 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019217218A1 (en) * | 2019-11-07 | 2021-05-12 | Zf Friedrichshafen Ag | Computer-implemented method for determining a head posture of a vehicle occupant for a vehicle control system, control device for automated driving functions, interior monitoring system of a vehicle and computer program product for determining head posture |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10257963A1 (en) | 2002-12-12 | 2004-07-08 | Daimlerchrysler Ag | Method and device for determining the 3D position of passenger car occupants |
EP1562102A2 (en) | 2004-02-06 | 2005-08-10 | Audi Ag | Motor vehicle including function actuation by eye tracking |
DE102007023140A1 (en) | 2007-05-16 | 2008-10-02 | Audi Ag | Method for recognition or identification of driver of motor vehicle, involves capturing movement or movement sequence of driver or person by camera system |
DE102007023141A1 (en) | 2007-05-16 | 2008-11-27 | Audi Ag | Comfort and/or safety system e.g. airbag system, adjustment and/or readjustment method for motor vehicle, involves determining measurement data and/or position data, independent of which system is directly adjusted and/or readjusted |
US7607509B2 (en) * | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
DE102008038816A1 (en) | 2008-08-13 | 2010-02-18 | Volkswagen Ag | Method for backup of operation of vehicle, involves detecting condition of driver of vehicle with respect to condition of vehicle |
DE102010044449A1 (en) * | 2009-12-31 | 2011-07-07 | Volkswagen AG, 38440 | Method for detecting degree of driving ability of driver of motor vehicle, involves detecting head of driver with driver monitoring camera and providing image data of driver head in time sequence |
DE202009018513U1 (en) | 2009-10-10 | 2011-12-09 | Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Hallstadt | Device for controlling an adjusting drive of a motor vehicle |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011077522A1 (en) | 2011-06-15 | 2012-12-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and device for detecting thermal comfort |
-
2013
- 2013-12-20 DE DE102013021929.9A patent/DE102013021929B4/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7607509B2 (en) * | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
DE10257963A1 (en) | 2002-12-12 | 2004-07-08 | Daimlerchrysler Ag | Method and device for determining the 3D position of passenger car occupants |
EP1562102A2 (en) | 2004-02-06 | 2005-08-10 | Audi Ag | Motor vehicle including function actuation by eye tracking |
DE102007023140A1 (en) | 2007-05-16 | 2008-10-02 | Audi Ag | Method for recognition or identification of driver of motor vehicle, involves capturing movement or movement sequence of driver or person by camera system |
DE102007023141A1 (en) | 2007-05-16 | 2008-11-27 | Audi Ag | Comfort and/or safety system e.g. airbag system, adjustment and/or readjustment method for motor vehicle, involves determining measurement data and/or position data, independent of which system is directly adjusted and/or readjusted |
DE102008038816A1 (en) | 2008-08-13 | 2010-02-18 | Volkswagen Ag | Method for backup of operation of vehicle, involves detecting condition of driver of vehicle with respect to condition of vehicle |
DE202009018513U1 (en) | 2009-10-10 | 2011-12-09 | Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Hallstadt | Device for controlling an adjusting drive of a motor vehicle |
DE102010044449A1 (en) * | 2009-12-31 | 2011-07-07 | Volkswagen AG, 38440 | Method for detecting degree of driving ability of driver of motor vehicle, involves detecting head of driver with driver monitoring camera and providing image data of driver head in time sequence |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019217218A1 (en) * | 2019-11-07 | 2021-05-12 | Zf Friedrichshafen Ag | Computer-implemented method for determining a head posture of a vehicle occupant for a vehicle control system, control device for automated driving functions, interior monitoring system of a vehicle and computer program product for determining head posture |
Also Published As
Publication number | Publication date |
---|---|
DE102013021929B4 (en) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102019134141B4 (en) | Seat belt condition determination procedure | |
DE102008019731B4 (en) | Method and device for driver-passenger differentiation | |
EP3682367B1 (en) | Gesture control for communication with an autonomous vehicle on the basis of a simple 2d camera | |
DE102017214353B4 (en) | DRIVER CONDITION DETECTION SYSTEM, DRIVER CONDITION DETECTION METHOD AND VEHICLE CONTAINING THE SAME | |
DE102012223481B4 (en) | Apparatus and method for tracking the position of a peripheral vehicle | |
DE102016220979A1 (en) | Method and apparatus for controlling operation of a side and rear surveillance camera system | |
DE102005023697A1 (en) | Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units | |
DE102014201036A1 (en) | Image-based classification of driver status and / or driver behavior | |
DE102014106506A1 (en) | Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle | |
DE102020105196A1 (en) | Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses | |
DE102018131805A1 (en) | DEVICE FOR DETECTING A FACIAL POSITION | |
EP1569823B1 (en) | Method and device for determining a three-dimension position of passengers of a motor car | |
DE102019204892A1 (en) | Method and control device for detecting drowsiness of a driver for a driver assistance system for a vehicle | |
EP3254172A1 (en) | Determination of a position of a non-vehicle object in a vehicle | |
DE102009014437A1 (en) | Object e.g. pedestrian, recognition system i.e. stereoscopic system, for motor vehicle, has validation device checking whether object and/or preset character e.g. contour, of object is detected in image region in image | |
DE102016206694A1 (en) | Assistance system and procedure of a highly automated vehicle to improve interaction with other road users | |
DE102016211034A1 (en) | Information providing device for a vehicle | |
EP4007891A1 (en) | Method and device for locating a vehicle in a surrounding area | |
DE102013021929B4 (en) | Motor vehicle with cameras and image analysis devices | |
EP3934929A1 (en) | Method for classifying objects within a motor vehicle | |
DE102015007180A1 (en) | Environmental detection device for a motor vehicle and method for operating such | |
DE102020210055A1 (en) | Method and device for monitoring the interior of a vehicle | |
DE102019218078B4 (en) | Determination of a situation in the environment of a motor vehicle | |
DE102017211555A1 (en) | Method for monitoring at least one occupant of a motor vehicle, wherein the method is used in particular for monitoring and detecting possible dangerous situations for at least one occupant | |
DE102016011016A1 (en) | Method for operating an assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |