DE102020210055A1 - Method and device for monitoring the interior of a vehicle - Google Patents

Method and device for monitoring the interior of a vehicle Download PDF

Info

Publication number
DE102020210055A1
DE102020210055A1 DE102020210055.1A DE102020210055A DE102020210055A1 DE 102020210055 A1 DE102020210055 A1 DE 102020210055A1 DE 102020210055 A DE102020210055 A DE 102020210055A DE 102020210055 A1 DE102020210055 A1 DE 102020210055A1
Authority
DE
Germany
Prior art keywords
vehicle
interior
camera
camera images
hazardous situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020210055.1A
Other languages
German (de)
Inventor
Octavian Tirla
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102020210055.1A priority Critical patent/DE102020210055A1/en
Publication of DE102020210055A1 publication Critical patent/DE102020210055A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bei dem erfindungsgemäßen Verfahren zur Innenraumüberwachung eines Fahrzeugs wird ein Teil des Innenraums (10) mit mindestens einer Innenraumkamera erfasst (1). Die durch die mindestens eine Innenraumkamera (13, 14) erzeugten Kamerabilder werden ausgewertet (2), um einen potentiell die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand zu erkennen. Bei einem erkannten Gefährdungsumstand werden Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, angezeigt (3), wobei der erkannte Gefährdungsumstand in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben gekennzeichnet wird. Wird der Gefährdungsumstand durch eine Person oder ein Objekt im Innenraum des Fahrzeugs verursacht, so wird die Position der Person oder des Objektes in dem Kamerabild angezeigt. Zusätzlich kann ein Warnhinweis und/oder eine Empfehlung für eine Vermeidung des Gefährdungsumstands optisch, akustisch und/oder haptisch ausgegeben (4) werden.In the method according to the invention for monitoring the interior of a vehicle, part of the interior (10) is recorded with at least one interior camera (1). The camera images generated by the at least one interior camera (13, 14) are evaluated (2) in order to identify a potentially hazardous situation affecting the safety of the vehicle and/or the vehicle occupants. When a risk situation is detected, camera images that reflect this risk situation or visual representations derived from these camera images are displayed (3), with the detected risk situation being identified in the displayed camera images or graphic representations derived from the camera images. If the dangerous situation is caused by a person or an object in the interior of the vehicle, the position of the person or the object is displayed in the camera image. In addition, a warning and/or a recommendation for avoiding the hazardous situation can be issued optically, acoustically and/or haptically (4).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen des Innenraums eines Kraftfahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.The present invention relates to a method for monitoring the interior of a motor vehicle. The present invention also relates to a device for carrying out the method and a vehicle that is set up to carry out such a method or has such a device.

Mittlerweile sind eine Vielzahl verschiedenartiger Assistenzsysteme bekannt, die in Kraftfahrzeugen den Fahrer unterstützen können. Teilweise beschränken sich die Assistenzsysteme lediglich auf Signalisierungs- bzw. Warnfunktionen, teilweise greifen diese aber auch in den Antrieb oder die Steuerung des Fahrzeugs ein.A large number of different assistance systems are now known which can support the driver in motor vehicles. Some of the assistance systems are only limited to signaling or warning functions, but some of these also intervene in the drive or the control of the vehicle.

Für die Beobachtung des Fahrzeugumfelds und darauf basierende Assistenzfunktionen wie Einparkhilfen, automatische Abstandswarnungen und -regelungen, Verkehrszeichenerkennungen, Totwinkel-Überwachungen oder Notbremssysteme zum Fußgängerschutz kommen hierbei verschiedene Sensortechniken, häufig auch in Kombination, zum Einsatz. Besonders häufig werden Ultraschall-, Radar-, Lidar- und Kamerasysteme verwendet um Objekte im Umfeld des Fahrzeugs, wie Fußgänger, andere Fahrzeuge, Verkehrsschilder etc. zu identifizieren.Various sensor technologies, often in combination, are used to monitor the area around the vehicle and to provide assistance functions based on this, such as parking aids, automatic distance warnings and regulations, traffic sign recognition, blind spot monitoring or emergency braking systems for pedestrian protection. Ultrasound, radar, lidar and camera systems are used particularly frequently to identify objects in the vehicle's surroundings, such as pedestrians, other vehicles, traffic signs, etc.

Ebenso können unterschiedliche Sensoren im Fahrzeug vorgesehen sein. Diese können Informationen über das Verhalten, den Zustand oder die Position eines Fahrzeuginsassen oder von Objekten im Fahrzeuginnenraum liefern. So sind zur Müdigkeitserkennung des Fahrers Systeme bekannt, bei denen mit einer Innenraumkamera die Augen des Fahrers erfasst werden und durch eine Auswertung der Bildsignale auf eine Ermüdung des Fahrers geschlossen werden kann. Ebenso kann beispielsweise mit Infrarot- oder Ultraschallsensoren eine Innenraumüberwachung, beispielsweise zum Diebstahlschutz, erfolgen.Likewise, different sensors can be provided in the vehicle. These can provide information about the behavior, condition or position of a vehicle occupant or objects in the vehicle interior. For example, systems are known for detecting driver fatigue, in which the driver's eyes are recorded with an interior camera and it is possible to conclude that the driver is tired by evaluating the image signals. Likewise, for example, infrared or ultrasonic sensors can be used to monitor the interior, for example to protect against theft.

So offenbart die JP2004351979 A eine Warnvorrichtung für ein Fahrzeug, beim dem Wärmebilder von einer oder mehreren Personen oder einem Haustier im Fahrzeug mit einer Infrarotkamera erfasst und ausgewertet werden, um eine Warnung vor einem Eindringling ausgeben zu können.So reveals the JP2004351979A a warning device for a vehicle, in which thermal images of one or more people or a pet in the vehicle are recorded with an infrared camera and evaluated in order to be able to issue a warning of an intruder.

Ähnlich beschreibt auch die JP2004351979 A mit Infrarotkameras Wärmebilder von Personen in einem Fahrzeug wie beispielsweise einem Zug zu erfassen und auszuwerten, in diesem Fall, um eine Infektionsgefahr in dem Fahrzeug gezielt mit einem sogenannten Luftschleier zu verringern.Similarly describes the JP2004351979A using infrared cameras to capture and evaluate thermal images of people in a vehicle such as a train, in this case in order to reduce the risk of infection in the vehicle in a targeted manner with a so-called air curtain.

Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Überwachen des Innenraums eines Kraftfahrzeugs zur Verfügung zu stellen.It is an object of the invention to provide an improved method and apparatus for monitoring the interior of a motor vehicle.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method having the features of claim 1 and by a corresponding device according to claim 10. Preferred developments of the invention are the subject matter of the dependent claims.

Die Erfindung beruht auf der Erkenntnis, dass, trotz des bekannten Einsatzes von Sensorik im Fahrzeug, der Fahrer eines Fahrzeugs sich einen umfassenden Überblick über den Innenraum des Fahrzeugs während der Fahrt zurzeit nur über einen Blick in den Rückspiegel verschaffen kann. Ein umfassender Überblick ist einerseits von besonderer Bedeutung, um potentielle Risiken und Gefahren für die Fahrsicherheit zu erkennen. So können sich beispielsweise unbefestigte Objekte während der Fahrt unerwartet bewegen, Kleinkinder können unbemerkt aufwachen und durch plötzliches Schreien einen Schreckreflex des Fahrers auflösen, das unangekündigte Anschalten der Innenraumbeleuchtung durch einen Mitfahrer kann in der Nacht die Sichtbarkeit nach außen erschweren, etc.. Andererseits wird die Wahrnehmung dieser Umstände aber durch das begrenzte Sichtfeld des Rückspiegels beeinträchtigt, so dass das Risiko besteht, dass Gefahrsituationen nicht richtig oder nicht rechtzeitig erkannt und eingeschätzt werden können. Insbesondere bei Fahrzeugen mit mehreren Sitzreihen wird es somit zur einer großen Herausforderung für den Fahrer, gleichzeitig das Fahrzeugumfeld, Anzeigen im Fahrzeugcockpit und auch den Innenraum des Fahrzeugs im Blick zu behalten und sich dabei jederzeit auf das Führen des Fahrzeugs im Straßenverkehr zu konzentrieren.The invention is based on the finding that, despite the known use of sensors in the vehicle, the driver of a vehicle can currently only get a comprehensive overview of the interior of the vehicle while driving by looking in the rear-view mirror. On the one hand, a comprehensive overview is of particular importance in order to identify potential risks and dangers for driving safety. For example, unpaved objects can move unexpectedly while driving, small children can wake up unnoticed and trigger a startle reflex in the driver by suddenly screaming, unannounced switching on of the interior lighting by a passenger can make it difficult to see the outside at night, etc.. On the other hand, the However, perception of these circumstances is impaired by the limited field of vision of the rear-view mirror, so that there is a risk that dangerous situations cannot be recognized and assessed correctly or not in good time. In vehicles with several rows of seats in particular, it becomes a major challenge for the driver to keep an eye on the vehicle surroundings, displays in the vehicle cockpit and also the interior of the vehicle at the same time, while concentrating on driving the vehicle in road traffic at all times.

Dieses kann durch das erfindungsgemäße Verfahren zur Innenraumüberwachung eines Fahrzeugs gewährleistet werden, indem ein Teil des Innenraums mit mindestens einer Innenraumkamera erfasst wird. Die durch die mindestens eine Innenraumkamera erzeugten Kamerabilder werden ausgewertet, um einen potentiell die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand zu erkennen. Bei einem erkannten Gefährdungsumstand werden Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, ausgegeben, wobei der erkannte Gefährdungsumstand in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben gekennzeichnet wird.This can be ensured by the method according to the invention for monitoring the interior of a vehicle, in that a part of the interior is recorded with at least one interior camera. The camera images generated by the at least one interior camera are evaluated in order to identify a potentially hazardous situation affecting the safety of the vehicle and/or the vehicle occupants of the vehicle. When a risk situation is detected, camera images that reflect this risk situation or visual representations derived from these camera images are output, with the detected risk situation being identified in the displayed camera images or in visual representations derived from the camera images.

Wenn der Gefährdungsumstand durch eine Person oder ein Objekt im Innenraum des Fahrzeugs verursacht wird, so wird vorteilhafterweise die Position der Person oder des Objektes in dem Kamerabild angezeigt.If the hazardous situation is caused by a person or an object inside the vehicle is caused, the position of the person or the object is advantageously displayed in the camera image.

Vorzugsweise wird zusätzlich ein Warnhinweis und/oder eine Empfehlung für eine Vermeidung des Gefährdungsumstands optisch, akustisch und/oder haptisch ausgegeben.In addition, a warning and/or a recommendation for avoiding the hazardous situation is preferably output optically, acoustically and/or haptically.

Gemäß einer Ausführungsform der Erfindung wird hierbei die Innenraumüberwachung des Fahrzeugs während der Fahrt des Fahrzeugs durchgeführt, wobei eine Ausgabe an den Fahrer des Fahrzeugs erfolgt.According to one embodiment of the invention, the interior of the vehicle is monitored while the vehicle is driving, with an output being made to the driver of the vehicle.

Vorzugsweise werden die Kamerabilder oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben auf einer Anzeige eines Kombiinstruments, eines Infotainmentsystems, und/oder eines Head-Up-Displays ausgegeben.The camera images or image reproductions derived from these camera images are preferably output on a display of an instrument cluster, an infotainment system and/or a head-up display.

Gemäß einer weiteren Ausführungsform der Erfindung weist das Fahrzeug mehrere Sitzreihen auf, wobei jeweils eine dieser Sitzreihen durch eine für diese Sitzreihe vorgesehene Innenraumkamera erfasst wird.According to a further embodiment of the invention, the vehicle has a plurality of rows of seats, one of these rows of seats being detected by an interior camera provided for this row of seats.

Hierbei können bei Personen oder Objekten im Innenraums des Fahrzeugs, die gleichzeitig durch mehrere Innenraumkameras erfasst werden, die Kamerabilder dieser mehreren Innenraumkameras für eine erfasste Person oder ein erfasstes Objekt gemeinsam ausgewertet werden.In the case of people or objects in the interior of the vehicle that are simultaneously detected by a number of interior cameras, the camera images of these multiple interior cameras can be evaluated together for a detected person or a detected object.

Ebenso kann vorteilhafterweise eine Information über einen erkannten Gefährdungsumstand einer weiteren Anwendung im Fahrzeug zur Verfügung gestellt werden.Likewise, information about a recognized risk situation can advantageously be made available to a further application in the vehicle.

Gemäß einer weiteren Ausführungsform der Erfindung wird die Innenraumüberwachung des Fahrzeugs durchgeführt, wenn sich das Fahrzeug nicht in Fahrt befindet, wobei eine Ausgabe auf einem mobilen Endgerät eines Fahrzeugnutzers erfolgt.According to a further embodiment of the invention, the interior of the vehicle is monitored when the vehicle is not in motion, with an output taking place on a mobile terminal device of a vehicle user.

Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Innenraumüberwachung eines Fahrzeugs,

  • - mindestens eine Innenraumkamera, die einen Teil des Innenraums erfasst;
  • - eine Analyseeinheit, der die durch die mindestens eine Innenraumkamera erzeugten Kamerabilder zugeführt werden und die die Kamerabilder ausgewertet, um einen potentiell die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand zu erkennen;
  • - eine Ausgabeeinheit, die bei einem erkannten Gefährdungsumstand Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, ausgibt, wobei der erkannte Gefährdungsumstand in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben gekennzeichnet wird.
Accordingly, a device according to the invention for monitoring the interior of a vehicle comprises
  • - at least one interior camera that captures part of the interior;
  • - An analysis unit, which is supplied with the camera images generated by the at least one interior camera and which evaluates the camera images in order to identify a potentially hazardous situation that could impair the safety of the vehicle and/or the vehicle occupants of the vehicle;
  • - an output unit which, when a hazardous situation is identified, outputs camera images that reflect this hazardous situation, or visual representations derived from these camera images, with the identified hazardous situation being identified in the displayed camera images or in visual representations derived from the camera images.

Gemäß einer Ausführungsform der Erfindung ist für mehrere Sitzreihen des Fahrzeugs jeweils eine Innenraumkamera vorgesehen, wobei die Innenraumkameras so angeordnet sind, dass jeweils eine Sitzreihe durch die für diese Sitzreihe vorgesehene Innenraumkamera erfasst wird.According to one embodiment of the invention, an interior camera is provided for each of several rows of seats in the vehicle, with the interior cameras being arranged such that one row of seats is detected by the interior camera provided for this row of seats.

Die Erfindung betrifft auch ein Kraftfahrzeug, in dem das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung eingesetzt wird.The invention also relates to a motor vehicle in which the method according to the invention or the device according to the invention is used.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

  • 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens;
  • 2 zeigt schematisch den Innenraum eines Kraftfahrzeugs mit einer erfindungsgemäßen Überwachung und Ausgabe von Kamerabildern und Warnhinweisen im Fahrzeug;
  • 3 zeigt schematisch eine Sitzreihe, die von einer Innenraumkamera erfasst wird; und
  • 4 zeigt schematisch den Innenraum eines Kraftfahrzeugs mit einer erfindungsgemäßen Überwachung und Ausgabe von Kamerabildern und Warnhinweisen auf einem mobilen Endgerät.
Further features of the present invention will become apparent from the following description and claims in conjunction with the figures.
  • 1 shows a flowchart of a method according to the invention;
  • 2 shows schematically the interior of a motor vehicle with an inventive monitoring and output of camera images and warnings in the vehicle;
  • 3 shows schematically a row of seats that is captured by an interior camera; and
  • 4 shows schematically the interior of a motor vehicle with an inventive monitoring and output of camera images and warnings on a mobile device.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.For a better understanding of the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It goes without saying that the invention is not limited to these embodiments and that the features described can also be combined or modified without departing from the protective scope of the invention as defined in the claims.

1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. Das Verfahren wird hierbei exemplarisch für die Innenraumüberwachung eines Pkws beschrieben, kann aber ebenso auch für andere Kraftfahrzeuge wie beispielsweise Vans oder Busse angewendet werden. 1 shows a flowchart of a method according to the invention. The method is described here as an example for monitoring the interior of a car, but can also be used for other motor vehicles such as vans or buses.

In einem Verfahrensschritt 1 wird der Innenraum des überwachten Fahrzeugs mit mindestens einer Innenraumkamera erfasst. Eine erste Innenraumkamera kann hierbei am Rückspiegel, am Fahrzeugdach oder oberen Bereich der Windschutzscheibe angeordnet sein und so die vordere Sitzreihe erfassen. Die überwiegende Zahl der Fahrzeuge weist hinter dieser vorderen Sitzreihe eine oder mehrere weitere Sitzreihen auf, die durch diese erste Innenraumkamera nur bedingt erfasst werden können. Um dennoch eine möglichst vollständige Abdeckung des Fahrzeuginnenraums zu gewährleisten, wird in diesem Fall je Sitzreihe eine Innenraumkamera vorgesehen, die dann jeweils so angeordnet wird, dass die jeweilige Sitzreihe möglichst komplett erfasst werden kann.In a method step 1, the interior of the monitored vehicle is recorded with at least one interior camera. A first inside room camera can be arranged on the rear-view mirror, on the vehicle roof or in the upper area of the windshield and thus capture the front row of seats. The majority of vehicles have one or more further rows of seats behind this front row of seats, which can only be partially detected by this first interior camera. In order to nevertheless ensure that the vehicle interior is covered as completely as possible, in this case an interior camera is provided for each row of seats, which is then arranged in such a way that the respective row of seats can be recorded as completely as possible.

In einem darauffolgenden Verfahrensschritt 2 werden dann die durch die mindestens eine Innenraumkamera erzeugten Kamerabilder mithilfe geeigneter Algorithmen zur Bildanalyse ausgewertet. Dieses kann beispielsweise durch ein auf einer Analyseeinheit implementiertes neuronales Netzwerk erfolgen. Das neuronale Netzwerk kann nach einer Lern-bzw. Trainingsphase vielfältige Muster und Gesetzmäßigkeiten in den durch die Innenraumkameras erfassten Bilddaten, die einen die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand widerspiegeln, erkennen. Einige Beispiele für verschiedene Risikofaktoren, die auf diese Weise identifiziert werden können, werden im Folgenden angegeben.In a subsequent method step 2, the camera images generated by the at least one interior camera are then evaluated using suitable algorithms for image analysis. This can be done, for example, by a neural network implemented on an analysis unit. After a learning or Training phase, recognize a variety of patterns and laws in the image data captured by the interior cameras, which reflect a risk situation affecting the safety of the vehicle and/or the vehicle occupants of the vehicle. Some examples of different risk factors that can be identified in this way are given below.

So kann erkannt werden, wenn einer der Fahrzeuginsassen den Sicherheitsgurt überhaupt nicht oder nicht korrekt angelegt hat oder auch überprüft werden, welche Sitze besetzt sind oder ob alle Fahrzeuginsassen ihren Sicherheitsgurt angelegt haben. Ebenso kann ermittelt werden, wenn sich einer der Fahrzeugsitze in einer Position befindet, die bei einer Fahrt mit höherer Geschwindigkeit ungeeignet ist und zu einer Gefährdung führen kann. Weiterhin kann erkannt werden, wenn ein Fenster im Bereich eines Kleinkindes zu weit geöffnet ist, der Kopf eines schlafenden Kindes an ein Fenster angelehnt ist oder sich Körperteile von Fahrzeuginsassen außerhalb des Fahrzeugs befinden, beispielsweise, weil diese durch ein geöffnetes Fenster oder Panoramadach gehalten werden. Es kann auch erkannt werden, ob sich im Fahrzeuginnenraum ungesicherte Objekte oder Tiere befinden, die im Fall einer starken Bremsung beschädigt bzw. verletzt werden können oder zu Beschädigungen des Fahrzeugs führen können. Ebenso kann erkannt werden, wenn Personen oder Tiere einer zu intensiven und dauerhaften Sonnenstrahlung aufgesetzt werden. Auch eine Verschlechterung des Gesundheitszustands, eine Ohnmacht oder ein aggressives oder störendes Verhalten eines Fahrzeuginsassen kann erkannt werden, ebenso wie Unaufmerksamkeiten, Ermüdungen, Emotionen oder Stressbelastungen des Fahrers, die eine sichere Weiterfahrt gefährden können.In this way, it can be recognized if one of the vehicle occupants has not put on their seat belt at all or not correctly, or it can also be checked which seats are occupied or whether all vehicle occupants have put on their seat belts. It can also be determined when one of the vehicle seats is in a position that is unsuitable for driving at higher speeds and can lead to a hazard. Furthermore, it can be detected when a window is opened too far in the area of a small child, the head of a sleeping child is leaning against a window or body parts of vehicle occupants are outside the vehicle, for example because they are being held by an open window or panorama roof. It can also detect whether there are unsecured objects or animals in the vehicle interior that could be damaged or injured in the event of heavy braking or damage to the vehicle. It can also be detected when people or animals are exposed to too intense and permanent solar radiation. A deterioration in the state of health, fainting or aggressive or disruptive behavior on the part of a vehicle occupant can also be detected, as can inattentiveness, fatigue, emotions or stress on the part of the driver, which can jeopardize safe onward travel.

Zur Optimierung der Erkennungsraten können hierbei für den von den Innenraumkameras erfassten Bereich des Fahrzeuginnenraums Fahrzeugdaten wie beispielsweise Positionsangaben zu den einzelnen Sitzen in einem Speicher abgelegt und für die Analyse herangezogen werden.In order to optimize the recognition rates, vehicle data such as position information on the individual seats can be stored in a memory for the area of the vehicle interior captured by the interior cameras and used for the analysis.

Werden bei der Bildanalyse Bilddaten ausgewertet, die Personen enthalten, so werden mit Hinblick auf die Privatsphäre dieser Person die Algorithmen anonymisiert, d.h. ohne Identifizierung und Authentifizierunq der Personen durchlaufen. Erfolgt im Rahmen der Bildanalyse eine Speicherung der Bilddaten oder davon abgeleiteter Daten, so wird diese so weit wie möglich eingeschränkt, umso den Datenschutz zu gewährleisten. Weiterhin werden in diesem Fall die gespeicherten Daten gelöscht, sobald sie nicht mehr benötigt werden.If image data containing people is evaluated during image analysis, the algorithms are anonymised with regard to the privacy of this person, i.e. they are run through without identifying and authenticating the person. If the image data or data derived from it is stored as part of the image analysis, this is restricted as far as possible in order to ensure data protection. In this case, the stored data will also be deleted as soon as they are no longer required.

Wird ein Gefährdungsumstand erkannt, so werden in einem Verfahrensschritt 3 Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, ausgegeben. Dieses kann insbesondere durch eine Anzeige auf einem Display im Fahrzeug erfolgen, das im Sichtbereich des Fahrers angeordnet ist. So kann die Anzeige beispielsweise auf dem Display des Kombi-Instruments oder eines Infotainmentsystems oder auch einem Head-Up Display erfolgen. Hierbei wird in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben auch der erkannte Gefährdungsumstand gekennzeichnet. Wird der Gefährdungsumstand beispielsweise durch eine Person oder ein Objekt im Innenraum des Fahrzeugs verursacht, so wird die Position dieser Person bzw. dieses Objektes in dem Kamerabild angezeigt, um so dem Fahrer eine möglichst schnelle Verortung zu ermöglichen.If a hazardous situation is identified, then in a method step 3 camera images are output that reflect this hazardous situation, or visual displays derived from these camera images. This can be done in particular by an indication on a display in the vehicle, which is arranged in the driver's field of vision. For example, the display can be on the display of the instrument cluster or an infotainment system or even a head-up display. The recognized risk situation is also marked in the displayed camera images or in the images derived from the camera images. If the hazard is caused, for example, by a person or an object in the interior of the vehicle, the position of this person or this object is displayed in the camera image in order to enable the driver to locate it as quickly as possible.

Weiterhin kann in einem Verfahrensschritt 4 zusätzlich auch ein Warnhinweis und/oder eine Empfehlung für eine Vermeidung des Gefährdungsumstands ausgegeben werden. Diese Ausgabe kann optisch, insbesondere durch eine Anzeige eines Warnsymbols oder eines kurzen Textes auf einer Anzeigevorrichtung, erfolgen. Bei der Anzeigevorrichtung kann es sich hierbei um das Display handeln, auf dem auch die Kamerabilder dargestellt werden. In diesem Fall kann der Warnhinweis bzw. die Empfehlung dem Kamerabild überlagert dargestellt oder auch neben dem Kamerabild wiedergegeben werden. Ebenso können die Warnhinweise bzw. Empfehlungen einerseits und die Kamerabilder andererseits aber auch auf separaten Displays angezeigt werden.Furthermore, in a method step 4, a warning and/or a recommendation for avoiding the hazardous situation can also be output. This output can be visual, in particular by displaying a warning symbol or a short text on a display device. The display device can be the display on which the camera images are also shown. In this case, the warning or the recommendation can be superimposed on the camera image or displayed next to the camera image. Likewise, the warnings or recommendations on the one hand and the camera images on the other hand can also be shown on separate displays.

Stattdessen oder zusätzlich kann auch eine akustische Ausgabe der Warnhinweise bzw. Empfehlungen erfolgen, indem diese über einen oder mehrere Lautsprecher eines Infotainment-Systems des Fahrzeugs wiedergegeben werden. Weiterhin können insbesondere Warnhinweise auch haptisch, beispielsweise über eine Vibration des Lenkrads, ausgegeben werden.Instead or in addition, the warnings or recommendations can also be output acoustically by being played back via one or more loudspeakers of an infotainment system in the vehicle. Furthermore, warnings in particular can also be output haptically, for example via a vibration of the steering wheel.

Weiterhin kann es auch vorgesehen sein, dass eine permanente Anzeige der Kamerabilder erfolgt. Ebenso kann die Anzeige der Kamerabilder sowie Warnhinweise bzw. Empfehlungen je nach Dringlichkeit angepasst werden, beispielsweise in Bezug auf die Größe, die Dauer oder Wiederholrate der Darstellung.Furthermore, provision can also be made for the camera images to be displayed permanently. The display of the camera images and warnings or recommendations can also be adjusted depending on the urgency, for example with regard to the size, duration or repetition rate of the display.

2 zeigt schematisch ein erstes Ausführungsbeispiel der Erfindung, bei dem der Innenraum eines Kraftfahrzeugs überwacht wird und bei einem erkannten Gefährdungsumstand eine Ausgabe von Kamerabildern und Warnhinweisen im Fahrzeug erfolgt. Das Fahrzeug weist in dem schematisch angedeuteten Innenraum 10 fünf Sitzplätze auf, von denen zwei Sitze für den Fahrer und Beifahrer in einer ersten Sitzreihe 11 und drei weitere Sitze in einer zweiten Sitzreihe 12 angeordnet sind. Die erste Sitzreihe 11 wird von einer ersten Innenraumkamera 13 erfasst, die zweite Sitzreihe 12 von einer weiteren Innenraumkamera 14. Die beiden Innenraumkameras sind hierbei so im Fahrzeug verortet, dass sie die jeweils zugeordnete Sitzreihe möglichst vollständig erfassen können. Die erste Innenraumkamera 13 kann hierbei beispielsweise im Bereich des Rückspiegels in den Rückspiegel selber, die Windschutzscheibe oder das darüber befindliche Fahrzeugdach oder aber auch im Armaturenbrett integriert sein. Die zweite Innenraumkamera 14 kann beispielsweise vor der zweiten Sitzreihe im Fahrzeugdach oder in der Mittelkonsole verortet sein. 2 FIG. 12 schematically shows a first exemplary embodiment of the invention, in which the interior of a motor vehicle is monitored and, if a dangerous situation is detected, camera images and warnings are output in the vehicle. The vehicle has five seats in the schematically indicated interior 10 , of which two seats for the driver and front passenger are arranged in a first row 11 of seats and three further seats are arranged in a second row 12 of seats. The first row of seats 11 is captured by a first interior camera 13, the second row of seats 12 by another interior camera 14. The two interior cameras are located in the vehicle so that they can capture the assigned row of seats as completely as possible. The first interior camera 13 can be integrated, for example, in the area of the rearview mirror in the rearview mirror itself, the windshield or the vehicle roof above it, or also in the dashboard. The second interior camera 14 can be located, for example, in front of the second row of seats in the vehicle roof or in the center console.

Die Videodaten der beiden Innenraumkameras werden einer Analyseeinheit 15 zugeführt, in der diese mit geeigneten Algorithmen ausgewertet werden, um bei Vorliegen eines Gefährdungsumstandes diesen zu erkennen. Wenn dieses der Fall ist, so wird von der Analyseeinheit 15 eine Anzeigeeinheit 16 angesteuert, auf welcher den erkannten Gefährdungsumstand wiedergebende Kamerabilder sowie ein Warnhinweis angezeigt werden. Bei der Anzeigeeinheit 16 kann es sich hierbei beispielsweise um das Display des Kombi-Instruments, eines Infotainmentsystems oder auch eines Head-Up Displays des Fahrzeugs handeln.The video data from the two interior cameras are fed to an analysis unit 15, in which they are evaluated using suitable algorithms in order to identify a dangerous situation if it is present. If this is the case, the analysis unit 15 controls a display unit 16 on which camera images showing the identified risk situation and a warning are displayed. The display unit 16 can be, for example, the display of the instrument cluster, an infotainment system or a head-up display of the vehicle.

Weiterhin wird eine Information über den erkannten Gefährdungsumstand weiteren Komponenten der Fahrzeugelektronik bzw. Software-Anwendungen 17, die auf einem zentralen Steuergerät des Fahrzeugs oder auch unterschiedlichen Steuergeräten im Fahrzeug realisiert werden, zur Verfügung gestellt. So kann zusätzlich zu einer Information des Fahrzeugs bei einem vorliegenden Gefährdungsumstand auch eine Funktion eines Fahrerassistenzsystems ausgelöst werden. Auch kann im Fall eines teil- oder voll autonom fahrenden Fahrzeugs diese Information dem integrierten Autopiloten zugeführt werden, um diesen zu einer auf den Gefährdungsumstand angepassten Reaktion zu veranlassen, beispielsweise bei einer erkannten Handlungseinschränkung des Fahrers die Fahrt automatisch und sicher zu beenden. Ebenso kann basierend auf dieser Information auch eine weitere Komponente des Fahrzeugs angesteuert werden, wie beispielsweise die Klimaanlage, um den Innenraum zu kühlen, wenn Personen einer dauerhaften Sonnenstrahlung aufgesetzt werden.Furthermore, information about the identified risk situation is made available to other components of the vehicle electronics or software applications 17, which are implemented on a central control unit of the vehicle or on different control units in the vehicle. In addition to information from the vehicle, a function of a driver assistance system can also be triggered if there is a risk situation. In the case of a partially or fully autonomous vehicle, this information can also be fed to the integrated autopilot in order to prompt it to respond to the risk situation, for example to end the journey automatically and safely if the driver is restricted in his or her actions. Based on this information, another component of the vehicle can also be controlled, such as the air conditioning system, in order to cool the interior when people are exposed to permanent solar radiation.

Die Analyseeinheit 15 ist hierbei insbesondere in dem Fahrzeug angeordnet und kann einen Mikroprozessor, einen elektronischen Speicher und eine oder mehrere elektrische Schnittstellen aufweisen. Über die elektrischen Schnittstellen kann, beispielsweise über ein CAN- oder Ethernet-Bussystem, eine Kommunikation mit den Innenraumkameras 13 und 14 und der Anzeigeeinheit 16, sowie ggfs. weitere Steuergeräte oder auch andere Komponenten der Fahrzeugelektronik erfolgen.The analysis unit 15 is arranged here in particular in the vehicle and can have a microprocessor, an electronic memory and one or more electrical interfaces. Via the electrical interfaces, for example via a CAN or Ethernet bus system, communication can take place with the interior cameras 13 and 14 and the display unit 16, as well as possibly further control devices or also other components of the vehicle electronics.

Ebenso kann jedoch, insbesondere bei komplexen Berechnungen und Situationen, die Bildanalyse durch Algorithmen auf einem externen Server in der sogenannten Cloud durchgeführt werden, um damit eine rechenintensive Verarbeitung der Daten in Echtzeit zu gewährleisten. In diesem Fall ist dann die Analyseeinheit 15 nicht Teil des Fahrzeugs, wobei die Kommunikation zwischen dem Fahrzeug und der Analyseeinheit mittels einer in der Figur nicht dargestellten Kommunikationseinheit erfolgt.However, especially in the case of complex calculations and situations, the image analysis can be carried out by algorithms on an external server in the so-called cloud, in order to ensure computation-intensive processing of the data in real time. In this case, the analysis unit 15 is not part of the vehicle, with the communication between the vehicle and the analysis unit taking place by means of a communication unit that is not shown in the figure.

Wie erläutert, ist es für die erfindungsgemäße Erkennung der Gefährdungsumstände wichtig, dass der Fahrzeuginnenraum möglichst vollständig überwacht wird und daher insbesondere die Sitzreihen von der jeweils zugeordneten Innenraumkamera vollständig erfasst werden. Dieses wird in 3 schematisch für die zweite Sitzreihe 12 aus 2 verdeutlicht. Durch eine geeignete Optik und Anordnung der Innenraumkamera 14 wird in dem dargestellten Beispiel sichergestellt, dass das horizontale Sichtfeld mindestens 130 Grad beträgt, um so die komplette Breite der Sitzreihe zu erfassen. Die Innenraumkamera ist hierfür vorzugsweise mit einem Weitwinkelobjektiv oder sogar einem sogenannten Fisheye-Objektiv ausgestattet, das einen Abbildungswinkel von nahezu 180 Grad aufweisen kann. Die bei einem Fisheye-Objektiv auftretenden Verzeichnungen können hierbei durch eine anschließende Bildverarbeitungseinheit korrigiert werden.As explained, it is important for the detection of the risk circumstances according to the invention that the vehicle interior is monitored as completely as possible and that the rows of seats in particular are therefore completely recorded by the respectively assigned interior camera. This will be in 3 schematically for the second row of seats 12 2 clarified. In the example shown, suitable optics and arrangement of the interior camera 14 ensure that the horizontal field of view is at least 130 degrees in order to cover the entire width of the row of seats. For this purpose, the interior camera is preferably equipped with a wide-angle lens or even a so-called fisheye lens, which can have an imaging angle of almost 180 degrees. The distortions that occur with a fisheye lens can be corrected by a subsequent image processing unit.

Weiterhin müssen die Innenraumkameras jeweils eine Auflösung und Bildwiederholrate aufweisen, die hoch genug ist, um die ausgewerteten Muster in den durch die Innenraumkameras erfassten Bilddaten eindeutig erkennen zu können. Weiterhin kann eine Beleuchtung vorgesehen sein, um für kontrastreiche Kamerabilder zu sorgen.Furthermore, the interior cameras must each have a resolution and frame rate that is high enough to be able to clearly identify the evaluated pattern in the image data captured by the interior cameras. Furthermore, lighting can be provided in order to ensure high-contrast camera images.

Die Innenraumkameras können insbesondere auch als Infrarotkameras ausgestaltet sein oder zusätzlich zu sichtbarem Licht auch Licht mit an den sichtbaren Bereich unmittelbar anschließender Strahlung im nahen Infrarotbereich (NIR) erfassen. In diesem Fall kann, insbesondere im Dunkeln, auch eine Beleuchtung durch NIR-LEDs erfolgen, ohne dass dieses störend ist oder blenden kann.The interior cameras can in particular also be designed as infrared cameras or, in addition to visible light, can also detect light with radiation in the near infrared range (NIR) immediately following the visible range. In this case, in particular in the dark, illumination can also be provided by NIR LEDs without this being disruptive or dazzling.

Ebenso können neben Mono- auch Stereokameras eingesetzt werden, die zusätzlich eine Tiefeninformation liefern. Ebenso erlauben TOF-Kameras mit einem Laufzeitverfahren (englisch: time of flight), bei dem für jeden Bildpunkt die Zeit, die das Licht eines Lichtpulses bis zum Objekt und wieder zurück braucht, gemessen wird, für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes zu bestimmen.In addition to mono cameras, stereo cameras can also be used, which also supply depth information. Likewise, TOF cameras with a runtime method (English: time of flight), in which the time that the light of a light pulse needs to reach the object and back again is measured for each pixel, allow for the distance of the object imaged on it for each pixel determine.

Weiterhin können für erfasste Objekte 3D-Datenmodelle aus zeitgleichen Bildern von verschiedenen Kameras, oder aufeinander folgenden, mit der gleichen Kamera aufgenommenen Bildern des gleichen Objektes in verschiedenen Winkeln und Positionen, erzeugt werden, um damit die Konturen besser sichtbar zu machen und die Erkennung bewegter Objekte zu verbessern.Furthermore, 3D data models can be generated for detected objects from simultaneous images from different cameras, or consecutive images of the same object taken with the same camera at different angles and positions, in order to make the contours more visible and the detection of moving objects to improve.

4 zeigt schematisch ein zweites Ausführungsbeispiel der erfindungsgemäßen Innenraumüberwachung, bei dem die Ausgabe von Kamerabildern und Warnhinweisen auf einem mobilen Endgerät erfolgt. Auch hier weist das Fahrzeug zwei Sitzreihen 11 und 12 auf, die durch zwei Innenraumkameras 13 und 14 erfasst werden. Die von den beiden Innenraumkameras erzeugten Videodaten werden wiederum einer Analyseeinheit 15 zur Auswertung zugeführt. Bei einem vorliegenden Gefährdungsumstand werden die Kamerabilder sowie der Warnhinweis in diesem Fall aber über eine mobile Datenverbindung an ein mobiles Endgerät 18, wie beispielsweise ein Smartphone, eines Fahrzeugnutzers weitergeleitet und auf dem Display des mobilen Endgeräts wiedergegeben. Dieses ermöglicht es, einen Nutzer des Fahrzeugs auch dann über Gefährdungsumstände zu informieren, wenn sich dieser weder im Fahrzeug noch in dessen Nähe befindet. Auf diese Weise kann der Fahrzeugnutzer auf vielfältige Gefährdungsumstände hingewiesen werden, beispielsweise einen gerade erfolgenden Einbruch in das Fahrzeug, ein versehentlich nicht geschlossenes Fenster oder Schiebedach, im Fahrzeug vergessene Wertobjekte oder auch Menschen oder Tiere, die sich im Fahrzeug befinden und drohen zu erfrieren oder zu überhitzen oder gerade erwachen. 4 shows schematically a second exemplary embodiment of the interior surveillance according to the invention, in which camera images and warnings are output on a mobile terminal device. Here, too, the vehicle has two rows of seats 11 and 12 which are captured by two interior cameras 13 and 14 . The video data generated by the two interior cameras are in turn supplied to an analysis unit 15 for evaluation. If there is a risk, the camera images and the warning are forwarded via a mobile data connection to a mobile device 18, such as a smartphone, of a vehicle user and are shown on the display of the mobile device. This makes it possible to inform a user of the vehicle about dangerous circumstances even if he is neither in the vehicle nor in its vicinity. In this way, the vehicle user can be alerted to a variety of risk factors, such as a break-in into the vehicle, a window or sunroof that was accidentally not closed, valuables left in the vehicle, or people or animals in the vehicle who are in danger of freezing or dying overheat or just waking up.

Zusätzlich zu der Erfassung des Fahrzeuginnenraums mit einer oder mehreren Innenraumkameras kann der Fahrzeuginnenraum auch mit weiteren Sensoren, die auf anderen Technologien beruhen, erfasst werden. In diesem Fall können die Bilddaten der Innenraumkameras mit den Sensordaten der weiteren Sensoren zusammengefasst bzw. verknüpft werden, um so die Qualität der gewonnenen Informationen noch weiter zu verbessern. So kann der Innenraum beispielsweise zusätzlich auch durch Ultraschallsensoren und/oder Radarsensoren überwacht bzw. beobachtet werden.In addition to capturing the interior of the vehicle with one or more interior cameras, the interior of the vehicle can also be captured with other sensors that are based on other technologies. In this case, the image data from the interior cameras can be combined or linked with the sensor data from the other sensors in order to further improve the quality of the information obtained. For example, the interior can also be monitored or observed by ultrasonic sensors and/or radar sensors.

BezugszeichenlisteReference List

1 - 41 - 4
Verfahrensschritteprocess steps
1010
Fahrzeuginnenraumvehicle interior
1111
erste Sitzreihefirst row of seats
1212
zweite Sitzreihesecond row of seats
13, 1413, 14
Innenraumkamerasinterior cameras
1515
Analyseeinheitanalysis unit
1616
Anzeigeeinheit im Fahrzeugdisplay unit in the vehicle
1717
weitere Fahrzeugkomponenten bzw. Software-Anwendungenother vehicle components or software applications
1818
mobiles Endgerätmobile device

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • JP 2004351979 A [0005, 0006]JP 2004351979 A [0005, 0006]

Claims (12)

Verfahren zur Innenraumüberwachung eines Fahrzeugs, bei dem - ein Teil des Innenraums (10) mit mindestens einer Innenraumkamera erfasst wird (1); - die durch die mindestens eine Innenraumkamera (13, 14) erzeugten Kamerabilder ausgewertet (2) werden, um einen potentiell die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand zu erkennen; - bei einem erkannten Gefährdungsumstand Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, ausgegeben (3) werden, wobei der erkannte Gefährdungsumstand in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben gekennzeichnet wird.Method for monitoring the interior of a vehicle, in which - Part of the interior (10) is detected with at least one interior camera (1); - The camera images generated by the at least one interior camera (13, 14) are evaluated (2) in order to identify a potentially hazardous situation that could affect the safety of the vehicle and/or the vehicle occupants of the vehicle; - if a hazardous situation is identified, camera images that reflect this hazardous situation or visual representations derived from these camera images are output (3), with the identified hazardous situation being identified in the displayed camera images or in visual representations derived from the camera images. Verfahren nach Anspruch 1, wobei der Gefährdungsumstand durch eine Person oder ein Objekt im Innenraum des Fahrzeugs verursacht wird und die Position der Person oder des Objektes in dem Kamerabild angezeigt wird.procedure after claim 1 , wherein the hazardous situation is caused by a person or an object in the interior of the vehicle and the position of the person or the object is displayed in the camera image. Verfahren nach Anspruch 1 oder 2, wobei zusätzlich ein Warnhinweis und/oder eine Empfehlung für eine Vermeidung des Gefährdungsumstands optisch, akustisch und/oder haptisch ausgegeben (4) wird.procedure after claim 1 or 2 , with an additional warning and/or a recommendation for avoiding the hazardous situation being issued optically, acoustically and/or haptically (4). Verfahren nach Anspruch 3, wobei die Innenraumüberwachung des Fahrzeugs während der Fahrt des Fahrzeugs durchgeführt wird und eine Ausgabe an den Fahrer des Fahrzeugs erfolgt.procedure after claim 3 , wherein the interior monitoring of the vehicle is carried out while the vehicle is driving and an output is made to the driver of the vehicle. Verfahren nach Anspruch 4, wobei die Kamerabilder oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben auf einer Anzeige eines Kombiinstruments, eines Infotainmentsystems, und/oder eines Head-Up-Displays ausgegeben werden.procedure after claim 4 , wherein the camera images or image reproductions derived from these camera images are output on a display of an instrument cluster, an infotainment system, and/or a head-up display. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeug mehrere Sitzreihen (11, 12) aufweist und jeweils eine dieser Sitzreihen (11, 12) durch eine für diese Sitzreihe vorgesehene Innenraumkamera (13, 14) erfasst wird.Method according to one of the preceding claims, wherein the vehicle has a plurality of seat rows (11, 12) and one of these seat rows (11, 12) is detected by an interior camera (13, 14) provided for this seat row. Verfahren nach einem der vorhergehenden Ansprüche, wobei Personen oder Objekte im Innenraum (10) des Fahrzeugs gleichzeitig durch mehrere Innenraumkameras (13, 14) erfasst werden und die Kamerabilder dieser mehreren Innenraumkameras (13, 14) für eine erfasste Person oder ein erfasstes Objekt gemeinsam ausgewertet werden.Method according to one of the preceding claims, wherein people or objects in the interior (10) of the vehicle are detected simultaneously by a plurality of interior cameras (13, 14) and the camera images of these multiple interior cameras (13, 14) are evaluated together for a detected person or a detected object will. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Information über einen erkannten Gefährdungsumstand einer weiteren Anwendung (17) im Fahrzeug zur Verfügung gestellt wird.Method according to one of the preceding claims, in which information about a recognized risk situation is made available to a further application (17) in the vehicle. Verfahren nach einem der Ansprüche 3 bis 8, wobei die Innenraumüberwachung des Fahrzeugs durchgeführt wird, wenn sich das Fahrzeug nicht in Fahrt befindet und eine Ausgabe auf einem mobilen Endgerät (18) eines Fahrzeugnutzers erfolgt.Procedure according to one of claims 3 until 8th , wherein the interior monitoring of the vehicle is carried out when the vehicle is not in motion and an output takes place on a mobile terminal (18) of a vehicle user. Vorrichtung zur Innenraumüberwachung eines Fahrzeugs, mit - mindestens einer Innenraumkamera (13, 14), die einen Teil des Innenraums (10) erfasst; - einer Analyseeinheit (15), der die durch die mindestens eine Innenraumkamera (13, 14) erzeugten Kamerabilder zugeführt werden und die die Kamerabilder ausgewertet, um einen potentiell die Sicherheit des Fahrzeugs und/oder der Fahrzeuginsassen des Fahrzeugs beeinträchtigenden Gefährdungsumstand zu erkennen; - einer Ausgabeeinheit (16, 17), die bei einem erkannten Gefährdungsumstand Kamerabilder, die diesen Gefährdungsumstand wiedergeben, oder von diesen Kamerabildern abgeleitete bildliche Wiedergaben, ausgibt, wobei der erkannte Gefährdungsumstand in den angezeigten Kamerabildern oder von den Kamerabildern abgeleiteten bildlichen Wiedergaben gekennzeichnet wird.Device for monitoring the interior of a vehicle, with - At least one interior camera (13, 14) which detects part of the interior (10); - An analysis unit (15) which is supplied with the camera images generated by the at least one interior camera (13, 14) and which evaluates the camera images in order to identify a potentially hazardous situation that could impair the safety of the vehicle and/or the vehicle occupants of the vehicle; - an output unit (16, 17) which, when a hazardous situation is identified, outputs camera images which reproduce this hazardous situation, or visual representations derived from these camera images, with the identified hazardous situation being identified in the displayed camera images or in visual representations derived from the camera images. Vorrichtung nach Anspruch 9, wobei für mehrere Sitzreihen (11, 12) des Fahrzeugs jeweils eine Innenraumkamera (13, 14) vorgesehen ist und die Innenraumkameras so angeordnet sind, dass jeweils eine Sitzreihe durch die für diese Sitzreihe vorgesehene Innenraumkamera erfasst wird.device after claim 9 , wherein an interior camera (13, 14) is provided for several rows of seats (11, 12) of the vehicle and the interior cameras are arranged such that one row of seats is detected by the interior camera provided for this row of seats. Fahrzeug, das eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen oder eine Vorrichtung gemäß einem der Ansprüche 10 oder 11 aufweist.Vehicle that is set up, a method according to one of Claims 1 until 9 perform or a device according to any one of Claims 10 or 11 having.
DE102020210055.1A 2020-08-07 2020-08-07 Method and device for monitoring the interior of a vehicle Pending DE102020210055A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020210055.1A DE102020210055A1 (en) 2020-08-07 2020-08-07 Method and device for monitoring the interior of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020210055.1A DE102020210055A1 (en) 2020-08-07 2020-08-07 Method and device for monitoring the interior of a vehicle

Publications (1)

Publication Number Publication Date
DE102020210055A1 true DE102020210055A1 (en) 2022-02-10

Family

ID=79686283

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020210055.1A Pending DE102020210055A1 (en) 2020-08-07 2020-08-07 Method and device for monitoring the interior of a vehicle

Country Status (1)

Country Link
DE (1) DE102020210055A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022121815A1 (en) 2022-08-29 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating an interior tracking system in a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351979A (en) 2003-05-27 2004-12-16 Nissan Motor Co Ltd Intruder warning device for vehicle
DE102014219692A1 (en) 2014-09-29 2015-10-22 Siemens Aktiengesellschaft A method for detecting a dangerous situation in a vehicle interior of a vehicle and hazard detection system
DE102015006814A1 (en) 2014-05-28 2015-12-03 Scania Cv Ab driver warning
DE102016000273A1 (en) 2016-01-13 2017-07-13 Daimler Ag Method and device for monitoring an interior space of a vehicle
EP3407318A1 (en) 2017-05-23 2018-11-28 Ole Anton Bieltvedt Security device and security method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351979A (en) 2003-05-27 2004-12-16 Nissan Motor Co Ltd Intruder warning device for vehicle
DE102015006814A1 (en) 2014-05-28 2015-12-03 Scania Cv Ab driver warning
DE102014219692A1 (en) 2014-09-29 2015-10-22 Siemens Aktiengesellschaft A method for detecting a dangerous situation in a vehicle interior of a vehicle and hazard detection system
DE102016000273A1 (en) 2016-01-13 2017-07-13 Daimler Ag Method and device for monitoring an interior space of a vehicle
EP3407318A1 (en) 2017-05-23 2018-11-28 Ole Anton Bieltvedt Security device and security method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022121815A1 (en) 2022-08-29 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating an interior tracking system in a vehicle

Similar Documents

Publication Publication Date Title
EP1375253B1 (en) Method for monitoring inner and outer space of a vehicle and a vehicle with at least an omniview camera
DE10158415C2 (en) Method for monitoring the interior of a vehicle, as well as a vehicle with at least one camera in the vehicle interior
EP2986225B1 (en) Method for determining if a vehicle occupant is aware of relevant objects in the surroundings of the vehicle
DE102018105951B4 (en) METHOD FOR DYNAMICALLY DISPLAYING IMAGES ON AN ELECTRONIC DISPLAY DEVICE OF A VEHICLE
DE112015003672T5 (en) Driver monitoring device
DE10132982B4 (en) Device for acquiring optical information
DE102017122261A1 (en) Method for monitoring a surrounding area of a motor vehicle and camera system
DE102007051543A1 (en) Vehicle component e.g. presentation device, parameter adjusting device, has detection device for detecting position and/or orientation of passenger head, where adjustment of parameter is carried out based on position and/or orientation
DE102009014437B4 (en) Object Recognition System and Method
DE102017111468A1 (en) A vehicle system and method for determining whether a vehicle occupant has sensed an off-vehicle object
DE102016210088B3 (en) Method and device for representing an environment of a motor vehicle
DE102013013227A1 (en) Car with display unit and protection against a driver distraction
EP3583488B1 (en) Automated activation of a vision support system
DE102020210055A1 (en) Method and device for monitoring the interior of a vehicle
DE102016217037B4 (en) Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102019200099A1 (en) Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device
EP3162635A1 (en) Camera-based display system
DE10161262B4 (en) Attention control method and apparatus for technical facility operators based on infrared image data
DE102022103604A1 (en) ON-BOARD MONITORING EQUIPMENT FOR A VEHICLE
DE102022103605A1 (en) ON-BOARD MULTIPLE MONITORING EQUIPMENT FOR ONE VEHICLE
DE102019113839B3 (en) Device and method for monitoring a passenger compartment
DE102020214908A1 (en) Method and device for monitoring the viewing direction of a driver when driving a motor vehicle
DE102020106850A1 (en) Method for assisting an occupant when getting out of a vehicle by adapting a display, driver assistance system and vehicle
DE102018127471A1 (en) Method and system for warning a driver of a vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication