DE102023000452A1 - Method for detecting and localizing living beings in a vehicle interior and vehicle - Google Patents
Method for detecting and localizing living beings in a vehicle interior and vehicle Download PDFInfo
- Publication number
- DE102023000452A1 DE102023000452A1 DE102023000452.9A DE102023000452A DE102023000452A1 DE 102023000452 A1 DE102023000452 A1 DE 102023000452A1 DE 102023000452 A DE102023000452 A DE 102023000452A DE 102023000452 A1 DE102023000452 A1 DE 102023000452A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- vehicle interior
- camera
- sensor
- radio sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 25
- 241001465754 Metazoa Species 0.000 claims abstract description 18
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 22
- 238000009434 installation Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000004807 localization Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002631 hypothermal effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum, wobei wenigstens eine Kamera (1) und ein Funksensor (2) jeweils zumindest einen Abschnitt des Fahrzeuginnenraums erfassen, von der Kamera (1) und dem Funksensor (2) erzeugte Sensordaten von einer Recheneinheit (3) verarbeitet werden und das Ausgeben einer Warnung und/oder ansteuern einer Fahrzeugfunktion in Abhängigkeit eines im Fahrzeuginnenraum detektierten Lebewesens von der Recheneinheit (3) initiierbar ist. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass- die Recheneinheit (3) die vom Funksensor (2) generierten Sensordaten auf das Vorhandensein eines Atemmusters und/oder eines Herzschlags untersucht, bei einem erkannten Atemmuster und/oder Herzschlag diese im Fahrzeuginnenraum verortet und einen jeweiligen Ort als Interessensregion (4.1) markiert;- die Recheneinheit (3) in den von der Kamera (1) generierten Sensordaten zur respektiven Interessensregion (4.1) korrelierende Bereiche (5) bestimmt und diese Bereiche (5) mittels Bildererkennungsverfahren auf die Anwesenheit eines Erwachsenen, eines Kindes und eines Tieres hin untersucht; und- die Warnung ausgibt und/oder die Fahrzeugfunktion ansteuert, wenn zumindest ein Kind und/oder Tier aber kein Erwachsener im Fahrzeuginnenraum detektiert wird und das Ausgeben der Warnung und/oder das Ansteuern der Fahrzeugfunktion unterdrückt, wenn wenigstens ein Erwachsener im Fahrzeuginnenraum detektiert wird.The invention relates to a method for detecting and locating living beings in a vehicle interior, wherein at least one camera (1) and a radio sensor (2) each capture at least one section of the vehicle interior, sensor data generated by the camera (1) and the radio sensor (2). are processed by a computing unit (3) and the issuing of a warning and/or activation of a vehicle function can be initiated by the computing unit (3) as a function of a living being detected in the vehicle interior. The method according to the invention is characterized in that the processing unit (3) examines the sensor data generated by the radio sensor (2) for the presence of a breathing pattern and/or a heartbeat, locates this in the vehicle interior and a respective location if a breathing pattern and/or heartbeat is detected marked as a region of interest (4.1);- the processing unit (3) determines correlating areas (5) in the sensor data generated by the camera (1) for the respective region of interest (4.1) and uses image recognition methods to detect these areas (5) for the presence of an adult, a child and an animal examined; and- issues the warning and/or activates the vehicle function if at least one child and/or animal but no adult is detected in the vehicle interior and suppresses the issuing of the warning and/or activation of the vehicle function if at least one adult is detected in the vehicle interior.
Description
Die Erfindung betrifft ein Verfahren zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug nach der im Oberbegriff von Anspruch 3 näher definierten Art.The invention relates to a method for detecting and localizing living beings in a vehicle interior according to the type defined in more detail in the preamble of
Im Alltag kann es vorkommen, dass Kinder oder Tiere im Fahrzeuginnenraum vergessen oder dort vorsätzlich zurückgelassen werden. Beispielsweise möchte ein Hundehalter einen kurzen Einkauf tätigen, seinen Hund jedoch nicht mitnehmen. Insbesondere bei starker Sonneneinstrahlung im Sommer sowie kalten Temperaturen im Winter können hierdurch lebensbedrohliche Situationen entstehen, da sich der Fahrzeuginnenraum stark aufheizen bzw. abkühlen kann, wodurch ein entsprechendes Kind oder Haustier droht zu überhitzen oder zu unterkühlen. Somit entsteht der Bedarf nach Mittel und Verfahren zum Warnen von Fahrzeugnutzem vor im Fahrzeug zurückgelassenen Kindern oder Tieren.In everyday life, it can happen that children or animals are forgotten in the vehicle interior or left there on purpose. For example, a dog owner wants to make a quick purchase, but does not want to take his dog with him. This can result in life-threatening situations, especially in strong sunlight in summer and cold temperatures in winter, since the vehicle interior can heat up or cool down considerably, which means that a child or pet in question threatens to overheat or hypothermia. Thus, the need arises for means and methods for warning vehicle users of children or animals left in the vehicle.
Solche Verfahren und Mittel sind beispielsweise aus der
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum anzugeben, welches bei einem reduzierten Aufwand zuverlässig arbeitet, in dem Sinne, dass anwesende oder abwesende Lebewesen zuverlässig erkannt werden und das Ausgeben unnötiger Fehlalarme zumindest reduziert wird.The present invention is based on the object of specifying an improved method for detecting and locating living beings in a vehicle interior, which works reliably with reduced effort, in the sense that living beings present or absent are reliably detected and the issuing of unnecessary false alarms is at least reduced.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for detecting and localizing living beings in a vehicle interior with the features of
Ein gattungsgemäßes Verfahren zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum, wobei wenigstens eine Kamera und ein Funksensor jeweils zumindest einen Abschnitt des Fahrzeuginnenraums erfassen, von der Kamera und dem Funksensor erzeugte Sensordaten von einer Recheneinheit verarbeitet werden und das Ausgeben einer Warnung und/oder Ansteuern einer Fahrzeugfunktion in Abhängigkeit eines im Fahrzeuginnenraum detektierten Lebewesens von der Recheneinheit initiierbar ist, wird erfindungsgemäß dadurch weitergebildet, dass
- - die Recheneinheit die vom Funksensor generierten Sensordaten auf das Vorhandensein eines Atemmusters und/oder eines Herzschlags untersucht, bei einem erkannten Atemmuster und/oder Herzschlag diese im Fahrzeuginnenraum verortet und einen jeweiligen Ort als Interessensregion markiert;
- - die Recheneinheit in den von der Kamera generierten Sensordaten zur respektiven Interessensregion korrelierende Bereiche bestimmt und diese Bereiche mittels Bildererkennungsverfahren auf die Anwesenheit eines Erwachsenen, eines Kindes und eines Tieres hin untersucht; und
- - die Warnung ausgibt und/oder die Fahrzeugfunktion ansteuert, wenn zumindest ein Kind und/oder Tier aber kein Erwachsener im Fahrzeuginnenraum detektiert wird und das Ausgeben der Warnung und/oder das Ansteuern der Fahrzeugfunktion unterdrückt, wenn wenigstens ein Erwachsener im Fahrzeuginnenraum detektiert wird.
- - The computing unit examines the sensor data generated by the radio sensor for the presence of a breathing pattern and/or a heartbeat, locates it in the vehicle interior when a breathing pattern and/or heartbeat is recognized and marks a respective location as a region of interest;
- - the computing unit in the sensor data generated by the camera determines correlating areas for the respective region of interest and uses image recognition methods to examine these areas for the presence of an adult, a child and an animal; and
- - Issues the warning and/or activates the vehicle function if at least one child and/or animal but no adult is detected in the vehicle interior and suppresses the issuing of the warning and/or activation of the vehicle function if at least one adult is detected in the vehicle interior.
Durch eine Sensorfusion von der Kamera und dem Funksensor generierter Sensordaten ist eine zuverlässige Detektion und Lokalisierung von Lebewesen im Fahrzeuginnenraum gewährleistet. Die Recheneinheit muss dabei nicht den gesamten Fahrzeuginnenraum in den Kamerabildem überwachen, sondern nur diejenigen Regionen, die unter Berücksichtigung der vom Funksensor generierten Sensordaten als relevant markiert wurden. Hierdurch sinkt der Aufwand bei der Durchführung des erfindungsgemäßen Verfahrens, da nicht die gesamten Kamerabilder ausgewertet werden müssen, sondern nur die mit den Interessensregionen übereinstimmenden Bereiche. Zudem wird das Ausgeben unnötiger Alarme zuverlässig verhindert. Ist ein Erwachsener im Fahrzeuginnenraum anwesend, so handelt es sich nicht um ein im Fahrzeuginnenraum vergessenes Kind oder Tier. Somit muss auch keine Warnung ausgegeben werden bzw. keine Fahrzeugfunktion wie das Herunterfahren der Fenster oder Aktivieren der Klimaanlage erfolgen. Erkennt die Recheneinheit hingegen das wenigstens ein Tier und/oder wenigstens ein Kind im Fahrzeuginnenraum anwesend ist, jedoch kein Erwachsener, so handelt es sich entsprechend um ein zurückgelassenes Kind bzw. Tier, sodass besagte Warnung ausgegeben werden sollte und/oder besagte Fahrzeugfunktion durchgeführt werden sollte.A sensor fusion of sensor data generated by the camera and the radio sensor ensures reliable detection and localization of living beings in the vehicle interior. The processing unit does not have to monitor the entire vehicle interior in the camera images, but only those regions that have been marked as relevant taking into account the sensor data generated by the radio sensor. This reduces the effort involved in carrying out the method according to the invention, since it is not necessary to evaluate all of the camera images, but rather only the areas that match the regions of interest. In addition, the issuing of unnecessary alarms is reliably prevented. If an adult is present in the vehicle interior, it is not a question of a child or animal left in the vehicle interior. This means that no warning needs to be issued and no vehicle function such as closing the windows or activating the air conditioning needs to take place. If, on the other hand, the computing unit recognizes that at least one animal and/or at least one child is present in the vehicle interior, but no adult, then it is a child or animal that has been left behind, so that said warning should be issued and/or said vehicle function should be carried out .
Da nicht sämtliche Bildbereiche zur Detektion von Erwachsenen, Kindern und Tieren durch die Recheneinheit verarbeitet werden müssen, und die Recheneinheit nur eine begrenzte Rechenleistung aufweist, sinkt die Sensierzeit, mit der die Recheneinheit feststellt, ob besagte Lebewesen im Fahrzeuginnenraum anwesend sind oder nicht.Since not all image areas for the detection of adults, children and animals have to be processed by the processing unit, and the processing unit only has limited processing power, the sensing time with which the processing unit determines whether said creatures are present in the vehicle interior or not is reduced.
Das Kombinieren von Kamera und Funksensor eignet sich dabei besonders zur Fahrzeuginnenraumüberwachung. So kann eine Lebewesendetektion alleinig basierend auf Kamerabildem an Grenzen stoßen. Werden im Fahrzeuginnenraum beispielsweise Puppen oder Magazine mitgeführt, die Fotos von Menschen zeigen, so kann ein entsprechender Bilderkennungsalgorithmus eine Puppe und/oder ein auf einem Foto abgebildeten Menschen für ein im Fahrzeuginnenraum anwesendes Lebewesen halten. Unter Berücksichtigung der vom Funksensor generierten Sensordaten lässt sich dies jedoch zuverlässig vermeiden. So werden nur in den Interessensregionen, in denen also ein Herzschlag und/oder ein Atemmuster detektiert wurde, das Erkennen von Lebewesen freigeschaltet. Das heißt die Recheneinheit berücksichtigt nur innerhalb einer Interessensregion detektierte Lebewesen als solche.The combination of camera and radio sensor is particularly suitable for vehicle interior surveillance. Thus, the detection of living beings based solely on camera images can reach its limits. If, for example, dolls or magazines showing photos of people are carried along in the vehicle interior, a corresponding image recognition algorithm can mistake a doll and/or a person depicted in a photo for a living being present in the vehicle interior. However, this can be reliably avoided by taking into account the sensor data generated by the wireless sensor. In this way, the recognition of living beings is only activated in the regions of interest in which a heartbeat and/or a breathing pattern was detected. This means that the computing unit only takes into account living beings as such that are detected within a region of interest.
Bei dem Funksensor kann es sich beispielsweise um einen Radarsensor, ein UltraBreitband-Sensor (UWB-Sensor, basierend auf der Ultrabreitband-Technologie) oder einen Wi-Fi-Sensor handeln. Es können auch mehrerer solcher Sensoren, auch in Kombination, verbaut sein. Mittels Radar lassen sich auf besonders einfache Art und Weise Bewegungen erkennen. Durch Analyse einer Wi-Fi-Signalstärke können ebenfalls Bewegungen und damit auch Herzschläge und Atemmuster in einem Untersuchungsraum erkannt werden. Ein entsprechender Wi-Fi-Sensor umfasst hierzu insbesondere mehrere Wi-Fi-Antenne die verteilt am Fahrzeug angeordnet sind.The radio sensor can be, for example, a radar sensor, an ultra-wideband sensor (UWB sensor, based on ultra-wideband technology) or a Wi-Fi sensor. Several such sensors can also be installed, also in combination. Movements can be detected in a particularly simple manner using radar. By analyzing a Wi-Fi signal strength, movements and thus also heartbeats and breathing patterns can also be detected in an examination room. For this purpose, a corresponding Wi-Fi sensor includes, in particular, a plurality of Wi-Fi antennas which are arranged distributed on the vehicle.
Das erfindungsgemäße Verfahren wird insbesondere bei Stillstand des Fahrzeugs durchgeführt, da während der Fahrt in der Regel ein Erwachsener anwesend ist und somit keine Gefahr droht. Werden keine Lebewesen im Fahrzeuginnenraum detektiert, so muss auch keine Warnung ausgegeben werden und auch keine Fahrzeugfunktion angesteuert werden. Die entsprechenden Sensoren können dann deaktiviert werden, beispielsweise nach einer definierten Wartezeit wie fünf Minuten, gestartet nach dem Erkennen der Abwesenheit sämtlicher Lebewesen. Nach festgelegten zeitlichen Intervallen, wie beispielsweise alle weiteren fünf Minuten, kann eine erneute Fahrzeuginnenraumerfassung durchgeführt werden, um potenziell das Fahrzeug betretende Lebewesen zu erkennen. Nach einer Deaktivierung der Sensoren können diese auch in Abhängigkeit eines Ereignisses wieder aktiviert werden, beispielsweise nachdem ein Entriegelungssignal für die Fahrzeugtüren empfangen wurde oder ein Türöffnungs- und Türschließungsvorgang erkannt wurde.The method according to the invention is carried out in particular when the vehicle is stationary, since an adult is usually present during the journey and there is therefore no danger. If no living creatures are detected in the vehicle interior, no warning needs to be issued and no vehicle function needs to be activated. The corresponding sensors can then be deactivated, for example after a defined waiting time of five minutes, starting after recognizing the absence of all living beings. After specified time intervals, such as every additional five minutes, a renewed detection of the vehicle interior can be carried out in order to identify living beings potentially entering the vehicle. After the sensors have been deactivated, they can also be activated again depending on an event, for example after an unlocking signal for the vehicle doors has been received or a door opening and door closing process has been detected.
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht vor, dass die Recheneinheit die Einbauposition des Funksensors als Interessenregion markiert und den Funksensor deaktiviert, wenn die Recheneinheit unter Verarbeitung der von der Kamera generierten Sensordaten in dieser Interessensregion ein Objekt oder Lebewesen erkennt. Hält sich im Umfeld um den Funksensor ein Objekt oder Lebewesen auf, so kann dieses die Erfassung des Fahrzeuginnenraums durch den Funksensor blockieren. In diesem Falle kann der Funksensor auch keine Atemmuster und/oder Herzschläge detektieren. Vorteilhafterweise wird dann der Funksensor ausgeschaltet, sodass weniger Energie zur Überwachung des Fahrzeuginnenraums verbraucht werden muss. Zudem wird die Funkwellenemission im Fahrzeuginnenraum reduziert, was gegebenenfalls Interferenzen mit weiteren Funktechnologien verhindert.An advantageous development of the method according to the invention provides that the processing unit marks the installation position of the radio sensor as a region of interest and deactivates the radio sensor if the processing unit, processing the sensor data generated by the camera, detects an object or living being in this region of interest. If there is an object or living being in the vicinity of the radio sensor, this can block the radio sensor from detecting the interior of the vehicle. In this case, the radio sensor cannot detect breathing patterns and/or heartbeats either. The radio sensor is then advantageously switched off, so that less energy has to be consumed for monitoring the vehicle interior. In addition, the radio wave emissions in the vehicle interior are reduced, which may prevent interference with other radio technologies.
Dieses Problem tritt insbesondere auf, wenn es sich bei dem Funksensor um einen Radarsensor handelt. Wird hingegen ein UWB-Sensor und/oder ein Wi-Fi-Sensor verwendet, so kann dieses Problem abgemindert oder sogar vermieden werden.This problem occurs in particular when the radio sensor is a radar sensor. On the other hand, if a UWB sensor and/or a Wi-Fi sensor is used, this problem can be reduced or even avoided.
Bei einem Fahrzeug mit wenigstens einer/einem zumindest einen Abschnitt des Fahrzeuginnenraums erfassenden Kamera und Funksensor und einer Recheneinheit sind erfindungsgemäß die Kamera, der Funksensor und die Recheneinheit dazu eingerichtet ein im vorigen beschriebenes Verfahren durchzuführen. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Die Kamera und der Funksensor können beliebig im Fahrzeuginnenraum angeordnet sein. Bevorzugt sind die jeweiligen Sensoren derart angeordnet, dass sie die jeweiligen potenziellen Aufenthaltsbereiche von Lebewesen im Fahrzeuginnenraum bestmöglich erfassen können. So wird verhindert, dass aufgrund einer Verdeckung Lebewesen übersehen werden. Bei der Recheneinheit kann es sich um einen zentralen Bordcomputer, ein Steuergerät eines Fahrzeuguntersystems, eine Telematikeinheit oder dergleichen handeln. Einzelne durch die Recheneinheit durchgeführte Funktionen können auch auf mehrere Recheneinheiten verteilt sein. So kann beispielsweise eine erste Recheneinheit die Sensordaten verarbeiten und eine zweite Recheneinheit zum Veranlassen der Warnung und/oder Ansteuern der Fahrzeugfunktion dienen. Die Kamera kann als Infrarotkamera ausgeführt sein, was eine verbesserte Bilderkennung bei Dunkelheit erlaubt.In a vehicle with at least one camera and radio sensor detecting at least a section of the vehicle interior and a computing unit, the camera, the radio sensor and the computing unit are set up according to the invention to carry out a method described above. The vehicle can be any vehicle such as a car, truck, van, bus or the like. The camera and the radio sensor can be arranged anywhere in the vehicle interior. The respective sensors are preferably arranged in such a way that they can detect the respective potential locations of living beings in the vehicle interior in the best possible way. This prevents living beings from being overlooked due to concealment. The processing unit can be a central on-board computer, a control unit of a vehicle subsystem, a telematics unit or the like. Individual functions performed by the processing unit can also be distributed over a number of processing units. For example, a first processing unit can process the sensor data and a second processing unit can be used to initiate the warning and/or control the vehicle function. The camera can be designed as an infrared camera, which allows improved image recognition in the dark.
Eine vorteilhafte Ausgestaltung des Fahrzeugs sieht vor, dass wenigstens ein Funksensor bezogen auf die Fahrzeuglängsachse auf Höhe des Fonds im Fahrzeuginnenraum angeordnet ist und insbesondere sein Erfassungsbereich in Richtung der Fahrzeugfront ausgerichtet ist. Dies erlaubt eine besonders umfassende Überwachung des Fahrzeuginnenraums durch den Funksensor. Beispielsweise kann der Funksensor in den Dachhimmel integriert sein, sodass eine Überwachung des Fahrzeuginnenraums aus der Vogelperspektive möglich ist.An advantageous embodiment of the vehicle provides that at least one radio sensor is arranged in relation to the vehicle longitudinal axis at the level of the rear in the vehicle interior and in particular its detection range is aligned in the direction of the vehicle front. This allows a particularly comprehensive monitoring of the vehicle interior by the radio sensor. For example, the radio sensor can be integrated into the roof liner so that the vehicle interior can be monitored from a bird's eye view.
Ein solcher Funksensor kann blockiert werden, wenn sich eine Person auf den mittleren Sitz im Fond setzt. So wird der von der Kamera in diesem Falle zu überwachende Bereich, also die respektive Interessensregion, auf das Raumvolumen verortet, in dem sich üblicherweise der Kopf des Fahrzeuginsassen aufhalten wird. Es können mehrere solcher Raumvolumina und damit Interessensregionen für unterschiedlich große Personen definiert werden.Such a wireless sensor can be blocked if a person sits in the middle rear seat. In this way, the area to be monitored by the camera, ie the respective region of interest, is localized to the spatial volume in which the vehicle occupant's head will usually be located. Several such spatial volumes and thus regions of interest can be defined for people of different sizes.
Bevorzugt ist wenigstes eine Kamera bezogen auf die Fahrzeuglängsachse auf Höhe des Armaturenbretts im Fahrzeuginnenraum angeordnet und insbesondere ihr Erfassungsbereich zum Heck ausgerichtet. Zur zuverlässigen Differenzierung zwischen Erwachsenen, Kindern und Tieren gilt es die Gesichter der Lebewesen mittels Bilderkennungsalgorithmen zu analysieren. Erwachsene und Kinder blicken dabei typischerweise in Richtung der Fahrzeuglängsachse zur Fahrzeugfront. Somit ist eine Gesichtsanalyse möglich, wenn die entsprechende Kamera im Frontbereich des Fahrzeugs angeordnet ist und in Richtung des Hecks ausgerichtet ist. Beispielsweise kann die Kamera in das Armaturenbrett selbst integriert sein oder auch in den Dachhimmel oder den Innenspiegel.At least one camera is preferably arranged in relation to the vehicle longitudinal axis at the level of the dashboard in the vehicle interior and, in particular, its detection area is oriented towards the rear. In order to reliably differentiate between adults, children and animals, the faces of the creatures must be analyzed using image recognition algorithms. Adults and children typically look in the direction of the vehicle's longitudinal axis to the front of the vehicle. A face analysis is thus possible if the corresponding camera is arranged in the front area of the vehicle and is aligned in the direction of the rear. For example, the camera can be integrated into the dashboard itself, or into the roof liner or the interior mirror.
Aufgrund dieser vorteilhaften Anordnung von Funksensor und Kamera ist eine zuverlässige Überwachung des Fahrzeuginnenraums möglich. Werden Funksensor und Kamera an verschiedenen Einbaupositionen im Fahrzeug installiert und insbesondere ihre Erfassungsrichtung aufeinander ausgerichtet, so lässt sich verhindern, dass nicht überwachbare Bereiche im Fahrzeuginnenraum verbleiben. So kann auch die Anzahl erforderlicher Sensoren reduziert werden. Bevorzugt ist entsprechend lediglich ein Funksensor und eine Kamera zur Bereitstellung des erfindungsgemäßen Verfahrens erforderlich.Due to this advantageous arrangement of the radio sensor and camera, reliable monitoring of the vehicle interior is possible. If the radio sensor and camera are installed in different installation positions in the vehicle and, in particular, their detection direction is aligned with one another, it is possible to prevent areas in the vehicle interior that cannot be monitored remaining. The number of sensors required can also be reduced in this way. Accordingly, only one radio sensor and one camera are preferably required to provide the method according to the invention.
Weiterhin kann eine Sensorfusion mit weiteren, ohnehin im Fahrzeug befindlichen Sensoren erfolgen. So kann beispielsweise unter Berücksichtigung eines in einen Fahrzeugsitz integrierten Drucksensors unterschieden werden, ob ein Kind oder ein Erwachsener platzgenommen hat. Zur Differenzierung wird dann die Höhe des Drucksignals (korreliert mit dem Gewicht der Person) ausgewertet.Furthermore, a sensor fusion can take place with other sensors already located in the vehicle. For example, taking into account a pressure sensor integrated into a vehicle seat, it can be distinguished whether a child or an adult is seated. The level of the pressure signal (correlated with the weight of the person) is then evaluated for differentiation.
Auch ist es denkbar, dass eine Wamkaskade bei einem im Fahrzeuginnenraum detektierten Lebewesen angepasst wird, je nachdem, ob ein Kind oder Tier im Fahrzeuginnenraum zurückgelassen wurde. So könnte im Notfall beispielsweise immer eine Wamnachricht an den Fahrzeughalter verschickt werden und automatisiert die Klimaanlage aktiviert werden. Ergänzend wird dann bei einem im Fahrzeuginnenraum zurückgelassen Kind ein Rettungsdienst alarmiert, bei einem Tier jedoch nicht.It is also conceivable that a warning cascade is adapted to a living being detected in the vehicle interior, depending on whether a child or animal was left in the vehicle interior. In an emergency, for example, a warning message could always be sent to the vehicle owner and the air conditioning could be activated automatically. In addition, an emergency service is alerted if a child is left in the vehicle interior, but not if there is an animal.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Detektion und Lokalisierung von Lebewesen in einem Fahrzeuginnenraum und des erfindungsgemäßen Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben wird.Further advantageous refinements of the method according to the invention for detecting and localizing living beings in a vehicle interior and of the vehicle according to the invention also result from the exemplary embodiment, which is described in more detail below with reference to the figure.
Dabei zeigt
Durch die in der Figur gezeigte Anordnung von Kamera 1 und Funksensor 2 am Fahrzeug 6 ist eine umfassende Erfassung des Fahrzeuginnenraums möglich. So ist sichergestellt, dass keine verdeckten Bereiche, die nicht zumindest von einem Sensor erfassbar sind, verbleiben.The arrangement of
Von der Kamera 1 erzeugte Sensordaten, hier in Form von Kamerabildem, sowie vom Funksensor 2 erzeugte Sensordaten werden von einer Recheneinheit 3 ausgewertet. Bevorzugt ist dabei die wenigstens eine Kamera 1 wie in
Erfindungsgemäß wertet die Recheneinheit 3 von der Kamera 1 und dem Funksensor 2 erzeugte Sensordaten zur Detektion und Lokalisierung von Lebewesen im Fahrzeuginnenraum aus. Dabei erfolgt eine Sensorfusionierung derart, dass mittels des Funksensors 2 Atemmuster und/oder der Herzschlag von Lebewesen im Fahrzeuginnenraum erkannt wird und entsprechende Orte im Fahrzeuginnenraum als Interessensregion 4.1 markiert werden. Die Recheneinheit 3 bestimmt hierzu korrelierende Bereiche 5 in den Kamerabildem und prüft durch Anwendung von Bilderkennungsverfahren, ob im jeweiligen Bereich 5 Erwachsene, Kinder und Tiere anwesend sind. Ist kein Lebewesen im Fahrzeuginnenraum anwesend oder ist zumindest ein Erwachsener anwesend, so handelt es sich nicht um ein vergessenes bzw. zurückgelassenes Kind oder Tier, sodass keine Warnung ausgegeben werden muss und keine Fahrzeugfunktion angesteuert werden muss. Ist hingegen kein Erwachsener im Fahrzeuginnenraum anwesend jedoch zumindest ein Kind und/oder Tier, so initiiert die Recheneinheit 3, dass eine Warnung ausgegeben wird und/oder eine Fahrzeugfunktion angesteuert wird. So kann beispielsweise die Hupe des Fahrzeugs 6 erklingen, die Scheinwerfer des Fahrzeugs 6 aufleuchten, eine Wamnachricht an ein mobiles Endgerät des Fahrzeughalters versendet werden oder auch ein Rettungsdienst kontaktiert werden.According to the invention, the
Bei dem in der Figur gezeigten Ausführungsbeispiel ist der Funksensor 2 im Bereich des Fonds über dem mittleren Sitz in den Dachhimmel integriert. Werden nun im Fond Gegenstände transportiert oder sitzt eine Person auf dem mittleren Fondsitz, so versperren diese gegebenenfalls den Blick des Funksensors 2 auf den Fahrzeuginnenraum. Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht es daher vor, in diesem Falle den Funksensor 2 zu deaktivieren. Hierzu überprüft die Recheneinheit 3, ob in den von der Kamera 1 erzeugten Kamerabildem in der entsprechenden Interessenregion 4.2 im Bereich der Verbauposition des Funksensors 2 Objekte oder Lebewesen erkannt werden können. In der Recheneinheit 3 wird hierzu eine Information gespeichert, welche Raumvolumina des Fahrzeuginnenraums am wahrscheinlichsten einer Aufenthaltsregion des Kopfes des Fahrzeuginsassen entsprechen. Diese Raumvolumina werden als Interessensregion 4.2 fest eingespeichert.In the exemplary embodiment shown in the figure, the
Wie
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- EP 3855212 A1 [0003]EP 3855212 A1 [0003]
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023000452.9A DE102023000452A1 (en) | 2023-02-13 | 2023-02-13 | Method for detecting and localizing living beings in a vehicle interior and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023000452.9A DE102023000452A1 (en) | 2023-02-13 | 2023-02-13 | Method for detecting and localizing living beings in a vehicle interior and vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023000452A1 true DE102023000452A1 (en) | 2023-04-06 |
Family
ID=85570626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023000452.9A Pending DE102023000452A1 (en) | 2023-02-13 | 2023-02-13 | Method for detecting and localizing living beings in a vehicle interior and vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102023000452A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3855212A1 (en) | 2020-01-21 | 2021-07-28 | Aptiv Technologies Limited | Intra-vehicle situational awareness featuring child presence |
-
2023
- 2023-02-13 DE DE102023000452.9A patent/DE102023000452A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3855212A1 (en) | 2020-01-21 | 2021-07-28 | Aptiv Technologies Limited | Intra-vehicle situational awareness featuring child presence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011007584B4 (en) | Occupant detection method and system | |
DE102005012290B4 (en) | Safety device for a vehicle | |
EP2285629B1 (en) | Method and device for actuating a door or flap of a vehicle | |
DE112015004903T5 (en) | Vehicle control device | |
DE102013220240A1 (en) | In-vehicle occupant presence system, central locking system, method for checking occupant presence in the vehicle, and method for automatically actuating door locks | |
DE102021102963A1 (en) | VEHICLE INTERIOR SECURITY SYSTEM AND PROCEDURE | |
CN110549976A (en) | In-vehicle high-temperature protection system and method thereof | |
EP0881132B1 (en) | Method and apparatus for seat occupancy recognition in a vehicle | |
DE102005033404A1 (en) | Preventing life-threatening overheating of vehicle interior by use of protective system, initiates interior cooling and alarm on reaching temperature limit | |
DE102021001374A1 (en) | Method for monitoring a vehicle interior and vehicle | |
CN106740458A (en) | A kind of enabling safety prompting system and method for vehicle | |
DE102017200909A1 (en) | System for monitoring and controlling vehicle functions | |
DE102021132090A1 (en) | SYSTEMS AND PROCEDURES TO PROTECT THE HEALTH OF VEHICLE OCCUPANTS | |
DE102017214605A1 (en) | Passenger detection with emergency treatment in a motor vehicle | |
EP0921041B1 (en) | Arrangement for controlling electronic devices in a vehicle | |
DE102020207289A1 (en) | Device and system for warning a vehicle driver | |
DE102023000452A1 (en) | Method for detecting and localizing living beings in a vehicle interior and vehicle | |
DE102015226697B4 (en) | Arrangement, means of locomotion and method for improving the comfort of an entry into a means of transportation | |
DE102020117555A1 (en) | METHOD AND DEVICE FOR INTRIBUTOR CLASSIFICATION | |
EP2100763B1 (en) | Method and device for monitoring a motorised device and mobile device | |
WO2022179919A1 (en) | Method for operating a self-driving vehicle | |
DE102018008683A1 (en) | A method of enabling the identification of a reckless driver of a road vehicle, system, computer program, computer readable medium, and vehicle | |
EP3851306B1 (en) | Impurity detection in a vehicle | |
DE102020210055A1 (en) | Method and device for monitoring the interior of a vehicle | |
DE202015004188U1 (en) | Information system for persons who are in particular on the back seats of a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R230 | Request for early publication | ||
R016 | Response to examination communication |