DE112020007252T5 - Device and method for detecting passengers - Google Patents

Device and method for detecting passengers Download PDF

Info

Publication number
DE112020007252T5
DE112020007252T5 DE112020007252.5T DE112020007252T DE112020007252T5 DE 112020007252 T5 DE112020007252 T5 DE 112020007252T5 DE 112020007252 T DE112020007252 T DE 112020007252T DE 112020007252 T5 DE112020007252 T5 DE 112020007252T5
Authority
DE
Germany
Prior art keywords
occupant
vehicle
face
person
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112020007252.5T
Other languages
German (de)
Other versions
DE112020007252T8 (en
Inventor
Hisashi Sugawara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112020007252T5 publication Critical patent/DE112020007252T5/en
Application granted granted Critical
Publication of DE112020007252T8 publication Critical patent/DE112020007252T8/en
Active legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Abstract

In einer Insassen-Detektionsvorrichtung (10) beschafft eine Fahrzeuginnenraum-Bild-Beschaffungseinheit (11) ein Fahrzeuginnenraum-Bild, das ein in einem Fahrzeug aufgenommenes Bild ist. Ein Gesichtsdetektor (12) sucht in dem Fahrzeuginnenraum-Bild nach einem Gesicht einer Person und identifiziert eine Position des detektierten Gesichts. Eine Biologische-Information-Beschaffungseinheit (13) beschafft biologische Informationen im Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor (22) detektiert wurden. Ein Biologisches-Objekt-Detektor (14) sucht auf Grundlage der biologischen Information nach einem biologischen Objekt im Fahrzeug und identifiziert eine Position und eine Größe des erfassten biologischen Objekts. Eine Insassen-Bestimmungseinheit (15) bestimmt das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz im Fahrzeug und eine Eigenschaft des Insassen auf dem Sitz, auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts.

Figure DE112020007252T5_0000
In an occupant detection apparatus (10), an in-vehicle image acquisition unit (11) acquires an in-vehicle image which is an image taken in a vehicle. A face detector (12) searches for a person's face in the vehicle interior image and identifies a position of the detected face. A biological information acquisition unit (13) acquires in-vehicle biological information detected by an electromagnetic wave sensor (22). A biological object detector (14) searches for a biological object in the vehicle based on the biological information and identifies a position and a size of the detected biological object. An occupant determination unit (15) determines the presence or absence of an occupant on each seat in the vehicle and a property of the occupant on the seat based on the position of the person's face and the position and size of the biological object.
Figure DE112020007252T5_0000

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Offenbarung bezieht sich auf eine Insassen-Detektionsvorrichtung, die einen Insassen in einem Fahrzeug detektiert, und insbesondere auf eine Technologie zum Bestimmen einer Eigenschaft des detektierten Insassen.The present disclosure relates to an occupant detection device that detects an occupant in a vehicle, and more particularly to a technology for determining a characteristic of the detected occupant.

HINTERGRUNDBACKGROUND

Zum Beispiel schlägt das nachstehende Patentdokument 1 eine Insassen-Detektionsvorrichtung vor, die unter Verwendung eines Elektromagnetische-Wellen-Sensors bestätigt, ob ein mit einem Kindersitz ausgestatteter Sitz in einem Fahrzeug Lebenszeichen anzeigt, und die das Vorhandensein eines Kindes (eines Kleinkindes) im Fahrzeug bestimmt, wenn der Sitz die Lebenszeichen anzeigt.For example, Patent Document 1 below proposes an occupant detection device that confirms whether a child seat-equipped seat in a vehicle shows signs of life using an electromagnetic wave sensor and that determines the presence of a child (an infant) in the vehicle , when the seat shows the vital signs.

DOKUMENTE ZUM STAND DER TECHNIKPRIOR ART DOCUMENTS

PATENTDOKUMENTEPATENT DOCUMENTS

Patentdokument 1: Japanische Patentanmeldung Offenlegungsnr. 2019-123354 .Patent Document 1: Japanese Patent Application Laid-Open No. 2019-123354 .

ZUSAMMENFASSUNGSUMMARY

DURCH DIE ERFINDUNG GELÖSTE AUFGABETASK SOLVED BY THE INVENTION

Die Technologie des Patentdokuments 1 basiert auf dem korrekten Hinsetzen eines Kindes auf einem Kindersitz. Somit werden Kinder, die nicht auf Kindersitzen sitzen (z.B. ein Kind, das auf einer Sitzerhöhung sitzt, ein Kind, das direkt auf einem Autositz sitzt, und ein Kind, das auf einem Sitz liegt), nicht als Kinder detektiert. Unter Berücksichtigung der Kinder, die nicht auf Kindersitzen sitzen, ist die Genauigkeit der Bestimmung einer Eigenschaft (Erwachsener oder Kind) eines Insassen unzureichend.The technology of Patent Document 1 is based on properly seating a child on a child seat. Thus, children who are not seated in child seats (e.g., a child sitting in a booster seat, a child sitting directly in a car seat, and a child lying in a seat) are not detected as children. Taking into account the children who are not seated in child safety seats, the accuracy of determining an occupant's attribute (adult or child) is insufficient.

Diese Offenbarung wurde entwickelt, um das Problem zu lösen, und hat das Ziel, eine Insassen-Detektionsvorrichtung bereitzustellen, die das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz in einem Fahrzeug und eine Eigenschaft des Insassen auf dem Sitz genau bestimmen kann.This disclosure was developed to solve the problem and aims to provide an occupant detection device that can accurately determine the presence or absence of an occupant in each seat in a vehicle and a characteristic of the occupant in the seat.

MITTEL ZUR LÖSUNG DES PROBLEMSMEANS OF SOLVING THE PROBLEM

Eine Insassen-Detektionsvorrichtung gemäß der vorliegenden Offenbarung umfasst: eine Fahrzeuginnenraum-Bild-Beschaffungseinheit zum Beschaffen eines Fahrzeuginnenraum-Bildes, das ein in einem Fahrzeug aufgenommenes Bild ist; einen Gesichtsdetektor zum Suchen in dem Fahrzeuginnenraum-Bild nach einem Gesicht einer Person und zum Identifizieren einer Position des detektierten Gesichts; eine Biologische-Information-Beschaffungseinheit zum Beschaffen von biologischen Informationen in dem Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor detektiert worden sind; einen Biologisches-Objekt-Detektor zum Suchen nach einem biologischen Objekt in dem Fahrzeug auf Grundlage der biologischen Information und zum Identifizieren einer Position und einer Größe des detektierten biologischen Objekts; und eine Insassen-Bestimmungseinheit zum Bestimmen des Vorhandenseins oder Fehlens eines Insassen auf jedem Sitz in dem Fahrzeug und einer Eigenschaft des Insassen auf dem Sitz, auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts.An occupant detection device according to the present disclosure includes: an in-vehicle image acquisition unit for acquiring an in-vehicle image, which is an image captured in a vehicle; a face detector for searching the vehicle interior image for a person's face and identifying a position of the detected face; a biological information acquisition unit for acquiring biological information in the vehicle detected by an electromagnetic wave sensor; a biological object detector for searching for a biological object in the vehicle based on the biological information and identifying a position and a size of the detected biological object; and an occupant determination unit for determining the presence or absence of an occupant in each seat in the vehicle and a characteristic of the occupant in the seat, based on the position of the person's face and the position and the size of the biological object.

EFFEKTE DER ERFINDUNGEFFECTS OF THE INVENTION

Die Insassen-Detektionsvorrichtung gemäß der vorliegenden Offenbarung bestimmt das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz und eine Eigenschaft des Insassen auf dem Sitz auf Grundlage der Position des Gesichts, das anhand des Fahrzeuginnenraum-Bildes identifiziert wurde, und der Position und der Größe des biologischen Objekts, das anhand der biologischen Informationen identifiziert wurde. So kann die Insassen-Detektionsvorrichtung eine Eigenschaft des Insassen im Fahrzeug genau bestimmen.The occupant detection device according to the present disclosure determines the presence or absence of an occupant on each seat and a characteristic of the occupant on the seat based on the position of the face identified from the vehicle interior image and the position and size of the biological one object identified from the biological information. Thus, the occupant detection device can accurately determine a characteristic of the occupant in the vehicle.

Die Gegenstände, Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen deutlicher.The objects, features, aspects and advantages of the present disclosure will become more apparent from the following detailed description and the accompanying drawings.

Figurenlistecharacter list

  • 1 illustriert eine konfigurierte Insassen-Detektionsvorrichtung gemäß Ausführungsform 1. 1 12 illustrates a configured occupant detection device according to Embodiment 1.
  • 2 illustriert ein Beispiel eines Fahrzeuginnenraum-Bildes, das von einer Fahrzeuginnenraum-Kamera aufgenommen wurde. 2 12 illustrates an example of an in-vehicle image captured by an in-vehicle camera.
  • 3 illustriert ein Beispiel für Gesichtsbereiche, die von einem Gesichtsdetektor identifiziert werden. 3 illustrates an example of facial areas identified by a face detector.
  • 4 illustriert eine beispielhafte Sitzanordnung in einem Fahrzeug. 4 illustrates an example seating arrangement in a vehicle.
  • 5 illustriert ein Beispiel für die Verteilung von Punkten mit detektierten Lebenszeichen. 5 illustrates an example of the distribution of points with detected life signs.
  • 6 illustriert ein Beispiel für die Verteilung der Punkte detektierter Lebenszeichen. 6 illustrates an example of the distribution of points of detected vital signs.
  • 7 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung gemäß Ausführungsform 1 illustriert. 7 FIG. 14 is a flowchart illustrating the operation of the occupant detection device according to Embodiment 1. FIG.
  • 8 illustriert eine beispielhafte Hardware-Konfiguration der Insassen-Detektionsvorrichtung. 8th 12 illustrates an example hardware configuration of the occupant detection device.
  • 9 illustriert eine beispielhafte Hardware-Konfiguration der Insassen-Detektionsvorrichtung. 9 12 illustrates an example hardware configuration of the occupant detection device.
  • 10 illustriert eine Konfiguration der Insassen-Detektionsvorrichtung gemäß Ausführungsform 2. 10 12 illustrates a configuration of the occupant detection device according to Embodiment 2.
  • 11 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung gemäß Ausführungsform 2 illustriert. 11 FIG. 14 is a flowchart illustrating the operation of the occupant detection device according to Embodiment 2. FIG.
  • 12 illustriert eine Konfiguration der Insassen-Detektionsvorrichtung gemäß Ausführungsform 3. 12 12 illustrates a configuration of the occupant detection device according to Embodiment 3.
  • 13 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung gemäß Ausführungsform 3 illustriert. 13 FIG. 14 is a flowchart illustrating the operation of the occupant detection device according to Embodiment 3. FIG.
  • 14 illustriert eine Konfiguration der Insassen-Detektionsvorrichtung gemäß einer Modifikation von Ausführungsform 3. 14 12 illustrates a configuration of the occupant detection device according to a modification of Embodiment 3.
  • 15 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung gemäß der Modifikation von Ausführungsform 3 illustriert. 15 FIG. 14 is a flowchart illustrating the operation of the occupant detection device according to the modification of Embodiment 3. FIG.
  • 16 illustriert eine Konfiguration eines Alleinegelassenen-Kind-Alarmsystems gemäß Ausführungsform 4. 16 12 illustrates a configuration of an abandoned child alarm system according to Embodiment 4.
  • 17 ist ein Flussdiagramm, das den Betrieb des Alleine-gelassenes-Kind-Alarmsystems gemäß Ausführungsform 4 illustriert. 17 FIG. 14 is a flowchart illustrating the operation of the left-alone child alarm system according to Embodiment 4. FIG.

BESCHREIBUNG DER AUSFÜHRUNGSFORMENDESCRIPTION OF THE EMBODIMENTS

[Ausführungsform 1][Embodiment 1]

1 ist ein Blockdiagramm, das eine Konfiguration einer Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 1 illustriert. Die Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 1 ist an einem Fahrzeug montiert. Die Insassen-Detektionsvorrichtung 10 muss nicht fest in einem Fahrzeug montiert sein, sondern kann in einer mobilen Vorrichtung implementiert sein, die in das Fahrzeug mitgenommen werden kann, wie z. B. ein Mobiltelefon, ein Smartphone und ein tragbares Navigationsgerät (PND). Darüber hinaus kann ein Teil oder die Gesamtheit der Funktionen der Insassen-Detektionsvorrichtung 10 außerhalb des Fahrzeugs installiert und auf einem Server implementiert sein, der mit der Insassen-Detektionsvorrichtung 10 kommunizieren kann. 1 FIG. 14 is a block diagram illustrating a configuration of an occupant detection device 10 according to Embodiment 1. FIG. The occupant detection device 10 according to Embodiment 1 is mounted on a vehicle. The occupant detection device 10 need not be fixedly mounted in a vehicle, but may be implemented in a mobile device that can be carried into the vehicle, such as a mobile device. B. a mobile phone, a smartphone and a portable navigation device (PND). Furthermore, part or all of the functions of the occupant detection device 10 may be installed outside the vehicle and implemented on a server that can communicate with the occupant detection device 10 .

Wie in 1 illustriert, ist die Insassen-Detektionsvorrichtung 10 mit einer Fahrzeuginnenraum-Kamera 21 und einem Elektromagnetische-Wellen-Sensor 22 verbunden, die in dem Fahrzeug enthalten sind, an dem die Insassen-Detektionsvorrichtung 10 montiert ist.As in 1 1, the occupant detection device 10 is connected to an in-vehicle camera 21 and an electromagnetic wave sensor 22 included in the vehicle on which the occupant detection device 10 is mounted.

Die Fahrzeuginnenraum-Kamera 21 ist eine Kamera, die ein Bild einer Person (eines Insassen) aufnimmt, die auf jedem Sitz in einem Fahrzeug sitzt. Die Fahrzeuginnenraum-Kamera 21 kann eine Kamera sein oder eine Vielzahl von Kameras umfassen, die eins zu eins für die Sitze bereitgestellt werden. Falls es sich bei der Fahrzeuginnenraum-Kamera 21 um eine Kamera handelt, wird die Fahrzeuginnenraum-Kamera 21 an einer Stelle installiert, an der Bilder von Personen, die auf allen Sitzen sitzen, gleichzeitig aufgenommen werden können, zum Beispiel in der Nähe einer Dachkonsole (OHC) oder eines Rückspiegels. Ein von der Fahrzeuginnenraum-Kamera 21 in einem Fahrzeug aufgenommenes Bild wird im Folgenden als „Fahrzeuginnenraum-Bild“ bezeichnet.The in-vehicle camera 21 is a camera that captures an image of a person (an occupant) seated on each seat in a vehicle. The in-vehicle camera 21 may be one camera or may include a plurality of cameras that are provided one-to-one for the seats. If the in-vehicle camera 21 is a camera, the in-vehicle camera 21 is installed in a place where images of people seated on all the seats can be taken simultaneously, for example, near an overhead console ( OHC) or a rear-view mirror. An image captured by the in-vehicle camera 21 in a vehicle is hereinafter referred to as “in-vehicle image”.

Bei der Fahrzeuginnenraum-Kamera 21 gemäß Ausführungsform 1 handelt es sich um eine in einer Dachkonsole installierte Kamera. 2 illustriert ein Beispiel für ein Fahrzeuginnenraum-Bild, das von der Fahrzeuginnenraum-Kamera 21 aufgenommen wurde, die in der Dachkonsole installiert ist. Das Fahrzeuginnenraum-Bild in 2 zeigt fünf Personen, d.h. einen Insassen P1 auf einem Fahrersitz, einen Insassen P2 auf einem Beifahrersitz, einen Insassen P3 auf einem rechten Rücksitz, einen Insassen P4 auf einem linken Rücksitz und einen Insassen P5 auf einem mittleren Rücksitz.The in-vehicle camera 21 according to Embodiment 1 is an overhead console-installed camera. 2 12 illustrates an example of an in-vehicle image picked up by the in-vehicle camera 21 installed in the overhead console. The vehicle interior image in 2 12 shows five people, ie, occupant P1 in a driver's seat, occupant P2 in a front passenger seat, occupant P3 in a right rear seat, occupant P4 in a left rear seat, and occupant P5 in a middle rear seat.

Der Elektromagnetische-Wellen-Sensor 22 ist ein Sensor, der ein biologisches Objekt im Fahrzeug detektiert, z.B. ein Millimeterwellen-Radar. Der Elektromagnetische-Wellen-Sensor 22 detektiert Lebenszeichen, die auf das Vorhandensein eines biologischen Objekts hinweisen, und gibt Informationen über Positionen von Punkten der detektierten Lebenszeichen als biologische Informationen aus. Die Insassen-Detektionsvorrichtung 10 kann die Positionen der Punkte der detektierten Lebenszeichen beschaffen, indem sie beispielsweise Entfernungen von dem Elektromagnetische-Wellen-Sensor 22 zu den detektierten Punkten auf Grundlage von Frequenzspektren von reflektierten Wellen des Radars berechnet, die durch eine Vielzahl von Antennen empfangen wurden, und Richtungen der detektierten Punkte in Bezug auf den Elektromagnetische-Wellen-Sensor 22 berechnet, basierend auf Phasendifferenzen in den reflektierten Wellen des Radars.The electromagnetic wave sensor 22 is a sensor that detects a biological object in the vehicle, such as a millimeter-wave radar. The electromagnetic wave sensor 22 detects vital signs indicating the presence of a biological object and outputs information on positions of points of the detected vital signs as biological information. The occupant detection device 10 can obtain the positions of the points of the vital signs detected by, for example, calculating distances from the electromagnetic wave sensor 22 to the detected points based on frequency spectra of reflected waves of the radar received through a plurality of antennas , and directions of the detected points with respect to the electromagnetic wave sensor 22 are calculated based on phase differences in the reflected waves of the radar.

Da das Millimeterwellen-Radar ein biologisches Objekt durch ein Harz oder ein Tuch hindurch detektieren kann, kann der Elektromagnetische-Wellen-Sensor 22 Personen detektieren, deren Bilder von der Fahrzeuginnenraum-Kamera 21 nur schwer aufgenommen werden können, wie z.B. ein Kind, das auf einem nach hinten gerichteten Kindersitz, einem zur Seite gerichteten Kindersitz oder einem Kindersitz mit Sonnenschirm sitzt, und eine Person, die mit einer Decke bedeckt ist. Der Elektromagnetische-Wellen-Sensor 22 gemäß Ausführungsform 1 wird an der Decke des Fahrzeugs angebracht. Der Erfassungsbereich des Elektromagnetische-Wellen-Sensors 22 umfasst alle Sitze des Fahrzeugs. Der Erfassungsbereich des Elektromagnetische-Wellen-Sensors 22 kann jedoch auch nur Sitze umfassen, deren Bilder von der Fahrzeuginnenraum-Kamera 21 nur schwer aufgenommen werden können, zum Beispiel die Rücksitze eines Fahrzeugs.Because the millimeter-wave radar can detect a biological object through a resin or cloth, the electromagnetic wave sensor 22 can detect people whose images are difficult for the in-vehicle camera 21 to pick up, such as a child who seated in a rear-facing child seat, side-facing child seat or child seat with sunshade, and a person covered with a blanket. The electromagnetic wave sensor 22 according to Embodiment 1 is attached to the ceiling of the vehicle. The detection range of the electromagnetic wave sensor 22 includes all seats of the vehicle. However, the detection range of the electromagnetic wave sensor 22 may only include seats that are difficult for the in-vehicle camera 21 to capture images of, for example, the rear seats of a vehicle.

Wie in 1 dargestellt, umfasst die Insassen-Detektionsvorrichtung 10 eine Fahrzeuginnenraum-Bild-Beschaffungseinheit 11, einen Gesichtsdetektor 12, eine Biologische-Information-Beschaffungseinheit 13, einen Biologisches-Objekt-Detektor 14, und eine Insassen-Bestimmungseinheit 15.As in 1 1, the occupant detection apparatus 10 includes a vehicle interior image acquisition unit 11, a face detector 12, a biological information acquisition unit 13, a biological object detector 14, and an occupant determination unit 15.

Die Fahrzeuginnenraum-Bild-Beschaffungseinheit 11 beschafft ein Fahrzeuginnenraum-Bild, das von der Fahrzeuginnenraum-Kamera 21 aufgenommen wurde. Der Gesichtsdetektor 12 analysiert das von der Fahrzeuginnenraum-Bild-Beschaffungseinheit 11 beschaffte Fahrzeuginnenraum-Bild, um das Fahrzeuginnenraum-Bild nach einem Gesicht einer Person zu durchsuchen, und identifiziert eine Position des detektierten Gesichts (einen Sitz, von dem aus das Gesicht detektiert wurde). Insbesondere identifiziert der Gesichtsdetektor 12 einen Gesichtsbereich, der ein Bereich ist, in dem das Gesicht der Person in dem Fahrzeuginnenraum-Bild detektiert wurde, und identifiziert den Sitz, von dem das Gesicht detektiert wurde, auf Grundlage von Koordinatenwerten in dem Gesichtsbereich (Koordinatenwerte in dem Fahrzeuginnenraum-Bild).The in-vehicle image acquisition unit 11 acquires an in-vehicle image captured by the in-vehicle camera 21 . The face detector 12 analyzes the vehicle interior image acquired by the vehicle interior image acquisition unit 11 to search the vehicle interior image for a person's face, and identifies a position of the detected face (a seat from which the face was detected) . Specifically, the face detector 12 identifies a face area, which is an area where the person's face was detected in the vehicle interior image, and identifies the seat from which the face was detected based on coordinate values in the face area (coordinate values in the vehicle interior image).

Ein Verfahren für den Gesichtsdetektor 12 zum Identifizieren des Gesichtsbereichs kann ein beliebiges Verfahren sein. Der Gesichtsdetektor 12 gemäß Ausführungsform 1 identifiziert als Gesichtsbereich ein Rechteck, das das Bild des detektierten Gesichts umschließt, insbesondere einen rechteckigen Bereich mit vier Seiten, die in Kontakt mit einer Gesichtskontur des Gesichts stehen. Zum Beispiel, wenn das Fahrzeuginnenraum-Bild die Insassen P1 bis P5 umfasst, wie in 2 abgebildet, identifiziert der Gesichtsdetektor 12 die Gesichtsbereiche F1 bis F5 der Insassen P1 bis P5, wie in 3 abgebildet, und identifiziert auf Grundlage der Koordinatenwerte eines Scheitelpunkts in jedem der Gesichtsbereiche F1 bis F5 einen Sitz, von dem aus ein Gesicht detektiert wurde.A method for the face detector 12 to identify the face area can be any method. The face detector 12 according to Embodiment 1 identifies, as a face area, a rectangle enclosing the image of the detected face, specifically, a rectangular area having four sides that are in contact with a face contour of the face. For example, when the vehicle interior image includes occupants P1 to P5 as in FIG 2 shown, the face detector 12 identifies the face areas F1 to F5 of the occupants P1 to P5 as shown in FIG 3 imaged, and identifies a seat from which a face has been detected based on the coordinate values of a vertex in each of the face areas F1 to F5.

Die Biologische-Information-Beschaffungseinheit 13 beschafft die von dem Elektromagnetische-Wellen-Sensor 22 ausgegebenen biologischen Informationen. Der Biologisches-Objekt-Detektor 14 sucht auf Grundlage der von der Biologische-Information-Beschaffungseinheit 13 beschafften biologischen Information nach einem biologischen Objekt im Fahrzeug und identifiziert eine Position und eine Größe des detektierten biologischen Objekts. Insbesondere identifiziert der Biologisches-Objekt-Detektor 14 die Position und die Größe des biologischen Objekts auf Grundlage der Verteilung der Punkte der detektierten Lebenszeichen, die in den biologischen Informationen enthalten sind.The biological information acquisition unit 13 acquires the biological information output from the electromagnetic wave sensor 22 . The biological object detector 14 searches for a biological object in the vehicle based on the biological information acquired by the biological information acquisition unit 13 and identifies a position and a size of the detected biological object. Specifically, the biological object detector 14 identifies the position and the size of the biological object based on the distribution of the points of the detected vital signs included in the biological information.

Die Größen der vom Biologisches-Objekt-Detektor 14 identifizierten biologischen Objekte sollten mindestens in die Größen von Erwachsenen und Kindern unterteilt werden. Die Größen können zum Beispiel in durchschnittliche erwachsene Männer (AM50), kleine erwachsene Frauen (AF05), große erwachsene Männer (AM95) und 10-, 6- und 3-jährige Kinder (10YO, 6YO, 3YO) gemäß den Größen von Dummys, die durch den Standard der National Highway Traffic Safety Administration (NHTSA, dt.: „nationale Autobahn-Verkehrssicherheits-Behörde“) definiert sind, unterteilt werden. Die Größen der biologischen Objekte, die von der Biologische-Information-Beschaffungseinheit 13 gemäß Ausführungsform 1 identifiziert werden, sind in zwei Größen unterteilt, nämlich in die Größen von Erwachsenen und die Größen von Kindern. Wenn die Größe eines biologischen Objekts größer als oder gleich einem vordefinierten Schwellwert ist, bestimmt der Biologisches-Objekt-Detektor 14 die Größe als Erwachsenengröße. Wenn die Größe eines biologischen Objekts kleiner als der vordefinierte Schwellwert ist, bestimmt der Biologisches-Objekt-Detektor 14 die Größe als Kindergröße. Obwohl die Definition von „Kindern“ je nach Land oder Gesetz unterschiedlich ist, werden Personen in einer Altersgruppe, die Unfällen ausgesetzt sind, wenn sie allein in einem Fahrzeug gelassen werden (z. B. 12-jährige oder jüngere Kinder), vorzugsweise als Kinder definiert.The sizes of the biological objects identified by the biological object detector 14 should be divided at least into adult and child sizes. For example, the sizes can be divided into average adult male (AM50), small adult female (AF05), large adult male (AM95), and 10, 6, and 3 year old children (10YO, 6YO, 3YO) according to the sizes of dummies, defined by the National Highway Traffic Safety Administration (NHTSA) standard. The sizes of the biological objects identified by the biological information obtaining unit 13 according to Embodiment 1 are divided into two sizes, adult sizes and child sizes. If the size of a biological object is greater than or equal to a predefined threshold, the biological object detector 14 determines the size as an adult size. If the size of a biological object is smaller than the predefined threshold, the biological object detector 14 determines the size as a child size. Although the definition of "children" varies by country or law, persons in an age group who are at risk of accidents when left alone in a vehicle (e.g. children 12 years of age or younger) are preferably considered children Are defined.

5 und 6 illustrieren eine beispielhafte Verteilung von Punkten, an denen der Elektromagnetische-Wellen-Sensor 22 Lebenszeichen detektiert hat, zum Beispiel, wenn die Sitze eines Fahrzeugs wie in 4 angeordnet sind. 5 illustriert die Verteilung der Punkte der detektierten Lebenszeichen, wenn das Fahrzeug in einer Draufsicht betrachtet wird, während 6 die Verteilung der Punkte der detektierten Lebenszeichen illustriert, wenn das Fahrzeug in einer Seitenansicht betrachtet wird. Wenn die Punkte der detektierten Lebenszeichen wie in 5 und 6 illustriert verteilt sind, bestimmt der Biologisches-Objekt-Detektor 14 das Vorhandensein eines erwachsenen biologischen Objekts auf dem linken Sitz in der zweiten Reihe des Fahrzeugs. 5 and 6 illustrate an exemplary distribution of points at which the electromagnetic wave sensor 22 has detected signs of life, for example when the seats of a vehicle as in FIG 4 are arranged. 5 illustrates the distribution of the points of vital signs detected when viewing the vehicle in a plan view while 6 illustrates the distribution of points of vital signs detected when the vehicle is viewed in a side view. If the points of the detected signs of life as in 5 and 6 illustrated, the biological object detector 14 determines the presence of an adult biological object in the left second-row seat of the vehicle.

Die Insassen-Bestimmungseinheit 15 bestimmt das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz in einem Fahrzeug und eine Eigenschaft des Insassen auf dem Sitz auf Grundlage der Position des Gesichts der Person, die vom Gesichtsdetektor 12 identifiziert wurde, und der Position und der Größe des biologischen Objekts, das vom Biologisches-Objekt-Detektor 14 detektiert wurde. Die Eigenschaften der Insassen, die von der Insassen-Bestimmungseinheit 15 gemäß Ausführungsform 1 bestimmt werden, sind in zwei Kategorien eingeteilt, nämlich in Erwachsene und Kinder. Die Eigenschaften der Insassen können jedoch noch weiter segmentiert werden, zum Beispiel ähnlich wie die Größen der Dummys.The occupant determination unit 15 determines the presence or absence of an occupant in each seat in a vehicle and a characteristic of the occupant in the seat based on the position of the face of the person identified by the face detector 12 and the position and size of the biological one Object detected by the biological object detector 14. The characteristics of the occupants determined by the occupant determination unit 15 according to Embodiment 1 are divided into two categories, namely adults and children. However, the characteristics of the occupants can be further segmented, for example similar to the sizes of the dummies.

Der körperliche Aufbau ist bei jedem Individuum unterschiedlich. So gibt es große Kinder und kleine Erwachsene. Folglich kann das Alter einer Person anhand von Gesichts- und Skelettmerkmalen und nicht anhand der Körpergröße genau bestimmt werden. Daher schätzt die Insassen-Bestimmungseinheit 15 gemäß Ausführungsform 1 das Alter einer Person in dem Fahrzeuginnenraum-Bild anhand der Gesichts- oder Skelettmerkmale der Person, um eine Eigenschaft eines Insassen auf dem Sitz zu bestimmen, von dem der Gesichtsdetektor 12 das Gesicht der Person detektiert hat. Die Insassen-Bestimmungseinheit 15 bestimmt auf Grundlage der Größe des biologischen Objekts eine Eigenschaft eines Insassen auf dem Sitz, von dem der Gesichtsdetektor 12 kein Gesicht einer Person detektiert hat.The physical structure of each individual is different. There are big children and small adults. Consequently, a person's age can be accurately determined based on facial and skeletal features rather than height. Therefore, according to Embodiment 1, the occupant determination unit 15 estimates the age of a person in the vehicle interior image based on the person's facial or skeletal characteristics to determine a characteristic of an occupant on the seat from which the face detector 12 detected the person's face . The occupant determination unit 15 determines, based on the size of the biological object, a characteristic of an occupant on the seat from which the face detector 12 has not detected a person's face.

7 ist ein Flussdiagramm, das die Vorgänge der Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 1 illustriert. Die Vorgänge der Insassen-Detektionsvorrichtung 10 werden unter Bezugnahme auf 7 beschrieben. 7 FIG. 14 is a flowchart illustrating operations of the occupant detection device 10 according to Embodiment 1. FIG. The operations of the occupant detection device 10 are described with reference to FIG 7 described.

Beim Start der Insassen-Detektionsvorrichtung 10 beschafft die Fahrzeug-Bordeinheit 11 ein Fahrzeuginnenraum-Bild, das von der Fahrzeuginnenraum-Kamera 21 aufgenommen wurde (Schritt S101). Dann analysiert der Gesichtsdetektor 12 das von der Fahrzeuginnenraum-Bild-Beschaffungseinheit 11 beschaffte Fahrzeuginnenraum-Bild, um das Fahrzeuginnenraum-Bild nach einem Gesicht einer Person zu suchen (Schritt S102), und identifiziert eine Position des detektierten Gesichts (Schritt S103).When the occupant detection device 10 starts, the on-vehicle unit 11 acquires an in-vehicle image picked up by the in-vehicle camera 21 (step S101). Then, the face detector 12 analyzes the vehicle interior image acquired by the vehicle interior image acquisition unit 11 to search the vehicle interior image for a person's face (step S102), and identifies a position of the detected face (step S103).

Weiterhin beschafft die Biologische-Information-Beschaffungseinheit 13 die biologische Information, die von dem Elektromagnetische-Wellen-Sensor 22 ausgegeben wird (Schritt S104). Dann sucht der Biologisches-Objekt-Detektor 14 auf Grundlage der von der Biologische-Information-Beschaffungseinheit 13 beschafften biologischen Information nach einem biologischen Objekt (Lebenszeichen) in einem Fahrzeug (Schritt S105) und identifiziert eine Position und eine Größe des erfassten biologischen Objekts (Schritt S106).Furthermore, the biological information acquisition unit 13 acquires the biological information output from the electromagnetic wave sensor 22 (step S104). Then, based on the biological information acquired by the biological information acquisition unit 13, the biological object detector 14 searches for a biological object (life sign) in a vehicle (step S105), and identifies a position and a size of the detected biological object (step S106).

Die Insassen-Bestimmungseinheit 15 führt auf Grundlage der Position des Gesichts der durch den Gesichtsdetektor 12 identifizierten Person und der Position und der Größe des durch den Biologisches-Objekt-Detektor 14 detektierten biologischen Objekts die folgenden Prozesse in den Schritten S107 bis S116 auf jedem der Sitze aus.The occupant determination unit 15 performs the following processes in steps S107 to S116 on each of the seats based on the position of the face of the person identified by the face detector 12 and the position and size of the biological object detected by the biological object detector 14 out of.

Zunächst wählt die Insassen-Bestimmungseinheit 15 einen Sitz aus, von dem ein Insasse detektiert werden soll (im Folgenden als „Zielsitz“ bezeichnet) (Schritt S107), und bestätigt, ob der Gesichtsdetektor 12 ein Gesicht einer Person von dem Zielsitz detektiert hat (Schritt S108).First, the occupant determination unit 15 selects a seat from which an occupant is to be detected (hereinafter referred to as “target seat”) (step S107), and confirms whether the face detector 12 has detected a person's face from the target seat (step S108).

Falls der Gesichtsdetektor 12 ein Gesicht einer Person vom Zielsitz aus detektiert hat (JA in Schritt S108), bestätigt die Insassen-Bestimmungseinheit 15, ob der Biologisches-Objekt-Detektor 14 ein biologisches Objekt vom Zielsitz aus detektiert hat (Schritt S109). Falls sowohl das Gesicht der Person als auch das biologische Objekt auf dem Zielsitz detektiert wurden (JA in Schritt S109), bestimmt die Insassen-Bestimmungseinheit 15 das Vorhandensein eines Insassen auf dem Zielsitz, analysiert ein Bild des Insassen auf dem Zielsitz, das in dem Fahrzeuginnenraum-Bild enthalten ist, und bestimmt auf Grundlage der Gesichts- oder Skelettmerkmale des Insassen, ob der Insasse ein Erwachsener oder ein Kind ist (Schritt S110). Falls das biologische Objekt nicht detektiert wird, aber das Gesicht der Person auf dem Zielsitz detektiert wurde (NEIN in Schritt S109), bestimmt die Insassen-Bestimmungseinheit 15, dass der Gesichtsdetektor 12 das Gesicht der Person fälschlicherweise detektiert hat, und bestimmt, dass der Zielsitz frei ist (Schritt S111).If the face detector 12 has detected a person's face from the target seat (YES in step S108), the occupant determination unit 15 confirms whether the biological object detector 14 has detected a biological object from the target seat (step S109). If both the person's face and the biological object have been detected on the target seat (YES in step S109), the occupant determination unit 15 determines the presence of an occupant on the target seat, analyzes an image of the occupant on the target seat captured in the vehicle interior image is included, and determines whether the occupant is an adult or a child based on the facial or skeletal features of the occupant (step S110). If the biological object is not detected but the person's face was detected on the target seat (NO in step S109), the occupant determination unit 15 determines that the face detector 12 has erroneously detected the person's face and determines that the target seat is free (step S111).

Falls der Gesichtsdetektor 12 kein Gesicht einer Person auf dem Zielsitz detektiert (NEIN in Schritt S108), bestätigt die Insassen-Bestimmungseinheit 15, ob der Biologisches-Objekt-Detektor 14 ein biologisches Objekt auf dem Zielsitz detektiert hat (Schritt S112). Falls das Gesicht der Person nicht detektiert wird, aber das biologische Objekt vom Zielsitz aus detektiert wurde (JA in Schritt S112), bestimmt die Insassen-Bestimmungseinheit 15, dass sich der Insasse an einer Position befindet, an der die Fahrzeuginnenraum-Kamera 21 das Bild nicht aufnehmen kann (z. B. auf einem nach hinten gerichteten Kindersitz), und bestätigt die Größe des vom Zielsitz aus detektierten biologischen Objekts (Schritt S113). Falls die Größe des biologischen Objekts auf dem Zielsitz die Größe eines Erwachsenen ist (JA in Schritt S113), bestimmt die Insassen-Bestimmungseinheit 15 das Vorhandensein eines Erwachsenen auf dem Zielsitz (Schritt S114). Falls die Größe des biologischen Objekts auf dem Zielsitz eine Kindergröße ist (NEIN in Schritt S113), bestimmt die Insassen-Bestimmungseinheit 15 das Vorhandensein eines Kindes auf dem Zielsitz (Schritt S115). Falls weder das Gesicht der Person noch das biologische Objekt vom Zielsitz aus detektiert wurde (NEIN in Schritt S112), bestimmt die Insassen-Bestimmungseinheit 15, dass der Zielsitz frei ist (Schritt S116).If the face detector 12 does not detect a person's face on the target seat (NO in step S108), the occupant determination unit 15 confirms whether the biological object detector 14 has detected a biological object on the target seat (step S112). If the person's face is not detected but the biological object was detected from the target seat (YES in step S112), the occupant determination unit 15 determines that the occupant is at a position where the in-vehicle camera 21 captures the image cannot accommodate (e.g., on a rear-facing child seat), and confirms the size of the biological object detected from the target seat (step S113). If the size of the biological object on the target seat is the size of an adult (YES in step S113), the occupant determination unit 15 determines the presence of an adult on the target seat (step S114). If the size of the biological object on the target seat is a child's size (NO in step S113), the occupant determination unit 15 determines the presence of a child on the target seat (step S115). If neither the person's face nor the biological object has been detected from the target seat (NO in step S112), the occupant determination unit 15 determines that the target seat is vacant (step S116).

Nachdem die Prozesse in den Schritten S107 bis S116 auf allen Sitzen ausgeführt wurden, gibt die Insassen-Bestimmungseinheit 15 Bestimmungsergebnisse über das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz und eine Eigenschaft (Erwachsener oder Kind) des Insassen aus und beendet die Prozesse.After the processes in steps S107 to S116 are executed on all seats, the occupant determination unit 15 outputs determination results on the presence or absence of an occupant on each seat and a characteristic (adult or child) of the occupant, and ends the processes.

Falls sowohl das Gesicht der Person als auch das biologische Objekt vom Zielsitz aus detektiert wurden (JA in beiden Schritten S108 und S109), bestimmt die Insassen-Bestimmungseinheit 15 ein Attribut des Insassen auf Grundlage der Gesichts- oder Skelettmerkmale des Insassen in Schritt S110 in dem Verfahren in 7. Die Insassen-Bestimmungseinheit 15 kann diese Bestimmung unter Berücksichtigung der Größe des detektierten biologischen Objekts vornehmen. Die Insassen-Bestimmungseinheit 15 bestimmt eine Eigenschaft des Insassen sowohl aus den Gesichts- oder Skelettmerkmalen des Insassen als auch aus der Größe des detektierten biologischen Objekts. Dadurch kann die Genauigkeit beim Bestimmen einer Eigenschaft eines Insassen voraussichtlich weiter verbessert werden.If both the person's face and the biological object have been detected from the target seat (YES in both steps S108 and S109), the occupant determination unit 15 determines an attribute of the occupant based on the facial or skeletal features of the occupant in step S110 in the procedure in 7 . The occupant determination unit 15 can make this determination considering the size of the detected biological object. The occupant determination unit 15 determines a characteristic of the occupant from both the facial or skeletal characteristics of the occupant and the size of the detected biological object. As a result, the accuracy in determining a characteristic of an occupant can be expected to be further improved.

In Ausführungsform 1 wird angenommen, dass der Erfassungsbereich des Elektromagnetische-Wellen-Sensors 22 alle Sitze des Fahrzeugs umfasst. Der Erfassungsbereich des Elektromagnetische-Wellen-Sensors 22 kann jedoch auf Sitze beschränkt sein, deren Bilder von der Fahrzeuginnenraum-Kamera 21 nur schwer aufgenommen werden können (z.B. Rücksitze des Fahrzeugs). Hier sollte die Insassen-Detektionsvorrichtung 10 das Verfahren zum Detektieren eines Insassen in 7 auf den Sitzen im Erfassungsbereich des Elektromagnetische-Wellen-Sensors 22 ausführen, während die Insassen-Detektionsvorrichtung 10 ein herkömmliches Verfahren zum Detektieren eines Insassen auf den anderen Sitzen ausführen sollte, um das Vorhandensein oder Fehlen eines Insassen in einem Fahrzeug und eine Eigenschaft des Insassen auf Grundlage des von der Fahrzeuginnenraum-Kamera 21 aufgenommenen Fahrzeuginnenraum-Bildes zu bestimmen.In Embodiment 1, it is assumed that the detection range of the electromagnetic wave sensor 22 includes all seats of the vehicle. However, the detection range of the electromagnetic wave sensor 22 may be limited to seats where it is difficult for the in-vehicle camera 21 to capture images (eg, rear seats of the vehicle). Here, the occupant detection device 10 should perform the method of detecting an occupant in 7 on the seats in the detection range of the electromagnetic wave sensor 22, while the occupant detection device 10 should perform a conventional method of detecting an occupant on the other seats to determine the presence or absence of an occupant in a vehicle and a characteristic of the occupant based on the in-vehicle image captured by the in-vehicle camera 21 .

Wie oben beschrieben, bestimmt die Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 1 das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz und eine Eigenschaft des Insassen auf dem Sitz auf Grundlage der Position des Gesichts, das aus dem Fahrzeuginnenraum-Bild identifiziert wurde, und der Position und der Größe des biologischen Objekts, das aus den biologischen Informationen identifiziert wurde. Zum Beispiel, wenn ein Insasse mit einer Decke bedeckt ist oder ein Insasse ein Kind ist, das nicht auf einem Kindersitz sitzt, kann die Insassen-Detektionsvorrichtung 10 eine Eigenschaft des Insassen genau bestimmen.As described above, the occupant detection device 10 according to Embodiment 1 determines the presence or absence of an occupant on each seat and a characteristic of the occupant on the seat based on the position of the face identified from the vehicle interior image and the position and the size of the biological object identified from the biological information. For example, when an occupant is covered with a blanket or an occupant is a child who is not seated in a child seat, the occupant detection device 10 can accurately determine a characteristic of the occupant.

Die von der Insassen-Detektionsvorrichtung 10 zu detektierenden Eigenschaften von Insassen können nicht nur Menschen, sondern auch Tiere umfassen. Insbesondere kann die Klassifizierung der Größen von biologischen Objekten, die vom Biologisches-Objekt-Detektor 14 identifiziert werden, auch Tiere umfassen. Darüber hinaus kann die Klassifizierung von Tieren zum Beispiel in große, mittlere und kleine Tiere unterteilt werden.The characteristics of occupants to be detected by the occupant detection device 10 may include not only humans but also animals. In particular, classification of sizes of biological objects identified by biological object detector 14 may also include animals. In addition, the classification of animals can be divided into, for example, large, medium and small animals.

8 und 9 illustrieren jeweils eine beispielhafte Hardware-Konfiguration der Insassen-Detektionsvorrichtung 10. Jede Funktion der in 1 illustrierten Bestandteile der Insassen-Detektionsvorrichtung 10 wird zum Beispiel durch eine in 8 illustrierte Verarbeitungsschaltung 50 implementiert. Insbesondere umfasst die Insassen-Detektionsvorrichtung 10 die Verarbeitungsschaltung 50 zur: Beschaffen eines Fahrzeuginnenraum-Bildes, das ein in einem Fahrzeug aufgenommenes Bild ist; Suchen des Fahrzeuginnenraum-Bildes nach einem Gesicht einer Person und Identifizieren einer Position des detektierten Gesichts; Beschaffen biologischer Information im Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor detektiert worden ist; Suchen nach einem biologischen Objekt in dem Fahrzeug auf Grundlage der biologischen Information und Identifizieren einer Position und einer Größe des erfassten biologischen Objekts; und Bestimmen des Vorhandenseins oder Fehlens eines Insassen auf jedem Sitz in dem Fahrzeug und einer Eigenschaft des Insassen auf dem Sitz, auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts. Die Verarbeitungsschaltung 50 kann eine dedizierte Hardware oder ein Prozessor (auch als zentrale Verarbeitungseinheit (CPU), Verarbeitungseinheit, Recheneinheit, Mikroprozessor, Mikrocomputer oder digitaler Signalprozessor (DSP) bezeichnet) sein, der ein in einem Speicher gespeichertes Programm ausführt. 8th and 9 each illustrate an exemplary hardware configuration of the occupant detection device 10. Each function of the in 1 illustrated components of the occupant detection device 10 is, for example, by an in 8th illustrated processing circuitry 50 is implemented. Specifically, the occupant detection device 10 includes the processing circuit 50 for: acquiring a vehicle interior image, which is an image captured in a vehicle; searching the vehicle interior image for a person's face and identifying a position of the detected face; acquiring in-vehicle biological information detected by an electromagnetic wave sensor; searching for a biological object in the vehicle based on the biological information and identifying a position and a size of the detected biological object; and determining the presence or absence of an occupant in each seat in the vehicle and a characteristic of the occupant in the seat based on the position of the person's face and the position and size of the biological object. Processing circuitry 50 may be dedicated hardware or a processor (also referred to as a central processing unit (CPU), processing unit, arithmetic unit, microprocessor, microcomputer, or digital signal processor (DSP)) that executes a program stored in memory.

Handelt es sich bei der Verarbeitungsschaltung 50 um dedizierte Hardware, so entspricht sie zum Beispiel einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem feldprogrammierbaren Gate-Array (FPGA) oder einer beliebigen Kombination davon. Jede Funktion der Bestandteile der Insassen-Detektionsvorrichtung 10 kann durch eine separate Verarbeitungsschaltung implementiert werden, oder die Funktionen können gemeinsam durch eine einzige Verarbeitungsschaltung implementiert werden.When processing circuitry 50 is dedicated hardware, it corresponds, for example, to a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit ten circuit (ASIC), a field programmable gate array (FPGA) or any combination thereof. Each function of the components of the occupant detection device 10 can be implemented by a separate processing circuit, or the functions can be implemented collectively by a single processing circuit.

9 illustriert eine beispielhafte Hardware-Konfiguration der Insassen-Detektionsvorrichtung 10, wenn die Verarbeitungsschaltung 50 einen Prozessor 51 enthält, der ein Programm ausführt. Hier werden die Funktionen der Bestandteile der Insassen-Detektionsvorrichtung 10 zum Beispiel durch Software (Software, Firmware oder eine Kombination aus Software und Firmware) implementiert. Zum Beispiel wird die Software als Programm beschrieben und in einem Speicher 52 gespeichert. Der Prozessor 51 führt die Funktionen der einzelnen Bestandteile aus, indem er die im Speicher 52 gespeicherten Programme liest und ausführt. Insbesondere enthält die Insassen-Detektionsvorrichtung 10 den Speicher 52 zum Speichern eines Programms, das bei Ausführung durch den Prozessor 51 folgende Prozesse ausführt Beschaffen eines Fahrzeuginnenraum-Bildes, das ein in einem Fahrzeug aufgenommenes Bild ist; Durchsuchen des Fahrzeuginnenraum-Bildes nach einem Gesicht einer Person und Identifizieren einer Position des detektierten Gesichts; Beschaffen biologischer Information in dem Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor detektiert wurde; Suchen nach einem biologischen Objekt in dem Fahrzeug auf Grundlage der biologischen Information und Identifizieren einer Position und einer Größe des detektierten biologischen Objekts; und Bestimmen des Vorhandenseins oder Fehlens eines Insassen auf jedem Sitz in dem Fahrzeug und einer Eigenschaft des Insassen auf dem Sitz, auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts. Anders ausgedrückt, dieses Programm veranlasst einen Computer, Verfahren oder Betriebsmethoden der Bestandteile der Insassen-Detektionsvorrichtung 10 auszuführen. 9 12 illustrates an example hardware configuration of the occupant detection device 10 when the processing circuit 50 includes a processor 51 that executes a program. Here, the functions of the constituent parts of the occupant detection device 10 are implemented by software (software, firmware, or a combination of software and firmware), for example. For example, the software is described as a program and stored in memory 52 . The processor 51 carries out the functions of the individual components by reading and executing the programs stored in the memory 52 . Specifically, the occupant detection device 10 includes the memory 52 for storing a program that, when executed by the processor 51, performs the following processes: acquiring a vehicle interior image, which is an image captured in a vehicle; searching the vehicle interior image for a person's face and identifying a position of the detected face; acquiring biological information in the vehicle detected by an electromagnetic wave sensor; searching for a biological object in the vehicle based on the biological information and identifying a position and a size of the detected biological object; and determining the presence or absence of an occupant in each seat in the vehicle and a characteristic of the occupant in the seat based on the position of the person's face and the position and size of the biological object. In other words, this program causes a computer to execute processes or operating methods of the components of the occupant detection device 10 .

Beispiele für den Speicher 52 können hier nichtflüchtige oder flüchtige Halbleiterspeicher wie ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein Flash-Speicher, ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM), ein elektrisch löschbarer programmierbarer Nur-Lese-Speicher (EEPROM), ein Festplattenlaufwerk (HDD), eine Magnetplatte, eine flexible Platte, eine optische Platte, eine Kompaktplatte, eine Minidisk, eine Digital Versatile Disc (DVD), eine Antriebsvorrichtung dafür und darüber hinaus jedes beliebige Speichermedium, das in Zukunft verwendet werden soll, umfassen.Examples of memory 52 herein may be non-volatile or volatile semiconductor memory such as random access memory (RAM), read only memory (ROM), flash memory, erasable programmable read only memory (EPROM), electrically erasable programmable only Read only memory (EEPROM), a hard disk drive (HDD), a magnetic disk, a flexible disk, an optical disk, a compact disk, a minidisk, a digital versatile disc (DVD), a driving device therefor and, in addition, any storage medium that to be used in the future.

Die Konfiguration für die Implementierung der Funktionen der Bestandteile der Insassen-Detektionsvorrichtung 10 unter Verwendung der Hardware oder der Software usw. ist oben beschrieben. Die Konfiguration ist jedoch nicht darauf beschränkt, sondern ein Teil der Bestandteile der Insassen-Detektionsvorrichtung 10 kann durch dedizierte Hardware konfiguriert werden, und ein anderer Teil der Bestandteile kann durch Software implementiert werden, usw. Zum Beispiel kann die Verarbeitungsschaltung 50, die als dedizierte Hardware fungiert, die Funktionen des Teils der Bestandteilelemente implementieren, und die Verarbeitungsschaltung 50, die als Prozessor 51 fungiert, kann die Funktionen des anderen Teils der Bestandteilelemente durch Lesen und Ausführen eines im Speicher 52 gespeicherten Programms implementieren.The configuration for implementing the functions of the constituent parts of the occupant detection device 10 using the hardware or the software, etc. is described above. However, the configuration is not limited to this, but part of the constituent parts of the occupant detection device 10 can be configured by dedicated hardware, and another part of the constituent parts can be implemented by software, etc. For example, the processing circuit 50 configured as dedicated hardware functions implement the functions of the part of the constituent elements, and the processing circuit 50 functioning as the processor 51 can implement the functions of the other part of the constituent elements by reading and executing a program stored in the memory 52.

Wie oben beschrieben, kann die Insassen-Detektionsvorrichtung 10 jede der Funktionen durch Hardware, Software usw. oder beliebige Kombinationen davon implementieren.As described above, the occupant detection device 10 can implement each of the functions by hardware, software, etc., or any combination thereof.

[Ausführungsform 2][Embodiment 2]

10 ist ein Blockdiagramm, das eine Konfiguration der Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 2 illustriert. Die Konfiguration der Insassen-Detektionsvorrichtung 10 in 10 wird durch Hinzufügen eines Kindersitz-Detektors 16 zu der Konfiguration in 1 beschafft. Da die anderen Elemente außer diesem die gleichen sind wie die in 1, wird die Beschreibung der Elemente hier weggelassen. 10 FIG. 14 is a block diagram illustrating a configuration of the occupant detection device 10 according to Embodiment 2. FIG. The configuration of the occupant detection device 10 in 10 is achieved by adding a child seat detector 16 to the configuration in FIG 1 procured. Since the elements other than this one are the same as those in 1 , the description of the elements is omitted here.

Der Kindersitz-Detektor 16 detektiert einen mit einem Kindersitz ausgestatteten Sitz in einem Fahrzeug. Der Kindersitz-Detektor 16 gemäß Ausführungsform 2 analysiert das Fahrzeuginnenraum-Bild, das von der Fahrzeug-Bordeinheit 11 beschafft wurde, um nach einem Kindersitz zu suchen, und identifiziert einen Sitz, der mit dem detektierten Kindersitz ausgestattet ist, auf Grundlage der Koordinatenwerte des Kindersitzes (Koordinatenwerte im Fahrzeuginnenraum-Bild). Ein Verfahren zum Detektieren eines Sitzes, der mit einem Kindersitz ausgestattet ist, ist nicht auf diesen Fall beschränkt. Beispiele für das Verfahren umfassen ein Verfahren zum Detektieren des Sitzes auf Grundlage beispielsweise eines Ausgabesignals eines in jedem Sitz bereitgestellten Last-Sensors oder eines Ausmaßes der Protraktion oder Spannung eines Sicherheitsgurtes des Sitzes.The child seat detector 16 detects a child seat equipped seat in a vehicle. The child seat detector 16 according to Embodiment 2 analyzes the vehicle interior image acquired by the on-vehicle unit 11 to search for a child seat, and identifies a seat equipped with the detected child seat based on the coordinate values of the child seat (Coordinate values in the vehicle interior image). A method of detecting a seat equipped with a child seat is not limited to this case. Examples of the method include a method of detecting the seat based on, for example, an output signal of a load sensor provided in each seat or an amount of protraction or tension of a seat belt of the seat.

Ferner bestimmt die Insassen-Bestimmungseinheit 15 gemäß Ausführungsform 2 eine Eigenschaft eines Insassen auf jedem Sitz, indem sie eine Position eines mit einem Kindersitz ausgestatteten Sitzes berücksichtigt. Insbesondere, falls der Biologisches-Objekt-Detektor 14 ein biologisches Objekt von dem mit dem Kindersitz ausgestatteten Sitz detektiert hat, bestimmt die Insassen-Bestimmungseinheit 15 das Vorhandensein eines Kindes auf dem Sitz.Further, according to Embodiment 2, the occupant determination unit 15 determines a characteristic of an occupant on each seat by considering a position of a seat equipped with a child seat. In particular, if the biological object detector 14 is a biological object from the seat equipped with the child seat, the occupant determination unit 15 determines the presence of a child on the seat.

11 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 2 illustriert. Das Verfahren in 11 wird beschafft, indem die unten zu beschreibenden Schritte S120 bis S122 zu dem Verfahren in 7 hinzugefügt werden. Da die anderen Schritte die gleichen sind wie die in 7, wird die Beschreibung der Schritte hier weggelassen. 11 FIG. 14 is a flowchart illustrating the operation of the occupant detection device 10 according to Embodiment 2. FIG. The procedure in 11 is obtained by adding steps S120 to S122 to be described below to the method in 7 to be added. Since the other steps are the same as those in 7 , the description of the steps is omitted here.

In Schritt S120 analysiert der Kindersitz-Detektor 16 das Fahrzeuginnenraum-Bild, um nach einem mit einem Kindersitz ausgestatteten Sitz in einem Fahrzeug zu suchen. Obwohl der Schritt S120 nach den Schritten S102 und S103 in dem Verfahren in 11 ausgeführt wird, kann die Reihenfolge umgekehrt werden.In step S120, the child seat detector 16 analyzes the vehicle interior image to search for a child seat-equipped seat in a vehicle. Although step S120 occurs after steps S102 and S103 in the method in FIG 11 is executed, the order can be reversed.

Falls die Insassen-Bestimmungseinheit 15 bestimmt, dass der Biologisches-Objekt-Detektor 14 in Schritt S109 ein biologisches Objekt vom Zielsitz detektiert hat (JA wird in Schritt S109 bestimmt), wird Schritt S121 ausgeführt. In Schritt S121 bestätigt die Insassen-Bestimmungseinheit 15, ob der Kindersitz-Detektor 16 einen Kindersitz vom Zielsitz detektiert hat. Falls der Kindersitz-Detektor 16 einen Kindersitz vom Zielsitz detektiert hat (JA in Schritt S121), wird mit Schritt S115 fortgefahren. Die Insassen-Bestimmungseinheit 15 bestimmt das Vorhandensein eines Kindes auf dem Zielsitz. Falls der Kindersitz-Detektor 16 keinen Kindersitz auf dem Zielsitz detektiert (NEIN in Schritt S121), fahren die Prozesse mit Schritt S110 fort. Die Insassen-Bestimmungseinheit 15 analysiert das Bild des Insassen auf dem Zielsitz, das in dem Fahrzeuginnenraum-Bild enthalten ist, und bestimmt auf Grundlage der Gesichts- oder Skelettmerkmale des Insassen, ob es sich um einen Erwachsenen oder ein Kind handelt.If the occupant determination unit 15 determines that the biological object detector 14 has detected a biological object from the target seat in step S109 (YES is determined in step S109), step S121 is executed. In step S121, the occupant determination unit 15 confirms whether the child seat detector 16 has detected a child seat from the target seat. If the child seat detector 16 has detected a child seat from the target seat (YES in step S121), it proceeds to step S115. The occupant determination unit 15 determines the presence of a child in the target seat. If the child seat detector 16 does not detect a child seat on the target seat (NO in step S121), the processes proceed to step S110. The occupant determination unit 15 analyzes the image of the occupant on the target seat included in the vehicle interior image and determines whether the occupant is an adult or a child based on facial or skeletal characteristics of the occupant.

Falls die Insassen-Bestimmungseinheit 15 bestimmt, dass der Biologisches-Objekt-Detektor 14 in Schritt S112 ein biologisches Objekt auf dem Zielsitz detektiert hat (JA wird in Schritt S112 bestimmt), wird Schritt S122 ausgeführt. In Schritt S122 bestätigt die Insassen-Bestimmungseinheit 15, ob der Kindersitz-Detektor 16 einen Kindersitz auf dem Zielsitz detektiert hat. Falls der Kindersitz-Detektor 16 einen Kindersitz auf dem Zielsitz detektiert hat (JA in Schritt S122), wird mit Schritt S115 fortgefahren. Die Insassen-Bestimmungseinheit 15 bestimmt das Vorhandensein eines Kindes auf dem Zielsitz. Falls der Kindersitz-Detektor 16 keinen Kindersitz auf dem Zielsitz detektiert (NEIN in Schritt S122), fahren die Prozesse mit Schritt S113 fort. Die Insassen-Bestimmungseinheit 15 bestimmt eine Eigenschaft des Insassen auf dem Zielsitz auf Grundlage der Größe des biologischen Objekts, das vom Zielsitz aus detektiert wurde.If the occupant determination unit 15 determines that the biological object detector 14 has detected a biological object on the target seat in step S112 (YES is determined in step S112), step S122 is executed. In step S122, the occupant determination unit 15 confirms whether the child seat detector 16 has detected a child seat on the target seat. If the child seat detector 16 has detected a child seat on the target seat (YES in step S122), it proceeds to step S115. The occupant determination unit 15 determines the presence of a child in the target seat. If the child seat detector 16 does not detect a child seat on the target seat (NO in step S122), the processes proceed to step S113. The occupant determination unit 15 determines a characteristic of the occupant in the target seat based on the size of the biological object detected from the target seat.

Da die Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 2 eine Eigenschaft eines Insassen bestimmt, indem eine Position eines mit einem Kindersitz ausgestatteten Sitzes berücksichtigt wird, kann die Insassen-Detektionsvorrichtung 10 eine Eigenschaft (Kind) des Insassen auf dem mit dem Kindersitz ausgestatteten Sitz genau bestimmen.Since the occupant detection device 10 according to Embodiment 2 determines a characteristic of an occupant by considering a position of a child seat-equipped seat, the occupant detection device 10 can accurately determine a characteristic (child) of the occupant on the child seat-equipped seat.

[Ausführungsform 3][Embodiment 3]

12 ist ein Blockdiagramm, das eine Konfiguration der Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 3 illustriert. Die Konfiguration der Insassen-Detektionsvorrichtung 10 in 12 wird durch Hinzufügen eines Gesichtsausdrucksänderung-Detektors 17 zu der Konfiguration in 1 beschafft. Da die anderen Elemente außer diesem die gleichen sind wie die in 1, wird die Beschreibung der Elemente hier weggelassen. 12 FIG. 14 is a block diagram illustrating a configuration of the occupant detection device 10 according to Embodiment 3. FIG. The configuration of the occupant detection device 10 in 12 is achieved by adding a facial expression change detector 17 to the configuration in 1 procured. Since the elements other than this one are the same as those in 1 , the description of the elements is omitted here.

Der Gesichtsausdrucksänderung-Detektor 17 überwacht eine Änderung in einem vom Gesichtsdetektor 12 abgebildeten Bild des Gesichts der Person, um eine Änderung des Gesichtsausdrucks der Person zu detektieren. Insbesondere extrahiert der Gesichtsausdrucksänderung-Detektor 17 aus dem Bild des Gesichts der Person Merkmalspunkte von Gesichtsteilen wie den Augen (z.B. innere und äußere Augenwinkel und die oberen und unteren Augenlider), der Nase (z.B., die Nasenwurzel (radix nasi), der Nasenrücken (dorsum nasi), die Nasenflügel (alae nasi) und die Nasenspitze (apex nasi)) und der Mund (labium superius oris und labium inferius oris), um das Vorhandensein oder Fehlen einer Veränderung des Gesichtsausdrucks anhand einer Positionsbeziehung zwischen diesen Merkmalspunkten zu bestimmen. Ein Verfahren zum Detektieren einer Veränderung des Gesichtsausdrucks ist nicht darauf beschränkt, sondern kann jedes Verfahren sein.The facial expression change detector 17 monitors a change in an image of the person's face imaged by the face detector 12 to detect a change in the facial expression of the person. Specifically, the facial expression change detector 17 extracts, from the image of the person's face, feature points of facial parts such as the eyes (e.g., inner and outer corners of the eyes and the upper and lower eyelids), the nose (e.g., the root of the nose (radix nasi), the bridge of the nose (dorsum nasi), the nostrils (alae nasi) and the tip of the nose (apex nasi)), and the mouth (labium superius oris and labium inferius oris) to determine the presence or absence of a change in facial expression based on a positional relationship between these feature points. A method for detecting a change in facial expression is not limited to this but may be any method.

Die Insassen-Bestimmungseinheit 15 gemäß Ausführungsform 3 bestimmt eine Eigenschaft eines Insassen auf jedem Sitz, indem sie ein Ergebnis der Änderung des Gesichtsausdrucks der Person berücksichtigt, die von dem Gesichtsausdrucksänderung-Detektor 17 detektiert wurde. Konkret bestimmt die Insassen-Bestimmungseinheit 15, falls das Gesicht der vom Gesichtsdetektor 12 erfassten Person für eine vorbestimmte Zeit oder länger keine Änderung des Gesichtsausdrucks aufweist, eine Eigenschaft des Insassen auf dem Sitz, von dem der Gesichtsdetektor 12 das Gesicht erfasst hat, nicht auf Grundlage des Bildes der Person, sondern auf Grundlage der Größe des biologischen Objekts. Falls der Biologisches-Objekt-Detektor 14 kein biologisches Objekt auf dem Sitz detektiert, bestimmt die Insassen-Bestimmungseinheit 15, dass der Gesichtsdetektor 12 das Gesicht der Person fälschlicherweise detektiert hat, und bestimmt, dass der Sitz frei ist.The occupant determination unit 15 according to Embodiment 3 determines a characteristic of an occupant on each seat by considering a result of the change in the person's facial expression detected by the facial expression change detector 17 . Specifically, if the face of the person detected by the face detector 12 has no change in facial expression for a predetermined time or longer, the occupant determination unit 15 determines a characteristic of the occupant on the seat from which the face detector 12 detected the face not based of the person's image, but based on the size of the biological object. If the biological object detector 14 is not a biolo detects a physical object on the seat, the occupant determination unit 15 determines that the face detector 12 has erroneously detected the person's face and determines that the seat is vacant.

13 ist ein Flussdiagramm, das den Betrieb der Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 3 illustriert. Das Verfahren in 13 wird beschafft, indem der unten zu beschreibende Schritt S130 dem Verfahren in 7 hinzugefügt wird. Da die anderen Schritte die gleichen sind wie in 7, wird die Beschreibung der Schritte hier weggelassen. 13 FIG. 14 is a flowchart illustrating the operation of the occupant detection device 10 according to Embodiment 3. FIG. The procedure in 13 is obtained by performing step S130 to be described below according to the method in 7 will be added. As the other steps are the same as in 7 , the description of the steps is omitted here.

Falls die Insassen-Bestimmungseinheit 15 bestimmt, dass der Biologisches-Objekt-Detektor 14 in Schritt S109 ein biologisches Objekt vom Zielsitz detektiert hat (JA wird in Schritt S109 bestimmt), wird Schritt S130 ausgeführt. In Schritt S130 bestimmt die Insassen-Bestimmungseinheit 15 auf Grundlage eines Ergebnisses der Änderung des Gesichtsausdrucks der Person, die von dem Gesichtsausdrucksänderung-Detektor 17 detektiert wurde, ob ein Zustand ohne Änderung des Gesichtsausdrucks des von dem Zielsitz detektierten Gesichts für eine vorbestimmte Zeit oder länger fortgesetzt wird. Falls ein Zustand ohne Änderung des Gesichtsausdrucks für eine vorbestimmte Zeit oder länger fortgesetzt wird (JA in Schritt S130), fahren die Prozesse mit Schritt S113 fort. Die Insassen-Bestimmungseinheit 15 bestimmt auf Grundlage der Größe des vom Zielsitz aus detektierten biologischen Objekts, ob der Insasse ein Erwachsener oder ein Kind ist. Falls ein Zeitabschnitt ohne Veränderung des Gesichtsausdrucks weniger als die vorgegebene Zeit (NEIN in Schritt S130) beträgt, fahren die Prozesse mit Schritt S110 fort. Die Insassen-Bestimmungseinheit 15 analysiert das Bild des Insassen auf dem Zielsitz, das in dem Fahrzeuginnenraum-Bild enthalten ist, und bestimmt auf Grundlage der Gesichts- oder Skelettmerkmale des Insassen, ob es sich um einen Erwachsenen oder ein Kind handelt.If the occupant determination unit 15 determines that the biological object detector 14 has detected a biological object from the target seat in step S109 (YES is determined in step S109), step S130 is executed. In step S130, the occupant determination unit 15 determines, based on a result of change in the facial expression of the person detected by the facial expression change detector 17, whether a state with no change in facial expression of the face detected from the target seat continues for a predetermined time or longer becomes. If a state with no change in facial expression continues for a predetermined time or longer (YES in step S130), the processes proceed to step S113. The occupant determination unit 15 determines whether the occupant is an adult or a child based on the size of the biological object detected from the target seat. If a period of time without changing facial expression is less than the predetermined time (NO in step S130), the processes proceed to step S110. The occupant determination unit 15 analyzes the image of the occupant on the target seat included in the vehicle interior image and determines whether the occupant is an adult or a child based on facial or skeletal characteristics of the occupant.

Falls das Gesicht der von dem Gesichtsdetektor 12 detektierten Person für eine vorbestimmte Zeit oder länger keine Veränderung des Gesichtsausdrucks aufweist, bestimmt die Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 3 eine Eigenschaft des Insassen auf dem Sitz, von dem der Gesichtsdetektor 12 das Gesicht detektiert hat, nicht auf Grundlage des Bildes der Person, sondern auf Grundlage der Größe des biologischen Objekts. Dies verhindert zum Beispiel, dass ein Kind, das eine Maske oder ein mit einem menschlichen Gesichtsbild bedrucktes T-Shirt trägt, fälschlicherweise als Erwachsener bestimmt wird. Dies kann zum Beispiel auch einen Vorteil beim Detektieren von Tarnung bringen, wenn ein Kind, das eine Maske trägt, wie ein Erwachsener aussieht, um die Tatsache zu verbergen, dass das Kind in einem Fahrzeug allein gelassen wurde.If the face of the person detected by the face detector 12 does not change facial expression for a predetermined time or longer, the occupant detection device 10 according to Embodiment 3 does not determine a characteristic of the occupant on the seat of which the face detector 12 detected the face based on the image of the person, but based on the size of the biological object. This prevents, for example, a child wearing a mask or a T-shirt printed with a human face image from being incorrectly identified as an adult. This can also provide an advantage in camouflage detection, for example, where a child wearing a mask appears to be an adult to hide the fact that the child has been left alone in a vehicle.

Ausführungsform 3 kann mit Ausführungsform 2 kombiniert werden. 14 illustriert eine Modifikation, bei der Ausführungsform 3 auf Ausführungsform 2 angewendet wird. Insbesondere wird die Konfiguration der Insassen-Detektionsvorrichtung 10 in 14 durch Hinzufügen des Gesichtsausdrucksänderung-Detektors 17 zu der Konfiguration in 10 beschafft.Embodiment 3 can be combined with embodiment 2. 14 12 illustrates a modification in which embodiment 3 is applied to embodiment 2. In particular, the configuration of the occupant detection device 10 in 14 by adding the facial expression change detector 17 to the configuration in 10 procured.

15 ist ein Flussdiagramm, das die Vorgänge der Insassen-Detektionsvorrichtung 10 illustriert, die in 14 dargestellt ist. Das Verfahren in 15 wird beschafft, indem der oben beschriebene Schritt S130 zu dem Verfahren in 11 hinzugefügt wird. Der Schritt S130 in 15 wird ausgeführt, wenn die Insassen-Bestimmungseinheit 15 feststellt, dass der Kindersitz-Detektor 16 in dem in Ausführungsform 2 beschriebenen Schritt S121 keinen Kindersitz des Zielsitzes detektiert hat. Diese Modifikation führt zu den Vorteilen der beiden Ausführungsformen 2 und 3. 15 FIG. 14 is a flowchart illustrating the operations of the occupant detection device 10 shown in FIG 14 is shown. The procedure in 15 is obtained by adding step S130 described above to the method in FIG 11 will be added. The step S130 in 15 is executed when the occupant determination unit 15 determines that the child seat detector 16 has not detected a child seat of the target seat in step S121 described in Embodiment 2. This modification leads to the advantages of both embodiments 2 and 3.

[Ausführungsform 4][Embodiment 4]

Die Insassen-Detektionsvorrichtung 10 gemäß jeder der Ausführungsformen 1 bis 3 ist weitgehend auf Systeme anwendbar, die Eigenschaften von Insassen verwenden, zum Beispiel ein Insassen-Überwachungssystem, das einen physischen Zustand eines Insassen auf jedem Sitz überwacht, und ein Alleine-gelassenes-Kind-Alarmsystem, das verhindert, dass ein Kind in einem Fahrzeug allein gelassen wird. In Ausführungsform 4 wird ein Beispiel beschrieben, bei dem die Insassen-Detektionsvorrichtung 10 auf ein Alleine-gelassenes-Kind-Alarmsystem angewendet wird.The occupant detection device 10 according to each of Embodiments 1 to 3 is widely applicable to systems using characteristics of occupants, for example, an occupant monitoring system that monitors a physical condition of an occupant in each seat and a child left alone Alarm system that prevents a child from being left alone in a vehicle. In Embodiment 4, an example in which the occupant detection device 10 is applied to an abandoned child alarm system will be described.

16 ist ein Blockdiagramm, das eine Konfiguration eines Alleine-gelassenes-Kind-Alarmsystems 30 gemäß Ausführungsform 4 illustriert. Dieses Alleine-gelassenes-Kind-Alarmsystem 30 umfasst die Insassen-Detektionsvorrichtung 10 gemäß einer der Ausführungsformen 1 bis 3 und eine Alarm-Ausgabeeinheit 31 (das Alleine-gelassenes-Kind-Alarmsystem 30 in 16 umfasst die Insassen-Detektionsvorrichtung 10 gemäß Ausführungsform 1). 16 12 is a block diagram illustrating a configuration of an abandoned child alarm system 30 according to Embodiment 4. FIG. This left-alone child alarm system 30 includes the occupant detection device 10 according to any one of Embodiments 1 to 3 and an alarm output unit 31 (the left-alone child alarm system 30 in 16 includes the occupant detection device 10 according to embodiment 1).

Die Alarm-Ausgabeeinheit 31 überwacht auf Grundlage eines Ergebnisses von Eigenschaften der Insassen, die von der Insassen-Detektionsvorrichtung 10 bestimmt worden sind, ob ein Kinderinsasse allein in einem Fahrzeug bleibt. Falls ein Zustand, in dem ein Kind allein gelassen wird, für einen vorbestimmten Zeitabschnitt oder länger anhält, bestimmt die Alarm-Ausgabeeinheit 31, dass die Möglichkeit besteht, das Kind allein zu lassen, und gibt einen Alarm an die Außenseite des Fahrzeugs aus.The alarm output unit 31 monitors whether a child occupant stays alone in a vehicle based on a result of characteristics of the occupants determined by the occupant detection device 10 . If a state in which a child is left alone continues for a predetermined period of time or longer, the alarm output unit 31 determines that there is a possibility of leaving the child and outputs an alarm to the outside of the vehicle.

17 ist ein Flussdiagramm, das den Betrieb des Alleine-gelassenes-Kind-Alarmsystems 30 illustriert. Die Funktionsweise des Alleine-gelassenes-Kind-Alarmsystems 30 wird unter Bezugnahme auf 17 beschrieben. 17 FIG. 12 is a flow chart illustrating the operation of the abandoned child alarm system 30. FIG. The operation of the abandoned child alarm system 30 is described with reference to FIG 17 described.

Nach dem Start des Alleine-gelassenes-Kind-Alarmsystems 30 führt die Insassen-Detektionsvorrichtung 10 zunächst Prozesse zur Detektion eines Insassen aus, um das Vorhandensein oder Fehlen eines Insassen auf jedem Sitz und eine Eigenschaft (Erwachsener oder Kind) des Insassen zu bestimmen (Schritt S201). Bei den Prozessen zur Detektion eines Insassen führt die Insassen-Detektionsvorrichtung 10 die in 7, 11, 13 oder 15 illustrierten Prozesse aus.After the start-up of the left-alone child alarm system 30, the occupant detection apparatus 10 first executes occupant detection processes to determine the presence or absence of an occupant on each seat and a characteristic (adult or child) of the occupant (step S201). In the processes for detecting an occupant, the occupant detection device 10 performs the 7 , 11 , 13 or 15 illustrated processes.

Die Alarm-Ausgabeeinheit 31 bestätigt das Vorhandensein oder Fehlen eines Insassen im Fahrzeug auf Grundlage eines Ergebnisses der Vorgänge zur Detektion eines Insassen (Schritt S202). Falls sich kein Insasse im Fahrzeug befindet (NEIN in Schritt S202), bestimmt die Alarm-Ausgabeeinheit 31, dass alle Insassen das Fahrzeug verlassen, und beendet die Prozesse.The alarm output unit 31 confirms the presence or absence of an occupant in the vehicle based on a result of the occupant detection processes (step S202). If there is no occupant in the vehicle (NO in step S202), the alarm output unit 31 determines that all the occupants are getting out of the vehicle and ends the processes.

Falls sich mindestens ein Insasse im Fahrzeug befindet (JA in Schritt S202), bestätigt die Alarm-Ausgabeeinheit 31, ob ein Kinderinsasse allein im Fahrzeug bleibt (Schritt S203). Falls sich unter den Insassen des Fahrzeugs mindestens ein Erwachsener befindet (NEIN in Schritt S203), kehren die Prozesse zu Schritt ST201 zurück.If there is at least one occupant in the vehicle (YES in step S202), the alarm output unit 31 confirms whether a child occupant remains alone in the vehicle (step S203). If there is at least one adult among the occupants of the vehicle (NO in step S203), the processes return to step ST201.

Falls der Kinderinsasse allein im Fahrzeug bleibt (JA in Schritt S203), bestätigt die Alarm-Ausgabeeinheit 31, ob ein Zustand, in dem die Kinderinsasse allein im Fahrzeug bleibt, für einen vorbestimmten Zeitabschnitt oder länger fortgesetzt wird (Schritt S204). Falls der Zustand, in dem der Kinderinsasse allein im Fahrzeug bleibt, nicht für eine vorbestimmte Zeit oder länger fortgesetzt wird (NEIN in Schritt S204), kehren die Prozesse zu Schritt ST201 zurück.If the child occupant stays alone in the vehicle (YES in step S203), the alarm output unit 31 confirms whether a state in which the child occupant stays alone in the vehicle continues for a predetermined period of time or longer (step S204). If the state where the child occupant stays alone in the vehicle does not continue for a predetermined time or longer (NO in step S204), the processes return to step ST201.

Falls der Zustand, in dem der Kinderinsasse allein im Fahrzeug bleibt, für eine vorbestimmte Zeit oder länger fortgesetzt wird (JA in Schritt S204), bestimmt die Alarm-Ausgabeeinheit 31, dass die Möglichkeit besteht, das Kind allein im Fahrzeug zu lassen, und gibt einen Alarm an die Außenseite des Fahrzeugs aus (Schritt S205).If the state where the child occupant is left alone in the vehicle continues for a predetermined time or longer (YES in step S204), the alarm output unit 31 determines that there is a possibility of leaving the child in the vehicle alone and gives issues an alarm to the outside of the vehicle (step S205).

Obwohl es keine Beschränkung für den Zeitabschnitt gibt, mit dem das Alleine-gelassenes-Kind-Alarmsystem 30 die Prozesse in 17 startet, sollte das Alleine-gelassenes-Kind-Alarmsystem 30 die Prozesse in 17 mit dem Zeitabschnitt des Anhaltens des Fahrzeugs starten. Dies liegt daran, dass ein Kind allein gelassen wird, nachdem das Fahrzeug angehalten wurde. Alternativ kann das Alleine-gelassenes-Kind-Alarmsystem 30 das Aufnehmen oder Entlassen eines Insassen auf Grundlage von z. B. Signalen zum Öffnen oder Schließen einer Tür oder eines Ausgangssignals von einem Last-Sensor in einem Sitz detektieren und die Vorgänge in 17 mit dem Zeitabschnitt des Aufnehmens oder Entlassens des Insassen starten. Wenn das Alleine-gelassenes-Kind-Alarmsystem 30 die Vorgänge in 17 mit dem Zeitabschnitt des Empfangens oder Entlassens von Insassen startet, kann das Alleine-gelassenes-Kind-Alarmsystem 30 einen Vorfall detektieren, bei dem alle Insassen vorübergehend aus dem Fahrzeug aussteigen, und dann ein Kind wieder allein in das Fahrzeug geladen und allein gelassen wird.Although there is no limit to the period of time that the abandoned child alarm system 30 can carry out the processes in 17 starts, the Abandoned Child Alarm System 30 should start the processes in 17 start with the vehicle stop period. This is because a child is left alone after the vehicle is stopped. Alternatively, the left-alone child alarm system 30 may admit or release an occupant based on e.g. B. signals for opening or closing a door or an output signal from a load sensor in a seat and the processes in 17 start with the period of occupant pick-up or release. When the Abandoned Child Alarm System 30 detects the operations in 17 starts with the period of receiving or releasing occupants, the left-alone child alarm system 30 can detect an incident where all the occupants get out of the vehicle temporarily, and then a child is loaded into the vehicle again and left alone.

Da das Alleine-gelassenes-Kind-Alarmsystem 30 gemäß Ausführungsform 4 eine Möglichkeit detektiert, das Kind allein zu lassen, und einen Alarm ausgibt, kann es verhindern, dass ein Kind allein gelassen wird. Des Weiteren führt die Insassen-Detektionsvorrichtung 10 gemäß einer der Ausführungsformen 1 bis 3 die Prozesse der Detektion eines Insassen aus, um das Vorhandensein oder Fehlen eines Insassen in einem Fahrzeug und eine Eigenschaft des Insassen zu bestimmen (Schritt S201). Auf diese Weise kann die Insassen-Detektionsvorrichtung 10 genau detektieren, ob die Möglichkeit besteht, ein Kind allein zu lassen.Since the left-alone child alarm system 30 according to Embodiment 4 detects a possibility of leaving the child and issues an alarm, it can prevent a child from being left alone. Furthermore, the occupant detection device 10 according to any one of Embodiments 1 to 3 performs the processes of detecting an occupant to determine the presence or absence of an occupant in a vehicle and a characteristic of the occupant (step S201). In this way, the occupant detection device 10 can accurately detect whether there is a possibility of leaving a child alone.

Die Ausführungsformen sind frei kombinierbar und können in geeigneter Weise geändert oder weggelassen werden.The embodiments are freely combinable and can be changed or omitted as appropriate.

Die Beschreibung ist in jeder Hinsicht beispielhaft, und es sind zahlreiche Modifikationen und Variationen denkbar, die noch nicht beispielhaft beschrieben wurden.The specification is exemplary in all respects and many modifications and variations are possible that have not yet been described by way of example.

BezugszeichenlisteReference List

1010
Insassen-Detektionsvorrichtung,occupant detection device,
1111
Fahrzeuginnenraum-Bild-Beschaffungseinheit, vehicle interior image procurement unit,
1212
Gesichtsdetektor,face detector,
1313
Elektromagnetische-Wellen-Sensor,electromagnetic wave sensor,
1414
Biologisches-Objekt-Detektor,biological object detector,
1515
Insassen-Bestimmungseinheit,occupant determination unit,
1616
Fahrzeuginnenraum-Bild-Kamera,vehicle interior image camera,
1717
Gesichtsausdrucksänderung-Detektor,facial expression change detector,
2121
Fahrzeuginnenraum-Kamera,car interior camera,
2222
Elektromagnetische-Wellen-Sensor,electromagnetic wave sensor,
3030
Alleine-gelassenes-Kind-Alarmsystem,Abandoned Child Alarm System,
3131
Alarm-Ausgabeeinheit,alarm output unit,
5050
Verarbeitungsschaltung,processing circuit,
5151
Prozessor,Processor,
5252
Speicher.Storage.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • JP 2019123354 [0003]JP 2019123354 [0003]

Claims (10)

Insassen-Detektionsvorrichtung, umfassend: eine Fahrzeuginnenraum-Bild-Beschaffungseinheit zum Beschaffen eines Fahrzeuginnenraum-Bildes, das ein in einem Fahrzeug aufgenommenes Bild ist; einen Gesichtsdetektor zum Suchen in dem Fahrzeuginnenraum-Bild nach einem Gesicht einer Person und zum Identifizieren einer Position des detektierten Gesichts; eine Biologische-Information-Beschaffungseinheit zum Beschaffen von biologischen Informationen in dem Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor detektiert worden sind; einen Biologisches-Objekt-Detektor zum Suchen nach einem biologischen Objekt in dem Fahrzeug auf Grundlage der biologischen Information und zum Identifizieren einer Position und einer Größe des detektierten biologischen Objekts; und eine Insassen-Bestimmungseinheit zum Bestimmen des Vorhandenseins oder Fehlens eines Insassen auf jedem Sitz in dem Fahrzeug und einer Eigenschaft des Insassen auf dem Sitz, auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts.Occupant detection device comprising: an in-vehicle image acquisition unit for acquiring an in-vehicle image, which is an image captured in a vehicle; a face detector for searching the vehicle interior image for a person's face and identifying a position of the detected face; a biological information acquisition unit for acquiring biological information in the vehicle detected by an electromagnetic wave sensor; a biological object detector for searching for a biological object in the vehicle based on the biological information and identifying a position and a size of the detected biological object; and an occupant determination unit for determining the presence or absence of an occupant in each seat in the vehicle and a characteristic of the occupant in the seat, based on the position of the person's face and the position and the size of the biological object. Insassen-Detektionsvorrichtung gemäß Anspruch 1, wobei der Biologisches-Objekt-Detektor die Position und die Größe des biologischen Objekts auf Grundlage der Verteilung von Punkten bestimmt, an denen Lebenszeichen, die in den biologischen Informationen enthalten sind, detektiert worden sind.Occupant detection device according to claim 1 , wherein the biological object detector determines the position and the size of the biological object based on the distribution of points at which vital signs contained in the biological information have been detected. Insassen-Detektionsvorrichtung gemäß Anspruch 1, wobei die Insassen-Bestimmungseinheit auf Grundlage der Größe des biologischen Objekts die Eigenschaft des Insassen auf einem entsprechenden der Sitze bestimmt, von dem aus das Gesicht der Person nicht detektiert wird, aber das biologische Objekt detektiert wurde. Occupant detection device according to claim 1 wherein the occupant determining unit determines, based on the size of the biological object, the characteristic of the occupant in a corresponding one of the seats from which the person's face is not detected but the biological object was detected. Insassen-Detektionsvorrichtung gemäß Anspruch 1, wobei die Insassen-Bestimmungseinheit ein Alter der Person auf Grundlage eines in dem Fahrzeuginnenraum-Bild enthaltenen Bildes der Person schätzt zum Bestimmen der Eigenschaft des Insassen auf einem entsprechenden der Sitze, von dem aus der Gesichtsdetektor das Gesicht der Person detektiert hat.Occupant detection device according to claim 1 wherein the occupant determination unit estimates an age of the person based on an image of the person included in the vehicle interior image to determine the characteristic of the occupant on a corresponding one of the seats from which the face detector has detected the person's face. Insassen-Detektionsvorrichtung gemäß Anspruch 4, wobei die Insassen-Bestimmungseinheit das Alter der Person anhand von Gesichtsmerkmalen der Person schätzt.Occupant detection device according to claim 4 , wherein the occupant determination unit estimates the person's age based on facial features of the person. Insassen-Detektionsvorrichtung gemäß Anspruch 4, wobei die Insassen-Bestimmungseinheit das Alter der Person anhand von Skelettmerkmalen der Person schätzt.Occupant detection device according to claim 4 , wherein the occupant determination unit estimates the person's age based on skeletal characteristics of the person. Insassen-Detektionsvorrichtung gemäß Anspruch 1, ferner umfassend: einen Kindersitz-Detektor zum Detektieren von einem der Sitze, der mit einem Kindersitz ausgestattet sind, wobei, wenn der Biologisches-Objekt-Detektor das biologische Objekt auf dem mit dem Kindersitz ausgestatteten Sitz detektiert hat, die Insassen-Bestimmungseinheit das Vorhandensein eines Kindes auf dem einen der Sitze bestimmt.Occupant detection device according to claim 1 , further comprising: a child seat detector for detecting one of the seats equipped with a child seat, wherein when the biological object detector has detected the biological object on the seat equipped with the child seat, the occupant determination unit the presence of a child in one of the seats. Insassen-Detektionsvorrichtung gemäß Anspruch 1, wobei, wenn der Biologisches-Objekt-Detektor kein biologisches Objekt auf einem entsprechenden der Sitze detektiert, auf dem der Gesichtsdetektor das Gesicht der Person detektiert hat, die Insassen-Bestimmungseinheit bestimmt, dass der entsprechende der Sitze frei ist.Occupant detection device according to claim 1 wherein when the biological object detector does not detect a biological object on a corresponding one of the seats on which the face detector has detected the person's face, the occupant determination unit determines that the corresponding one of the seats is vacant. Insassen-Detektionsvorrichtung gemäß Anspruch 4, ferner umfassend: einen Gesichtsausdrucksänderung-Detektor zum Überwachen einer Änderung in einem Bild des Gesichts der Person, um eine Änderung in einem Gesichtsausdruck der Person zu detektieren, wobei, wenn der Gesichtsausdruck der Person für eine vorbestimmte Zeit oder länger keine Änderung aufweist, die Insassen-Bestimmungseinheit die Eigenschaft des Insassen auf dem entsprechenden der Sitze bestimmt, von dem der Gesichtsdetektor das Gesicht der Person detektiert hat, nicht auf Grundlage des Bildes der Person, sondern auf Grundlage der Größe des biologischen Objekts.Occupant detection device according to claim 4 , further comprising: a facial expression change detector for monitoring a change in an image of the person's face to detect a change in a facial expression of the person, wherein when the facial expression of the person has no change for a predetermined time or more, the occupants - determining unit determines the characteristic of the occupant on the corresponding one of the seats from which the face detector has detected the person's face not based on the image of the person but based on the size of the biological object. Verfahren zum Detektieren eines Insassen, umfassend: Beschaffen eines Fahrzeuginnenraum-Bildes, das ein in einem Fahrzeug aufgenommenes Bild ist, wobei das Beschaffen durch eine Fahrzeuginnenraum-Bild-Beschaffungseinheit einer Insassen-Detektionsvorrichtung ausgeführt wird; Suchen in dem Fahrzeuginnenraum-Bild nach einem Gesicht einer Person und Identifizieren einer Position des detektierten Gesichts, wobei das Suchen und Identifizieren durch einen Gesichtsdetektor der Insassen-Detektionsvorrichtung ausgeführt wird; Beschaffen biologischer Information in dem Fahrzeug, die von einem Elektromagnetische-Wellen-Sensor detektiert worden ist, wobei das Beschaffen durch eine Biologische-Information-Beschaffungseinheit der Insassen-Detektionsvorrichtung ausgeführt wird; Suchen eines biologischen Objekts in dem Fahrzeug auf Grundlage der biologischen Information und Identifizieren einer Position und einer Größe des detektierten biologischen Objekts, wobei das Suchen und Identifizieren durch einen Biologisches-Objekt-Detektor der Insassen-Detektionsvorrichtung ausgeführt wird; und Bestimmen des Vorhandenseins oder Fehlens eines Insassen auf jedem Sitz in dem Fahrzeug und einer Eigenschaft des Insassen auf dem Sitz auf Grundlage der Position des Gesichts der Person und der Position und der Größe des biologischen Objekts, wobei das Bestimmen durch eine Insassen-Bestimmungseinheit der Insassen-Detektionsvorrichtung ausgeführt wird.1 . A method for detecting an occupant, comprising: acquiring a vehicle interior image that is an image captured in a vehicle, the acquisition being performed by a vehicle interior image acquisition unit of an occupant detection device; searching the vehicle interior image for a person's face and identifying a position of the detected face, the searching and identifying being performed by a face detector of the occupant detection apparatus; acquiring biological information in the vehicle detected by an electromagnetic wave sensor, the acquiring being performed by a biological information acquiring unit of the occupant detection device; searching a biological object in the vehicle based on the biological information and identifying a position and a size of the detected biological object, the searching and identifying being performed by a biological object detector of the occupant detection device; and determining the presence or absence of an occupant in each seat in the vehicle and a characteristic of the occupant in the seat based on the position of the person's face and the position and the size of the biological object, the determining by an occupant determination unit of the occupant -Detection device is running.
DE112020007252.5T 2020-05-29 2020-05-29 Occupant detection apparatus, left alone child alarm system, method of detecting an occupant and method of issuing an alarm about a left alone child Active DE112020007252T8 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021303 WO2021240769A1 (en) 2020-05-29 2020-05-29 Passenger detection device and passenger detection method

Publications (2)

Publication Number Publication Date
DE112020007252T5 true DE112020007252T5 (en) 2023-04-27
DE112020007252T8 DE112020007252T8 (en) 2023-05-04

Family

ID=78723281

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020007252.5T Active DE112020007252T8 (en) 2020-05-29 2020-05-29 Occupant detection apparatus, left alone child alarm system, method of detecting an occupant and method of issuing an alarm about a left alone child

Country Status (2)

Country Link
DE (1) DE112020007252T8 (en)
WO (1) WO2021240769A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3869394B1 (en) * 2020-02-20 2024-04-17 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, program, and information processing method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019123354A (en) 2018-01-16 2019-07-25 株式会社デンソー Occupant detection device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003009758A1 (en) * 2001-07-24 2003-02-06 Sunlight Medical, Ltd. Bone age assessment using ultrasound
JP2007077774A (en) * 2005-09-16 2007-03-29 Fujitsu Ten Ltd Locking device for vehicle
JP2008296777A (en) * 2007-05-31 2008-12-11 Toyota Motor Corp Vehicular opening/closing control device
JP6148064B2 (en) * 2013-04-30 2017-06-14 セコム株式会社 Face recognition system
JP7283037B2 (en) * 2018-07-26 2023-05-30 ソニーグループ株式会社 Information processing device, information processing method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019123354A (en) 2018-01-16 2019-07-25 株式会社デンソー Occupant detection device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3869394B1 (en) * 2020-02-20 2024-04-17 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, program, and information processing method

Also Published As

Publication number Publication date
WO2021240769A1 (en) 2021-12-02
DE112020007252T8 (en) 2023-05-04
JPWO2021240769A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
DE102019134141B4 (en) Seat belt condition determination procedure
DE112020007262T5 (en) Occupant detection device and occupant detection method
DE19947062B4 (en) Apparatus for detecting an object using a differential image
DE112018007120B4 (en) physique determination device and physique determination method
DE102014100352B4 (en) Method for detecting a condition with eyes facing away from the street
EP2710573B1 (en) Method and apparatus for identifying a possible collision object
DE102013113984A1 (en) Device for assessing the injury of a vehicle occupant
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE112018005318T5 (en) MOBILE TERMINAL AND REMOTE CONTROL METHOD
DE10239604A1 (en) Seat occupation detection method for vehicle passenger seat identifying seated person or object for corresponding control of airbag device
DE112018006579B4 (en) Occupant detection apparatus and occupant detection method
EP2208168B1 (en) Method and device for detecting the course of a traffic lane
DE112020007252T5 (en) Device and method for detecting passengers
DE102017200644B4 (en) Method and device for detecting a vehicle occupant in a vehicle using at least one in-vehicle RFID transponder
DE102020117555A1 (en) METHOD AND DEVICE FOR INTRIBUTOR CLASSIFICATION
DE112020006871T5 (en) Cabin interior detection device and cabin interior detection method
DE102020215729A1 (en) SYSTEM AND METHOD FOR DETECTING ABNORMAL PASSENGER BEHAVIOR IN AUTONOMOUS VEHICLES
DE102020125486A1 (en) Information processing apparatus, information processing system, and recording medium that records information processing programs
DE102020100879A1 (en) VEHICLE FOOT REFLECTOR
DE112019004703T5 (en) VEHICLE MONITORING DEVICE
DE102016216648B4 (en) Method for classifying an occupant and providing the occupant classification for a safety device in a motor vehicle
DE112018006861T5 (en) Irregularity Detection Apparatus and Irregularity Detection Method
WO2017012743A1 (en) Method for checking the plausibility of a control decision for safety means
DE102020205517A1 (en) Method for setting a functional element in a motor vehicle
DE102020113821A1 (en) Driver condition detection device

Legal Events

Date Code Title Description
R012 Request for examination validly filed