DE112018006579B4 - Insassendetektionsvorrichtung und Insassendetektionsverfahren - Google Patents

Insassendetektionsvorrichtung und Insassendetektionsverfahren Download PDF

Info

Publication number
DE112018006579B4
DE112018006579B4 DE112018006579.0T DE112018006579T DE112018006579B4 DE 112018006579 B4 DE112018006579 B4 DE 112018006579B4 DE 112018006579 T DE112018006579 T DE 112018006579T DE 112018006579 B4 DE112018006579 B4 DE 112018006579B4
Authority
DE
Germany
Prior art keywords
face
unit
occupant detection
warning
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112018006579.0T
Other languages
English (en)
Other versions
DE112018006579T5 (de
Inventor
Jiro Tsuchiya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112018006579T5 publication Critical patent/DE112018006579T5/de
Application granted granted Critical
Publication of DE112018006579B4 publication Critical patent/DE112018006579B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0025—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat by using weight measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
    • B60N2/267—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof alerting means responsive to presence or absence of children
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0236—Threshold setting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/20—Wireless data transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)
  • Air Bags (AREA)

Abstract

Eine Insassendetektionsvorrichtung (100), umfassend:eine Gesichtsbereich-Detektionseinheit (11) zum Ausführen eines Prozesses zum Detektieren einer Vielzahl von zu einer Vielzahl von Gesichtern gehörigen Gesichtsbereichen in einem durch eine Kamera (2) zum Aufnehmen eines Bilds eines Fahrzeuginnenraums aufgenommenen Bilds;eine erste Bestimmungseinheit (12) zum Bestimmen, ob es, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, einen Sitzbereich gibt oder nicht, der zwei oder mehr Gesichtsbereiche umfasst;eine zweite Bestimmungseinheit (13) zum Bestimmen, ob eine Zeitdauer eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit überschritten hat oder nicht; undeine Warnausgabesteuereinheit (14; 14a; 14b; 14c; 14d) zum Ausführen einer Steuerung zum Ausgeben einer Warnung, wenn die Zeitdauer die Referenzzeit überschreitet.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Insassendetektionsvorrichtung und ein Insassendetektionsverfahren.
  • Stand der Technik
  • Konventionell wurde eine Technik zum Detektieren eines Insassen in einem Fahrzeug entwickelt. Beispielsweise beschreibt Patentliteratur 1 eine Technik zum Detektieren eines Insassen mittels einer Kamera zum Aufnehmen eines Bilds eines Fahrzeuginnenraums. Patentliteratur 2 beschreibt eine Technik zum Detektieren eines Insassen mittels eines Gewichtssensors, der an einer Sitzoberfläche eines jeden Sitzes angeordnet ist.
  • Literaturliste
  • Patentliteratur
  • DE 10 2016 123 231 A1 beschreibt eine Vorrichtung und ein Verfahren zum Steuern eines Airbags, die Vorrichtung aufweisend: eine Bilderfassungsvorrichtung, die eine oder mehrere Kameras und eine oder mehrere Leuchten aufweist, einen Bildprozessor, der eine Bildverarbeitung für ein Bild ausführt, das von der Bilderfassungsvorrichtung erlangt ist, einen Kollisionssensor, der eingerichtet ist, um einen Zusammenstoß eines Fahrzeuges zu erfassen, ein Airbag-Antriebsmittel, das eingerichtet ist, um den Airbag zu betätigen, und eine Steuervorrichtung, die eingerichtet ist, um Gesichtsinformation eines Insassen aus dem Bild, das mittels des Bildprozessors verarbeitet ist, zu extrahieren, eine Airbag-Steuerinformation basierend auf der extrahierten Gesichtsinformation zu ermitteln und dann das Airbag-Antriebsmittel basierend auf der ermittelten Airbag-Steuerinformation zu betätigen, falls der Fahrzeugzusammenstoß vorhergesagt wird.
  • DE 601 14 238 T2 beschreibt ein bildgebendes System zur Bereitstellung von Fahrzeugsicherheitsmerkmalen, das eine Gesichtserkennungssoftware zur Identifizierung und Verfolgung einer Person einsetzt. Das System verwendet Infrarotsender, die ein Infrarotsignal entlang eines vorbestimmten Sichtfeldes emittieren, und einen Infrarotsensor, wie zum Beispiel einen CMOS-Sensor, der als Videosignal-Array verwendet wird, der reflektierte Infrarotstrahlung von Objekten im Sichtfeld empfängt. Ein Prozessor, der die Gesichtserkennungssoftware enthält, wird eingesetzt, um menschliche Gesichter zu erkennen, um die Person zu identifizieren und zu verfolgen. Sobald ein Gesicht erkannt wurde, kann es mit einer Datenbank verglichen werden, um die Person zu identifizieren. Verschiedene Anwendungen für das Bildgebungssystem zur Bereitstellung von Fahrzeugsicherheitsfunktionen umfassen die Identifizierung des Fahrers oder Beifahrers zur Personalisierung der Airbags des Fahrzeugs, die Vermeidung von Kollisionen vor einem Unfall, die Erkennung des toten Winkels, die Aufzeichnung von Fahrzeugunfällen und die Bereitstellung eines Warnsignals, wenn der Fahrer schläfrig erscheint.
  • DE 11 2017 004 754 T5 beschreibt Systeme und Verfahren zum Bereitstellen eines Insassenprofilerstellungssystems beschrieben. Ein System zum Erstellen eines Profils eines Fahrzeuginsassen weist ein Fahrzeugsteuersystem auf, das Folgendes aufweist: eine Sensorfusionsschaltung, die mit mehreren Sensoren gekoppelt ist, die in einem Fahrzeugsitz installiert sind, wobei die Sensorfusionsschaltung: bestimmt, dass ein menschlicher Insasse auf dem Fahrzeugsitz sitzt; eine Rückenlehnensensoranordnung und eine Bodenpolstersensoranordnung des Fahrzeugsitzes abtastet, um Rückenlehnensensordaten und Bodenpolstersensordaten zu erhalten, wenn bestimmt wird, dass der menschliche Insasse auf dem Fahrzeugsitz sitzt; wenn bestimmt wird, dass der menschliche Insasse auf dem Fahrzeugsitz sitzt, einen Höhensensor abtastet, um einen Höhensensorwert zu erhalten; und anhand der Rückenlehnensensordaten, der Bodenpolstersensordaten und der Höhensensordaten statistisch bestimmt, ob der menschliche Insasse mit einem Referenzprofil übereinstimmt.
  • Zusammenfassung der Erfindung Aufgabenstellung
  • Alle konventionellen Insassendetektionstechniken detektieren einen Insassen unter der Annahme, dass es einen Insassen in einem Sitz gibt. Andererseits wird in einem echten Fahrzeug angenommen, dass zwei oder mehr Insassen in einem Sitz vorhanden sind beispielsweise, wenn ein Erwachsener ein Kind hält oder wenn eine Mutter ein Kind stillt. Die konventionellen Insassendetektionstechniken gehören nicht zu einem Zustand, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind, und daher kann nachteilig ein Insasse nicht normal in einem solchen Zustand detektiert werden.
  • Die vorliegende Erfindung wurde erzielt, um das oben beschriebene Problem zu lösen, und eine Aufgabe der vorliegenden Erfindung ist es eine Insassendetektionsvorrichtung und ein Insassendetektionsverfahren bereitzustellen, die zu einem Zustand gehören, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind.
  • Lösung der Aufgabe
  • Eine Insassendetektionsvorrichtung gemäß der Erfindung umfasst: eine Gesichtsbereich-Detektionseinheit zum Ausführen eines Prozesses zum Detektieren einer Vielzahl von Gesichtsbereichen, die zu einer Vielzahl von Gesichtern gehören, in einem durch eine Kamera aufgenommenen Bild, zum Aufnehmen eines Bilds eines Fahrzeuginnenraums; eine erste Bestimmungseinheit zum Bestimmen, ob, aus einer Vielzahl von Sitzbereichen, die zu einer Vielzahl von Sitzen in dem aufgenommenen Bild gehören, es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst; eine zweite Bestimmungseinheit zum Bestimmen, ob eine Zeitdauer eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit überschritten hat oder nicht; und eine Warnausgabesteuereinheit zum Ausführen einer Steuerung zum Ausgeben einer Warnung, wenn die Zeitdauer die Referenzzeit überschreitet.
  • Vorteilhafte Effekte der Erfindung
  • Die vorliegende Erfindung weist eine solche Konfiguration auf, wie oben beschrieben, und kann daher eine Insassendetektionsvorrichtung und ein Insassendetektionsverfahren erhalten, das zu einem Zustand gehört, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist ein erläuterndes Diagramm, das ein Beispiel eines zwei oder mehr Gesichtsbereiche umfassenden Sitzbereichs darstellt.
    • 3A ist ein Diagramm, das eine Hardwarekonfiguration der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 3B ist ein Blockdiagramm, das eine andere Hardwarekonfiguration der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 4A ist ein Flussdiagramm, das einen Betrieb der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 4B ist ein Flussdiagramm, das einen anderen Betrieb der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 5 ist ein Blockdiagramm, das einen Hauptteil eines Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 6a ist ein Blockdiagramm, das eine Systemkonfiguration des Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 6B ist ein Blockdiagramm, das eine andere Systemkonfiguration des Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 6C ist ein Blockdiagramm, das eine andere Systemkonfiguration des Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 6D ist ein Blockdiagramm, das eine andere Systemkonfiguration des Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 7 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung darstellt.
    • 8A ist ein Flussdiagramm, das einen Betrieb der Insassendetektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung darstellt.
    • 8B ist ein Flussdiagramm, das einen anderen Betrieb der Insassendetektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung darstellt.
    • 9 ist ein Blockdiagramm, das einen Hauptteil eines Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung darstellt.
    • 10 ist ein Blockdiagramm, das ein Hauptteil einer Insassendetektionsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung darstellt.
    • 11A ist ein Flussdiagramm, das einen Betrieb der Insassendetektionsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung darstellt.
    • 11B ist ein Flussdiagramm, das einen anderen Betrieb der Insassendetektionsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung darstellt.
    • 12 ist ein Blockdiagramm, das ein Hauptteil eines Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung darstellt.
    • 13 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung darstellt.
    • 14A ist ein Flussdiagramm, das einen Betrieb der Insassendetektionsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung darstellt.
    • 14 B ist ein Flussdiagramm, das einen anderen Betrieb der Insassendetektionsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung darstellt.
    • 15 ist ein Blockdiagramm, das einen Hauptteil eines Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung darstellt.
    • 16 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer fünften Ausführungsform der vorliegenden Erfindung darstellt.
    • 17A ist ein Flussdiagramm, das einen Betrieb der Insassendetektionsvorrichtung gemäß der fünften Ausführungsform der vorliegenden Erfindung darstellt.
    • 17 B ist ein Flussdiagramm, das einen anderen Betrieb der Insassendetektionsvorrichtung gemäß der fünften Ausführungsform der vorliegenden Erfindung darstellt.
    • 18 ist ein Blockdiagramm, das einen Hauptteil eines Insassendetektionssystems als das der Insassendetektionsvorrichtung gemäß der fünften Ausführungsform der vorliegenden Erfindung darstellt.
  • Beschreibung von Ausführungsformen
  • Nachfolgend werden, um die vorliegende Erfindung genauer zu beschreiben, Ausführungsformen zum Ausführen der vorliegenden Erfindung mit Bezug zu den beiliegenden Figuren beschrieben.
  • Erste Ausführungsform.
  • 1 ist ein Blockdiagramm, das einen Hauptteil der Insassendetektionsvorrichtung gemäß einer ersten Ausführungsform darstellt. Eine Insassendetektionsvorrichtung 100 gemäß der ersten Ausführungsform wird mit Bezug zu 1 beschrieben.
  • Ein Fahrzeug 1 umfasst eine Kamera 2 zum Aufnehmen eines Bilds eines Fahrzeuginnenraums. Die Kamera 2 umfasst beispielsweise eine Farbkamera, einem Monochrom-Kamera oder eine Infrarotkamera, die in einem vorderen Teil eines Fahrzeuginnenraums des Fahrzeugs 1 angeordnet ist. Die Kamera 2 ist beispielsweise in der Mitte des Fahrzeugs 1 in der links-rechts Richtung angeordnet und nimmt ein Bild in einem Bereich, der eine Vielzahl von Sitzen in dem Fahrzeug 1 umfasst, von vorne auf. Nachfolgend wird ein durch die Kamera 2 aufgenommenes Bild als ein „Aufnahmebild“ bezeichnet.
  • Eine Gesichtsbereich-Detektionseinheit 11 erfasst Bilddaten, die ein Aufnahmebild von der Kamera 2 angeben. Die Gesichtsbereich-Detektionseinheit 11 detektiert einen Bereich, der zu einem menschlichen Gesicht (nachfolgend als „Gesichtsbereich“ bezeichnet) in einem Aufnahmebild gehört, durch Ausführen eines Bilderkennungsergebnisses an den erfassten Bilddaten. Dieses Bilderkennungsergebnis kann Gesichtsmerkmalspunkte verwenden oder kann ein Ergebnis eines Maschinenlernen verwenden. Nachfolgend wird der Prozess zum Detektieren eines Gesichtsbereichs in einem Aufnahmebild als „Gesichtsbereich-Detektionsprozess“ bezeichnet.
  • Normalerweise gehört ein durch den Gesichtsbereich-Detektionsprozess detektierter Gesichtsbereich zu dem Gesicht eines Insassen in dem Fahrzeug 1 auf einer 1-zu-1-Basis und die Anzahl von durch den Gesichtsbereich-Detektionsprozess detektierten Gesichtsbereichen hängt von der Anzahl von Insassen in dem Fahrzeug 1 ab. Das heißt, der Gesichtsbereich-Detektionsprozess detektiert null Gesichtsbereiche, einen Gesichtsbereich, oder eine Vielzahl von Gesichtsbereichen. Nachfolgend wird hauptsächlich ein Beispiel nachstehend beschrieben, bei dem eine Vielzahl von Insassen in dem Fahrzeug 1 vorhanden ist und eine Vielzahl von Gesichtsbereichen durch den Gesichtsbereich-Detektionsprozess detektiert wird.
  • Hierbei wird die Vielzahl von Bereichen, die zu der Vielzahl von Sitzen in dem Fahrzeug 1 gehören, auf einer 1-zu-1 Basis in einem Aufnahmebild als „Sitzbereiche“ bezeichnet. Eine erste Bestimmungseinheit 12 speichert eine Information vorab, die beispielsweise die Koordinaten von jeweils der Vielzahl von Sitzbereichen in dem Aufnahmebild angegeben. Die erste Bestimmungseinheit 12 erfasst eine Information, die beispielsweise die Koordinaten jeweils der Vielzahl von Gesichtsbereichen in dem Aufnahmebild angeben, von der Gesichtsbereich-Detektionseinheit 11. Die erste Bestimmungseinheit 12 bestimmt, ob es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, mittels dieser Teile von Information.
  • 2 stellt ein Beispiel eines Sitzbereichs dar, der zwei oder mehr Gesichtsbereiche umfasst. In der Figur stellt S einen Sitz dar und stellt SA einen Sitzbereich dar, der zu dem einen Sitz gehört. P1 und P2 stellen zwei Insassen dar, F1 und F2 stellen die Gesichter der zwei Insassen dar und FA1 und FA2 stellen zwei Gesichtsbereiche dar, die zu den Gesichtern der zwei Insassen gehören.
  • Wie in 2 dargestellt, sind zwei Insassen P1 und P2 in einem Sitz S vorhanden. Insbesondere sitzt ein Insasse P1, der ein erwachsener ist, auf dem Sitz es, und der Insasse P1 hält den anderen Insassen P2, der ein Kind ist. Daher umfasst ein Sitzbereich SA zwei Gesichtsbereiche FA1 und FA2.
  • Wenn die erste Bestimmungseinheit 12 bestimmt, dass es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, zählt eine zweite Bestimmungseinheit 13 eine Zeitdauer eines Zustands, bei dem es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst (nachfolgend als „erste Zeitdauer“ bezeichnet). Die zweite Bestimmungseinheit 13 bestimmt, ob die erste Zeitdauer eine vorbestimmte Zeit überschreitet oder nicht (nachfolgend als „erste Referenzzeit“ bezeichnet, beispielsweise 10 Sekunden).
  • Wenn die erste Bestimmungseinheit 12 bestimmt, dass es keinen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, nachdem die erste Zeitdauer die erste Referenzzeit überschritten hat, zählt die zweite Bestimmungseinheit 13 eine Zeitdauer eines Zustands, bei dem es keinen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst (nachfolgend als „zweite Zeitdauer“ bezeichnet). Die zweite Bestimmungseinheit 13 bestimmt, ob die zweite Zeitdauer eine vorbestimmte Zeit überschritten hat oder nicht (nachfolgend als „zweite Referenzzeit“ bezeichnet, beispielsweise 10 Sekunden).
  • Eine Warnausgabesteuereinheit 14 startet eine Steuerung zum Ausgeben einer Warnung (nachfolgend als eine „Warnausgabesteuerung“ bezeichnet) an einen Fahrer des Fahrzeugs 1 mittels einer Ausgabevorrichtung 3, wenn die zweite Bestimmungseinheit 13 bestimmt, dass die erste Zeitdauer die erste Referenzzeit überschritten hat. Die Warnausgabesteuereinheit 14beendet die Warnausgabesteuerung, wenn die zweite Bestimmungseinheit 13 bestimmt, dass die zweite Zeitdauer die zweite Referenzzeit überschritten hat.
  • Hierbei wird ein bestimmtes Beispiel der Warnausgabesteuerung beschrieben. Beispielsweise wird die Ausgabevorrichtung 3 durch eine Anzeige gebildet. Die Warnausgabesteuereinheit 14 veranlasst, dass die Anzeige ein Bild anzeigt, dass eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder eines Abwesendenseins eines Kindes auffordert, das nicht in einem Kindersitz sitzt (nachfolgend als ein „Bestätigungsbild“ bezeichnet). Alternativ wird beispielsweise die Ausgabevorrichtung 3 durch einen Lautsprecher gebildet. Die Warnausgabesteuereinheit 14 veranlasst, dass der Lautsprecher eine Sprache ausgibt, die eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder eines Abwesendseins eines Kindes, das nicht in einem Kindersitz sitzt (nachfolgend als eine „Bestätigungsstimme“ (Bestätigungssprache) bezeichnet), anfordert.
  • Die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13 und die Warnausgabesteuereinheit 14bilden einen Hauptteil der Insassendetektionsvorrichtung 100.
  • Als Nächstes wird eine Hardwarekonfiguration eines Hauptteils der Insassendetektionsvorrichtung 100 mit Bezug zu 3 beschrieben.
  • Wie in 3A dargestellt, ist die Insassendetektionsvorrichtung 100 durch einen Computer gebildet und der Computer umfasst einen Prozessor 21 und einen Speicher 22. Der Speicher 22 speichert ein Programm zum Veranlassen, dass der Computer als die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13 und die Warnausgabesteuereinheit 14 fungiert. Der Prozessor 21 liest das in dem Speicher 22 gespeicherte Programm und führt dieses aus und dadurch werden die Funktionen der Gesichtsbereich-Detektionseinheit 11, der ersten Bestimmungseinheit 12, der zweiten Bestimmungseinheit 13 und der Warnausgabesteuereinheit 14 umgesetzt.
  • Weiterhin speichert der Speicher 22 verschiedene Typen von Daten (beispielsweise Bilddaten, die ein Aufnahmebild angeben), die für Prozesse der Gesichtsbereich-Detektionseinheit 11, der ersten Bestimmungseinheit 12, der zweiten Bestimmungseinheit 13 und der Warnausgabesteuereinheit 14 verwendet werden. Es wird drauf hingewiesen, dass die Bilddaten, die ein Aufnahmebild angeben, in einzelne Sitzbereiche geteilt werden können und in dem Speicher 22 gespeichert werden können. Alternativ können die ein Aufnahmebild angebenden Bilddaten in einen Sitzbereich, der zu einem Vordersitz gehört, und einen Sitzbereich, der zu einem Rücksitz gehört, geteilt und in dem Speicher 22 gespeichert werden.
  • Der Prozessor 21 verwendet beispielsweise eine zentrale Verarbeitungseinheit (CPU), eine Grafik-Verarbeitungseinheit (GPU), einen Mikroprozessor, einen Mikrocontroller, einen Digitalsignalprozessor (DSP). Der Speicher 22 verwendet beispielsweise einen Halbleiterspeicher wie beispielsweise einen Arbeitsspeicher (RAM), einen Nurlesespeicher (ROM), einen Flashspeicher, einen löschbaren programmierbaren Nurlesespeicher (EPROM) oder einen elektrisch löschbaren programmierbaren Nurlesespeicher (EEPROM), eine Magnet-Diskette, eine optische Diskette oder eine magnetisch-optische Diskette.
  • Alternativ können, wie in 3B dargestellt, die Funktionen der Gesichtsbereich-Detektionseinheit 11, der ersten Bestimmungseinheit 12, der zweiten Bestimmungseinheit 13 und der Warnausgabesteuereinheit 14 durch einen zugewiesenen Verarbeitungsschaltkreis 23 umgesetzt werden. Der Verarbeitungsschaltkreis 23 verwendet beispielsweise einen anwendungsspezifischen integrierten Schaltkreis (ASIC), eine programmierbare Logikvorrichtung (PLD), eine feldprogrammierbare Gate-Anordnung (FPGA), einen System-on-a-Chip (Ein-Chip-System) (SoC) oder ein System mit einem großen Integrationsgrad (System-Large-Scale-Integration) (LSI).
  • Alternativ können manche der Funktionen der Gesichtsbereich-Detektionseinheit 11, der ersten Bestimmungseinheit 12, der zweiten Bestimmungseinheit 13 und der Warnausgabesteuereinheit 14 durch den Prozessor 21 und den Speicher 22 umgesetzt werden und die verbleibenden Funktionen können durch den Verarbeitungsschaltkreis 23 umgesetzt werden
  • Als Nächstes wird ein Betrieb der Insassendetektionsvorrichtung 100 mit Bezug zu dem Flussdiagramm aus 4 beschrieben.
  • Als Erstes erfasst im Schritt ST1 die Gesichtsbereich-Detektionseinheit 11 ein Aufnahmebild angebende Bilddaten von der Kamera 2 und führt einen Gesichtsbereich-Detektionsprozess aus. Die Gesichtsbereich-Detektionseinheit 11 gibt eine Information, die beispielsweise die Koordinaten jeweils der Vielzahl von durch den Gesichtsbereich-Detektionsprozess detektierten Gesichtsbereich angibt, an die erste Bestimmungseinheit 12 aus.
  • Als Nächstes bestimmt im Schritt ST2 die erste Bestimmungseinheit 12, ob es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, mittels beispielsweise der durch die Gesichtsbereich-Detektionseinheit 11 ausgegebenen Information im Schritt ST1. Falls bestimmt wird, dass es keinen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst („Nein“ im Schritt ST2), kehrt der Prozess der Insassendetektionsvorrichtung 100 zum Schritt ST1 zurück. Indessen, falls bestimmt wird, dass es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst („Ja“ im Schritt ST2), fährt der Prozess der Insassendetektionsvorrichtung 100 mit dem Schritt ST3 fort.
  • Als Nächstes bestimmt im Schritt ST3 die zweite Bestimmungseinheit 13, ob eine Zeitdauer eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine vorbestimmte Zeit überschritten hat oder nicht, das heißt, ob die erste Zeitdauer die erste Referenzzeit überschritten hat oder nicht. Die erste Zeitdauer wird von der zweiten Bestimmungseinheit 13 gezählt. Falls die erste Zeitdauer innerhalb der ersten Referenzzeit ist („Nein“ Schritt ST3), kehrt der Prozess der Insassendetektionsvorrichtung 100 zum Schritt ST1 zurück. Indessen, falls die erste Zeitdauer die erste Referenzzeit überschritten hat („Ja“ im Schritt ST3), fährt der Prozess der Insassendetektionsvorrichtung 100 mit Schritt ST4 fort.
  • Als Nächstes startet im Schritt ST4 die Warnausgabesteuereinheit 14 eine Warnausgabesteuerung. Insbesondere veranlasst beispielsweise die Warnausgabesteuereinheit 14, dass eine Anzeige ein Bestätigungsbild anzeigt, oder veranlasst, dass ein Lautsprecher eine Bestätigungssprache ausgibt.
  • Als Nächstes erfasst im Schritt ST11 die Gesichtsbereich-Detektionseinheit 11 ein Aufnahmebild angebende Bilddaten von der Kamera 2 und führt einen Gesichtsbereich-Detektionsprozess aus. Die Gesichtsbereich-Detektionseinheit 11 gibt eine Information, die beispielsweise die Koordinaten jeweils der Vielzahl von durch den Gesichtsbereich-Detektionsprozess detektierten Gesichtsbereich angibt, an die erste Bestimmungseinheit 12 aus.
  • Als Nächstes bestimmt im Schritt ST12 die erste Bestimmungseinheit 12, ob es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, unter Verwendung beispielsweise der durch die Gesichtsbereich-Detektionseinheit 11 ausgegebenen Information im Schritt ST11. Falls bestimmt wird, dass es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst („Ja“ Schritt ST12), kehrt der Prozess der Insassendetektionsvorrichtung 100 zum Schritt ST11 zurück. Indessen, falls bestimmt wird, dass es keinen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst („Nein“ Schritt ST12), fährt der Prozess der Insassendetektionsvorrichtung 100 mit dem Schritt ST13 fort.
  • Als Nächstes bestimmt im Schritt ST13 die zweite Bestimmungseinheit 13, ob eine Zeitdauer eines Zustands, bei dem es keinen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, eine vorbestimmte Zeit überschritten hat oder nicht, das heißt, ob die zweite Zeitdauer die zweite Referenzzeit überschritten hat oder nicht. Die zweite Zeitdauer wird durch die zweite Bestimmungseinheit 13 gezählt. Falls die zweite Zeitdauer innerhalb der zweiten Referenzzeit ist („Nein“ Schritt ST13), kehrt der Prozess der Insassendetektionsvorrichtung 100 zum Schritt ST11 zurück. Indessen, falls die zweite Zeitdauer die zweite Referenzzeit überschritten hat („Ja im Schritt ST13), fährt der Prozess der Insassendetektionsvorrichtung 100 mit dem Schritt ST14 fort.
  • Als Nächstes beendet im Schritt ST14 die Warnausgabesteuereinheit 14 die Warnausgabesteuerung.
  • Es wird drauf hingewiesen, dass, falls der Zustand, bei dem ein zwei oder mehr Gesichtsbereiche umfassender Sitzbereich vorhanden ist, ausgeschlossen wird, bevor die erste Zeitdauer die erste Referenzzeit überschreitet (das heißt, falls „Nein“ im Schritt ST2 bestimmt wird, nachdem „Nein“ im Schritt ST3 bestimmt ist), kann die Warnausgabesteuereinheit 14 einen Fahrer des Fahrzeugs 1 über diese Tatsache benachrichtigen. Insbesondere kann beispielsweise die Warnausgabesteuereinheit 14 eine Anzeige dazu veranlassen, dass ein Bild angezeigt wird, das eine Nachricht oder etwas Ähnliches umfasst, die angibt, dass ein Zustand, bei dem ein Kind nicht in einem Kindersitz sitzt, ausgeschlossen wurde, oder einen Lautsprecher dazu veranlasst, dass eine Sprache ausgegeben wird, die die Nachricht oder etwas Ähnliches umfasst.
  • Weiterhin kann eine Bedienungseingabevorrichtung (nicht dargestellt) in dem Fahrzeug 1 angeordnet sein und eine Bedienung zum Antworten auf einen Bestätigungsbild oder eine Bestätigungssprache (nachfolgend als „Antwortbedienung“ bezeichnet) kann darin eingegeben werden. Falls die Antwortbedienung (Antwortoperation) angibt, dass ein Kind nicht in einem Kindersitz ist, wenn das Fahrzeug 1 fährt, kann die Warnausgabesteuereinheit 14 veranlassen, dass eine Anzeige ein Bild anzeigt, die eine Nachricht oder etwas Ähnliches umfasst, die ein Abbremsen oder ein Anhalten des Fahrzeugs 1 auffordert, oder veranlassen kann, dass ein Lautsprecher eine Sprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst, als ein Teil der Warnausgabesteuerung. Falls die Antwortbedienung angibt, dass es ein Kind gibt, das nicht in einem Kindersitz sitzt, wenn das Fahrzeug 1 angehalten oder geparkt ist, kann die Warnausgabesteuereinheit 14 eine Anzeige dazu veranlassen, ein Bild anzuzeigen, das eine Nachricht oder etwas Ähnliches umfasst, das ein Starten des Fahrzeugs 1 verhindert, oder kann veranlassen, dass ein Lautsprecher eine Sprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst, als ein Teil der Warnausgabesteuerung die Bedieneingabevorrichtung ist beispielsweise durch ein Touchpanel, eine Gerätetaste, eine Fernsteuerung, eine Gesteneingabevorrichtung oder eine Spracherkennungsvorrichtung gebildet.
  • Ein Airbag (nicht dargestellt) für jeden Sitz kann in dem Fahrzeug 1 angeordnet sein und die Insassendetektionsvorrichtung 100 kann eine Airbag-Steuereinheit (nicht dargestellt) zum Steuern des Airbags umfassen. Wenn die Antwortbedienung angibt, dass es ein Kind gibt, das nicht in einem Kindersitz sitzt, stellt die Airbag-Steuereinheit einen Airbag für einen Sitz ein, der zu einem Sitzbereich gehört, der zwei oder mehr Gesichtsbereiche umfasst, auf einen Betriebanhaltezustand. Danach, falls die zweite Bestimmungseinheit 13 bestimmt, dass die zweite Zeitdauer die erste Referenzzeit überschritten hat („Ja“ im Schritt ST13), gibt die Airbag-Steuereinheit den Betriebanhaltezustand des Airbags für den Sitz frei.
  • Die Kamera 2 zum Aufnehmen eines Bilds eines Fahrzeuginnenraums kann durch eine Vielzahl von Kameras gebildet sein. Beispielsweise kann zumindest eine Kamera in einem vorderen Teil, der zu jeweils einer Vielzahl von Sitzen in dem Fahrzeug 1 gehört, angeordnet sein und diese Kameras können die Kamera 2 zum Aufnehmen eines Bilds eines Fahrzeuginnenraums bilden.
  • Wie in 5 dargestellt, können die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13 und die Warnausgabesteuereinheit 14 einen Hauptteil eines Insassendetektionssystems 200 als das der Insassendetektionsvorrichtung bilden. In diesem Fall müssen jeweils nur die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13 und die Warnausgabesteuereinheit 14 in irgendeiner Bordfahrzeug-Informationsvorrichtung 31 angeordnet sein, die an dem Fahrzeug 1 angebracht sein kann, einem tragbaren Informationsendgerät 32, das in das Fahrzeug 1 mitgebracht werden kann, wie beispielsweise ein Smartphone, und eine Servervorrichtung 33, die mit der Bordfahrzeug-Informationsvorrichtung 31 oder dem tragbaren Informationsendgerät 32 kommunizieren kann.
  • Die 6A bis 6D stellen jeweils eine Systemkonfiguration eines Hauptteils des Insassendetektionssystems 200 als das der Insassendetektionsvorrichtung dar. Wie in den 6A bis 6D dargestellt, ist es lediglich notwendig die Funktion des Insassendetektionssystems 200 durch Kooperation von beliebigen zwei oder mehr der Bordfahrzeug-Informationsvorrichtung 31, dem tragbaren Informationsendgerät 32 und der Servervorrichtung 33 umzusetzen.
  • Wie oben beschrieben, umfasst die Insassendetektionsvorrichtung 100 gemäß der ersten Ausführungsform: die Gesichtsbereich-Detektionseinheit 11 zum Ausführen eines Prozesses (Gesichtsbereich-Detektionsprozess) zum Detektieren einer Vielzahl von Gesichtsbereichen, die zu einer Vielzahl von Gesichtern gehören, in einem Bild, das durch die Kamera 2 zum Aufnehmen eines Bilds eines Fahrzeuginnenraums aufgenommen ist; die erste Bestimmungseinheit 12 zum Bestimmen, ob, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, es einen Sitzbereich gibt oder nicht, der zwei oder mehr Gesichtsbereiche umfasst; die zweite Bestimmungseinheit 13 zum Bestimmen, ob eine Zeitdauer (erste Zeitdauer) eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit überschritten hat oder nicht (erste Referenzzeit); und die Warnausgabesteuereinheit 14 zum Ausführen einer Steuerung zum Ausgeben einer Warnung (Warnausgabesteuerung), wenn die Zeitdauer (erste Zeitdauer) die Referenzzeit (erste Referenzzeit) überschreitet. Im Ergebnis ist es möglich die Insassendetektionsvorrichtung 100 umzusetzen, die zu einem Zustand gehört, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind. Zusätzlich ist es möglich einen Fahrer des Fahrzeugs 1 dazu aufzufordern, ein Vorhandensein oder ein Abwesendsein eines Kindes zu bestätigen, das nicht in einem Kindersitz sitzt.
  • Das Insassendetektionssystem 200 gemäß der ersten Ausführungsform umfasst: die Gesichtsbereich-Detektionseinheit 11 zum Ausführen eines Prozesses (Gesichtsbereich-Detektionsprozess) zum Detektieren einer Vielzahl von Gesichtsbereichen, die zu einer Vielzahl von Gesichtern in einem Bild gehören, das durch die Kamera 2 zum Aufnehmen eines Bilds eines Fahrzeuginnenraums aufgenommen ist; die erste Bestimmungseinheit 12 zum Bestimmen, ob, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst; die zweite Bestimmungseinheit 13 zum Bestimmen, ob eine Zeitdauer (erste Zeitdauer) eines Zustands, bei dem ein zwei oder mehr Gesichtsbereiche umfassender Sitzbereich vorhanden ist, eine Referenzzeit überschreitet oder nicht (erste Referenzzeit); und die Warnausgabesteuereinheit 14 zum Ausführen einer Steuerung zum Ausgeben einer Warnung (Warnausgabesteuerung), wenn die Zeitdauer (erste Zeitdauer) die Referenzzeit (erste Referenzzeit) überschreitet. Im Ergebnis ist es möglich das Insassendetektionssystem 200 umzusetzen, das zu einem Zustand gehört, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind. Zusätzlich ist es möglich, einen Fahrer des Fahrzeugs 1 dazu aufzufordern, ein Vorhandensein oder ein Abwesendsein eines Kindes zu bestätigen, das nicht in einem Kindersitz sitzt.
  • Ein Insassendetektionsverfahren gemäß der ersten Ausführungsform umfasst: Schritt ST1, in dem die Gesichtsbereich-Detektionseinheit 11 einen Prozess (Gesichtsbereich-Detektionsprozess) zum Detektieren einer Vielzahl von Gesichtsbereichen ausführt, die zu einer Vielzahl von Gesichtern in einem durch die Kamera 2 aufgenommenen Bild gehören, zum Aufnehmen eines Bilds eines Fahrzeuginnenraums; Schritt ST2, bei dem die erste Bestimmungseinheit 12 bestimmt, ob, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst; Schritt ST3, bei dem die zweite Bestimmungseinheit 13 bestimmt, ob eine Zeitdauer (erste Zeitdauer) eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit (erste Referenzzeit) überschritten hat oder nicht; einen Schritt ST4, bei dem die Warnausgabesteuereinheit 14 eine Steuerung zum Ausgeben einer Warnung (Warnausgabesteuerung) ausführt, wenn die Zeitdauer (erste Zeitdauer) die Referenzzeit (erste Referenzzeit) überschreitet. Im Ergebnis ist es möglich ein Insassendetektionsverfahren umzusetzen, das zu einem Zustand gehört, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind. Zusätzlich ist es möglich einen Fahrer des Fahrzeugs 1 dazu aufzufordern, ein Vorhandensein oder Abwesendsein eines Kindes zu bestätigen, das nicht in einem Kindersitz sitzt.
  • zweite Ausführungsform
  • 7 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer zweiten Ausführungsform darstellt. Eine Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform wird mit Bezug zu 7 beschrieben. Es wird drauf hingewiesen, dass in 7 dieselben Bezugszeichen an Blöcke vergeben sind, die ähnlich zu denen sind, die in 1 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls eine erste Bestimmungseinheit 11 bestimmt, dass es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, wenn eine zweite Bestimmungseinheit 13 bestimmt, dass eine erste Zeitdauer eine erste Referenzzeit überschritten hat, führt eine Person-Authentifikationseinheit 15 einen Person-Authentifikationsprozess für jeweils zwei oder mehr Gesichter aus, die zu den zwei oder mehr Gesichtsbereichen gehören, auf einer 1-zu-1 Basis. Nachfolgend werden in der zweiten Ausführungsform die zwei oder mehr Gesichtsbereiche in einem zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich als „Authentifikation-Gesichtsbereiche“ bezeichnet und zwei oder mehr Insassen in einem zu dem Sitzbereich gehörigen Sitzung werden als „Authentifikation-Insassen“ bezeichnet.
  • Der Person-Authentifikationsprozess durch die Person-Authentifikationseinheit 15 wird durch eine sogenannte „Gesichtsauthentifikation“ ausgeführt. Die Person-Authentifikationseinheit 15 speichert eine Datenbank für eine Gesichtsauthentifikation vorab. Diese Datenbank umfasst eine persönliche Information über eine Vielzahl von Personen (beispielsweise eine Information, die den Namen eines Besitzers des Fahrzeugs 1, den Namen eines Familienmitglieds des Besitzes des Fahrzeugs 1 und einen Verwandtschaftsgrad zwischen diesen Personen angibt), und eine Information, die einen Merkmalsbetrag für eine Gesichtsauthentifikation in der Vielzahl von Personen angibt, um zueinander zu korrespondieren.
  • Wenn eine Vielzahl von Gesichtsbereichen durch den Gesichtsbereich-Detektionsprozess detektiert wird, entnimmt eine Gesichtsbereich-Detektionseinheit 11 einen Merkmalsbetrag für eine Gesichtsauthentifikation in jeweils der Vielzahl von Gesichtsbereichen. Die Person-Authentifikationseinheit 15 erfasst eine Information, die einen Merkmalsbetrag für eine Gesichtsauthentifikation in jedem Authentifikation-Gesichtsbereich angibt, von der Gesichtsbereich-Detektionseinheit 11. Die Person-Authentifikationseinheit 15 bestimmt, ob eine persönliche Information eines jeden Authentifikation-Insassen in der Datenbank umfasst ist oder nicht, durch Vergleichen des durch die erfasste Information angegebenen Merkmalsbetrag mit dem Merkmalsbetrag der Datenbank.
  • Wenn die persönliche Information eines jeden Authentifikation-Insassen in der Datenbank umfasst ist, gibt die Person-Authentifikationseinheit 15 die persönliche Information eines jeden Authentifikation-Insassen an eine Warnausgabesteuereinheit 14a aus. Indessen, wenn die persönliche Information eines jeden Authentifikation-Insassen nicht in der Datenbank umfasst ist, gibt die persönliche Authentifikationseinheit 15 eine Information aus, die diese Tatsache angibt, an die Warnausgabesteuereinheit 14a. Das heißt, die Person-Authentifikationseinheit 15 gibt ein Ergebnis des Person-Authentifikationsprozesses an die Warnausgabesteuereinheit 14a aus.
  • Die Warnausgabesteuereinheit 14a führt eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von dem Ergebnis des Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 aus, das heißt eine Warnausgabesteuerung. Insbesondere, wenn die Person-Authentifikationseinheit 15 eine persönliche Information eines jeden Authentifikation-Insassen ausgibt, führt die Warnausgabesteuereinheit 14a eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt basierend auf der persönlichen Information aus.
  • Beispielsweise wird in einem Zustand, der ähnlich zu dem ist, der mit Bezug zu 2 in der ersten Ausführungsform beschrieben ist, angenommen, dass ein Insasse P1 eine Mutter und ein Insasse P2 ein Kind der Mutter ist. In der Insassendetektionsvorrichtung 100 gemäß der ersten Ausführungsform sind ein Verwandtschaftsgrad zwischen Insassen P1 und P2, die Namen der Insassen P1 und P2 und etwas Ähnliches unbekannt. Aus diesem Grund umfasst die Warnausgabesteuereinheit 14 in einem Bestätigungsbild oder eine Bestätigungssprache eine Nachricht oder etwas Ähnliches, die eine Bestätigung eines Vorhandenseins oder eines Abwesendenseins eines Kindes auffordert, das nicht in einem Kindersitz sitzt.
  • Andererseits gibt in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform, wenn der Person-Authentifikationsprozess durch die Person-Authentifikationseinheit 15 erfolgreich ist, das Ergebnis des Person-Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 einen Verwandtschaftsgrad zwischen Insassen P1 und P2 und den Namen der Insassen P1 und P2 an. Daher umfasst die Warnausgabesteuereinheit 14a beispielsweise eine Nachricht oder etwas Ähnliches, die eine Bestätigung davon auffordert, ob eine Mutter ein Kind hält oder nicht, in einem Bestätigungsbild oder einer Bestätigungssprache.
  • Es wird drauf hingewiesen, dass, wenn das Ergebnis des Person-Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 keine persönliche Information eines jeden Authentifikation-Insassen umfasst, die Warnausgabesteuereinheit 14a eine Nachricht oder etwas Ähnliches umfassen kann, die eine Bestätigung eines Vorhandenseins oder Abwesendseins eines Kindes auffordert, das nicht in einem Kindersitz sitzt, in einem Bestätigungsbild oder eine Bestätigungssprache, wie in der Insassendetektionsvorrichtung 100 gemäß der ersten Ausführungsform.
  • Die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 11, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14a und die Person-Authentifikationseinheit 15 bilden einen Hauptteil der Insassendetektionsvorrichtung 100a.
  • Da die Hardwarekonfiguration des Hauptteils der Insassendetektionsvorrichtung 100a ähnlich zu der ist, die mit Bezug zu 3 in der ersten Ausführungsform beschrieben wurde, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, die Funktionen der Person-Authentifikationseinheit 15 kann durch einen Prozessor 21 und einen Speicher 22 umgesetzt werden oder kann durch einen Verarbeitungsschaltkreis 23 umgesetzt werden.
  • Als Nächstes wird ein Betrieb der Insassendetektionsvorrichtung 100a mit Bezug zu dem Flussdiagramm aus 8 beschrieben. Es wird drauf hingewiesen, dass in 8 dieselben Bezugszeichen an Schritte vergeben sind, die ähnlich zu denen sind, die in 4 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls die erste Bestimmungseinheit 11 bestimmt, dass es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt („Ja“ im Schritt ST2), falls die zweite Bestimmungseinheit 13 bestimmt, dass die erste Zeitdauer die erste Referenzzeit überschritten hat („Ja“ im Schritt ST3), führt die Person-Authentifikationseinheit 15 einen Person-Authentifikationsprozess (Schritt ST5) aus. Da ein bestimmtes Beispiel des Person-Authentifikationseinheit oben beschrieben wurde, wird die Beschreibung davon nicht wiederholt.
  • Als Nächstes startet im Schritt ST4a die Warnausgabesteuereinheit 14a eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von dem Ergebnis des Person-Authentifikationsprozesses im Schritt ST5, das heißt, eine Warnausgabesteuerung. Da ein bestimmtes Beispiel der Warnausgabesteuerung durch die Warnausgabesteuereinheit 14a oben beschrieben wurde, wird eine Beschreibung davon nicht wiederholt. Daher beendet im Schritt ST14a die Warnausgabesteuereinheit 14a die Warnausgabesteuerung.
  • Es wird drauf hingewiesen, dass die Warnausgabesteuereinheit 14a lediglich eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von dem Ergebnis des Person-Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 ausführen muss. Der Inhalt der Nachricht, die in dem Bestätigungsbild oder der Bestätigungssprache umfasst ist, ist nicht auf das obige bestimmte Beispiel beschränkt.
  • Zusätzlich kann die Insassendetektionsvorrichtung 100a verschiedene Modifikationen annehmen, die ähnlich zu denen sind, die in der ersten Ausführungsform beschrieben sind.
  • Wie in 9 dargestellt, kann die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 11, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14a und die Person-Authentifikationseinheit 15 einen Hauptteil eines Insassendetektionssystems 200a als das der Insassendetektionsvorrichtung bilden.
  • Da die Systemkonfiguration des Hauptteils des Insassendetektionssystems 200a ähnlich zu dem ist, was mit Bezug zu 6 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, es ist lediglich notwendig die Funktion des Insassendetektionssystems 200a durch Kooperation von beliebigen zwei oder mehr einer Bordfahrzeug-Informationsvorrichtung 31, eines tragbaren Informationsendgeräts 32 und einer Servervorrichtung 33 umzusetzen.
  • Wie oben beschrieben, umfasst die Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform die Person-Authentifikationseinheit 15 zum Ausführen eines Person-Authentifikationsprozesses an jeweils zwei oder mehr Gesichtern, die zu zwei oder mehr Gesichtsbereichen gehören, und die Warnausgabesteuereinheit 14 führt eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von dem Ergebnis des Person-Authentifikationsprozesses aus. Durch Verwenden des Ergebnisses des Person-Authentifikationsprozesses ist es möglich eine Warnung auszugeben, die eine Nachricht mit einem bestimmten Inhalt in Abhängigkeit beispielsweise von der Situation eines Sitzes, in dem zwei oder mehr Insassen vorhanden sind, auszugeben.
  • Dritte Ausführungsform.
  • 10 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer dritten Ausführungsform darstellt. Eine Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform wird mit Bezug zu 10 beschrieben. Es wird darauf hingewiesen, dass in 10 dieselben Bezugszeichen an Blöcke vergeben sind, die ähnlich zu denen sind, die in 1 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls eine erste Bestimmungseinheit 12 bestimmt, dass es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, wenn eine zweite Bestimmungseinheit 13 bestimmt, dass eine erste Zeitdauer eine erste Referenzzeit überschritten hat, berechnet eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 einen Abstand zwischen jeweils zwei Gesichtern (nachfolgend als „Gesicht-zu-Gesicht-Abstand“ bezeichnet) aus zwei oder mehr Gesichtern, die zu zwei oder mehr Gesichtsbereichen gehören, auf einer 1-zu-1 Basis.
  • Insbesondere erfasst beispielsweise die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 eine Information, die beispielsweise die Koordinaten von jeweils zwei oder mehr Gesichtsbereichen in einem Aufnahmebild von einer Gesichtsbereich-Detektionseinheit 11 erfasst. Die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechnet einen Abstand zwischen den Mittelpunkten von jeweils zwei Gesichtsbereichen aus den zwei oder mehr Gesichtsbereichen (nachfolgend als „Gesichtsbereich-zu-Gesichtsbereich-Abstand“ bezeichnet) unter Verwendung der erfassten Information. Normalerweise wird der Gesichtsbereich-zu-Gesichtsbereich-Abstand durch einen Pixelwert dargestellt. Die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechnet einen Gesicht-zu-Gesicht-Abstand durch Umwandeln eines Gesichtsbereich-zu-Gesichtsbereich-Abstands von einem Pixelwert in einen Meter-Wert. Das heißt, der Gesicht-zu-Gesicht-Abstand ist ein Abstand im echten Raum und der Gesicht-zu-Gesicht-Abstand ist ein Abstand in einer Richtung entlang einer Abbildungsoberfläche eines aufgenommenen Bilds.
  • Eine Warnausgabesteuereinheit 14b führt eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesichtsbereich-Detektionseinheit 11 berechneten Gesicht-zu-Gesicht-Abstand aus, das heißt eine Warnausgabesteuerung.
  • Insbesondere vergleicht beispielsweise die Warnausgabesteuereinheit 14b einen Gesicht-zu-Gesicht-Abstand mit einem vorbestimmten Abstand (nachfolgend als „Referenzabstand“ bezeichnet). Wenn der Gesicht-zu-Gesicht-Abstand gleich oder geringer als der Referenzabstand ist, veranlasst beispielsweise die Warnausgabesteuereinheit 14b, dass eine Anzeige ein Bestätigungsbild anzeigt, die eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder Abwesendseins eines von einem Erwachsenen gehaltenen Kind auffordert, oder einen Lautsprecher dazu veranlasst, Bestätigungssprache auszugeben, die die Nachricht oder etwas Ähnliches umfasst. Alternativ veranlasst die Warnausgabesteuereinheit 14b beispielsweise, dass eine Anzeige ein Bestätigungsbild anzeigt, die eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder eines Abwesendseins eines Kindes, das gestillt wird, auffordert, oder veranlasst, dass ein Lautsprecher eine Bestätigungssprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst.
  • Indessen, wenn der Gesicht-zu-Gesicht-Abstand größer als der Referenzabstand ist, veranlasst die Warnausgabesteuereinheit 14b, dass eine Anzeige ein Bestätigungsbild anzeigt, die eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder eines Abwesendenseins eines Kindes, das nicht in einem Kindersitz sitzt, auffordert, oder veranlasst, dass ein Lautsprecher eine Bestätigungssprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst, wie in der Insassendetektionsvorrichtung 100 gemäß der ersten Ausführungsform.
  • Das heißt, als ein bestimmtes Beispiel eines Zustands, bei dem zwei oder mehr Insassen in einem Sitz vorhanden sind, wird beispielsweise ein Zustand, bei dem ein Erwachsener ein Kind hält (nachfolgend als „erster Zustand“ bezeichnet), ein Zustand, bei dem eine Mutter oder etwas Ähnliches ein Kind stillt (nachfolgend als „zweiter Zustand“ bezeichnet), oder ein Zustand, bei dem ein Kind zwischen den Knien eines sitzenden Erwachsenen vorhanden ist (nachfolgend als „dritter Zustand“ bezeichnet), angenommen. Der Referenzabstand wird auf einen Wert eingestellt, der es ermöglicht, den ersten Zustand und den zweiten Zustand von einem anderen Zustand (beispielsweise dem dritten Zustand) auf der Basis eines durchschnittlichen Körperbaus eines Erwachsenen oder etwas Ähnliches zu unterscheiden. Im Ergebnis, wenn der Gesicht-zu-Gesicht-Abstand gleich oder größer als der Referenzabstand ist, kann eine Nachricht mit einem näher bestimmten Inhalt in einem Warnbild oder einer Warnsprache umfasst werden.
  • Die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14b und die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 bilden einen Hauptteil der Insassendetektionsvorrichtung 100b.
  • Da die Hardwarekonfiguration des Hauptteils der Insassendetektionsvorrichtung 100b ähnlich zu der ist, die mit Bezug zu 3 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, die Funktion der Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 kann durch einen Prozessor 21 und einen Speicher 22 umgesetzt werden, oder kann durch einen Verarbeitungsschaltkreis 23 umgesetzt werden.
  • Als Nächstes wird ein Betrieb der Insassendetektionsvorrichtung 100b mit Bezug zu dem Flussdiagramm aus 11 beschrieben. Es wird darauf hingewiesen, dass in 11 dieselben Bezugszeichen an Schritte vergeben sind, die ähnlich sind, zu denen, die in 4 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls die erste Bestimmungseinheit 12 bestimmt, dass es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt („Ja“ im Schritt ST2), falls die zweite Bestimmungseinheit 13 bestimmt, dass die erste Zeitdauer die erste Referenzzeit überschritten hat („Ja“ im Schritt ST3), berechnet die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 einen Gesicht-zu-Gesicht-Abstand (Schritt ST6). Da ein bestimmtes Beispiel eines Verfahrens zum Berechnen eines Gesicht-zu-Gesicht-Abstands oben beschrieben wurde, wird eine Beschreibung davon nicht wiederholt.
  • Als Nächstes beginnt im Schritt ST4b die Warnausgabesteuereinheit 14b eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von dem im Schritt ST6 berechneten Gesicht-zu-Gesicht-Abstand, das heißt eine Warnausgabesteuerung. Da ein bestimmtes Beispiel der Warnausgabesteuerung durch die Warnausgabesteuereinheit 14b oben beschrieben wurde, wird die Beschreibung davon nicht wiederholt. Daher beendet im Schritt ST14b die Warnausgabesteuereinheit 14b die Warnausgabesteuerung.
  • Es wird drauf hingewiesen, dass die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 einen longitudinalen Gesichtsbereich-zu-Gesichtsbereich-Abstand in einem Aufnahmebild und einen lateralen Gesichtsbereich-zu-Gesichtsbereich-Abstand in dem Aufnahmebild berechnen kann. Die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 kann einen vertikalen Gesicht-zu-Gesicht-Abstand in einem echten Raum durch Umwandeln eines longitudinalen Gesichtsbereich-zu-Gesichtsbereich-Abstand von einem Pixelwert in einen Meter-Wert berechnen. Die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 kann einen horizontalen Gesicht-zu-Gesicht-Abstand in einem echten Raum durch Umwandeln des lateralen Gesichtsbereich-zu-Gesichtsbereich-Abstand von einem Pixelwert in einen Meter-Wert berechnen.
  • In diesem Fall kann die Warnausgabesteuereinheit 14b einen vertikalen Gesicht-zu-Gesicht-Abstand mit einem vorbestimmten Abstand (nachfolgend als „erster Referenzabstand“ bezeichnet) vergleichen und eine Warnausgabesteuerung ausführen, die ähnlich zu der oben beschriebenen ist. Wenn die Warnausgabesteuereinheit 14b einen horizontalen Gesicht-zu-Gesicht-Abstand mit einem vorbestimmten Abstand (nachfolgend als ein „zweiter Referenzabstand“) vergleicht und der horizontale Gesicht-zu-Gesicht-Abstand größer als der zweite Referenzabstand ist, kann die Warnausgabesteuereinheit 14b ein Ausführen der Warnausgabesteuerung aufheben. Dies liegt daran, da, wenn der horizontale Gesicht-zu-Gesicht-Abstand größer als der zweite Referenzabstand ist, beispielsweise das Gesicht eines Insassen in einem Rücksitz in einem Sitzbereich reflektiert sein kann, der zu einem Vordersitz gehört.
  • Zusätzlich muss die Warnausgabesteuereinheit 14b lediglich eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesichtsbereich-Detektionseinheit 11 berechneten Gesicht-zu-Gesicht-Abstand ausführen. Der Inhalt der Nachricht, die in dem Bestätigungsbild oder der Bestätigungssprache umfasst ist, ist nicht auf das obige bestimmte Beispiel beschränkt.
  • Die Insassendetektionsvorrichtung 100b kann eine Person-Authentifikationseinheit 15 wie in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform umfassen. In diesem Fall kann die Warnausgabesteuereinheit 14b eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis eines Person-Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 und eines durch die Gesichtsbereich-Detektionseinheit 11 berechneten Gesicht-zu-Gesicht-Abstands.
  • Zusätzlich kann die Insassendetektionsvorrichtung 100b verschiedene Modifikationen annehmen, die ähnlich zu denen sind, die in der ersten Ausführungsform beschrieben sind.
  • Wie in 12 dargestellt, können die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14b und die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 einen Hauptteil eines Insassendetektionssystems 200b als das der Insassendetektionsvorrichtung bilden.
  • Da die Systemkonfiguration des Hauptteils des Insassendetektionssystems 200b ähnlich zu der ist, die mit Bezug zu 6 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, es ist lediglich notwendig die Funktion des Insassendetektionssystems 200b durch Zusammenarbeit von beliebigen zwei oder mehr einer Bordfahrzeug-Informationsvorrichtung 31, eines tragbaren Informationsendgeräts 32 und einer Servervorrichtung 33 umzusetzen.
  • Wie oben beschrieben, umfasst die Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 zum Berechnen eines Abstands zwischen zwei oder mehr Gesichtern (Gesicht-zu-Gesicht-Abstand), der zu zwei oder mehr Gesichtsbereichen gehört, und die Warnausgabesteuereinheit 14b führt eine Steuerung (Warnausgabesteuerung) zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Abstand (Gesicht-zu-Gesicht-Abstand), der durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechnet ist, aus. Im Ergebnis, wenn es eine hohe Wahrscheinlichkeit gibt, dass ein Erwachsener ein Kind hält, eine Mutter oder etwas Ähnliches ein Kind stillt, oder etwas Ähnliches, kann eine eine Nachricht mit einem genauer bestimmten Inhalt umfassende Warnung ausgegeben werden.
  • Vierte Ausführungsform.
  • 13 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer vierten Ausführungsform darstellt. Eine Insassendetektionsvorrichtung 100c gemäß der vierten Ausführungsform wird mit Bezug zu 13 beschrieben. Es wird drauf hingewiesen, dass in 13 dieselben Bezugszeichen zu Blöcken vergeben sind, die ähnlich zu denen sind, die in 1 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Ein Gewichtssensor 4 ist an einer Sitzoberfläche eines jeden Sitzes in einem Fahrzeug 1 angeordnet. Eine dritte Bestimmungseinheit 17 erfasst einen durch den Gewichtssensor 4 detektierten Wert bei vorbestimmten Zeitintervallen. Die dritte Bestimmungseinheit 17 bestimmt, ob es eine Veränderung in dem Gewicht eines jeden Sitzes in dem Fahrzeug 1 gibt, unter Verwendung des erfassten Detektionswerts. Eine Gesichtsbereich-Detektionseinheit 11 führt einen Gesichtsbereich-Detektionsprozess aus, wenn die dritte Bestimmungseinheit 17 bestimmt, dass das Gewicht von zumindest einem Sitz sich verändert hat.
  • Die Gesichtsbereich-Detektionseinheit 11, eine erste Bestimmungseinheit 12, eine zweite Bestimmungseinheit 13, eine Warnausgabesteuereinheit 14 und die dritte Bestimmungseinheit 17 bilden einen Hauptteil der Insassendetektionsvorrichtung 100c.
  • Da die Hardwarekonfiguration des Hauptteils der Insassendetektionsvorrichtung 100c ähnlich zu der ist, die mit Bezug zu 3 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, die Funktion der dritten Bestimmungseinheit 17 kann durch einen Prozessor 21 und einen Speicher 22 umgesetzt werden oder kann durch einen Verarbeitungsschaltkreis 23 umgesetzt werden.
  • Als Nächstes wird ein Betrieb der Insassendetektionsvorrichtung 100c mit Bezug zu dem Flussdiagramm von 14 beschrieben. Es wird drauf hingewiesen, dass in 14 dieselben Bezugszeichen den Schritten gegeben sind, die ähnlich zu denen sind, die in 4 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Erst erfasst im Schritt ST7 die dritte Bestimmungseinheit 17 einen durch den Gewichtssensor 4 detektierten Wert. Die dritte Bestimmungseinheit 17 bestimmt, ob es eine Veränderung in dem Gewicht eines jeden Sitzes in dem Fahrzeug 1 gibt oder nicht, mittels der erfassten Detektionswerte. Insbesondere bestimmt die dritte Bestimmungseinheit 17, ob ein detektierter Wert in jedem Sitz in dem Fahrzeug 1 sich von einem stabilen Zustand verschoben hat oder nicht, basierend auf einem ersten Wert, zu einem stabilen Zustand, basierend auf einem zweiten Wert.
  • Falls die dritte Bestimmungseinheit 17 bestimmt, dass das Gewicht von zumindest einem Sitz sich verändert hat, insbesondere, falls die dritte Bestimmungseinheit 17 bestimmt, dass ein Detektionswert in zumindest einem Sitz sich von einem stabilen Zustand basierend auf einem ersten Wert zu einem stabilen Zustand basierend auf einem zweiten Wert verändert hat („Ja“ Schritt ST7), fährt der Prozess der Insassendetektionsvorrichtung 100c mit dem Schritt ST1 fort. Im Ergebnis führt die Gesichtsbereich-Detektionseinheit 11 einen Gesichtsbereich-Detektionsprozess (Schritt ST1) aus und Prozesse im Schritt ST2 und weitere Schritte werden ausgeführt.
  • Es wird darauf hingewiesen, dass ein Verwenden eines durch den Gewichtssensor 4 detektierten Werts nicht auf die Bestimmung durch die dritte Bestimmungseinheit 17 begrenzt ist. Beispielsweise kann die Insassendetektionsvorrichtung 100c eine Körperbau-Bestimmungseinheit (nicht dargestellt) zum Bestimmen umfassen, ob ein Insasse, der sich zwischen Sitzen bewegt hat, ein Erwachsener oder ein Kind ist, durch Vergleichen des Änderungsbetrags in dem Gewicht eines jeden Sitzes in dem Fahrzeug 1 mit einem vorbestimmten Schwellenwert.
  • Beispielsweise, wenn ein Zustand, bei dem ein Kind in einem auf einem bestimmten Sitz (nachfolgend als „erster Sitz“ bezeichnet) angeordneten Kindersitz sitzt, sich zu einem Zustand verschiebt, bei dem ein auf einem anderen Sitz sitzender Erwachsener (nachfolgend als „zweiter Sitz“ bezeichnet) das Kind hält, sich das Gewicht des ersten Sitzes vermindert und sich das Gewicht des zweiten Sitzes erhöht. Zu diesem Zeitpunkt sind sowohl der Verminderungsbetrag in dem Gewicht des ersten Sitzes als auch der Erhöhungsbetrag in dem Gewicht des zweiten Sitzes Werte, die von dem Gewicht des Kindes abhängen, und sind Werte, die geringer als ein Schwellenwert sind. Die Körperbau-Bestimmungseinheit bestimmt, dass der Insasse, der sich von dem ersten Sitz zu dem zweiten Sitz bewegt hat, ein Kind ist, da diese Veränderungsbeträge geringer als ein Schwellenwert sind.
  • Die Insassendetektionsvorrichtung 100c kann eine Person-Authentifikationseinheit 15 wie in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform umfassen. In diesem Fall kann die Warnausgabesteuereinheit 14 eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis des Person-Authentifikationsprozesses durch die Person-Authentifikationseinheit 15 ausführen.
  • Die Insassendetektionsvorrichtung 100c kann eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 wie in der Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform umfassen. In diesem Fall kann die Warnausgabesteuereinheit 14 eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechneten Gesicht-zu-Gesicht-Abstand ausführen.
  • Die Insassendetektionsvorrichtung 100c kann umfassen: eine Person-Authentifikationseinheit 15 wie in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform; und eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 wie in der Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform. In diesem Fall kann die Warnausgabesteuereinheit 14 eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis eines Personen Authentifikation Prozesses durch die Person-Authentifikationseinheit 15 und eines durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechneten Gesicht-zu-Gesicht-Abstands ausführen.
  • Zusätzlich kann die Insassendetektionsvorrichtung 100c verschiedene Modifikationen annehmen, die ähnlich zu denen sind, die in der ersten Ausführungsform beschrieben sind.
  • Wie in 15 dargestellt, bilden die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14 und die dritte Bestimmungseinheit 17 einen Hauptteil eines Insassendetektionssystems 200c als das der Insassendetektionsvorrichtung.
  • Da die Systemkonfiguration des Hauptteils des Insassendetektionssystems 200c ähnlich zu der ist, die mit Bezug zu 6 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, es ist lediglich notwendig die Funktion des Insassendetektionssystems 200 c durch Zusammenarbeit von beliebigen zwei oder mehr einer Bordfahrzeug-Informationsvorrichtung 31, eines tragbaren Informationsendgeräts 32 und einer Servervorrichtung 33 umzusetzen.
  • Wie oben beschrieben, umfasst die Insassendetektionsvorrichtung 100c gemäß der vierten Ausführungsform die dritte Bestimmungseinheit 17 zum Bestimmen, ob es eine Veränderung in dem Gewicht eines jeden einer Vielzahl von Sitzen gibt oder nicht, unter Verwendung eines durch den in jedem der Vielzahl von Sitzen angeordneten Gewichtssensor 4 detektierten Werts, und die Gesichtsbereich-Detektionseinheit 11 führt einen Prozess (Gesichtsbereich-Detektionsprozess) zum Detektieren einer Vielzahl von Gesichtsbereichen aus, wenn das Gewicht von zumindest einem der Vielzahl von Sitzen sich verändert hat. Dies ermöglicht es, eine Ausführungsfrequenz des Gesichtsbereich-Detektionsprozess zu reduzieren. Im Ergebnis kann eine Prozesslast bei dem Prozessor 21 oder dem Verarbeitungsschaltkreis 23 reduziert werden.
  • Fünfte Ausführungsform
  • 16 ist ein Blockdiagramm, das einen Hauptteil einer Insassendetektionsvorrichtung gemäß einer fünften Ausführungsform darstellt. Eine Insassendetektionsvorrichtung 100d gemäß der fünften Ausführungsform wird mit Bezug zu 16 beschrieben. Es wird drauf hingewiesen, dass in 16 dieselben Bezugszeichen zu Blöcken vergeben sind, die ähnlich zu denen sind, die in 1 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls eine erste Bestimmungseinheit 12 bestimmt, dass es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst, wenn eine zweite Bestimmungseinheit 13 bestimmt, dass eine erste Zeitdauer eine erste Referenzzeit überschritten hat, schätzt eine Gesichtsgröße-Abschätzungseinheit 18 die Größe von jeweils von zwei oder mehr Gesichtern (nachfolgend als „Gesichtsgröße“ bezeichnet) ab, die zu den zwei oder mehr Gesichtsbereichen gehören, auf einer 1-zu-1 Basis.
  • Insbesondere erfasst beispielsweise die Gesichtsgröße-Abschätzungseinheit 18 eine Information, die die Größe von jeweils zwei oder mehr Gesichtsbereichen (nachfolgend als „Gesichtsbereichsgröße“ bezeichnet) angibt, von der Gesichtsbereich-Detektionseinheit 11. Normalerweise wird die Gesichtsbereichsgröße durch einen longitudinalen Pixelwert und einen lateralen Pixelwert dargestellt. Die Gesichtsgröße-Abschätzungseinheit 18 schätzt die Gesichtsgröße durch Umwandeln des Pixelwerts in einen Meter-Wert ab. Das heißt, die Gesichtsgröße ist eine Größe im echten Raum.
  • Die Warnausgabesteuereinheit 14 d führt eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesichtsgröße Abschätzungseinheit 18 abgeschätzten Ergebnis aus, das heißt eine Warnausgabesteuerung.
  • Insbesondere vergleicht beispielsweise die Warnausgabesteuereinheit 14d jeweils durch die Gesichtsgröße Abschätzungseinheit 18 abgeschätzte Gesichtsgrößen mit einem vorbestimmten Schwellenwert. Der Schwellenwert ist auf einen Wert eingestellt, der es ermöglicht, zu bestimmen, ob ein Gesicht, dass zu jeweils einer Gesichtsgröße gehört, ein Gesicht eines Erwachsenen oder ein Gesicht eines Kindes ist.
  • In einem zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich, wenn die Größe eines Gesichts, das zu einem in einem oberen Teil positionierten Gesichtsbereich gehört, größer oder gleich als ein Schwellenwert ist, und die Größe eines Gesichts, das zu einem in einem unteren Teil positionierten Gesichtsbereich gehört, geringer als der Schwellenwert ist, veranlasst beispielsweise die Warnausgabesteuereinheit 14d, dass eine Anzeige ein Bestätigungsbild anzeigt, das eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder Abwesendseins eines durch einen Erwachsenen gehaltenen Kindes auffordert, oder veranlasst, dass ein Lautsprecher eine Bestätigungssprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst. Alternativ veranlasst beispielsweise die Warnausgabesteuereinheit 14d, dass eine Anzeige ein Bestätigungsbild anzeigt, dass eine Nachricht oder etwas Ähnliches umfasst, die eine Bestätigung eines Vorhandenseins oder Abwesendseins eines Kindes, das gestillt wird, auffordert, oder veranlasst, dass ein Lautsprecher eine Bestätigungssprache ausgibt, die die Nachricht oder etwas Ähnliches umfasst.
  • Indessen, wenn die Bedingung nicht erfüllt ist, gibt die Warnausgabesteuereinheit 14d ein Ausführen der Warnausgabesteuerung auf. Beispielsweise, wenn alle zwei oder mehr Gesichter Gesichter von Erwachsenen sind, kann das Gesicht eines Insassen in einem Rücksitz in einem zu einem Vordersitz gehörigen Sitzbereich reflektiert sein. In einem solchen Fall ist es möglich eine Ausgabe einer unnötigen Warnung zu vermeiden.
  • Die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14d und die Gesichtsgröße-Abschätzungseinheit 18 bilden einen Hauptteil der Insassendetektionsvorrichtung 100d.
  • Da die Hardwarekonfiguration des Hauptteils der Insassendetektionsvorrichtung 100d ähnlich zu der ist, die mit Bezug zu 3 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, die Funktion der Gesichtsgröße-Abschätzungseinheit 18 kann durch einen Prozessor 21 und einen Speicher 22 umgesetzt werden oder kann durch einen Verarbeitungsschaltkreis 23 umgesetzt werden.
  • Als Nächstes wird ein Betrieb der Insassendetektionsvorrichtung 100d mit Bezug zu dem Flussdiagramm aus 17 beschrieben. Es wird drauf hingewiesen, dass in 17 dieselben Bezugszeichen zu Schritten gegeben sind, die ähnlich sind, die in 4 dargestellt sind, und eine Beschreibung davon wird ausgelassen.
  • Falls die erste Bestimmungseinheit 12 bestimmt, dass es einen Sitzbereich gibt, der zwei oder mehr Gesichtsbereiche umfasst („Ja“ im Schritt ST2), falls die zweite Bestimmungseinheit 13 bestimmt, dass die erste Zeitdauer die erste Referenzzeit überschritten hat („Ja“ im Schritt ST3), schätzt die Gesichtsgröße-Abschätzungseinheit 18 eine Gesichtsgröße (Schritt ST8) ab. Da ein bestimmtes Beispiel eines Verfahrens zum Abschätzen einer Gesichtsgröße oben beschrieben wurde, wird eine Beschreibung davon nicht wiederholt.
  • Als Nächstes startet im Schritt ST4b die Warnausgabesteuereinheit 14b eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einer im Schritt ST8 abgeschätzt Gesichtsgröße, das heißt eine Warnausgabesteuerung. Da ein bestimmtes Beispiel der Warnausgabesteuerung durch die Warnausgabesteuereinheit 14d oben beschrieben ist, wird die Beschreibung davon nicht wiederholt. Danach beendet im Schritt ST14d die Warnausgabesteuereinheit 14d die Warnausgabesteuerung.
  • Es wird drauf hingewiesen, dass die Warnausgabesteuereinheit 14d lediglich eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesichtsgröße-Abschätzungseinheit 18 abgeschätzten Ergebnis ausführen muss. Der Inhalt der Nachricht, die in dem Bestätigungsbild oder der Bestätigungssprache umfasst ist, ist nicht auf das oben beschriebene Beispiel beschränkt.
  • Die Insassendetektionsvorrichtung 100b kann eine Person-Authentifikationseinheit 15 wie in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform umfassen. In diesem Fall kann die Warnausgabesteuereinheit 14d eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis eines Personenauthentifikationsprozesses durch die Person-Authentifikationseinheit 15 und eines durch die Gesichtsgröße-Abschätzungseinheit 18 abgeschätzten Ergebnisses ausführen.
  • Die Insassendetektionsvorrichtung 100d kann eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 wie in der Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform umfassen. In diesem Fall kann die Warnausgabesteuereinheit 14b eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechneten Gesicht-zu-Gesicht-Abstand und einem durch die Gesichtsgröße-Abschätzungseinheit 18 abgeschätzten Ergebnis ausführen.
  • Die Insassendetektionsvorrichtung 100d kann umfassen: eine Person-Authentifikationseinheit 15 wie in der Insassendetektionsvorrichtung 100a gemäß der zweiten Ausführungsform; und eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 wie in der Insassendetektionsvorrichtung 100b gemäß der dritten Ausführungsform. In diesem Fall kann die Warnausgabesteuereinheit 14d eine Steuerung zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis eines Personenauthentifikationsprozesses durch die Person-Authentifikationseinheit 15, eines durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit 16 berechneten Gesicht-zu-Gesicht-Abstands und eines durch die Gesichtsgröße-Abschätzungseinheit 18 abgeschätzten Ergebnisses ausführen.
  • Die Insassendetektionsvorrichtung 100b kann eine dritte Bestimmungseinheit 17 wie in der Insassendetektionsvorrichtung 100c gemäß der vierten Ausführungsform umfassen.
  • Zusätzlich kann die Insassendetektionsvorrichtung 100 d verschiedene Modifikationen annehmen, die ähnlich zu denen sind, die in der ersten Ausführungsform beschrieben sind.
  • Wie in 18 dargestellt, können die Gesichtsbereich-Detektionseinheit 11, die erste Bestimmungseinheit 12, die zweite Bestimmungseinheit 13, die Warnausgabesteuereinheit 14 d und die Gesichtsgröße-Abschätzungseinheit 18 einen Hauptteil des Insassendetektionssystems 200d als das der Insassendetektionsvorrichtung bilden.
  • Da die Systemkonfiguration des Hauptteils des Insassendetektionssystems 200 d ähnlich zu der ist, die mit Bezug zu 6 in der ersten Ausführungsform beschrieben ist, wird eine Darstellung davon und eine Beschreibung davon ausgelassen. Das heißt, es ist lediglich notwendig die Funktion des Insassendetektionssystems 200d durch Zusammenarbeit von beliebigen zwei oder mehr einer Bordfahrzeug-Informationsvorrichtung 31, eines tragbaren Informationsendgeräts 32 und einer Servervorrichtungen 33 umzusetzen.
  • Wie oben beschrieben, umfasst die Insassendetektionsvorrichtung 100b gemäß der fünften Ausführungsform die Gesichtsgröße-Abschätzungseinheit 18 zum Abschätzen der Größe (Gesichtsgröße) eine sieben von zwei oder mehr Gesichtern, die zu zwei oder mehr Gesichtsbereichen gehören, und die Warnausgabesteuereinheit 14b führt eine Steuerung (Warnausgabesteuerung) zum Ausgeben einer Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis aus, das durch die Gesichtsgröße-Abschätzungseinheit 18 abgeschätzt ist. Im Ergebnis, wenn es eine hohe Wascheinigkeit gibt, dass ein erwachsener ein Kind hält, eine Mutter oder etwas Ähnliches ein Kind stillt oder etwas Ähnliches, kann eine Warnung ausgegeben werden, die eine Nachricht mit einem genauer bestimmten Inhalt umfasst.
  • Industrielle Anwendbarkeit
  • Die Insassendetektionsvorrichtung der vorliegenden Erfindung kann beispielsweise auf ein Insassen Überwachungssystem für ein Fahrzeug angewendet werden.
  • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    Kamera
    3
    Ausgabevorrichtung
    4
    Gewichtssensors
    11
    Gesichtsbereich-Detektionseinheit
    12
    Erste Bestimmungseinheit
    13
    zweite Bestimmungseinheit
    14,14a, 14b, 14d
    Warnausgabesteuereinheit
    15
    Person-Authentifikationseinheit
    16
    Gesicht-zu-Gesicht-Abstandsberechnungseinheit
    17
    dritte Bestimmungseinheit
    18
    Gesichtsgröße-Abschätzungseinheit
    21
    Prozessor
    22
    Speicher
    23
    Verarbeitungsschaltkreis
    31
    Bordfahrzeug-Informationsvorrichtung
    32
    tragbares Informationsendgerät
    33
    Servervorrichtungen
    100,100a, 100b, 100c, 100d
    Insassendetektionsvorrichtung
    200,200a, 200b, 200c, 200d
    Insassendetektionssystem

Claims (6)

  1. Eine Insassendetektionsvorrichtung (100), umfassend: eine Gesichtsbereich-Detektionseinheit (11) zum Ausführen eines Prozesses zum Detektieren einer Vielzahl von zu einer Vielzahl von Gesichtern gehörigen Gesichtsbereichen in einem durch eine Kamera (2) zum Aufnehmen eines Bilds eines Fahrzeuginnenraums aufgenommenen Bilds; eine erste Bestimmungseinheit (12) zum Bestimmen, ob es, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, einen Sitzbereich gibt oder nicht, der zwei oder mehr Gesichtsbereiche umfasst; eine zweite Bestimmungseinheit (13) zum Bestimmen, ob eine Zeitdauer eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit überschritten hat oder nicht; und eine Warnausgabesteuereinheit (14; 14a; 14b; 14c; 14d) zum Ausführen einer Steuerung zum Ausgeben einer Warnung, wenn die Zeitdauer die Referenzzeit überschreitet.
  2. Insassendetektionsvorrichtung (100) gemäß Anspruch 1, umfassend eine Person-Authentifikationseinheit (15) zum Ausführen eines Person-Authentifikationsprozesses an jeweils zwei oder mehr Gesichtern, die zu zwei oder mehr Gesichtsbereichen gehören, wobei die Warnausgabesteuereinheit (14a) eine Steuerung zum Ausgeben der Warnung mit einem Inhalt in Abhängigkeit von einem Ergebnis des Person-Authentifikationsprozesses ausführt.
  3. Insassendetektionsvorrichtung (100) gemäß Anspruch 1, umfassend eine Gesicht-zu-Gesicht-Abstandsberechnungseinheit (16) zum Berechnen eines Abstands zwischen zwei oder mehr Gesichtern, die zu zwei oder mehr Gesichtsbereichen gehören, wobei die Warnausgabesteuereinheit (14b) eine Steuerung zum Ausgeben der Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesicht-zu-Gesicht-Abstandsberechnungseinheit (16) berechneten Abstand ausführt.
  4. Insassendetektionsvorrichtung (100) gemäß Anspruch 1, umfassend eine dritte Bestimmungseinheit (17) zum Bestimmen, ob es eine Veränderung in einem Gewicht von jeweils einem der Vielzahl von Sitzen gibt oder nicht, unter Verwendung eines durch einen in jedem der Vielzahl von Sitzen angeordneten Gewichtssensor (4) detektierten Wert, wobei die Gesichtsbereich-Detektionseinheit (11) einen Prozess zum Detektieren der Vielzahl von Gesichtsbereichen ausführt, wenn ein Gewicht von zumindest einem der Vielzahl von Sitzen sich verändert.
  5. Insassendetektionsvorrichtung (100) gemäß Anspruch 1, umfassend eine Gesichtsgröße-Abschätzungseinheit (18) zum Abschätzen einer Größe von jeweils zwei oder mehr Gesichtern, die zu den zwei oder mehr Gesichtsbereichen gehören, wobei die Warnausgabesteuereinheit (14d) eine Steuerung zum Ausgeben der Warnung mit einem Inhalt in Abhängigkeit von einem durch die Gesichtsgröße-Abschätzungseinheit (18) abgeschätzten Ergebnis ausführt.
  6. Ein Insassendetektionsverfahren, umfassend: Ausführen eines Prozesses zum Detektieren einer Vielzahl von zu einer Vielzahl von Gesichtern gehörigen Gesichtsbereichen in einem durch eine Kamera (2) zum Aufnehmen eines Bilds eines Fahrzeuginnenraums aufgenommenen Bilds, durch eine Gesichtsbereich-Detektionseinheit (11); Bestimmen, ob es, aus einer Vielzahl von zu einer Vielzahl von Sitzen in dem Aufnahmebild gehörigen Sitzbereichen, einen Sitzbereich gibt oder nicht, der zwei oder mehr Gesichtsbereiche umfasst, durch eine erste Bestimmungseinheit (12) ; Bestimmen, ob eine Zeitdauer eines Zustands, bei dem es einen zwei oder mehr Gesichtsbereiche umfassenden Sitzbereich gibt, eine Referenzzeit überschritten hat oder nicht, durch eine zweite Bestimmungseinheit (13); und Ausführen einer Steuerung zum Ausgeben einer Warnung, wenn die Zeitdauer die Referenzzeit überschreitet, durch eine Warnausgabesteuereinheit (14; 14a; 14b; 14c; 14d).
DE112018006579.0T 2018-01-25 2018-01-25 Insassendetektionsvorrichtung und Insassendetektionsverfahren Active DE112018006579B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002327 WO2019146043A1 (ja) 2018-01-25 2018-01-25 乗員検知装置、乗員検知システム及び乗員検知方法

Publications (2)

Publication Number Publication Date
DE112018006579T5 DE112018006579T5 (de) 2020-11-05
DE112018006579B4 true DE112018006579B4 (de) 2023-05-04

Family

ID=67396028

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018006579.0T Active DE112018006579B4 (de) 2018-01-25 2018-01-25 Insassendetektionsvorrichtung und Insassendetektionsverfahren

Country Status (5)

Country Link
US (1) US11021081B2 (de)
JP (1) JP6667743B2 (de)
CN (1) CN111601736B (de)
DE (1) DE112018006579B4 (de)
WO (1) WO2019146043A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401338B2 (ja) 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
US11241977B1 (en) * 2020-10-12 2022-02-08 Toyota Motor North America, Inc. Systems and methods for determining the presence of occupants left behind in a vehicle
CN114148223B (zh) * 2021-12-10 2023-09-22 奇瑞汽车股份有限公司 儿童乘车安全提醒方法及装置
CN115056693A (zh) * 2022-07-27 2022-09-16 奇瑞汽车股份有限公司 一种具有称重功能的车辆座椅及其汽车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231539A (ja) 2004-02-20 2005-09-02 Denso Corp 荷重センサおよび乗員保護システム
DE60114238T2 (de) 2000-07-21 2006-07-13 Trw Automotive U.S. Llc, Livonia Erkennung menschlicher gesichtsmerkmale für kraftfahrzeugrückhaltesysteme
JP2013252863A (ja) 2013-09-27 2013-12-19 Takata Corp 乗員拘束制御装置および乗員拘束制御方法
DE102016123231A1 (de) 2016-05-16 2017-11-16 Hyundai Motor Company Vorrichtung und Verfahren zum Steuern eines Airbags
DE112017004754T5 (de) 2016-09-21 2019-06-19 Intel Corporation Insassenprofilerstellungssystem

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07329639A (ja) * 1994-06-06 1995-12-19 Mitsubishi Electric Corp 車内の人体検出装置および車載機器制御装置
JP2000181687A (ja) 1998-12-18 2000-06-30 Fujitsu Ltd 制御装置，電子機器，環境設定方法およびプログラムを格納したコンピュータ読取可能な記録媒体
EP1597699A2 (de) * 2003-02-20 2005-11-23 Intelligent Mechatronic Systems, Inc. Adaptives visuelles fahrzeuginsassenerkennungssystem
JP2006260483A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 顔照合システム及び顔照合方法
JP2008199515A (ja) * 2007-02-15 2008-08-28 Fujifilm Corp 同乗者着座姿勢検出・判定装置及び方法
JP2008269496A (ja) * 2007-04-24 2008-11-06 Takata Corp 乗員情報検出システム、乗員拘束システム、車両
US8036795B2 (en) * 2008-10-08 2011-10-11 Honda Motor Company, Ltd. Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
JP5687889B2 (ja) * 2010-12-06 2015-03-25 富士通テン株式会社 車室内監視装置
CN204547917U (zh) * 2015-04-15 2015-08-12 郭帅 一种轿车超员检测报警系统
JP2016203910A (ja) * 2015-04-27 2016-12-08 トヨタ自動車株式会社 乗員検知装置および乗員検知方法
CN105966307A (zh) * 2015-11-02 2016-09-28 乐卡汽车智能科技（北京）有限公司 一种在车辆内部进行安全检测的方法及装置
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
US10318829B2 (en) * 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
JP6870294B2 (ja) * 2016-11-25 2021-05-12 株式会社アイシン 乗員情報検出装置およびプログラム
CN107323421A (zh) * 2017-06-30 2017-11-07 合肥虎俊装饰工程有限公司 一种多功能汽车智能安防系统
WO2019027433A1 (en) * 2017-07-31 2019-02-07 Ford Global Technologies, Llc SYSTEMS AND METHODS FOR MANAGING VEHICLE OCCUPANCY

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60114238T2 (de) 2000-07-21 2006-07-13 Trw Automotive U.S. Llc, Livonia Erkennung menschlicher gesichtsmerkmale für kraftfahrzeugrückhaltesysteme
JP2005231539A (ja) 2004-02-20 2005-09-02 Denso Corp 荷重センサおよび乗員保護システム
JP2013252863A (ja) 2013-09-27 2013-12-19 Takata Corp 乗員拘束制御装置および乗員拘束制御方法
DE102016123231A1 (de) 2016-05-16 2017-11-16 Hyundai Motor Company Vorrichtung und Verfahren zum Steuern eines Airbags
DE112017004754T5 (de) 2016-09-21 2019-06-19 Intel Corporation Insassenprofilerstellungssystem

Also Published As

Publication number Publication date
DE112018006579T5 (de) 2020-11-05
CN111601736B (zh) 2022-06-28
US20200398699A1 (en) 2020-12-24
WO2019146043A1 (ja) 2019-08-01
CN111601736A (zh) 2020-08-28
US11021081B2 (en) 2021-06-01
JPWO2019146043A1 (ja) 2020-04-16
JP6667743B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
DE112018006579B4 (de) Insassendetektionsvorrichtung und Insassendetektionsverfahren
DE102019134141B4 (de) Sicherheitsgurt-Zustandsbestimmungsverfahren
DE112016001364T5 (de) Automatische fahrtsteuervorrichtung und automatisches fahrtsteuersystem
DE102017207968B4 (de) Vorrichtung zum Vorbeugen gegen einen Fußgängerkollisionsunfall, System mit derselben, und Verfahren hierzu
DE102016215524B4 (de) System zur Objekterkennung und Objekterinnerung bei einem Fahrzeug
DE112018000968B4 (de) Bildanzeigesystem, Bildanzeigeverfahren und Aufzeichnungsmedium
DE102018005526A1 (de) Fahrerzustandserkennungsvorrichtung, Fahrerzustandserkennungssystem und Fahrerzustandserkennungsverfahren
DE112017001551T5 (de) Fahrassistenzverfahren, dieses nutzende Fahrassistenzvorrichtung, Steuervorrichtung für automatisches Fahren, Fahrzeug und Fahrassistenzsystem
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102015109832A1 (de) Objektklassifizierung für Fahrzeugradarsysteme
DE102019125627B4 (de) Innenraumüberwachungsvorrichtung
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE112016007010T5 (de) Bordvorrichtung, Kontrollrechtemanagementverfahren und Kontrollrechtemanagementprogramm
DE112013003276T5 (de) Objekterkennungseinrichtung
DE102020110003A1 (de) Kollisionsvermeidungs-steuerverfahren und -vorrichtung für ein fahrzeug
DE112017007258T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
DE102020125989A1 (de) System zum Steuern autonomer Fahrzeuge zum Verringern von Reisekrankheit
DE102006054574A1 (de) Verfahren und Einrichtung zum Identifizieren des Fahrers eines Fahrzeugs
DE10239604A1 (de) Verfahren zur Feststellung der Belegung eines Fahrzeugsitzes
DE102020117555A1 (de) Verfahren und vorrichtung zur insassenklassifizierung
DE112017007248T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
DE112017006982T5 (de) Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
DE112017007247B4 (de) Bildverarbeitungsvorrichtung
DE102020125659A1 (de) Fahrzeugfahrassistenzsystem
DE112020007252T5 (de) Vorrichtung und Verfahren zum Detektieren von Fahrgästen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R084 Declaration of willingness to licence
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final