DE102019125627A1

DE102019125627A1 - Innenraumüberwachungsvorrichtung

Info

Publication number: DE102019125627A1
Application number: DE102019125627.5A
Authority: DE
Inventors: Hiroyuki Fujii; Godai TANAKA; Yoshiaki Tomatsu
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-09-26
Filing date: 2019-09-24
Publication date: 2020-03-26
Anticipated expiration: 2039-09-25
Also published as: JP7210965B2; US20200098128A1; JP2020050090A; DE102019125627B4; US11127152B2

Abstract

Eine Innenraumüberwachungsvorrichtung (14) umfasst: eine Bildbezugseinheit (400), die ein aufgenommenes Bild bezieht, das durch Abbilden eines Innenraums einer Kabine (2a) eines Fahrzeugs (1) durch eine Bildgebungseinheit (15) erhalten wird; und eine Positionserfassungseinheit (401), die bestimmt, ob ein Kopf eines Insassen in dem aufgenommenen Bild vorhanden ist oder nicht, die Größe des Kopfes, die Kopfposition des Kopfes, und eine Schlüsselpunktposition eines sich von dem Kopf des Insassen unterscheidenden Schlüsselpunkts in dem aufgenommenen Bild, in einem Fall, in dem der Kopf in dem aufgenommenen Bild vorhanden ist, erfasst, und eine Sitzposition des Insassen in der Kabine basierend auf der Größe des Kopfes, der Kopfposition und der Schlüsselpunktposition erfasst.

Description

TECHNISCHES GEBIET
Ein Ausführungsbeispiel dieser Offenbarung betrifft eine Innenraumüberwachungsvorrichtung.
HINTERGRUND
Es wurden Technologien zum Erfassen der Anzahl von Insassen, die sich in eine Kabine begeben haben, sowie der Anzahl von Insassen, die die Kabine verlassen, oder zum Erfassen eines Insassen in der Kabine, basierend auf einem aufgenommenen Bild, das durch eine Bildgebungseinheit, die das innere der Kabine eines Fahrzeugs abbildet, erhalten wird, entwickelt.
Jedoch ist es schwierig, die Position eines Objekts in einem dreidimensionalen Raum, wie etwa der Kabine, unter Verwendung einer Bildgebungseinheit, die keine Abstandsmessfunktion zum Messen des Abstandes zu einem Objekt aufweist, akkurat abzuschätzen. Obwohl die vorstehend beschriebenen Technologien Methoden zum Beziehen von Informationen über einen Insassen in einer Kabine unter Verwendung einer einzelnen Bildgebungseinheit ohne Abstandsmessfunktion sind, ist es schwierig, die Sitzposition in sowohl der Front-Heck als auch der Links-Rechts-Richtung zu erfassen.
Daher besteht ein Bedarf bezüglich einer Innenraumüberwachungsvorrichtung, die dazu fähig ist, die Sitzposition eines Insassen in einer Kabine mit hoher Genauigkeit unter Verwendung einer Bildgebungseinheit ohne Abstandsmessfunktion zu erfassen.
ZUSAMMENFASSUNG
Eine Innenraumüberwachungsvorrichtung gemäß einem Ausführungsbeispiel umfasst beispielsweise eine Bildbezugseinheit, die ein aufgenommenes Bild, das durch Abbilden eines Inneren einer Kabine eines Fahrzeugs durch eine Bildgebungseinheit erhalten wird, bezieht, und eine Positionserfassungseinheit, die bestimmt, ob sich ein Kopf eines Insassen in dem aufgenommenen Bild befindet oder nicht, wobei die Größe des Kopfes, eine Kopfposition des Kopfes, und eine Position eines wichtigen Punktes bzw. Schlüsselpunktes, der sich von dem Kopf des Insassen unterscheidet, in dem aufgenommenen Bild in einem Fall, in dem der Kopf in dem aufgenommenen Bild vorhanden ist, erfasst werden, und wobei eine Sitzposition des Insassen in der Kabine basierend auf der Größe des Kopfes, der Kopfposition und der Schlüsselpunktposition erfasst wird. Demzufolge ist es beispielsweise möglich, die Sitzposition des Insassen in der Kabine mit hoher Genauigkeit unter Verwendung der einzelnen Bildgebungseinheit, die keine Abstandsmessfunktion aufweist, zu erfassen.
Gemäß der Innenraumüberwachungsvorrichtung des Ausführungsbeispiels kann beispielsweise die Positionserfassungseinheit einen Bestimmungsbereich entsprechend Sitzpositionskandidaten bezüglich des aufgenommenen Bildes einstellen, bestimmen, ob sich der Kopf in dem Bestimmungsbereich befindet oder nicht, und in einem Fall, in dem sich der Kopf in dem Bestimmungsbereich befindet, einen Sitzpositionskandidaten bezüglich der Sitzposition des Insassen mit dem Kopf unter den Sitzpositionskandidaten entsprechend dem Bestimmungsbereich basierend auf der Größe des Kopfes, der Kopfposition, und der Schlüsselpunktposition auswählen, und den ausgewählten Kandidaten bezüglich der Sitzposition als die Sitzposition auswählen.
Demzufolge ist es beispielsweise möglich, die Sitzposition des Insassen in der Kabine mit hoher Genauigkeit unter Verwendung der einzelnen Bildgebungseinheit, die keine Abstandsmessfunktion aufweist, zu erfassen.
Gemäß der Innenraumüberwachungsvorrichtung des Ausführungsbeispiels kann beispielsweise die Positionserfassungseinheit die Sitzposition des Insassen in der Kabine in einer Links-Rechts-Richtung basierend auf der Kopfposition und der Schlüsselpunktposition erfassen. Demzufolge kann beispielsweise die Sitzposition in Links-Rechts-Richtung des Insassen in der Kabine mit hoher Genauigkeit erfasst werden.
Gemäß der Innenraumüberwachungsvorrichtung des Ausführungsbeispiels kann beispielsweise die Positionserfassungseinheit die Sitzposition des Insassen in der Kabine in einer Front-Heck-Richtung basierend auf der Größe des Kopfes und dem Vorhandensein oder dem Fehlen des Schlüsselpunktes erfassen. Demzufolge kann beispielsweise die Sitzposition in Front-Heck-Richtung des Insassen in der Kabine mit hoher Genauigkeit erfasst werden.
Als ein Beispiel kann die Innenraumüberwachungsvorrichtung des Ausführungsbeispiels weiterhin eine Bestimmungseinheit umfassen, die in einem Fall, in dem ein von dem Insassen, dessen Sitzposition erfasst wurde, getragener Sicherheitsgurt aus dem aufgenommenen Bild erfasst wird, die erfasste Sitzposition als die Sitzposition des Insassen bestimmt, bis der Insasse aussteigt. Demzufolge ist es beispielsweise möglich, zu verhindern, dass die Sitzposition des Insassen fälschlicherweise aufgrund einer temporären Änderung der Haltung des Insassen erfasst wird, bis der Insasse aussteigt, in einem Fall, in dem der durch den Insassen, dessen Sitzposition erfasst wurde, getragene Sicherheitsgurt aus dem aufgenommenen Bild erfasst wird.
Gemäß der Innenraumüberwachungsvorrichtung des Ausführungsbeispiels kann beispielsweise die Positionserfassungseinheit weiterhin eine Sitzposition in Front-Heck-Richtung eines Sitzes, auf dem der Insasse sitzt, basierend auf der Größe des Kopfes des Insassen, dessen Sitzposition erfasst wurde, erfassen. Demzufolge kann beispielsweise eine Steuerungsverarbeitung bezüglich des Fahrzeugs betreffend die Position des Insassen mit hoher Genauigkeit ausgeführt werden.
Gemäß der Innenraumüberwachungsvorrichtung des Ausführungsbeispiels kann beispielsweise die Positionserfassungseinheit weiterhin eine Haltung des Insassen basierend auf der Größe des Kopfes des Insassen, dessen Sitzposition erfasst wurde, erfassen. Demzufolge kann beispielsweise eine Steuerungsverarbeitung bezüglich des Fahrzeugs betreffend die Position des Insassen in der Kabine mit hoher Genauigkeit ausgeführt werden.
Figurenliste
Die vorstehenden und weiteren Merkmale und Eigenschaften dieser Offenbarung werden anhand der nachfolgenden detaillierten Beschreibung unter Berücksichtigung der Bezugnahme auf die anhängenden Zeichnungen besser ersichtlich, in denen gilt:

1 ist eine perspektivische Ansicht, die ein Beispiel eines Zustands veranschaulicht, in dem ein Teil der Kabine eines Fahrzeugs, das mit einer Innenraumüberwachungsvorrichtung gemäß dem gegenwärtigen Ausführungsbeispiel ausgestattet ist, hindurchgesehen wird;
2 ist eine Draufsicht eines Fahrzeugs gemäß dem gegenwärtigen Ausführungsbeispiel;
3 ist eine Blockdarstellung, die ein Beispiel der funktionalen Konfiguration des Fahrzeugs gemäß dem gegenwärtigen Ausführungsbeispiel veranschaulicht;
4 ist eine Blockdarstellung, die ein Beispiel der funktionalen Konfiguration einer ECU des Fahrzeugs gemäß dem gegenwärtigen Ausführungsbeispiel veranschaulicht;
5 ist eine Darstellung, die ein Beispiel der Verarbeitung veranschaulicht, die das Fahrzeug gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition eines Insassen zu erfassen;
6 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Verarbeitung zeigt, die das Fahrzeug gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition des Insassen zu erfassen.

DETAILLIERTE BESCHREIBUNG
Nachstehend wird ein hier offenbartes exemplarisches Ausführungsbeispiel beschrieben. Die Konfiguration des nachfolgenden Ausführungsbeispiels, sowie die Aktionen Ergebnisse und Effekte, die durch die Konfiguration bereitgestellt werden, sind beispielhaft. Das hier offenbarte Ausführungsbeispiel kann durch eine Konfiguration realisiert werden, die sich von der im nachfolgenden Ausführungsbeispiel offenbarten Konfigurationen unterscheidet, und mindestens einer von verschiedenen Effekten basierend auf der grundlegenden Konfiguration sowie daraus abgeleiteten Effekten können erhalten werden.
Ein Fahrzeug, das mit einer Innenraumüberwachungsvorrichtung gemäß dem gegenwärtigen Ausführungsbeispiel ausgestattet ist, kann ein Automobil (Kraftfahrzeug) mit einer Brennkraftmaschine (Maschine) als eine Antriebsquelle, ein Automobil (wie etwa ein Elektrofahrzeug oder ein Brennstoffzellenfahrzeug) mit einem Elektromotor (Motor) als eine Antriebsquelle, oder ein Automobil (Hybridfahrzeug) mit sowohl einer Brennkraftmaschine als auch einen Elektromotor als Antriebsquellen sein. Zusätzlich kann das Fahrzeug mit verschiedenen Getriebevorrichtungen und verschiedenen Vorrichtungen (wie etwa Systeme und Komponenten), die zum Betreiben einer Brennkraftmaschine oder eines Elektromotors erforderlich sind, ausgestattet sein. Zusätzlich kann eine Vorrichtung bezüglich eines Antriebs eines Fahrzeugrades des Fahrzeugs auf verschiedene Weise hinsichtlich Verfahren, Anzahl, Layout und dergleichen, festgelegt sein.
1 ist eine perspektivische Ansicht, die ein Beispiel eines Zustands veranschaulicht, in dem durch einen Teil der Kabine des Fahrzeugs, das mit der Innenraumüberwachungsvorrichtung gemäß dem gegenwärtigen Ausführungsbeispiels ausgestattet ist, hindurchgesehen wird. Wie in 1 veranschaulicht ist, ist ein Fahrzeug 1 mit einer Fahrzeugkarosserie 2, einer Lenkungseinheit 4, einer Beschleunigerbetätigungseinheit 5, einer Bremsbetätigungseinheit 6, einer Schaltbetätigungseinheit 7 und einer Monitorvorrichtung 11 ausgestattet. Der Fahrzeugkörper bzw. die Fahrzeugkarosserie 2 weist eine Kabine 2a auf, in die sich ein Insasse begeben kann.
Sitze 2b, 2h, 2i und 2j, auf denen ein Insasse in der Kabine 2a sitzt, sind in der Kabine 2a bereitgestellt. Der Sitz 2b ist ein Sitz, auf dem ein Fahrer als ein Insasse sitzt. Der Sitz 2h ist ein Beifahrersitz, der benachbart zum Sitz 2b, der der Fahrersitz ist, bereitgestellt ist. Die Sitze 2i und 2j sind Rücksitze, die hinter den Sitzen 2b und 2h bereitgestellt sind.
Zusätzlich sind die Lenkungseinheit 4, die Beschleunigerbetätigungseinheit 5, die Bremsbetätigungseinheit 6, die Schaltbetätigungseinheit 7, und dergleichen, in der Kabine 2a in einem Zustand bereitgestellt, in dem ein Fahrer als ein Insasse dem Sitz 2b gegenübersteht. Die Lenkungseinheit 4 ist beispielsweise ein Lenkrad, das von einem Armaturenbrett 24 herausragt. Die Beschleunigerbetätigungseinheit 5 ist beispielsweise ein Beschleunigerpedal, das unter einem Fuß des Fahrers positioniert ist. Die Bremsbetätigungseinheit 6 ist beispielsweise ein Bremspedal, das unter einem Fuß des Fahrers positioniert ist. Die Schaltbetätigungseinheit 7 ist beispielsweise ein Schalthebel, der aus einer Mittelkonsole herausragt.
Die Monitorvorrichtung 11 ist beispielsweise in dem Mittelabschnitt des Armaturenbretts 24 in der Breitrichtung (d.h. der Links-Recht-Richtung) des Fahrzeugs bereitgestellt. Die Monitorvorrichtung 11 kann eine Funktion eines Navigationssystems, eines Audiosystems, oder dergleichen aufweisen. Die Monitorvorrichtung 11 weist eine Anzeigeeinrichtung 8, eine Sprachausgabeeinrichtung 9 und eine Betätigungseingabeeinheit 10 auf. Zusätzlich kann die Monitorvorrichtung 11 verschiedene Betätigungseingabeeinheiten aufweisen, wie etwa einen Schalter, eine Wählscheibe, einen Joystick, und einen Druckknopf.
Eine Flüssigkristallanzeige (LCD), eine organische elektrolumineszente Anzeige (OELD), oder dergleichen, bilden die Anzeigeeinrichtung 8, die dazu fähig ist, verschiedene Bilder basierend auf Bilddaten anzuzeigen. Ein Lautsprecher oder dergleichen bildet die Sprachausgabeeinrichtung 9, die verschiedene Sprachausgaben basierend auf Sprachdaten ausgibt. Die Sprachausgabeeinrichtung 9 kann an einer anderen Position als der Monitorvorrichtung 11 in der Kabine 2a bereitgestellt sein.
Ein Touchpanel oder dergleichen bildet die Betätigungseingabeeinrichtung 10, die einem Insassen ermöglicht, verschiedene Typen von Informationen einzugeben. Zusätzlich ist die Betätigungseingabeeinheit 10 an dem Anzeigebildschirm der Anzeigeeinrichtung 8 bereitgestellt, und ist dazu fähig, ein auf der Anzeigeeinrichtung 8 angezeigtes Bild zu übertragen. Als Ergebnis ermöglicht die Betätigungseingabeeinheit 10 einem Insassen, visuell ein auf dem Anzeigebildschirm der Anzeigeeinrichtung 8 angezeigtes Bild zu erkennen. Die Betätigungseingabeeinheit 10 empfängt die Eingabe von verschiedenen Typen von Informationen durch einen Insassen durch erfassen einer Berührungsoperation, die der Insasse auf dem Anzeigebildschirm der Anzeigeeinrichtung 8 durchführt.
2 ist eine Draufsicht eines Beispiels des Fahrzeugs gemäß dem gegenwärtigen Ausführungsbeispiel. Wie in den 1 und 2 veranschaulicht ist, ist das Fahrzeug 1 ein Fahrzeug mit vier Rädern, oder dergleichen, und weist zwei (ein linkes und ein rechtes) Vorderräder 3F und zwei (ein linkes und ein rechtes) Hinterräder 3R auf. Alle oder einige der vier Fahrzeugräder 3 sind lenkbar.
Das Fahrzeug ist mit einer Vielzahl von Bildgebungseinheiten 15 (fahrzeuginternen Kameras) ausgestattet. Im gegenwärtigen Ausführungsbeispiel ist das Fahrzeug 1 beispielsweise mit vier Bildgebungseinheiten 15a bis 15d ausgestattet. Die Bildgebungseinheit 15 ist eine Digitalkamera mit einem Bildgebungselement, wie etwa einer ladungsgekoppelten Vorrichtung (CCD) oder einem COMS-Bildsensor (CIS). Die Bildgebungseinheit 15 ist dazu fähig, die Umgebungen den Fahrzeugs 1 mit einer vorbestimmten Bildrate abzubilden. Die Bildgebungseinheit 15 gibt ein aufgenommenes Bild, das durch die aufgenommenen Umgebungen eines Fahrzeugs 1 erhalten wird, aus. Jede der Bildgebungseinheiten 15 weist eine Weitwinkellinse oder eine Fischaugenlinse auf, und ist dazu fähig, beispielsweise einen Bereich von 140 Grad bis 220 Grad in der horizontalen Richtung abzubilden. Zusätzlich kann die optische Achse der Bildgebungseinheit 15 schräg nach unten eingestellt sein.
Insbesondere befindet sich die Bildgebungseinheit 15a beispielsweise an einem Heckendabschnitt 2e des Fahrzeugkörpers 2, und ist an einem Wandabschnitt unterhalb des Heckfensters einer Heckkofferraumklappe 2k bereitgestellt. Die Bildgebungseinheit 15a ist dazu fähig, den Bereich hinter dem Fahrzeug 1 unter den Umgebungen des Fahrzeugs 1 abzubilden. Die Bildgebungseinheit 15b ist beispielsweise an einem rechten Endabschnitt 2f des Fahrzeugkörpers 2 positioniert, und ist an einem Außenspiegel 2g an der rechten Seite bereitgestellt. Die Bildgebungseinheit 15b ist dazu fähig, den Bereich neben dem Fahrzeug unter den Umgebungen des Fahrzeugs 1 abzubilden. Die Bildgebungseinheit 15c ist an der Frontseite des Fahrzeugkörpers 2 oder dergleichen positioniert, das heißt, an einem Frontendabschnitt 2c in der Fron-Heck-Richtung des Fahrzeugs 1, oder dergleichen. Die Bildgebungseinheit 15c ist an einer Frontstoßstange, einem Kühlergrill, oder dergleichen bereitgestellt. Die Bildgebungseinheit 15c ist dazu fähig, den Bereich in Front des Fahrzeugs 1 unter den Umgebungen des Fahrzeugs 1 abzubilden. Die Bildgebungseinheit 15d ist an der linken Seite des Fahrzeugkörpers 2 oder dergleichen positioniert, d.h., an einem linken Abschnitt 2d in der Fahrzeugbreiterichtung, oder dergleichen. Die Bildgebungseinheit 15d ist an einem Außenspielgel 2g an der linken Seite bereitgestellt. Die Bildgebungseinheit 15d ist dazu fähig, den Bereich neben dem Fahrzeug 1 unter den Umgebungen des Fahrzeugs 1 abzubilden.
Zusätzlich, wie in den 1 und 2 veranschaulicht ist, ist eine fahrzeuginterne Kamera 16 (Bildgebungseinheit) in der Kabine 2a bereitgestellt. Die fahrzeuginterne Kamera 16 ist derart bereitgestellt, um dazu fähig zu sein, den Innenraum der Kabine 2a abzubilden. Im gegenwärtigen Ausführungsbeispiel ist die Fahrzeuginterne Kamera 16 derart bereitgestellt, um dazu fähig zu sein, den gesamten Innenraum der Kabine 2a (zumindest ein Objekt auf den Sitzen 2b, 2h, 2i, und 2j) von einem Punkt in Front der Sitze 2b, 2h, 2i, und 2j abzubilden. Zusätzlich ist im gegenwärtigen Ausführungsbeispiel die fahrzeuginterne Kamera 16 eine Infrarotkamera, und ist dazu fähig, den Innenraum der Kabine 2a mit einer vorgegebenen Bildrate abzubilden. Die fahrzeuginterne Kamera 16 gibt ein IR-Bild (nachstehend als ein aufgenommenes Bild bezeichnet), das erhalten wird, indem das Innere der Kabine 2a abgebildet wird, aus. Obwohl eine IR-Kamera als die fahrzeuginterne Kamera 16 im gegenwärtigen Ausführungsbeispiel verwendet wird, ist das hier offenbarte Ausführungsbeispiel nicht darauf beschränkt, insofern die fahrzeuginterne Kamera 16 eine Abbildungseinheit ist, hierzu fähig ist, den gesamten Innenraum der Kabine 2a abzubilden. Zum Beispiel kann die fahrzeuginterne Kamera 16 eine Kamera im sichtbaren Licht sein.
3 ist eine Blockdarstellung, die ein Beispiel der funktionalen Konfiguration des Fahrzeugs gemäß dem Ausführungsbeispiel veranschaulicht. Wie in 3 veranschaulicht ist, ist das Fahrzeug 1 mit einem Lenkungssystem 13, einem Bremssystem 18, einem Lenkwinkelsensor 19, einem Beschleunigersensor 20, einem Schaltsensor 21, einem Fahrzeugradsensor 22, einem fahrzeuginternen Netzwerkt 23 und einer elektronischen Steuerungseinheit (ECU) 14 ausgestattet. Die Monitorvorrichtung 11, das Lenkungssystem 13, das Bremssystem 18, der Lenkwinkelsensor 19, der Beschleunigersensor 20, der Schaltsensor 21, der Fahrzeugradsensor 22 und die ECU 14 sind elektronisch über das fahrzeuginterne Netzwerk 23, das eine Telekommunikationsleitung ist, verbunden. Ein Steuergerätenetzwerk (CAN) oder dergleichen bildet das fahrzeuginterne Netzwerkt 23.
Das Lenkungssystem 13 ist ein elektrisches Servolenkungssystem, ein Steer-by-Wire (SBW)- System, oder dergleichen. Das Lenkungssystem 13 weist ein Stellglied 13a und einen Drehmomentsensor 13b auf. Das Lenkungssystem 13 lenkt das Fahrzeugrad 3 indem dieses elektrisch durch die ECU 14 oder dergleichen gesteuert wird, das Stellglied 13a betätigt wird, und Durchführen einer Lenkkraftkompensation durch Anlegen eines Drehmoments an die Lenkungseinheit 4. Der Drehmomentsensor 13b erfasst das Drehmoment, das ein Fahrer an die Lenkeinheit 4 anlegt, und überträgt das Ergebnis der Erfassung an die ECU 14.
Das Bremssystem 18 umfasst ein Antiblockier-Bremssystem (ABS), das ein Blockieren der Bremse des Fahrzeugs 1 steuert, eine Antischlupfvorrichtung (elektronische Stabilitätssteuerung: ESC), die einen seitlichen Schlupf des Fahrzeugs 1 während einer Kurvenfahrt unterbindet, ein elektrisches Bremssystem, das die Bremse durch einen Bremskraftverstärker unterstützt, und ein Brake-by-Wire (BBW). Das Bremssystem 18 weist ein Stellglied 18a und einen Bremssensor 18b auf. Das Bremssystem 18 wird elektrisch durch die ECU 14 oder dergleichen gesteuert, und legt eine Bremskraft an das Fahrzeugrad 3 über das Stellglied 18a an. Das Bremssystem 18 erfasst beispielsweise das Blockieren der Bremse, die Leerlaufrotation des Fahrzeugrades 3, und die Indikation eines Seitenschlupfs aus der Drehzahldifferenz zwischen den linken und den rechten Fahrzeugrädern 3, oder dergleichen, und führt eine Steuerung zum Unterbinden des Blockierens der Bremse, der Leerlaufdrehung bzw. des Durchdrehens der Fahrzeugräder 3, und eines Seitenschlupfs aus. Der Bremssensor 18b ist ein Versatzsensor, der die Position des Bremspedals als ein beweglicher Abschnitt der Bremsbetätigungseinheit 6 erfasst, und überträgt das Ergebnis der Bremspedalpositionserfassung an die ECU 14.
Der Lenkwinkelsensor 19 ist ein Sensor, der das Ausmaß eines Lenkens der Lenkeinheit 4, wie etwa das Lenkrad, erfasst. Im gegenwärtigen Ausführungsbeispiel bildet ein Hall-Element, oder dergleichen, den Lenkwinkelsensor 19, der den Drehwinkel des rotierenden Teils der Lenkeinheit 4 als das Lenkausmaß erfasst, und überträgt das Ergebnis der Erfassung an die ECU 14. Der Beschleunigersensor 20 ist ein Versatzsensor, der die Position des Beschleunigerpedals als ein beweglicher Abschnitt der Beschleunigerbetätigungseinheit 5 erfasst, und überträgt das Ergebnis der Erfassung an die ECU 14.
Der Schaltsensor 21 ist ein Sensor, der die Position eines beweglichen Abschnitts (wie etwa eines Hebels, eines Arms oder eines Knopfs) der Schaltbetätigungseinheit 7 erfasst, und überträgt das Ergebnis der Erfassung an die ECU 14. Der Fahrzeugradsensor 22, der ein Hall-Element oder dergleichen ist, ist ein Sensor, der das Ausmaß einer Drehung des Fahrzeugrades 3 sowie die Anzahl von Umdrehungen des Fahrzeugrades 3 pro Zeiteinheit erfasst, und überträgt das Ergebnis der Erfassung an die ECU 14.
Ein Computer oder dergleichen bildet die ECU 14, die für eine Gesamtsteuerung des Fahrzeugs 1 mittels Hardware-Software-Kooperation verantwortlich ist. Insbesondere ist die ECU 14 mit einer Zentralverarbeitungseinheit (CPU) 14a, einem Lesespeicher (ROM) 14b, einem Schreib-Lese-Speicher (RAM) 14c, einer Anzeigesteuerungseinheit 14d, einer Sprachsteuerungseinheit 14e und einem Solid-State-Laufwerk (SSD) 14f ausgestattet. Die CPU 14a, der ROM 14b und der RAM 14c können auf der gleichen Schaltungsplatine bereitgestellt sein.
Die CPU 14a liest ein in einer nichtvolatilen Speichereinrichtung, wie etwa der ROM 14b, gespeichertes Programm, und führt verschiedene Typen von arithmetischen Verarbeitungen gemäß dem Programm aus. Zum Beispiel führt die CPU 14a eine Bildverarbeitung bezüglich auf der Anzeigeeinrichtung 8 anzuzeigenden Bilddaten, eine Verarbeitung zum Erfassen einer Sitzposition eines Insassen basierend auf einem aufgenommenen Bild, das durch die Fahrzeuginterne Kamera 16 erhalten wird, oder dergleichen aus.
Der ROM 14b speichert beispielsweise verschiedene Programme und Parameter, die zum Ausführen der Programme erforderlich sind. Der RAM 14c speichert temporär verschiedene Daten, die bei der Operation in der CPU 14a verwendet werden. Die Anzeigesteuerungseinheit 14d führt hauptsächlich beispielsweise eine Bildverarbeitung bezüglich von der Bildgebungseinheit 15 erhaltenen Bilddaten sowie Ausgabe an die CPU 14a, und eine Umwandlung von der CPU 14a erhaltenen Bilddaten in auf der Anzeigeeinrichtung 8 anzuzeigenden Bilddaten unter den arithmetischen Verarbeitungen in der ECU 14 aus. Die Sprachsteuerungseinheit 14e führt hauptsächlich eine Verarbeitung einer von der CPU 14a erhaltenen Sprache sowie eine Ausgabe an die Sprachausgabeeinrichtung 9 unter den arithmetischen Verarbeitungen in der ECU 14 aus. Die SSD 14f, die eine wiederbeschreibbare nichtvolatile Speichereinheit ist, speichert von der CPU 14a erhaltenen Daten, auch in dem Fall, in dem die ECU 14 ausgeschaltet wird.
4 ist eine Blockdarstellung, die ein Beispiel der funktionalen Konfiguration der ECU des Fahrzeugs gemäß dem gegenwärtigen Ausführungsbeispiel veranschaulicht. Wie in 4 veranschaulicht ist, ist die CPU 14 mit einer Bildbezugseinheit 400, einer Positionserfassungseinheit 401, einer Positionsbestimmungseinheit 402 und einer Steuerungseinheit 403 ausgestattet. Die ECU 14 realisiert die Funktionen der Bildbezugseinheit 400, der Positionserfassungseinheit 401, der Positionsbestimmungseinheit 402 und der Steuerungseinheit 403 durch beispielsweise einen Prozessor, wie etwa der CPU 14a, die auf einer Schaltungsplatine montiert ist, die ein in einem Speichermedium, wie etwa dem ROM 14b und der SSD 14f gespeicherten Umgebungsüberwachungsprogramms ausführt. Hardware, wie etwa eine Schaltung, kann teilweise oder vollständig die Bildbezugseinheit 400, die Positionserfassungseinheit 401, die Positionsbestimmungseinheit 402 und die Steuerungseinheit 403 bilden. Im gegenwärtigen Ausführungsbeispiel fungiert die ECU 14 als ein Beispiel der Innenraumüberwachungsvorrichtung.
Die Bildbezugseinheit 400 bezieht ein aufgenommenes Bild, das durch die fahrzeuginterne Kamera 16, die den gesamten Innenraum der Kabine 2a abbildet, erhalten wird.
Die Positionserfassungseinheit 401 bestimmt, ob ein Kopf eines Insassen in dem durch die Bildbezugseinheit 400 erhaltenen aufgenommenen Bild vorhanden ist oder nicht. In einem Fall, in dem bestimmt wird, das ein Kopf eines Insassen in dem aufgenommenen Bild vorhanden ist, erfasst die Positionserfassungseinheit 401 die Größe des Kopfs des Insassen, die Position des Kopfs des Insassen (nachstehend als Kopfposition bezeichnet), sowie die Schlüsselpunktposition, der sich von dem Kopf des Insassen unterscheidet (nachstehend als Schlüsselpunktposition bezeichnet) in dem aufgenommenen Bild. Hier ist der Schlüsselpunkt ein voreingestellter Nicht-Kopf-Punkt auf dem Körper des Insassen. Zum Beispiel sind die Schlüsselpunkte die Gelenkpositionen des Insassen (wie etwa das Genick, die Schulter, der Ellbogen, das Handgelenk, das Hüftgelenk, und das Knie) sowie der Scheitel des Insassen oder die Brust.
Als nächstes erfasst die Positionserfassungseinheit 401 die Sitzposition des Insassen in der Kabine 2a basierend auf der Größe des Kopfs des Insassen, der Kopfposition des Insassen, und der Position des Schlüsselpunktes. Als ein Ergebnis kann die Sitzposition eines Insassen in der Kabine 2a mit hoher Genauigkeit erfasst werden, auch in einem Fall, in dem die Sitzposition des Insassen mittels eines aufgenommenen Bildes erfasst wird, das durch Abbilden des Innenraums der Kabine 2a durch die fahrzeuginterne Kamera 16, die keine Abstandsmessfunktion zum Messen des Abstands zu einem Objekt aufweist, erhalten wird, weil die Positionen des Insassen in der Kabine 2a in sowohl der Front-Heck- als auch der Links-Rechts-Richtung ebenfalls erfasst werden können.
Zusätzlich besteht keine Notwendigkeit zum Installieren einer Vielzahl von Kameras in der Kabine 2a, wie etwa eine Kamera zum Abbilden eines auf dem Vordersitzt (Sitze 2b und 2h) sitzenden Insassen und eine Kamera zum Abbilden eines auf dem Rücksitz (2i und 2j) sitzenden Insassen, und es besteht keine Notwendigkeit, eine Kamera bereitzustellen, die eine Abstandsmessfunktion aufweist, wie etwa eine Time-of-Flight (TOF)- Kamera zusätzlich zu der fahrzeuginternen Kamera 16, und daher können die Größe und die Kosten des Systems zum Erfassen der Sitzposition eines Insassen in der Kabine 2a reduziert werden.
Insbesondere erfasst die Positionserfassungseinheit 401 die Sitzposition des Insassen in der Kabine 2a in der Links-Rechts-Richtung basierend auf der Kopfposition und der Schlüsselpunktposition. Als Ergebnis kann die Sitzposition des Insassen in der Kabine 2a in der Links-Rechts-Richtung mit hoher Genauigkeit erfasst werden. Im gegenwärtigen Ausführungsbeispiel, in einem Fall, in dem die Positionserfassungseinheit 401 die Sitzposition des auf dem Vordersitzt (Sitze 2b und 2h) sitzenden Insassen erfasst, erfasst die Positionserfassungseinheit 401, ob der Insasse auf der linken Seite oder der rechten Seite sitzt, als die Sitzposition in der Links-Rechts-Richtung. Zusätzlich, in einem Fall, in dem die Positionserfassungseinheit 401 die Sitzposition des auf dem Rücksitzt (Sitze 2i und 2j) sitzenden Insassen erfasst, erfasst die Positionserfassungseinheit 401, ob der Insasse auf der linken Seite, in der Mitte, oder auf der rechten Seite sitzt, als die Sitzposition in der Links-Rechts-Richtung.
Obwohl ein Beispiel, in dem die Positionserfassungseinheit 401 zwei Sitzpositionen (wie etwa die linke Seite und die rechte Seite) oder drei Sitzpositionen (wie etwa die linke Seite, die Mitte und die rechte Seite) als die Links-Rechts-Richtung-Sitzpositionen eines Insassen in der Kabine 2a im gegenwärtigen Ausführungsbeispiel beschrieben wird, ist das hier offenbarte Ausführungsbeispiel nicht darauf beschränkt, und vier oder mehr Sitzpositionen könne als die Links-Rechts-Richtung-Sitzpositionen in der Kabine 2a erfasst werden.
Zusätzlich erfasst insbesondere die Positionserfassungseinheit 401 die Front-Heck-Richtung-Sitzposition eines Insassen in der Kabine 2a basierend auf dem Vorhandensein oder Fehlen des Schlüsselpunktes sowie der Größe dessen Kopfs in einem aufgenommenen Bild. Als ein Ergebnis kann die Front-Heck-Richtung-Sitzposition eines Insassen in der Kabine 2a mit hoher Genauigkeit erfasst werden. Im gegenwärtigen Ausführungsbeispiel erfasst die Positionserfassungseinheit 401, ob ein Insasse auf dem Vordersitz (Sitze 2b und 2h) oder den Rücksitz (Sitze 2i und 2j) in der Kabine 2a sitzt, als die Front-Heck-Richtung-Sitzposition.
Obwohl ein Beispiel, in dem die Positionserfassungseinheit 401 zwei Sitzpositionen (wie etwa die Vordersitze und die Rücksitze) als die Front-Heck-Richtung-Sitzpositionen eines Insassen in der Kabine 2a erfasst, im gegenwärtigen Ausführungsbeispiel beschrieben ist, ist das hier offenbarte Ausführungsbeispiel nicht darauf beschränkt, und drei oder mehr Sitzpositionen können als die Front-Heck-Richtung-Sitzposition in der Kabine 2a erfasst werden.
Zusätzlich erfasst die Positionserfassungseinheit 401 die Front-Heck-Richtung-Position des Sitzes 2b, 2h, 2i oder 2j, auf dem ein Insasse sitzt (nachstehend als Sitzposition bezeichnet) basierend auf der Größe des Kopfs des Insassen (Insasse dessen Sitzposition erfasst wird) in einem aufgenommenen Bild. Im gegenwärtigen Ausführungsbeispiel speichert die Positionserfassungseinheit 401 vorab eine Sitzpositionstabelle in einem Speichermedium, wie etwa dem RAM 14c. Assoziiert in der Sitzpositionstabelle für jeden der Sitze 2b, 2h, 2i und 2j, sind Sitzpositionen, auf die die Sitze 2b, 2h, 2i und 2j bewegt werden können, sowie die Referenzgrößen des Kopfs auf den Sitzpositionen (nachstehen als Referenzgrößen bezeichnet).
Die Positionserfassungseinheit 401 erfasst, als die Sitzposition des Sitzes, auf dem ein Insasse sitzt, die assoziiert mit der Referenzgröße entsprechend der Kopfgröße des Insassen unter den Referenzgrößen des Sitzes, der als die Sitzposition des Insassen erfasst wird, in der Sitzpositionstabelle gespeichert ist. Als ein Ergebnis kann eine detailliertere Position des Insassen in der Kabine 2a erfasst werden, und daher kann eine Steuerungsverarbeitung bezüglich des Fahrzeugs 1 betreffend die Position des Insassen mit hoher Genauigkeit ausgeführt werden.
Ferner erfasst die Positionserfassungseinheit 401 eine Haltung des Insassen basierend auf der Größe des Kopfes des Insassen (Insasse, dessen Sitzposition erfasst wird) in einem aufgenommenen Bild. Im gegenwärtigen Ausführungsbeispiel erfasst die Positionserfassungseinheit 401, dass ein Insasse nach vorne gebeugt ist, in einem Fall, in dem die Kopfgröße des Insassen die Obergrenze der Referenzgröße des Sitzes, der als die Sitzposition des Insassen erfasst wird, in der Sitzpositionstabelle übersteigt.
Die Positionserfassungseinheit 401 erfasst, dass sich ein Insasse in einem zurückgelehnten Zustand befindet, in einem Fall, in dem die Kopfgröße des Insassen um die Untergrenze der Referenzgröße des Sitzes, der als die Sitzposition des Insassen erfasst wird, in der Sitzpositionstabelle überstiegen wird. Als ein Ergebnis kann eine detailliertere Position eines Insassen in der Kabine 2a erfasst werden, und daher kann eine Steuerungsverarbeitung bezüglich des Fahrzeugs 1 betreffend die Position des Insassen in der Kabine 2a mit hoher Genauigkeit ausgeführt werden.
In einem Fall, in dem ein durch einen Insassen, dessen Sitzposition erfasst wird, getragener Sicherheitsgurt in einem aufgenommenen Bild erfasst wird, bestimmt die Positionsbestimmungseinheit 402 die erfasste Sitzposition als die Sitzposition des Insassen, bis der Insasse aussteigt. Nachdem sich ein Insasse auf einen Sitz setzt und einen Sicherheitsgurt anlegt, ist es unwahrscheinlich, dass sich der Insasse auf einen anderen Sitz bewegt, und es ist unwahrscheinlich, dass sich die Sitzposition verändert. Auch wenn die mittels eines aufgenommenen Bildes erfasste Sitzposition des Insassen sich aufgrund einer Änderung der Haltung des Insassen oder dergleichen temporär ändert, nachdem der durch den Insassen getragene Sicherheitsgurt in dem aufgenommenen Bild erfasst wird, ist die Wahrscheinlichkeit eines Zurückkehrens zu der ursprünglichen Sitzposition hoch.
Demzufolge, in einem Fall, in dem ein durch einen Insassen dessen Sitzposition erfasst wird, getragener Sicherheitsgurt in einem aufgenommenen Bild erfasst wird, bestimmt die Positionsbestimmungseinheit 402 die Sitzposition als die Sitzposition des Insassen, bis der Insasse aussteigt. Als ein Ergebnis, in einem Fall, in dem ein durch einen Insassen, dessen Sitzposition erfasst wird, getragener Sicherheitsgurt aus einem aufgenommenen Bild erfasst wird, ist es möglich zu verhindern, dass die Sitzposition des Insassen fehlerhaft aufgrund einer temporären Änderung der Haltung des Insassen erfasst wird, bis der Insasse aussteigt.
Die Steuerungseinheit 403 führt eine Steuerungsverarbeitung bezüglich des Fahrzeugs 1 betreffend eine Position des Insassen basierend auf der durch die Positionserfassungseinheit 401 erfassten Sitzposition des Insassen aus. Im gegenwärtigen Ausführungsbeispiel führt die Steuerungseinheit 403 eine Airbag-Steuerungsverarbeitung, eine Sicherheitsgurterinnerungssteuerungsverarbeitung, und dergleichen, basierend auf einer durch die Positionserfassungseinheit 401 erfassten Sitzposition eines Insassen aus.
Als nächstes wird ein Beispiel der Verarbeitung, die das Fahrzeug 1 gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition eines Insassen zu erfassen, mit Bezugnahme auf 5 beschrieben. 5 ist eine Darstellung, die ein Beispiel der Verarbeitung veranschaulicht, die das Fahrzeug gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition eines Insassen zu erfassen. In einem in 5 veranschaulichten aufgenommenen Bild 500 ist die vertikale Achse die Y-Achse, und die horizontale Achse ist die X-Achse.
Im gegenwärtigen Ausführungsbeispiel wird das aufgenommene Bild 500 durch die Bildbezugseinheit 400 bezogen, und anschließend stellt die Positionserfassungseinheit 401 bezüglich des bezogenen aufgenommenen Bildes 500 Bestimmungsbereiche 501 bis 503 entsprechend Sitzpositionskandidaten in der Kabine 2a ein, wie in 5 veranschaulicht ist. Obwohl drei Bestimmungsbereiche 501 bezüglich des aufgenommenen Bildes 500 im gegenwärtigen Ausführungsbeispiel eingestellt sind, ist das hier offenbarte Ausführungsbeispiel nicht darauf beschränkt, und ein Bestimmungsbereich, zwei Bestimmungsbereiche oder vier oder mehr Bestimmungsbereiche können bezüglich des aufgenommenen Bildes 500 eingestellt werden.
Hier sind die Bestimmungsbereiche 501 bis 503 Bereiche zum Bestimmen, ob ein Kopf eines Insassen vorhanden ist oder nicht. Der Bestimmungsbereich 501 ist ein Bereich entsprechend des Fahrersitzes (Sitz 2b) und des Rücksitzes (rechter Sitz und Mitte) als Sitzpositionskandidaten. Der Bestimmungsbereich 502 ist ein Bereich entsprechend des Rücksitzes (rechte Seite, Mitte, und linke Seite) als ein Sitzpositionskandidat. Der Bestimmungsbereich 503 ist ein Bereich entsprechend des Beifahrersitzes (Sitz 2h) und des Rücksitzes (linke Seite und Mitte) als Sitzpositionskandidaten.
Als nächstes erfasst die Positionserfassungseinheit 401 Köpfe H1 bis H5 von Insassen in jedem der Bestimmungsbereiche 501 bis 503 durch Bildverarbeitung. Mit anderen Worten bestimmt die Positionserfassungseinheit 401, ob Köpfe H1 bis H5 von Insassen in jedem der Bestimmungsbereiche 501 bis 503 vorhanden sind oder nicht. Anschließend bestimmt die Positionsbestimmungseinheit 401, ob sich ein Insasse in die Kabine 2a hineinbegeben hat, basierend auf dem Vorhandensein oder Fehlen der Köpfe H1 bis H5 in jedem der Bestimmungsbereiche 501 bis 503.
In einem Fall, in dem die Köpfe H1 bis H5 in dem Bestimmungsbereichen 501 bis 503 vorhanden sind, erfasst die Positionserfassungseinheit 401 Kopfpositionen HP1 bis HP5 sowie die Größen der Köpfe H1 bis H5, und die Positionen von Schlüsselpunkten von Insassen KP1 bis KP12 in dem aufgenommenen Bild 500 durch Bildverarbeitung.
Im gegenwärtigen Ausführungsbeispiel erfasst die Positionserfassungseinheit 401 Kopfkoordinaten als die Kopfpositionen HP 1 bis HP5 der Köpfe H1 bis H5. Die Kopfkoordinaten sind die Koordinaten der Köpfe H1 bis H5 in einem XY-Koordinatensystem, in dem die vertikale Achse des aufgenommenen Bildes 500 die X-Achse ist, und die horizontale Achse des aufgenommenen Bildes 500 die X-Achse ist. Zusätzlich erfasst im gegenwärtigen Ausführungsbeispiel die Positionserfassungseinheit 401 Koordinaten von Positionen von Schlüsselpunkten, die die Koordinaten von Schlüsselpunkten in dem XY-Koordinatensystem sind, als die Positionen der Schlüsselpunkte KP1 bis KP12.
In einem Fall, in dem die Vielzahl von Köpfen H1 und H2 in den Bestimmungsbereichen 501 erfasst werden, wie in 5 veranschaulicht ist, wählt die Positionserfassungseinheit 401 einen Kandidaten bezüglich der Sitzposition des Insassen für jeden der Vielzahl von Köpfen H1 und H2 aus den Sitzpositionskandidaten entsprechen den Bestimmungsbereich 501 (Fahrersitz, rechter Rücksitz und mittlerer Rücksitz) basierend auf den Größen der Köpfe H1 und H2, den Kopfpositionen HP1 und HP2 und den Positionen der Schlüsselpunkte KP1 bis KP5 aus, und erfasst den ausgewählten Sitzpositionskandidaten als die Sitzposition des Insassen.
Insbesondere erfasst die Positionserfassungseinheit 401 den Fahrersitz als die Sitzposition des Insassen entsprechen den Kopf H1 unter dem Fahrersitz und dem Rücksitzt (rechte Seite und Mitte), die die Sitzpositionskandidaten sind, weil der Kopf H1 eine größere Größe aufweist als der Kopf H2, und die Positionen der Schlüsselpunkte KP1 bis KP3 des Insassen, zu dem der Kopf H1 gehört, nicht durch den Sitz 2b verborgen sind, wie in 5 veranschaulicht ist. Im gegenwärtigen Ausführungsbeispiel bestimmt die Positionserfassungseinheit 401, dass der Kopf H1 eine größere Größe aufweist als der Kopf H2, in einem Fall, in dem die Größe des Kopfes H1 die Größe des Kopfes H2 um einen vorbestimmten Schwellenwert oder mehr übersteigt. Hier ist der vorbestimmte Schwellenwert eine Kopfgrößendifferenz, bei der bestimmt wird, dass sich die Sitzpositionen in Front-Heck-Richtung voneinander unterscheiden.
Die Positionserfassungseinheit 401 erfasst die rechte Seite des Rücksitzes als die Sitzposition des Insassen entsprechend dem Kopf H2 unter dem Fahrersitz und dem Rücksitz (rechte Seite und Mitte), die Sitzpositionskandidaten sind, weil der Kopf H1 eine größere Größe aufweist als der Kopf H2, und nur die Positionen der Schlüsselpunkte KP4 und KP5 auf der linken Seite des Insassen, zu dem der Kopf H2 gehört, erfasst werden (d.h. die Schlüsselpunktposition auf der rechten Seite des Insassen, zu dem der Kopf H2 gehört, wird durch den Sitz 2b verborgen), wie in 5 veranschaulicht ist. Im gegenwärtigen Ausführungsbeispiel bestimmt die Positionserfassungseinheit 401, dass der Kopf H2 eine kleinere Größe aufweist als der Kopf H1, in einem Fall, in dem die Größe des Kopfes H2 durch die Größe des Kopfes H1 um einen vorbestimmten Schwellenwert oder mehr überstiegen wird.
Obwohl nicht veranschaulicht, auch in einem Fall, in dem die Vielzahl von Köpfen H1 und H5 in dem Bestimmungsbereich 501 erfasst werden, wählt die Positionserfassungseinheit 401 die Insassensitzpositionskandidaten der jeweiligen Köpfe von dem Fahrersitz und dem Rücksitz (Mitte und rechte Seite), die Sitzpositionskandidaten entsprechend den Bestimmungsbereich 501 sind, basierend auf den jeweiligen Kopfpositionen HP 1 und HP5 sowie Positionen von Schlüsselpunkten KP1 bis KP3 und KP9 bis KP11 der Vielzahl von Köpfen H1 und H5 aus, und wählt die ausgewählten Sitzpositionskandidaten als Sitzpositionen von Insassen aus.
In diesem Fall werden die Positionen von Schlüsselpunkten KP1 bis KP3 und KP9 bis KP11 der jeweiligen Insassen, die die Vielzahl der Köpfe H1 und H5 aufweisen, von keinem Sitz verborgen und daher ist es unmöglich, die Sitzpositionen in Links-Rechts-Richtung der Insassen mit den Köpfen H1 und H5 basierend auf den durch den Sitz verborgenen Position von Schlüsselpunkten zu erfassen. Demzufolge erfasst die Positionserfassungseinheit 401 die Sitzpositionen in der Links-Rechts-Richtung der Insassen mit den Köpfen H1 und H5 basierend auf der Positionsbeziehung zwischen der Kopfposition HP1 und den Positionen von Schlüsselpunkten KP1 bis KP3 des Insassen mit dem Kopf H1 und der Kopfposition HP5, und den Positionen von Schlüsselpunkten KP9 bis KP11 des Insassen mit dem Kopf H5.
Insbesondere ist es wahrscheinlich, dass der Insasse mit dem Kopf H1 sich rechts von dem Insassen mit dem Kopf H5 befindet, in einem Fall, in dem die Kopfposition HP1 und die Positionen von Schlüsselpunkten KP1 bis KP3 des Insassen mit dem Kopf H1 links von der Kopfposition HP5 und den Positionen von Schlüsselpunkten KP9 bis KP11 des Insassen mit dem Kopf H5 in dem aufgenommenen Bild 500 vorhanden sind. In diesem Fall erfasst die Positionserfassungseinheit 401 den Fahrersitz als die Sitzposition des Insassen mit dem Kopf H1. Was die Sitzposition des Insassen mit dem Kopf H5 betrifft, wird der sich links von dem Fahrersitz befindliche Beifahrersitz als die Sitzposition erfasst.
Zusätzlich, in einem Fall, in dem der Kopf H3 in dem Bestimmungsbereich 502 wie in 5 veranschaulicht erfasst wird, wählt die Positionserfassungseinheit 401 einen Kandidaten bezüglich der Sitzposition des Insassen mit dem Kopf H3 aus den Sitzpositionskandidaten entsprechend dem Bestimmungsbereich 502 (rechter, mittlerer und linker Rücksitz) basierend auf der Kopfposition HP3 und den Positionen von Schlüsselpunkten KP6, KP7 und KP12 aus, und erfasst den ausgewählten Sitzpositionskandidaten als eine Sitzposition des Insassen.
Insbesondere erfasst die Positionserfassungseinheit 401 die Mitte des Rücksitzes als die Sitzposition des Insassen entsprechend des Kopfs H3 auf dem Rücksitz (rechts, Mitte und links), der ein Sitzpositionskandidat ist, weil die Positionen von Schlüsselpunkten KP6, KP7 und KP12 des Insassen mit dem Kopf H3 weder von dem Sitz 2b noch dem Sitz 2h verborgen werden, wie in 5 veranschaulicht ist.
Obwohl nicht veranschaulicht, in einem Fall, in dem eine Vielzahl von Köpfen der gleichen Größe in dem Bestimmungsbereich 502 erfasst werden, wählt die Positionserfassungseinheit 401 die Insassensitzpositionskandidaten der jeweiligen Köpfe aus den Sitzpositionskandidaten entsprechen dem Bestimmungsbereich 502 (rechter, mittlerer, und linker Rücksitz) basierend auf den jeweiligen Kopfpositionen und Positionen von Schlüsselpunkten der Vielzahl von Köpfen aus, und erfasst die ausgewählte Sitzpositionskandidaten als Sitzpositionen von Insassen.
Zum Beispiel gilt in einem Fall, in dem die Kopfposition und die Schlüsselpunktposition eines Kopfs links von der Kopfposition und der Position des Schlüsselpunktes des anderen Kopfs vorhanden sind, und die Position des Schlüsselpunktes einer rechten Seite des Insassen mit dem einen Kopf durch den Sitz 2b in den aufgenommenen Bild 500 verborgen wird (d.h., in einem Fall, in dem die Schlüsselpunktposition an der rechten Seite des Insassen mit dem einen Kopf nicht erfasst wird), dass die Positionserfassungseinheit 401 die rechte Seite des Rücksitzes als die Sitzposition des Insassen mit dem einen Kopf erfasst.
Zusätzlich gilt in einem Fall, in dem beispielsweise die Kopfposition und die Schlüsselpunktposition des einen Kopfs rechts von der Kopfposition und der Schlüsselpunktposition des anderen Kopfs vorhanden sind, und die Schlüsselpunktposition an der linken Seite des Insassen mit dem einen Kopf durch den Sitz 2h in einem aufgenommenen Bild 500 verborgen wird (d.h. in einem Fall, in dem die Schlüsselpunktposition an der linken Seite des Insassen mit dem einen Kopf nicht erfasst wird), dass die Positionserfassungseinheit 401 die linke Seite des Rücksitzes als die Sitzposition des Insassen mit dem einen Kopf erfasst.
Ferner gilt in einem Fall, in dem die Vielzahl von Köpfen H4 und H5 in dem Bestimmungsbereich 503 erfasst werden, wie in 5 veranschaulicht ist, dass die Positionserfassungseinheit 401 einen Kandidaten bezüglich der Sitzposition des Insassen für jeden der Vielzahl von Köpfen H4 und H5 aus den Sitzpositionskandidaten entsprechend dem Bestimmungsbereich 503 (Beifahrersitz, mittlerer Rücksitz und rechter Rücksitz) basierend auf den Größen den Köpfe H4 und H5, den Kopfpositionen HP4 und HP5 und den Positionen von Schlüsselpunkten KP8 bis KP11 auswählt, und den ausgewählten Sitzpositionskandidaten als die Sitzposition des Insassen erfasst.
Insbesondere erfasst die Positionserfassungseinheit 401 den Beifahrersitz als die Sitzposition des Insassen entsprechen dem Kopf H5 unter dem Beifahrersitz und dem Rücksitz (Mitte und links), die Sitzpositionskandidaten sind, weil der Kopf H5 eine größere Größe aufweist als der Kopf H4 und die Positionen von Schlüsselpunkten KP9 bis KP11 des Insassen, zu dem der Kopf H5 gehört, nicht durch den Sitz 2h verborgen werden, wie in 5 veranschaulicht ist. Im gegenwärtigen Ausführungsbeispiel bestimmt die Positionserfassungseinheit 401, dass der Kopf H5 eine größere Größe aufweist als der Kopf H4, in einem Fall, in dem die Größe des Kopfes H5 die Größe des Kopfes H4 um einen vorbestimmten Stellenwert oder mehr überschreitet.
Die Positionserfassungseinheit 401 erfasst die linke Seite des Rücksitzes als die Sitzposition des Insassen entsprechend dem Kopf H4 unter dem Beifahrersitz und dem Rücksitz (linke Seite und Mitte), die Sitzpositionskandidaten sind, weil der Kopf H5 eine größere Größe aufweist als der Kopf H4, und nur die Schlüsselpunktposition KP8 auf der rechten Seite des Insassen, zu dem der Kopf H4 gehört, erfasst wird (d.h. die Schlüsselpunktposition auf der linken Seite des Insassen, zu dem der Kopf H4 gehört, wird durch den Sitz 2h verborgen), wie in 5 veranschaulicht ist. Im gegenwärtigen Ausführungsbeispiel bestimmt die Positionserfassungseinheit 401, dass der Kopf H2 eine kleinere Größe aufweist als der Kopf H1, in einem Fall, in dem die Größe des Kopfs H2 von der Größe des Kopfs H1 um einen vorbestimmten Schwellenwert oder überstiegen wird.
Obwohl nicht veranschaulicht, auch in einem Fall, in dem die Vielzahl von Köpfen H1 und H5 der gleichen Größe in dem Bestimmungsbereich 503 erfasst werden, wählt die Positionserfassungseinheit 401 die Insassensitzpositionskandidaten der jeweiligen Köpfe aus dem Beifahrersitz und dem Rücksitz (Mitte und linke Seite), die Sitzpositionskandidaten entsprechend dem Bestimmungsbereich 503 sind, basierend auf den jeweiligen Kopfpositionen HP1 und HP5 sowie Positionen von Schlüsselpunkten KP1 bis KP3 und KP9 bis KP11 der Vielzahl von Köpfen H1 und H5 aus, und erfasst die ausgewählten Sitzpositionskandidaten als Sitzpositionen von Insassen.
In diesem Fall werden die Positionen von Schlüsselpunkten KP1 bis KP3 und KP9 bis KP11 der jeweiligen Insassen mit der Vielzahl von Köpfen H1 und H5 von keinem Sitz verborgen, und daher ist es unmöglich die Sitzpositionen in Links-Rechts-Richtung der Insassen mit den Köpfen H1 und H5 basierend auf einer Position eines Schlüsselpunktes, der durch den Sitz verborgen wird, zu erfassen. Demzufolge erfasst die Positionserfassungseinheit 401 die Sitzpositionen in Links-Rechts-Richtung der Insassen mit den Köpfen H1 und H5 basierend auf der Positionsbeziehung zwischen der Kopfposition HP1 und den Positionen von Schlüsselpunkten KP1 bis KP3 des Insassen mit dem Kopf H1 und der Kopfposition HP5 sowie den Positionen von Schlüsselpunkten KP9 bis KP11 des Insassen mit dem Kopf H5.
Insbesondere ist es wahrscheinlich, dass der Insasse mit dem Kopf H5 links von dem Insassen mit dem Kopf H1 positioniert ist, in einem Fall, in dem die Kopfposition HP5 und die Positionen von Schlüsselpunkten KP9 bis KP11 des Insassen mit dem Kopf H5 rechts von der Kopfposition HP1 und den Positionen von Schlüsselpunkten KP 1 bis KP3 des Insassen mit dem Kopf H1 in dem aufgenommene Bild 500 vorhanden sind. In diesem Fall erfasst die Positionserfassungseinheit 401 den Beifahrersitz als die Sitzposition des Insassen mit dem Kopf H5. Was die Sitzposition des Insassen mit dem Kopf H5 betrifft, wird der sich rechts von dem Beifahrersitz befindliche Beifahrersitz als die Sitzposition erfasst, wie vorstehend beschrieben ist.
Als nächstes wird ein Beispiel des Ablaufs der Verarbeitung, die das Fahrzeug 1 gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition eines Insassen zu erfassen ausführt, mit Bezugnahme auf 6 beschrieben. 6 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Verarbeitung veranschaulicht, wie das Fahrzeug gemäß dem gegenwärtigen Ausführungsbeispiel ausführt, um eine Sitzposition eines Insassen zu erfassen.
Wenn ein aufgenommenes Bild durch die Bildbezugseinheit 400 bezogen wird, bestimmt die Positionserfassungseinheit 401, ob ein Kopf eines Insassen in dem bezogenen aufgenommenen Bild enthalten ist oder nicht (Schritt S601). In einem Fall, in dem ein Kopf eines Insassen nicht in dem bezogenen aufgenommenen Bild vorhanden ist (Schritt S601: Nein), wartet die Positionserfassungseinheit 401, bis die Bildbezugseinheit 400 ein neues IR-Bild bezieht.
In einem Fall, in dem ein Kopf eines Insassen in dem aufgenommenen Bild vorhanden ist (Schritt S601: Ja), erfasst die Positionserfassungseinheit 401 die Größe und die Position des Kopfs des Insassen sowie die Schlüsselpunktposition in dem aufgenommenen Bild (Schritt S602).
Anschließend erfasst die Positionserfassungseinheit 401 die Sitzposition in Links-Rechts-Richtung des Insassen in der Kabine 2a basierend auf der Kopfposition und der Schlüsselpunktposition in dem aufgenommenen Bild (Schritt S603). Weiterhin erfasst die Positionserfassungseinheit 401 die Sitzposition in Front-Heck-Richtung des Insassen in der Kabine 2a basierend auf der Größe des Kopfes und dem Vorhandensein oder Fehlen des Schlüsselpunktes in dem aufgenommenen Bild (Schritt S604).
Wenn die Sitzposition des Insassen durch die Positionserfassungseinheit 401 erfasst wird, erfasst die Positionsbestimmungseinheit 402 einen durch den Insassen, dessen Sitzposition erfasst wurde, getragenen Sicherheitsgurt aus dem aufgenommenen Bild (Schritt S605).
In einem Fall, in dem der durch den Insassen, dessen Sitzposition erfasst wurde, getragene Sicherheitsgurt nicht erfasst wird (Schritt S605: Nein), bestimmt die Positionsbestimmungseinheit 402, dass es wahrscheinlich ist, dass die Sitzposition des Insassen sich ändert, und kehrt zu Schritt S601 zurück, ohne die Sitzposition des Insassen zu bestimmen.
In einem Fall, in dem der durch den Insassen, dessen Sitzposition erfasst wurde, getragene Sicherheitsgurt erfasst wird (Schritt S605: Ja), bestimmt die Positionsbestimmungseinheit 402, ob der Insasse ausgestiegen ist oder nicht, unter Verwendung des aufgenommenen Bildes (Schritt S606).
In einem Fall, in dem bestimmt wird, dass der Insasse nicht ausgestiegen ist (Schritt S606: Nein), bestimmt die Positionsbestimmungseinheit 402 die erfasste Sitzposition des Insassen als die Sitzposition des Insassen (Schritt S607), und kehrt zu Schritt S606 zurück. Hier, in einem Fall, in dem die Sitzposition des Insassen bereits bestimmt wurde, behält die Positionsbestimmungseinheit 402 die Bestimmung der Sitzposition des Insassen bei.
In einem Fall, in dem bestimmt wird, dass der Insasse ausgestiegen ist (Schritt S606: Ja), setzt die Positionsbestimmungseinheit 402 das Erfassungsergebnis der Sitzposition des Insassen zurück, und beendet die Erfassungsverarbeitung der Sitzposition des Insassen.
Wie vorstehend beschrieben, gemäß dem Fahrzeug 1 des gegenwärtigen Ausführungsbeispiels, kann die Sitzposition eines Insassen in der Kabine 2a mit hoher Genauigkeit erfasst werden, auch in einem Fall, in dem die Sitzposition des Insassen mittels eines aufgenommenen Bildes erfasst wird, das durch Abbilden des Innenraums der Kabine 2a durch eine fahrzeuginterne Kamera 16 erhalten wird, die keine Abstandsmessfunktion zum Messen des Abstandes zu einem Objekt aufweist, weil die Positionen des Insassen in der Kabine 2a in sowohl der Front-Heck- als auch der Links-Rechts-Richtung ebenfalls erfasst werden können.
Zusätzlich, gemäß dem Fahrzeug 1 des gegenwärtigen Ausführungsbeispiels, besteht keine Notwendigkeit, in der Kabine 2a eine Vielzahl von Kamers zu installieren, wie etwa eine Kamera zum Abbilden eines auf dem Vordersitzt (Sitze 2b und 2h) sitzenden Insassen und eine Kamera zum Abbilden eines auf dem Rücksitz (2i und 2j) sitzenden Insassen, zu installieren, und es besteht keine Notwendigkeit, eine Kamera bereitzustellen, die eine Abstandsmessfunktion aufweist, wie etwa eine Time-of-Flight (TOF)- Kamera zusätzlich zu der fahrzeuginternen Kamera 16, und daher können die Größe und die Kosten des Systems zum Erfassen der Sitzposition eines Insassen in der Kabine 2a reduziert werden.
Die Prinzipien, ein bevorzugtes Ausführungsbeispiel und eine Methode eines Betriebs der vorliegenden Erfindung wurden in der vorstehenden Spezifikation beschrieben. Jedoch ist die zu schützende Erfindung nicht auf die offenbarten bestimmten Ausführungsbeispiele einzuschränken. Ferner sind die hier beschriebene Ausführungsbeispiele vielmehr als veranschaulichend als einschränkend zu betrachten. Variationen und Änderungen können durch Andere durchgeführt werden, und Äquivalente angewendet werden, ohne von dem Geist der vorliegenden Erfindung abzuweichen. Demzufolge ist es ausdrücklich gewollt, dass all solche Variationen, Änderung und Äquivalente, die innerhalb des Geistes und Umfang der vorliegenden Erfindung liegen, der durch die Patentansprüche definiert ist, dadurch umfasst sind.
Eine Innenraumüberwachungsvorrichtung (14) umfasst: eine Bildbezugseinheit (400), die ein aufgenommenes Bild bezieht, das durch Abbilden eines Innenraums einer Kabine (2a) eines Fahrzeugs (1) durch eine Bildgebungseinheit (15) erhalten wird; und eine Positionserfassungseinheit (401), die bestimmt, ob ein Kopf eines Insassen in dem aufgenommenen Bild vorhanden ist oder nicht, die Größe des Kopfes, die Kopfposition des Kopfes, und eine Schlüsselpunktposition eines sich von dem Kopf des Insassen unterscheidenden Schlüsselpunkts in dem aufgenommenen Bild, in einem Fall, in dem der Kopf in dem aufgenommenen Bild vorhanden ist, erfasst, und eine Sitzposition des Insassen in der Kabine basierend auf der Größe des Kopfes, der Kopfposition und der Schlüsselpunktposition erfasst.

Claims

Innenraumüberwachungsvorrichtung (14), mit: einer Bildbezugseinheit (400), die ein aufgenommenes Bild bezieht, das durch Abbilden eines Innenraums einer Kabine (2a) eines Fahrzeugs (1) durch eine Bildgebungseinheit (15) erhalten wird; und einer Positionserfassungseinheit (401), die bestimmt, ob ein Kopf eines Insassen in dem aufgenommenen Bild enthalten ist oder nicht, eine Größe des Kopfes, eine Kopfposition des Kopfes und eine Schlüsselpunktposition eines sich von dem Kopf des Insassen in dem aufgenommenen Bild unterscheidenden Schlüsselpunktes in einem Fall, in dem der Kopf in dem aufgenommenen Bild enthalten ist, erfasst, und eine Sitzposition des Insassen in der Kabine basierend auf der Größe des Kopfes, der Kopfposition und der Schlüsselpunktposition erfasst.
Innenraumüberwachungsvorrichtung gemäß Anspruch 1, wobei die Positionserfassungseinheit bezüglich des aufgenommenen Bildes einen Bestimmungsbereich (501 bis 503) entsprechend Kandidaten für die Sitzposition einstellt, bestimmt, ob der Kopf in dem Bestimmungsbereich enthalten ist oder nicht, und in einem Fall, in dem der Kopf in dem Bestimmungsbereich enthalten ist, einen Kandidaten für die Sitzposition des Insassen mit dem Kopf aus den Kandidaten für die Sitzposition entsprechend dem Bestimmungsbereich basierend auf der Größe des Kopfes, der Kopfposition und der Schlüsselpunktposition auswählt, und den ausgewählten Kandidaten für die Sitzposition als die Sitzposition erfasst.
Innenraumüberwachungsvorrichtung gemäß Anspruch 1 oder 2 wobei, die Positionserfassungseinheit die Sitzposition des Insassen in der Kabine in einer Links-Rechts-Richtung basierend auf der Kopfposition und der Schlüsselpunktposition erfasst.
Innenraumüberwachungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Positionserfassungseinheit die Sitzposition des Insassen in der Kabine in einer Front-Heck-Richtung basierend auf der Größe des Kopfes und dem Vorhandensein oder Fehlen des Schlüsselpunktes erfasst.
Innenraumüberwachungsvorrichtung gemäß einem der Ansprüche 1 bis 4, weiterhin mit einer Bestimmungseinheit (402), die, in einem Fall, in dem ein durch den Insassen, dessen Sitzposition erfasst wurde, getragener Sicherheitsgurt in dem aufgenommenen Bild erfasst wird, bestimmen der erfassten Sitzposition als die Sitzposition des Insassen, bis der Insasse aussteigt.
Innenraumüberwachungsvorrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Positionserfassungseinheit weiterhin eine Sitzposition in Front-Heck-Richtung eines Sitzes, auf dem der Insasse sitzt, basierend auf der Größe des Kopfes des Insassen, dessen Sitzposition erfasst wurde, erfasst.
Innenraumüberwachungsvorrichtung gemäß einem der Ansprüche 1 bis 6, wobei die Positionserfassungseinheit weiterhin eine Haltung des Insassen basierend auf der Größe des Kopfes des Insassen, dessen Sitzposition erfasst wurde, erfasst.