DE112021007146T5

DE112021007146T5 - Körperbaubestimmungsvorrichtung und Körperbaubestimmungsverfahren

Info

Publication number: DE112021007146T5
Application number: DE112021007146.7T
Authority: DE
Inventors: Naoya Baba
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-02-25
Filing date: 2021-02-25
Publication date: 2024-01-11
Also published as: WO2022180706A1; JPWO2022180706A1; JP7374373B2

Abstract

Es werden bereitgestellt eine Skeletterkennungseinheit (12) zum Erkennen eines Skelettkoordinatenpunktes eines Insassen, der einen Körperteil des Insassen angibt, auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen eines Fahrzeugs (100) unter Verwendung einer Bildaufnahmevorrichtung (2) erhalten wird, eine Skelettpunkt-Auswahleinheit (14), um in einem Fall, in dem von der Skeletterkennungseinheit (12) erkannte Skelettkoordinatenpunkte des Insassen gepaarte Abschnitte angeben, einen Körperbaubestimmungs-Skelettkoordinatenpunkt aus den von der Skeletterkennungseinheit (12) erkannten Skelettkoordinatenpunkten des Insassen auszuwählen, indem der Skelettkoordinatenpunkt verwendet wird, der näher an der Bildaufnahmevorrichtung (2) liegt, eine Merkmalsbetrag-Berechnungseinheit (15) zum Berechnen eines Körperbaubestimmungs-Merkmalsbetrags auf der Grundlage von Informationen des von der Skelettpunkt-Auswahleinheit (14) ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkts, und eine Körperbaubestimmungseinheit (16) zum Bestimmen eines Körperbaus des Insassen auf der Grundlage des von der Merkmalsbetrag-Berechnungseinheit (15) berechneten Körperbaubestimmungs-Merkmalsbetrags.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Körperbaubestimmungsvorrichtung und ein Körperbaubestimmungsverfahren für einen Insassen.
HINTERGRUND
Konventionell ist ein Verfahren zur Bestimmung des Körperbaus eines Insassen eines Fahrzeugs bekannt, um einen Airbag zu steuern, einen Sicherheitsgurt zu kontrollieren, ein im Fahrzeug zurückgelassenes Kleinkind zu erkennen oder ähnliches im Fahrzeug.
Beispielsweise offenbart die Patentliteratur 1 eine Insassenerkennungsvorrichtung, die die Schultern und die Taille eines Insassen als den Rumpf des Insassen festlegt, das Volumen des Rumpfs des Insassen auf der Grundlage einer den Rumpf des Insassen als Fläche angebenden Rumpfoberfläche berechnet und den Körperbau des Insassen auf der Grundlage des berechneten Volumens des Rumpfs des Insassen bestimmt. Die Insassenerkennungsvorrichtung bestimmt die Rumpffläche des Insassen auf der Grundlage der durch die Analyse aufgenommener Bilder geschätzten Positionen von Gelenkpunkten der Schultern und der Taille des Insassen.
ZITATENLISTE
PATENTLITERATUR
Patentliteratur 1: JP 2018-96946 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHE AUFGABENSTELLUNG
Bei der in der Patentliteratur 1 offengelegten konventionellen Technik gibt es in Abhängigkeit von der Installationsposition einer Bildaufnahmevorrichtung, dem Infrarot-Emissionsbereich in einem Fall, in dem die Bildaufnahmevorrichtung eine Infrarotkamera ist, oder ähnlichem, einen Fall, in dem der Gelenkpunkt der Schulter eines Insassen, der weiter von der Bildaufnahmevorrichtung entfernt ist, oder der Gelenkpunkt der Taille des Insassen, der weiter von der Bildaufnahmevorrichtung entfernt ist, nicht erkannt werden kann. In einem Fall, in dem keiner der Gelenkpunkte der Schultern des Insassen oder keiner der Gelenkpunkte der Taille des Insassen erkannt werden kann, kann die Rumpfoberfläche des Insassen mit der herkömmlichen Technik nicht bestimmt werden. Das heißt, die herkömmliche Technik hat das Problem, dass der Körperbau des Insassen nicht bestimmt werden kann, weil keiner der Gelenkpunkte der Schultern des Insassen oder keiner der Gelenkpunkte der Taille des Insassen erkannt werden kann.
Die vorliegende Offenbarung wurde gemacht, um die obigen Probleme zu lösen, und eine Aufgabe der vorliegenden Offenbarung ist es, eine Körperbaubestimmungsvorrichtung vorzusehen, die die Genauigkeit der Körperbaubestimmung im Vergleich zu einer herkömmlichen Technik verbessert, bei der die Körperbaubestimmung durch Erkennen von Gelenkpunkten der Schultern und der Hüften eines Insassen durchgeführt wird.
LÖSUNG DER AUFGABENSTELLUNG
Eine Körperbaubestimmungsvorrichtung gemäß der vorliegenden Offenbarung, umfassend eine Skeletterkennungseinheit zum Erkennen eines Skelettkoordinatenpunktes eines Insassen, der einen Körperteil des Insassen angibt, auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen eines Fahrzeugs unter Verwendung einer Bildaufnahmevorrichtung erhalten wird, eine Skelettpunkt-Auswahleinheit zum Auswählen, in einem Fall, in dem Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit erkannt wurden, gepaarte Körperteile anzeigen, eines Körperbaubestimmungs-Skelettkoordinatenpunkts aus den Skelettkoordinatenpunkten des Insassen, die von der Skeletterkennungseinheit erkannt wurden, indem der Skelettkoordinatenpunkt näher an der Bildaufnahmevorrichtung verwendet wird; eine Merkmalsbetrag-Berechnungseinheit zum Berechnen eines Körperbaubestimmungs-Merkmalsbetrags auf der Grundlage von Informationen des von der Skelettpunkt-Auswahleinheit ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkts; und eine Körperbaubestimmungseinheit zum Bestimmen eines Körperbaus des Insassen auf der Grundlage des von der Merkmalsbetrag-Berechnungseinheit berechneten Körperbaubestimmungs-Merkmalsbetrags.
VORTEILHAFTE EFFEKTE DER ERFINDUNG
Gemäß der vorliegenden Offenbarung kann die Körperbaubestimmungsvorrichtung die Genauigkeit der Körperbaubestimmung im Vergleich zu einer herkömmlichen Technik verbessern, bei der die Körperbaubestimmung durch Erkennen von Gelenkpunkten der Schultern und der Taille des Insassen durchgeführt wird.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Diagramm, das ein Konfigurationsbeispiel einer Körperbaubestimmungsvorrichtung gemäß einer ersten Ausführungsform zeigt.
2 ist ein Diagramm zur Erläuterung eines Bildes von Gelenkpunkten, die in der ersten Ausführungsform definiert sind.
3 ist ein Diagramm zur Erläuterung eines Beispiels von Skelettkoordinatenpunkten, die von einer Skeletterkennungseinheit in der ersten Ausführungsform erkannt werden.

4 ist ein Flussdiagramm zur Erläuterung eines Betriebs der Körperbaubestimmungsvorrichtung gemäß der ersten Ausführungsform.
5A und 5B sind Diagramme zur Erläuterung eines Beispiels eines aufgenommenen Bildes in einem Fall, in dem ein Skelettkoordinatenpunkt, der weiter von einer Bildaufnahmevorrichtung entfernt ist, nicht erkannt wird.
6A und 6B sind Diagramme, die ein Beispiel für eine Hardwarekonfiguration der Körperbaubestimmungsvorrichtung gemäß der ersten Ausführungsform veranschaulichen.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Figuren im Detail beschrieben.
Erste Ausführungsform
1 ist ein Diagramm, das ein Konfigurationsbeispiel einer Körperbaubestimmungsvorrichtung 1 gemäß einer ersten Ausführungsform zeigt.
In der ersten Ausführungsform wird angenommen, dass die Körperbaubestimmungsvorrichtung 1 an einem Fahrzeug 100 angebracht ist.
Die Körperbaubestimmungsvorrichtung 1 ist mit einer Bildaufnahmevorrichtung 2, einer Steuervorrichtung für den Airbag 3, einer Benachrichtigungsvorrichtung 4, einer Anzeigevorrichtung 5 und einer Steuervorrichtung für den Sicherheitsgurt 6 verbunden. Die Bildaufnahmevorrichtung 2, die Airbag-Steuervorrichtung 3, die Benachrichtigungsvorrichtung 4, die Anzeigevorrichtung 5 und die Steuervorrichtung 6 für den Sicherheitsgurt sind am Fahrzeug 100 angebracht.
Bei der Bildaufnahmevorrichtung 2 handelt es sich beispielsweise um eine Nahinfrarotkamera oder eine Kamera für sichtbares Licht, die Insassen des Fahrzeugs 100 aufnimmt. Beispielsweise kann die Bildaufnahmevorrichtung 2 gemeinsam mit einer Bildaufnahmevorrichtung verwendet werden, die ein sogenanntes „Fahrerüberwachungssystem“ umfasst, das am Fahrzeug angebracht ist, um den Zustand eines Fahrers im Fahrzeug 100 zu überwachen.
Die Bildaufnahmevorrichtung 2 ist so installiert, dass sie mindestens einen Bereich im Fahrzeug 100 aufnehmen kann, der einen Bereich umfasst, in dem sich der Oberkörper des Insassen des Fahrzeugs 100 aufhalten soll. Der Bereich, in dem sich der Oberkörper des Insassen im Fahrzeug 100 befinden soll, ist beispielsweise ein Bereich, der dem Raum nahe der Vorderseite einer Rückenlehne und einer Kopfstütze eines Sitzes zugehört.
In der ersten Ausführungsform wird beispielsweise angenommen, dass die Bildaufnahmevorrichtung 2 in der Mitte einer Instrumententafel (im Folgenden als „Instrumententafel“ bezeichnet) des Fahrzeugs installiert ist und Vordersitze einschließlich eines Fahrersitzes und eines Beifahrersitzes von der Mitte der Instrumententafel aus aufnimmt. Das heißt, in der ersten Ausführungsform nimmt die Bildaufnahmevorrichtung 2 den Fahrer und den Insassen auf dem Beifahrersitz (im Folgenden als „Beifahrer“ bezeichnet) von der Mitte der Instrumententafel aus auf.
Die Körperbaubestimmungsvorrichtung 1 bestimmt den Körperbau des Insassen des Fahrzeugs 100 auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen des Fahrzeugs 100 mit der Bildaufnahmevorrichtung 2 gewonnen wurde. In der ersten Ausführungsform umfassen die Insassen des Fahrzeugs 100 einen Fahrer und einen Beifahrersitz-Insassen. Das heißt, in der ersten Ausführungsform bestimmt die Körperbaubestimmungsvorrichtung 1 die Körpergrößen des Fahrers und des Insassen des Beifahrersitzes auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Fahrers und des Insassen des Beifahrersitzes unter Verwendung der Bildaufnahmevorrichtung 2 erhalten wurde.
In der ersten Ausführungsform wird der von der Körperbaubestimmungsvorrichtung 1 ermittelte Körperbau als „Kleinkind“, „klein“, „Standard“ und „groß“ angenommen. Es ist zu beachten, dass es sich hierbei lediglich um ein Beispiel handelt und die Definition des von der Körperbaubestimmungsvorrichtung 1 bestimmten Körperbaus entsprechend eingestellt werden kann.
Bei der Bestimmung des Körperbaus des Insassen des Fahrzeugs 100 gibt die Körperbaubestimmungsvorrichtung 1 ein Ergebnis der Bestimmung des Körperbaus des Insassen des Fahrzeugs 100 (im Folgenden als „Körperbaubestimmungsergebnis“ bezeichnet) an die Airbag-Steuervorrichtung 3, die Benachrichtigungsvorrichtung 4, die Anzeigevorrichtung 5 und die Sicherheitsgurt-Steuervorrichtung 6 aus.
Details der Körperbaubestimmungsvorrichtung 1 werden später beschrieben.
Die Airbag-Steuervorrichtung 3 ist eine Steuereinheit (ECU) für ein Airbag-System und steuert einen Airbag auf der Grundlage des von der Körperbaubestimmungsvorrichtung 1 ausgegebenen Körperbaubestimmungsergebnisses.
Die Benachrichtigungsvorrichtung 4 ist beispielsweise ein Gurtwarner und gibt auf der Basis des von der Körperbaubestimmungsvorrichtung 1 ausgegebenen Körperbestimmungsergebnisses einen Alarm unter Berücksichtigung der Körperform des Insassen aus.
Die Anzeigevorrichtung 5 ist beispielsweise in einem Zentralcluster oder einem Messgerätetafel vorgesehen und führt eine Anzeige auf Basis des von der Körperbaubestimmungsvorrichtung 1 ausgegebenen Körperbestimmungsergebnisses durch. Beispielsweise zeigt die Vorrichtung 5 ein Symbol an, das angibt, dass sich ein Kind im Fahrzeug befindet, wenn sich ein „Kleinkind“ unter den Insassen befindet.
Die Steuervorrichtung 6 für den Sicherheitsgurt stellt die Rückhaltekraft des Sicherheitsgurtes in Abhängigkeit vom Körperbau des Insassen auf der Grundlage des von der Körperbaubestimmungsvorrichtung 1 ausgegebenen Körperbestimmungsergebnisses ein.
Die Körperbaubestimmungsvorrichtung 1 umfasst eine Aufnahmebild-Erfassungseinheit 11, eine Skelett-Erfassungseinheit 12, eine Sitzpositions-Bestimmungseinheit 13, eine Skelettpunkt-Auswahleinheit 14, eine Merkmalsbetrag-Berechnungseinheit 15, eine Körperbaubestimmungseinheit 16 und eine Körperbaubestimmungsergebnis-Ausgabeeinheit 17.
Die Aufnahmebild-Erfassungseinheit 11 erfasst ein aufgenommenes Bild, das durch Aufnehmen eines Insassen des Fahrzeugs unter Verwendung der Bildaufnahmevorrichtung 2 erhalten wurde.
Die Aufnahmebild-Erfassungseinheit 11 gibt das aufgenommene Bild an die Skeletterkennungseinheit 12 aus.
Es ist zu beachten, dass die Körperbaubestimmungsvorrichtung 1 die Aufnahmebild-Erfassungseinheit 11 nicht umfassen muss und die Skeletterkennungseinheit 12, die später beschrieben wird, die Funktion der Aufnahmebild-Erfassungseinheit 11 übernehmen kann.
Die Skeletterkennungseinheit 12 erkennt Skelettkoordinatenpunkte des Insassen, die Körperteile des Insassen angeben, auf der Grundlage des aufgenommenen Bildes, das von der Bilderfassungseinheit 11 aufgenommen wurde. Genauer gesagt erkennt die Skeletterkennungseinheit 12 Skelettkoordinatenpunkte des Insassen, die Gelenkpunkte angeben, die für die einzelnen Körperteile des Insassen auf der Grundlage des aufgenommenen Bildes, das von der Aufnahmebild-Erfassungseinheit 11 erfasst wurde, bestimmt wurden.
Insbesondere erkennt die Skeletterkennungseinheit 12 die Koordinaten eines Skelettkoordinatenpunktes des Insassen und erkennt, welchen Abschnitt des Körpers des Insassen der Skelettkoordinatenpunkt angibt.
Der Skelettkoordinatenpunkt ist beispielsweise ein Punkt in dem aufgenommenen Bild und wird durch Koordinaten in dem aufgenommenen Bild dargestellt.
Hier wird die Definition der Gelenkpunkte in der ersten Ausführungsform beschrieben.
2 ist ein Diagramm zur Erläuterung des Konzepts der in der ersten Ausführungsform definierten Gelenkpunkte.
Wie in 2 dargestellt, werden in der ersten Ausführungsform als Gelenkpunkte für die einzelnen Abschnitte des menschlichen Körpers ein Nasengelenkpunkt (in 2 mit „0“ angegeben), ein Halsgelenkpunkt (in 2 mit „1“ angegeben), Schultergelenkpunkte (in 2 mit „2“ und „5“ angegeben), Ellbogengelenkpunkte 2), Ellbogengelenkspunkte (angegeben durch „3“ und „6“ in 2), Hüftgelenkspunkte (angegeben durch „8“ und „11“ in 2), Handgelenkspunkte (angegeben durch „4“ und „7“ in 2), Kniegelenkspunkte (angegeben durch „9“ und „12“ in 2) und Knöchelgelenkspunkte (angegeben durch „10“ und „13“ in 2) definiert werden.
Wie in 2 dargestellt, werden für gepaarte Körperabschnitte, insbesondere für eine Schulter, einen Ellbogen, eine Taille, ein Handgelenk, ein Knie und einen Knöchel, zwei linke und rechte Gelenkpunkte als den Körperteilen zugehörige Gelenkpunkte definiert.
Die Skeletterkennungseinheit 12 erkennt den Skelettkoordinatenpunkt des Insassen, indem sie Informationen über den Skelettkoordinatenpunkt des Insassen erhält, indem sie beispielsweise ein erlerntes Modell des maschinellen Lernens verwendet (nachfolgend als „erstes Maschinenlernmodell“ bezeichnet).
Das erste Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingabe ein aufgenommenes Bild empfängt, das durch Aufnehmen des Insassen des Fahrzeugs 100 erhalten wurde, und Informationen ausgibt, die einen Skelettkoordinatenpunkt in dem aufgenommenen Bild angeben. Die Information, die den Skelettkoordinatenpunkt angibt, umfasst die Koordinaten des Skelettkoordinatenpunktes in dem aufgenommenen Bild und Informationen, die bestimmen können, welchen Abschnitt des Körpers der Skelettkoordinatenpunkt angibt.
Das erste Maschinenlernmodell ist so aufgebaut, dass es ein Ergebnis für eine Eingabe in Übereinstimmung mit Trainingsdaten schätzt, die im Voraus auf der Grundlage einer Kombination aus einer Eingabe und Lehrer-Label-Daten erzeugt wurden, d.h. durch sogenanntes überwachtes Lernen. Hier führt das erste Maschinenlernmodell ein Lernen durch, um Informationen über einen Skelettkoordinatenpunkt in einem aufgenommenen Bild in Übereinstimmung mit Trainingsdaten auszugeben, bei denen die Eingabe das aufgenommene Bild und das Lehrerlabel die Informationen über den Skelettkoordinatenpunkt ist.
Das erste Maschinenlernmodell wird im Voraus an einem Ort gespeichert, auf den die Skeletterkennungseinheit 12 zugreifen kann. Es ist zu beachten, dass das erste Maschinenlernmodell ein Lernen durchführt, um Informationen über eine Vielzahl von Skelettkoordinatenpunkten in dem aufgenommenen Bild auszugeben.
3 ist ein Diagramm zur Erläuterung eines Beispiels von Skelettkoordinatenpunkten, die von der Skeletterkennungseinheit 12 in der ersten Ausführungsform erkannt werden. Es ist zu beachten, dass es sich bei dem Fahrzeug 100 um ein rechtsgelenktes Fahrzeug handelt. In dem Fahrzeug 100 wird davon ausgegangen, dass der Fahrer auf einem Fahrersitz und der Insasse auf einem Beifahrersitz Platz genommen hat. In diesem Fall nimmt die Bildaufnahmevorrichtung 2 den Fahrer und den Insassen des Beifahrersitzes auf.
In 3 bezeichnet 200 ein von der Bildaufnahmevorrichtung 2 aufgenommenes Bild, 201 bezeichnet den Fahrersitz und 201a den Fahrer. Außerdem bezeichnet 202 in 3 den Beifahrersitz und 202a den Insassen des Beifahrersitzes. Ferner bezeichnet 2001 in 3 ein Bildaufnahmezentrum in dem aufgenommenen Bild 200, mit anderen Worten die optische Achse der Bildaufnahmevorrichtung 2.
In 3 bezeichnen 601, 602, 603a, 603b, 604a, 604b, 605a, 605b, 606, 607, 608a, 608b, 609a, 609b, 610a und 610b Skelettkoordinatenpunkte in dem aufgenommenen Bild.

601 bezeichnet einen Skelettkoordinatenpunkt, der die Nase des Fahrers 201a angibt.
602 bezeichnet einen Skelettkoordinatenpunkt, der den Hals des Fahrers 201a angibt.
603a bezeichnet einen Skelettkoordinatenpunkt, der die rechte Schulter des Fahrers 201a angibt.
603b bezeichnet einen Skelettkoordinatenpunkt, der die linke Schulter des Fahrers 201a angibt.
604a bezeichnet einen Skelettkoordinatenpunkt, der den rechten Ellbogen des Fahrers 201a angibt.
604b bezeichnet einen Skelettkoordinatenpunkt, der den linken Ellbogen des Fahrers 201a angibt.
605a bezeichnet einen Skelettkoordinatenpunkt, der die rechte Taille des Fahrers 201a angibt.
605b bezeichnet einen Skelettkoordinatenpunkt, der die linke Taille des Fahrers 201a angibt.
606 bezeichnet einen Skelettkoordinatenpunkt, der die Nase des Insassen 202a auf dem Beifahrersitz angibt.
607 bezeichnet einen Skelettkoordinatenpunkt, der den Hals des Insassen des Beifahrersitzes 202a angibt.
608a bezeichnet einen Skelettkoordinatenpunkt, der die rechte Schulter des Insassen des Beifahrersitzes 202a angibt.
608b bezeichnet einen Skelettkoordinatenpunkt, der die linke Schulter des Insassen des Beifahrersitzes 202a angibt.
609a bezeichnet einen Skelettkoordinatenpunkt, der den rechten Ellbogen des Insassen 202a auf dem Beifahrersitz angibt.
609b bezeichnet einen Skelettkoordinatenpunkt, der den linken Ellbogen des Insassen des Beifahrersitzes 202a angibt.
610a bezeichnet einen Skelettkoordinatenpunkt, der die rechte Taille des Insassen 202a auf dem Beifahrersitz angibt.
610b bezeichnet einen Skelettkoordinatenpunkt, der die linke Taille des Insassen des Beifahrersitzes 202a angibt.

Die Skeletterkennungseinheit 12 erkennt die Skelettkoordinatenpunkte 601 bis 610b. Obwohl der Einfachheit halber nicht dargestellt, erkennt die Skeletterkennungseinheit 12 auch einen Skelettkoordinatenpunkt, der das linke Handgelenk des Fahrers 201a angibt.
In der obigen Beschreibung werden die Skelettkoordinatenpunkte 601 bis 610b der Einfachheit halber im Zusammenhang mit dem Fahrer 201a oder dem Insassen 202a beschrieben, aber die Skeletterkennungseinheit 12 kann nicht bestimmen, um welchen Skelettkoordinatenpunkt des Insassen es sich handelt.
Die Skeletterkennungseinheit 12 erkennt die Koordinaten jedes der Skelettkoordinatenpunkte 601 bis 610b in dem aufgenommenen Bild und erkennt, welchen Abschnitt des Körpers jeder der Skelettkoordinatenpunkte 601 bis 610b angibt.
In 3 werden die mit 71 und 72 bezeichneten Bereiche und die mit (a) bis (c) und (a)' bis (c)' bezeichneten Liniensegmente später beschrieben.
Die Skeletterkennungseinheit 12 gibt Informationen über die erkannten Skelettkoordinatenpunkte an die Sitzposition-Bestimmungseinheit 13 aus.
Die Sitzposition-Bestimmungseinheit 13 bestimmt die Sitzposition des Insassen auf der Basis der Informationen der von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkte. In der ersten Ausführungsform wird die Sitzposition des Insassen durch einen Sitz repräsentiert, auf dem der Insasse sitzt. Daher ermittelt die Sitzposition-Bestimmungseinheit 13 anhand der Informationen der von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkte den Sitz, auf dem der Insasse sitzt. Anschließend ordnet die Sitzposition-Bestimmungseinheit 13 die von der Skeletterkennungseinheit 12 ausgegebene Information der Skelettkoordinatenpunkte des Insassen der Information des Sitzes zu, auf dem der Insasse sitzt.
Beispielsweise wird in dem aufgenommenen Bild der Bereich, der dem Sitz zugehört (im Folgenden als „dem Sitz zugehöriger Bereich“ bezeichnet), im Voraus für jeden Sitz festgelegt. Der dem Sitzplatz entsprechende Bereich wird im Voraus auf der Grundlage der Einbauposition und des Blickwinkels der Bildaufnahmevorrichtung 2 festgelegt.
Zunächst bestimmt die Sitzpositions-Bestimmungseinheit 13 den Sitz, auf dem der Insasse sitzt, auf der Grundlage, ob die Skelettkoordinatenpunkte, die den Sitzkorrespondenzbereich umfassen, unter den Skelettkoordinatenpunkten, die von der Skeletterkennungseinheit 12 erkannt wurden, vorhanden sind oder nicht. Als ein spezifisches Beispiel, beispielsweise in einem Fall, in dem es Skelettkoordinatenpunkte gibt, die in dem dem Fahrersitz zugehörigen Bereich unter den von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkten umfasst sind, bestimmt die Sitzpositions-Bestimmungseinheit 13, dass der Fahrer auf dem Fahrersitz Platz genommen hat. Darüber hinaus bestimmt die Sitzpositions-Bestimmungseinheit 13 beispielsweise in einem Fall, in dem Skelettkoordinatenpunkte in dem dem Beifahrersitz entsprechenden Bereich unter den von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkten umfasst sind, dass der Beifahrersitz-Insasse auf dem Beifahrersitz sitzt.
Beispielsweise wird in 3 angenommen, dass der dem Fahrersitz 201 zugehörige Sitzbereich ein mit 71 bezeichneter Bereich ist und der dem Beifahrersitz 202 zugehörige Sitzbereich ein mit 72 bezeichneter Bereich ist. In dem in 3 dargestellten Beispiel stellt die Sitzpositions-Bestimmungseinheit 13 fest, dass der Fahrer 201a auf dem Fahrersitz 201 sitzt, da die Skelettkoordinatenpunkte 601 bis 605b in dem dem Sitz entsprechenden Bereich 71 umfasst sind. Das heißt, die Sitzposition-Bestimmungseinheit 13 kann feststellen, dass die Skelettkoordinatenpunkte 601 bis 605b die Skelettkoordinatenpunkte des Fahrers 201a sind. Da außerdem Skelettkoordinatenpunkte 606 bis 610b in dem dem Sitz zugehörigen Bereich 72 umfasst sind, stellt die Sitzposition-Bestimmungseinheit 13 fest, dass der Insasse 202a auf dem Beifahrersitz 202 sitzt. Das heißt, die Sitzposition-Bestimmungseinheit 13 kann bestimmen, dass die Skelettkoordinatenpunkte 606 bis 610b die Skelettkoordinatenpunkte des Beifahrersitz-Insassen 202a sind.
Bei der Bestimmung des Sitzes, auf dem der Insasse sitzt, ordnet die Sitzpositions-Bestimmungseinheit 13 die Information der von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkte der Information des Sitzes, auf dem der Insasse sitzt, zu.
Im Beispiel von 3 verknüpft die Sitzpositions-Bestimmungseinheit 13 die Information der Skelettkoordinatenpunkte 601 bis 605b mit der Information, die den Fahrersitz angibt. Darüber hinaus ordnet die Sitzpositions-Bestimmungseinheit 13 die Informationen der Skelettkoordinatenpunkte 606 bis 610b den Informationen zu, die den Beifahrersitz angeben.
Dann gibt die Sitzposition-Bestimmungseinheit 13 Informationen (im Folgenden als „Sitz-assoziierte Skelettkoordinatenpunkt-Informationen“ bezeichnet), in denen die Informationen der Skelettkoordinatenpunkte mit den Informationen des Sitzes, auf dem der Insasse sitzt, verknüpft sind, an die Skelettpunkt-Auswahleinheit 14 aus.
Die Skelettpunkt-Auswahleinheit 14 wählt aus den von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkten des Insassen auf der Grundlage der von der Sitzpositions-Bestimmungseinheit 13 ausgegebenen sitzzugehörigen Skelettkoordinatenpunkt-Informationen Skelettkoordinatenpunkte (im Folgenden als „Körperbaubestimmungs-Skelettkoordinatenpunkte“ bezeichnet) aus, die zur Bestimmung des Körperbaus des Insassen zu verwenden sind. Zu diesem Zeitpunkt wählt die Skelettpunkt-Auswahleinheit 14 in einem Fall, in dem die Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit 12 erkannt wurden, Skelettkoordinatenpunkte sind, die gepaarte Körperteile anzeigen, die Körperbaubestimmungs-Skelettkoordinatenpunkte aus, indem sie die Skelettkoordinatenpunkte verwendet, die näher an der Bildaufnahmevorrichtung 2 liegen.
Es ist zu beachten, dass die Skelettpunkt-Auswahleinheit 14 die körperbaubestimmenden Skelettkoordinatenpunkte für jeden Insassen auswählt.
Beispielsweise wird angenommen, dass die Skeletterkennungseinheit 12 die Skelettkoordinatenpunkte 601 bis 610b der Insassen erkennt, wie in 3 dargestellt. In diesem Fall wählt die Skelettpunkt-Auswahleinheit 14 die körperbaubestimmenden Skelettkoordinatenpunkte des Fahrers 201a und die körperbaubestimmenden Skelettkoordinatenpunkte des Beifahrersitz-Insassen 202a aus.
Hier sind die Schulter, der Ellbogen und die Taille Skelettkoordinatenpunkte, die gepaarte Abschnitte des Körpers angeben. Daher wählt die Skelettpunkt-Auswahleinheit 14 für die Skelettkoordinatenpunkte 601 bis 605b des Fahrers 201a als körperbaubestimmende Skelettkoordinatenpunkte des Fahrers 201a den Skelettkoordinatenpunkt 601, der die Nase angibt, den Skelettkoordinatenpunkt 602, der den Hals angibt, den Skelettkoordinatenpunkt 603b, der die linke Schulter angibt, die näher an der Bildaufnahmevorrichtung 2 liegt, aus den Skelettkoordinatenpunkten 603a und 603b, die die Schultern angeben, dem Skelettkoordinatenpunkt 604b, der den linken Ellbogen angibt, der näher an der Bildaufnahmevorrichtung 2 ist, aus den Skelettkoordinatenpunkten 604a und 604b, die die Ellbogen angeben, und dem Skelettkoordinatenpunkt 605b, der die linke Taille angibt, die näher an der Bildaufnahmevorrichtung 2 ist, aus den Skelettkoordinatenpunkten 605a und 605b, die die Taille angeben. Es ist zu beachten, dass die Skelettpunkt-Auswahleinheit 14 die Skelettkoordinatenpunkte 601 bis 605b des Fahrers 201a anhand der in den sitzzugehörigen Skelettkoordinatenpunkt-Informationen umfassten Informationen über den Sitz, auf dem der Insasse sitzt, bestimmen kann.
Die Skelettpunkt-Auswahleinheit 14 wählt als Körperbaubestimmungs-Skelettkoordinatenpunkte von den Skelettkoordinatenpunkten 603a und 603b, die die Schultern angeben, nicht den Skelettkoordinatenpunkt 603a aus, der die von der Bildaufnahmevorrichtung 2 weiter entfernte rechte Schulter angibt, der Skelettkoordinatenpunkt 604a, der den von der Bildaufnahmevorrichtung 2 weiter entfernten rechten Ellbogen angibt, aus den Skelettkoordinatenpunkten 604a und 604b, die die Ellbogen angeben, und der Skelettkoordinatenpunkt 605a, der die von der Bildaufnahmevorrichtung 2 weiter entfernte rechte Taille angibt, aus den Skelettkoordinatenpunkten 605a und 605b, die die Taille angeben.
Es ist zu beachten, dass die Nase und der Hals keine gepaarten Körperteile sind. Daher wählt die Skelettpunkt-Auswahleinheit 14 die Skelettkoordinatenpunkte 601, die die Nase angeben, und die Skelettkoordinatenpunkte 602, die den Hals angeben, als die Körperbaubestimmungs-Skelettkoordinatenpunkte aus, ohne zu bestimmen, ob die Skelettkoordinatenpunkte näher an der Bildaufnahmevorrichtung 2 liegen oder nicht, wie oben beschrieben.
In ähnlicher Weise wählt die Skelettpunkt-Auswahleinheit 14 körperbaubestimmende Skelettkoordinatenpunkte unter den Skelettkoordinatenpunkten 606 bis 610b des Beifahrersitz-Insassen 202a aus. Im Beispiel von 3 wählt die Skelettpunkt-Auswahleinheit 14 als körperbaubestimmende Skelettkoordinatenpunkte des Insassen 202a den Skelettkoordinatenpunkt 606, der die Nase angibt, den Skelettkoordinatenpunkt 607, der den Hals angibt, den Skelettkoordinatenpunkt 608a, der die rechte Schulter angibt, den Skelettkoordinatenpunkt 609a, der den rechten Ellbogen angibt, und den Skelettkoordinatenpunkt 610a, der die rechte Taille angibt.
Die Skelettpunkt-Auswahleinheit 14 gibt Informationen (im Folgenden als „Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen“ bezeichnet) der ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte an die Merkmalsbetrag-Berechnungseinheit 15 aus. Beispielsweise werden in den Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen für jeden Insassen Informationen, die den Insassen spezifizieren, Koordinaten der Körperbaubestimmungs-Skelettkoordinatenpunkte des Insassen in dem aufgenommenen Bild und Informationen, die bestimmen können, welchen Abschnitt des Körpers der Körperbaubestimmungs-Skelettkoordinatenpunkt angibt, zugeordnet. Insbesondere umfasst die Information, die den Insassen bestimmt, beispielsweise die Information, die den Sitz bestimmt, auf dem der Insasse sitzt.
Die Merkmalsbetrag-Berechnungseinheit 15 berechnet einen Merkmalsbetrag (im Folgenden als „Körperbaubestimmungs-Merkmalsbetrag“ bezeichnet), der zur Bestimmung des Körperbaus des Insassen auf der Grundlage der Informationen der von der Skelettpunkt-Auswahleinheit 14 ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte verwendet wird, mit anderen Worten, der von der Skelettpunkt-Auswahleinheit 14 ausgegebenen Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen.
Beispielsweise berechnet die Merkmalsbetrag-Berechnungseinheit 15 auf der Grundlage der Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen den Körperbaubestimmungs-Merkmalsbetrag mit der Länge eines Liniensegments, das zwei Punkte unter den Körperbaubestimmungs-Skelettkoordinatenpunkten in dem aufgenommenen Bild verbindet. Insbesondere berechnet beispielsweise die Merkmalsbetrag-Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag die Länge des Oberarms, die Schulterbreite und die Länge des Halses des Insassen in dem aufgenommenen Bild auf der Grundlage der Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen. Es ist zu beachten, dass die Merkmalsbetrag-Berechnungseinheit 15 den Körperbaubestimmungs-Merkmalsbetrag für jeden Insassen berechnet.
In der ersten Ausführungsform ist die Länge des Oberarms des Insassen als Körperbaubestimmung-Merkmalsbetrag definiert als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Schulter angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Ellbogen angibt, verbindet. Es ist zu beachten, dass die Länge des Oberarms des Insassen die Länge eines Liniensegments ist, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die rechte Schulter angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den rechten Ellenbogen angibt, im Falle des rechten Oberarms verbindet, und die Länge eines Liniensegments ist, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die linke Schulter angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den linken Ellenbogen angibt, im Falle des linken Oberarms verbindet.
Darüber hinaus ist in der ersten Ausführungsform die Schulterbreite des Insassen als Körperbaubestimmungs-Merkmalsbetrag definiert als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Hals angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die rechte Schulter angibt, verbindet, oder als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Hals angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die linke Schulter angibt, verbindet.
Ferner ist in der ersten Ausführungsform die Länge des Halses des Insassen als Körperbaubestimmung-Merkmalsbetrag definiert als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Nase angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Hals angibt, verbindet.
Beispielsweise berechnet die Merkmalsbetrag-Berechnungseinheit 15 in dem in 3 dargestellten Beispiel als den Körperbaubestimmungs-Merkmalsbetrag des Fahrers 201a die Länge (in 3 mit (a) bezeichnet) eines Liniensegments, das den Skelettkoordinatenpunkt 603b und den Skelettkoordinatenpunkt 604b verbindet. Darüber hinaus berechnet die Merkmalsbetrag-Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag des Treibers 201a die Länge (in 3 mit (b) bezeichnet) eines Liniensegments, das den Skelettkoordinatenpunkt 602 und den Skelettkoordinatenpunkt 603b verbindet. Darüber hinaus berechnet die Merkmalsbetrag-Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag des Treibers 201a die Länge (bezeichnet durch (c) in 3) eines Liniensegments, das den Skelettkoordinatenpunkt 601 und den Skelettkoordinatenpunkt 602 verbindet.
Darüber hinaus berechnet die Merkmalsbetrag-Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag des Insassen 202a die Länge (in 3 mit (a)' bezeichnet) eines Liniensegments, das den Skelettkoordinatenpunkt 608a und den Skelettkoordinatenpunkt 609a verbindet. Ferner berechnet die Merkmalsbetrag-Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag des Insassen 202a die Länge (in 3 mit (b)' bezeichnet) eines Liniensegments, das den Skelettkoordinatenpunkt 607 und den Skelettkoordinatenpunkt 608a verbindet. Darüber hinaus berechnet die Berechnungseinheit 15 als den Körperbaubestimmungs-Merkmalsbetrag des Insassen 202a die Länge (in 3 mit (c)' bezeichnet) eines Liniensegments, das den Skelettkoordinatenpunkt 606 und den Skelettkoordinatenpunkt 607 verbindet.
Die Skelettkoordinatenpunkte 601, 602, 603b, 604b, 606, 607, 608a und 609a werden von der Skelettpunkt-Auswahleinheit 14 als die körperbaubestimmenden Skelettkoordinatenpunkte ausgewählt. Daher berechnet die Merkmalsbetrag-Berechnungseinheit 15 den Körperbaubestimmungs-Merkmalsbetrag unter Verwendung der Skelettkoordinatenpunkte 601, 602, 603b, 604b, 606, 607, 608a und 609a.
In der Zwischenzeit werden die Skelettkoordinatenpunkte 603a, 604a, 608a und 609b von der Skelettpunkt-Auswahleinheit 14 nicht als die körperbaubestimmenden Skelettkoordinatenpunkte ausgewählt. Daher verwendet die Merkmalsbetrag-Berechnungseinheit 15 die Skelettkoordinatenpunkte 603a, 604a, 608a und 609b nicht zur Berechnung des Körperbaubestimmungs-Merkmalsbetrages.
In 3 ist das mit (a) bezeichnete Liniensegment das Liniensegment, das die Länge des Oberarms des Fahrers 201a angibt, und das mit (a)' bezeichnete Liniensegment ist das Liniensegment, das die Länge des Oberarms des Beifahrersitz-Insassen 202a angibt. In 3 ist das mit (b) bezeichnete Liniensegment das Liniensegment, das die Schulterbreite des Fahrers 201a angibt, und das mit (b)' bezeichnete Liniensegment ist das Liniensegment, das die Schulterbreite des Beifahrersitzinsassen 202a angibt. In 3 ist das mit (c) bezeichnete Liniensegment das Liniensegment, das die Länge des Halses des Fahrers 201a angibt, und das mit (c)' bezeichnete Liniensegment ist das Liniensegment, das die Länge des Halses des Insassen 202a angibt.
Es ist zu beachten, dass hier beispielsweise die Merkmalsbetrag-Berechnungseinheit 15 die Länge des Oberarms, die Schulterbreite und die Länge des Halses des Insassen als den Körperbaubestimmungs-Merkmalsbetrag berechnet, aber dies ist lediglich ein Beispiel.
Beispielsweise kann die Merkmalsbetrag-Berechnungseinheit 15 neben der Länge des Arms, der Schulterbreite und der Länge des Halses des Insassen auch die Länge des Oberkörpers als körperbaubestimmenden Merkmalsbetrag berechnen. Die Länge des Oberkörpers als Körperbaubestimmungs-Merkmalsbetrag ist definiert als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die rechte Schulter angibt, und den Skelettkoordinatenpunkt, der die rechte Taille angibt, verbindet, oder als die Länge eines Liniensegments, das den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die linke Schulter angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die linke Taille angibt, verbindet.
Beispielsweise kann die Merkmalsbetrag-Berechnungseinheit 15 im Beispiel von 3 als den körperbaubestimmenden Merkmalsbetrag des Fahrers 201a die Länge eines Liniensegments berechnen, das den als körperbaubestimmenden Skelettkoordinatenpunkt ausgewählten Skelettkoordinatenpunkt 603b und den als körperbaubestimmenden Skelettkoordinatenpunkt ausgewählten Skelettkoordinatenpunkt 605b verbindet. Darüber hinaus kann die Merkmalsbetrag-Berechnungseinheit 15 als körperbaubestimmenden Merkmalsbetrag des Insassen 202a die Länge eines Liniensegments berechnen, das den als körperbaubestimmenden Skelettkoordinatenpunkt ausgewählten Skelettkoordinatenpunkt 608a und den als körperbaubestimmenden Skelettkoordinatenpunkt ausgewählten Skelettkoordinatenpunkt 609a verbindet.
Dabei wird der Skelettkoordinatenpunkt, der die Taille angibt, mit geringerer Wahrscheinlichkeit erkannt als der Skelettkoordinatenpunkt, der die Nase angibt, der Skelettkoordinatenpunkt, der den Hals angibt, der Skelettkoordinatenpunkt, der die Schulter angibt, und der Skelettkoordinatenpunkt, der den Ellbogen angibt. Dies liegt daran, dass die Möglichkeit besteht, dass Gepäck oder ähnliches in der Nähe der Taille des Insassen platziert ist. Beispielsweise besteht, wie in der ersten Ausführungsform angenommen, in einem Fall, in dem die Bildaufnahmevorrichtung 2 im mittleren Bereich der Instrumententafel installiert ist und den Fahrer und den Insassen des Beifahrersitzes von unten aufnimmt, die Möglichkeit, dass die Taille des Insassen durch Gepäck oder ähnliches, das in der Nähe der Taille des Insassen platziert ist, verdeckt ist. In diesem Fall kann die Skeletterkennungseinheit 12 in der Körperbaubestimmungsvorrichtung 1 den Skelettkoordinatenpunkt, der die Taille angibt, möglicherweise nicht erkennen. Wenn der Skelettkoordinatenpunkt, der die Taille anzeigt, nicht erkannt wird, wird auch der Körperbaubestimmungs-Merkmalsbetrag unter Verwendung des Körperbaubestimmungs-Skelettkoordinatenpunkts, der die Taille angibt, nicht berechnet. Daher ist es vorzuziehen, den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Taille angibt, bei der Berechnung des Körperbaubestimmungs-Merkmalsbetrags nicht zu verwenden.
Darüber hinaus berechnet die Merkmalsbetrag-Berechnungseinheit 15 in der ersten Ausführungsform die gesamte Länge des Oberarms, die Schulterbreite und die Länge des Halses des Insassen als Körperbaubestimmungs-Merkmalsbetrag, aber dies ist lediglich ein Beispiel.
Es ist nur erforderlich, dass die Merkmalsbetrag-Berechnungseinheit 15 mindestens eine der Längen des Oberarms, der Schulterbreite oder der Länge des Halses des Insassen als den Körperbaubestimmungs-Merkmalsbetrag errechnet.
Daher ist es nur erforderlich, dass die von der Skelettpunkt-Auswahleinheit 14 ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte den Skelettkoordinatenpunkt, der den Ellbogen des Insassen angibt, oder die Skelettkoordinatenpunkte, die das Skelett oberhalb des Ellbogens des Insassen angeben, in dem aufgenommenen Bild umfassen. Es ist zu beachten, dass die Körperbaubestimmungs-Skelettkoordinatenpunkte, die das Skelett oberhalb des Ellenbogens des Insassen angeben, insbesondere den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Schulter (die rechte Schulter oder die linke Schulter) angibt, den Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Hals angibt, und den Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Nase angibt, umfassen.
In der ersten Ausführungsform kann unter den Skelettkoordinatenpunkten, die die Abschnitte des Körpers angeben, der Skelettkoordinatenpunkt, der als Körperbaubestimmungs-Skelettkoordinatenpunkt verwendet wird, auf der Grundlage des Körperbaubestimmungs-Merkmalsbetrages angemessen festgelegt werden.
Die Merkmalsbetrag-Berechnungseinheit 15 gibt Informationen (im Folgenden als „Merkmalsbetrag-Berechnungseinheit“ bezeichnet) über den berechneten Körperbaubestimmungs-Merkmalsbetrag an die Körperbaubestimmungseinheit 16 aus. In den Merkmalsbetragsinformationen sind Informationen, die den Insassen und den Körperbaubestimmungs-Merkmalsbetrag bestimmen, für jeden Insassen einander zugeordnet. Insbesondere umfasst die Information, die den Insassen angibt, beispielsweise die Information, die den Sitz angibt, auf dem der Insasse sitzt.
Da die Merkmalsbetrag-Berechnungseinheit 15 hier die Länge des Oberarms, die Schulterbreite und die Länge des Halses des Insassen als den körperbaubestimmenden Merkmalsbetrag berechnet, umfasst die Merkmalsbetragsinformation einen körperbaubestimmenden Merkmalsbetrag, der die Länge des Oberarms des Insassen angibt, einen körperbaubestimmenden Merkmalsbetrag, der die Schulterbreite angibt, und einen körperbaubestimmenden Merkmalsbetrag, der die Länge des Halses angibt.
Die Körperbaubestimmungseinheit 16 bestimmt den Körperbau des Insassen auf der Grundlage des von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrages. Es ist zu beachten, dass die Körperbaubestimmungseinheit 16 den Körperbau eines jeden Insassen bestimmt. Die Körperbaubestimmungseinheit 16 kann den Körperbaubestimmung-Merkmalsbetrag eines jeden Insassen aus den Merkmalsbetragsinformationen bestimmen.
In der ersten Ausführungsform, wie oben beschrieben, ist der Körperbau des Insassen beispielsweise als „Kleinkind“, „klein“, „Standard“ und „groß“ definiert.
Die Körperbaubestimmungseinheit 16 bestimmt den Körperbau des Insassen, indem sie Informationen über den Körperbau des Insassen erhält, indem sie beispielsweise ein erlerntes Modell des maschinellen Lernens verwendet (im Folgenden als „zweites Maschinenlernmodell“ bezeichnet).
Das zweite Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingabe den Körperbaubestimmungs-Merkmalsbetrag erhält und die Informationen über den Körperbau des Insassen ausgibt. Die Information über den Körperbau kann ein numerischer Wert sein, der den Körperbau angibt, beispielsweise „0“, „1“, „2“ oder „3“, oder sie kann ein Index sein (im Folgenden als „Körperbauindex“ bezeichnet), der den Grad des Körperbaus angibt. Bei den Bezugszeichen, die den Körperbau angeben, wird davon ausgegangen, dass im Voraus festgelegt wird, welcher Wert welchen Körperbau angibt. Der durch den Zahlenwert angegebene Körperbau wird festgelegt, beispielsweise „0: Kleinkind“, „1: klein“, „2: Standard“ oder „3: groß“.
Das zweite Maschinenlernmodell ist so konstruiert, dass es ein Ergebnis für eine Eingabe in Übereinstimmung mit Trainingsdaten schätzt, die im Voraus auf der Grundlage einer Kombination aus einer Eingabe und Lehrer-Label-Daten erzeugt wurden, d.h. durch sogenanntes überwachtes Lernen. Dabei führt das zweite Maschinenlernmodell ein Lernen durch, um die Körperbauinformation in Bezug auf den Körperbaubestimmungs-Merkmalsbetrag gemäß Trainingsdaten auszugeben, wobei die Eingabe der Körperbaubestimmungs-Merkmalsbetrag und das Lehrer-Label die Information über den Körperbau des Insassen ist.
Das zweite Maschinenlernmodell wird im Voraus an einem Ort gespeichert, auf den die Körperbaubestimmungseinheit 16 zugreifen kann.
Die Körperbaubestimmungseinheit 16 bestimmt den Körperbau des Insassen auf der Grundlage der Informationen über den Körperbau des Insassen, die auf der Basis des zweiten Maschinenlernmodells erhalten wurden.
Beispielsweise, wenn die Information über den Körperbau des Insassen ein Bezugszeichen ist, das den oben beschriebenen Körperbau angibt, bestimmt die Körperbaubestimmungseinheit 16 einen im Voraus auf der Grundlage des Bezugszeichens bestimmten Körperbau als den Körperbau des Insassen. Wenn die Information über den Körperbau des Insassen beispielsweise ein Körperbauindex ist, bestimmt die Körperbaubestimmungseinheit 16 den Körperbau auf der Grundlage des Indexes. Insbesondere werden beispielsweise Informationen (im Folgenden als „Körperbaubestimmungsinformationen“ bezeichnet), die angeben, welcher Körperbauindex mit welchem Körperbau von „Kleinkind“, „klein“, „Standard“ und „groß“ verbunden ist, im Voraus erzeugt und an einem Ort gespeichert, auf den die Körperbaubestimmungseinheit 16 Bezug nehmen kann. Die Körperbaubestimmungseinheit 16 bestimmt den Körperbau des Insassen unter Bezugnahme auf die Körperbau-Definitionsinformation.
Die Körperbaubestimmungseinheit 16 gibt ein Körperbaubestimmungsergebnis an die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 aus.
In dem Körperbestimmungsergebnis werden die den Insassen bestimmenden Informationen und die den Körperbau des Insassen angebenden Informationen für jeden Insassen einander zugeordnet. Die Beschreibung des Insassen umfasst beispielsweise Informationen, die angeben, auf welchem Sitz der Insasse Platz genommen hat.
Die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 gibt das von der Körperbaubestimmungseinheit 16 ausgegebene Körperbaubestimmungsergebnis an die Airbag-Steuervorrichtung 3, die Benachrichtigungsvorrichtung 4 und die Anzeigevorrichtung 5 aus.
Es ist zu beachten, dass in der ersten Ausführungsform die Körperbaubestimmungsvorrichtung 1 das Körperbestimmungsergebnis an die Airbag-Steuervorrichtung 3, die Benachrichtigungsvorrichtung 4 und die Anzeigevorrichtung 5 ausgibt, dies ist jedoch nur ein Beispiel. Die Körperbaubestimmungsvorrichtung 1 kann das Ergebnis der Körperbaubestimmung an jede beliebige Steuervorrichtung für den Airbag 3, die Benachrichtigungsvorrichtung 4 oder die Anzeigevorrichtung 5 ausgeben.
Die Körperbaubestimmungsvorrichtung 1 braucht die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 nicht zu umfassen, und die Körperbaubestimmungseinheit 16 kann die Funktion der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 haben.
Ein Betrieb der Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform wird beschrieben.
4 ist ein Flussdiagramm zur Erläuterung des Betriebs der Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform.
Die Aufnahmebild-Erfassungseinheit 11 erfasst ein aufgenommenes Bild, das durch das Aufnehmen eines Insassen des Fahrzeugs unter Verwendung der Bildaufnahmevorrichtung 2 erhalten wurde (Schritt ST1).
Die Aufnahmebild-Erfassungseinheit 11 gibt das aufgenommene Bild an die Skeletterkennungseinheit 12 aus.
Die Skeletterkennungseinheit 12 erkennt Skelettkoordinatenpunkte des Insassen, die die Körperteile des Insassen auf der Grundlage des aufgenommenen Bildes angeben, das von der Aufnahmebild-Erfassungseinheit 11 in Schritt ST1 (Schritt ST2) aufgenommen wurde.
Die Skeletterkennungseinheit 12 gibt Informationen über die erkannten Skelettkoordinatenpunkte an die Sitzposition-Bestimmungseinheit 13 aus.
Die Sitzposition-Bestimmungseinheit 13 bestimmt die Sitzposition des Insassen auf der Grundlage der Informationen der Skelettkoordinatenpunkte, die von der Skeletterkennungseinheit 12 in Schritt ST2 erkannt wurden. Insbesondere wird der Sitzplatz des Insassen anhand der Informationen der von der Skeletterkennungseinheit 12 im Schritt ST2 erkannten Skelettkoordinatenpunkte ermittelt (Schritt ST3).
Anschließend ordnet die Sitzposition-Bestimmungseinheit 13 die von der Skeletterkennungseinheit 12 ausgegebenen Informationen über die Skelettkoordinatenpunkte des Insassen den Informationen über den Sitz zu, auf dem der Insasse sitzt.
Die Sitzposition-Bestimmungseinheit 13 gibt die dem Sitz zugeordnete Skelettkoordinatenpunkt-Information an die Skelettpunkt-Auswahleinheit 14 aus.
Die Skelettpunkt-Auswahleinheit 14 wählt Körperbaubestimmungs-Skelettkoordinatenpunkte aus den Skelettkoordinatenpunkten des Insassen, die von der Skeletterkennungseinheit 12 in Schritt ST2 erkannt wurden, auf der Grundlage der Sitz-assoziierten Skelettkoordinatenpunkt-Informationen aus, die von der Sitzpositions-Bestimmungseinheit 13 in Schritt ST3 ausgegeben werden. Zu diesem Zeitpunkt wählt die Skelettpunkt-Auswahleinheit 14 in einem Fall, in dem die Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit 12 erkannt wurden, Skelettkoordinatenpunkte sind, die gepaarte Körperteile anzeigen, die Körperbaubestimmungs-Skelettkoordinatenpunkte aus, indem sie die Skelettkoordinatenpunkte verwendet, die näher an der Bildaufnahmevorrichtung 2 liegen (Schritt ST4).
Die Skelettpunkt-Auswahleinheit 14 gibt die körperbaubestimmenden Skelettkoordinatenpunkt-Informationen an die Merkmalsbetrag-Berechnungseinheit 15 aus.
Die Merkmalsbetrag-Berechnungseinheit 15 berechnet den Körperbaubestimmungs-Merkmalsbetrag auf der Grundlage der Informationen der Körperbaubestimmungs-Skelettkoordinatenpunkte, die von der Skelettpunkt-Auswahleinheit 14 in Schritt ST4 ausgewählt werden, mit anderen Worten, der Körperbaubestimmungs-Skelettkoordinatenpunkt-Informationen, die von der Skelettpunkt-Auswahleinheit 14 in Schritt ST4 ausgegeben werden (Schritt ST5).
Die Merkmalsbetrag-Berechnungseinheit 15 gibt die Merkmalsbetragsinformationen an die Körperbaubestimmungseinheit 16 aus.
Die Körperbaubestimmungseinheit 16 bestimmt den Körperbau des Insassen auf der Grundlage des von der Merkmalsbetrag-Berechnungseinheit 15 in Schritt ST5 (Schritt ST6) berechneten Körperbaubestimmungs-Merkmalsbetrags.
Die Körperbaubestimmungsergebnis-Ausgabeeinheit 16 gibt ein Körperbaubestimmungsergebnis an die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 aus.
Die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 gibt das von der Körperbaubestimmungseinheit 16 in Schritt ST6 ausgegebene Körperbaubestimmungsergebnis an die Airbag-Steuervorrichtung 3, die Benachrichtigungsvorrichtung 4 und die Anzeigevorrichtung 5 aus (Schritt ST7).
Wie oben beschrieben, wählt die Körperbaubestimmungsvorrichtung 1 in einem Fall, in dem die erkannten Skelettkoordinatenpunkte des Insassen Skelettkoordinatenpunkte sind, die gepaarte Körperteile angeben, die Körperbaubestimmungs-Skelettkoordinatenpunkte aus, indem sie die Skelettkoordinatenpunkte verwendet, die näher an der Bildaufnahmevorrichtung 2 liegen. Anschließend berechnet die Körperbaubestimmungsvorrichtung 1 den Körperbaubestimmungs-Merkmalsbetrag auf der Grundlage der ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte und bestimmt den Körperbau des Insassen auf der Grundlage des berechneten Körperbaubestimmungs-Merkmalsbetrags.
Beispielsweise gibt es in Abhängigkeit von der Installationsposition der Bildaufnahmevorrichtung 2, dem Infrarot-Emissionsbereich in einem Fall, in dem die Bildaufnahmevorrichtung 2 eine Infrarotkamera ist, oder dergleichen, einen Fall, in dem von den Skelettkoordinatenpunkten, die gepaarte Körperteile angeben, der Skelettkoordinatenpunkt, der weiter von der Bildaufnahmevorrichtung 2 entfernt ist, nicht erkannt wird.
5A und 5B sind Diagramme zur Erläuterung eines Beispiels eines aufgenommenen Bildes in einem Fall, in dem der Skelettkoordinatenpunkt, der weiter von der Bildaufnahmevorrichtung 2 entfernt ist, nicht erkannt wird.
Der Einfachheit halber ist in dem in 5A dargestellten Beispiel des aufgenommenen Bildes nur ein Abschnitt dargestellt, in dem der Fahrer aufgenommen ist, und in dem in 5B dargestellten Beispiel des aufgenommenen Bildes ist nur ein Abschnitt dargestellt, in dem der Insasse des Beifahrersitzes aufgenommen ist. Außerdem wird davon ausgegangen, dass es sich bei der Bildaufnahmevorrichtung 2 um eine Infrarotkamera handelt und dass die Bildaufnahmevorrichtung 2 an einer Position installiert ist, an der die Insassen von unten aufgenommen werden.
In 5A steht 50a für einen Fahrer und 51 für ein Lenkrad. Außerdem bezeichnet 50b in 5B einen Insassen auf dem Beifahrersitz. Es ist zu beachten, dass es sich bei dem Fahrzeug 100 um ein rechtsgesteuertes Fahrzeug handelt.
Beispielsweise erkennt die Skeletterkennungseinheit 12 beim Erkennen der Skelettkoordinatenpunkte auf der Grundlage des in 5A aufgenommenen Bildes einen Skelettkoordinatenpunkt (in 5A mit 501 bezeichnet), der die Nase des Fahrers 50a angibt, einen Skelettkoordinatenpunkt (in 5A mit 502 bezeichnet), der den Hals des Fahrers 50a angibt, einen Skelettkoordinatenpunkt (in 5A mit 503 bezeichnet), der die rechte Schulter des Fahrers 50a angibt. 5A), der die rechte Schulter des Fahrers 50a angibt, einen Skelettkoordinatenpunkt (mit 504 in 5A bezeichnet), der die linke Schulter des Fahrers 50a angibt, einen Skelettkoordinatenpunkt (mit 505 in 5A bezeichnet), der den linken Ellbogen des Fahrers 50a angibt, und einen Skelettkoordinatenpunkt (mit 506 in 5A bezeichnet), der die linke Taille des Fahrers 50a angibt. Da der rechte Ellbogen und die rechte Taille des Fahrers 50a durch das Lenkrad oder die Hand des Fahrers, die das Lenkrad hält, verdeckt sind, kann die Skeletterkennungseinheit 12 den Skelettkoordinatenpunkt, der den rechten Ellbogen des Fahrers 50a angibt, und den Skelettkoordinatenpunkt, der die rechte Taille des Fahrers 50a angibt, nicht erkennen. Die Skeletterkennungseinheit 12 kann den Skelettkoordinatenpunkt, der die rechte Schulter des Fahrers 50a angibt, möglicherweise nicht erkennen, weil er durch einen Sicherheitsgurt verdeckt ist (nicht dargestellt).
Darüber hinaus erkennt die Skeletterkennungseinheit 12 beispielsweise beim Erkennen der Skelettkoordinatenpunkte auf der Grundlage des aufgenommenen Bildes, das in 5B dargestellt ist, einen Skelettkoordinatenpunkt (in 5B mit 511 bezeichnet), der die Nase der Insasse des Beifahrersitzes 50b angibt, einen Skelettkoordinatenpunkt (in 5B), der den Hals des Insassen 50b angibt, einen Skelettkoordinatenpunkt (in 5B mit 513 bezeichnet), der die rechte Schulter des Insassen 50b angibt, einen Skelettkoordinatenpunkt (in 5B mit 514 bezeichnet), der die linke Schulter des Insassen 50b angibt, und einen Skelettkoordinatenpunkt (in 5B mit 515 bezeichnet), der den rechten Ellbogen des Insassen 50b angibt.
Da das Infrarotlicht nicht emittiert wird, kann die Skeletterkennungseinheit 12 den Skelettkoordinatenpunkt, der den linken Ellbogen des Insassen 50b angibt, und die Skelettkoordinatenpunkte, die die rechte und linke Taille des Insassen 50b angeben, nicht erkennen. Wie oben beschrieben, wird in einem Fall, in dem die Bildaufnahmevorrichtung 2 eine Infrarotkamera ist, die Leistung des Erkennens von Skelettkoordinatenpunkten außerhalb des Infrarotsendebereichs verringert.
Wenn daher versucht wird, den Körperbau des Insassen mit der oben beschriebenen konventionellen Technik zu bestimmen, kann es in Abhängigkeit von der Installationsposition der Bildaufnahmevorrichtung, dem Infrarotsendebereich in einem Fall, in dem die Bildaufnahmevorrichtung eine Infrarotkamera ist, o.ä, kann es unmöglich sein, den Gelenkpunkt der Schulter des Insassen, der weiter von der Bildaufnahmevorrichtung 2 entfernt ist, oder den Gelenkpunkt der Taille des Insassen, der weiter von der Bildaufnahmevorrichtung 2 entfernt ist, zu erkennen, und infolgedessen besteht die Möglichkeit, dass der Körperbau des Insassen nicht bestimmt werden kann.
Im Gegensatz dazu wählt die Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform in einem Fall, in dem die erkannten Skelettkoordinatenpunkte des Insassen Skelettkoordinatenpunkte sind, die gepaarte Körperteile angeben, wie oben beschrieben, die Körperbaubestimmungs-Skelettkoordinatenpunkte aus, indem sie die Skelettkoordinatenpunkte verwendet, die näher an der Bildaufnahmevorrichtung 2 liegen. Dann berechnet die Körperbaubestimmungsvorrichtung 1 den Körperbaubestimmungs-Merkmalsbetrag auf der Grundlage der ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte und bestimmt den Körperbau des Insassen auf der Grundlage des berechneten Körperbaubestimmungs-Merkmalsbetrags. Infolgedessen kann die Körperbaubestimmungsvorrichtung 1 die Genauigkeit der Körperbaubestimmung im Vergleich zu einer herkömmlichen Technik verbessern, bei der die Körperbaubestimmung durch Erkennen der Gelenkpunkte der Schultern und der Hüften des Insassen durchgeführt wird.
Es ist zu beachten, dass als weiteres Verfahren zur Bestimmung des Körperbaus des Insassen beispielsweise ein Verfahren denkbar ist, bei dem der Körperbau des Insassen anhand der auf der Grundlage eines durch Aufnahme des Insassen gewonnenen Bildes erkannten Gesichtshöhe bestimmt wird.
Bei diesem Verfahren kann jedoch beispielsweise in einem Fall, in dem der Insasse einen Sitzlifter auf- und abbewegt, oder in einem Fall, in dem der Insasse ein Kind ist, das auf einem Kindersitz sitzt, der Körperbau des Insassen nicht genau bestimmt werden.
Wie oben beschrieben, ermittelt die Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform den Körperbau des Insassen auf der Grundlage des Körperbaubestimmungs-Merkmalsbetrags, der auf der Grundlage der ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte berechnet wird. Die Körperbaubestimmungsvorrichtung 1 verwendet nicht die Gesichtshöhe des Insassen, um den Körperbau des Insassen zu bestimmen. Daher kann die Körperbaubestimmungsvorrichtung 1 den Körperbau des Insassen bestimmen, ohne davon beeinflusst zu werden, dass der Insasse die Sitzhebeeinheit auf und ab bewegt oder dass der Insasse ein Kind ist, das in einem Kindersitz sitzt.
In der oben beschriebenen ersten Ausführungsform kann die Körperbaubestimmungsvorrichtung 1 in dem Fall, in dem der Insasse der Fahrer ist, d.h. in einem Fall, in dem der Sitz, auf dem der Insasse sitzt, der Fahrersitz ist, auch den Körperbau des Fahrers unter Berücksichtigung des Tiefenabstands von der Bildaufnahmevorrichtung 2 zum Insassen (d.h. dem Fahrer) bestimmen.
Konkret bestimmt in der Körperbaubestimmungsvorrichtung 1 in einem Fall, in dem die Sitzpositions-Bestimmungseinheit 13 feststellt, dass der Sitz, auf dem der Insasse sitzt, der Fahrersitz ist, die Körperbaubestimmungseinheit 16 den Körperbau des Fahrers auf der Basis des von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrags und der Information, die den Tiefenabstand von der Bildaufnahmevorrichtung 2 zum Fahrer angibt. Beispielsweise ist die Information, die die Tiefenentfernung von der Bildaufnahmevorrichtung 2 zum Fahrer angibt, als die Bewegungsrichtung des Skelettkoordinatenpunktes definiert, der den Hals des Fahrers im aufgenommenen Bild angibt.
Im Allgemeinen, wenn der Fahrer auf dem Fahrersitz sitzt, stellt der Fahrer die Position des Fahrersitzes vor und zurück auf der Basis des Körperbaus des Fahrers ein, um das Fahren zu erleichtern. Beispielsweise bewegt der Fahrer den Fahrersitz nach vorne, wenn der Fahrer einen kleinen Körperbau hat, und nach hinten, wenn der Fahrer einen großen Körperbau hat. Wenn der Fahrersitz nach vorne bewegt wird, bewegt sich der Skelettkoordinatenpunkt, der den Nacken des Fahrers im aufgenommenen Bild angibt, nach links. Wird der Fahrersitz dagegen nach hinten bewegt, bewegt sich der Skelettkoordinatenpunkt, der den Hals des Fahrers im aufgenommenen Bild angibt, nach rechts. Es ist zu beachten, dass, wie oben beschrieben, davon ausgegangen wird, dass die Bildaufnahmevorrichtung 2 die Vordersitze einschließlich des Fahrersitzes und des Beifahrersitzes von der Mitte der Instrumententafel aus aufnimmt. Das heißt, die Bildaufnahmevorrichtung 2 nimmt die Insassen des Fahrzeugs 100 von vorne auf.
Beispielsweise stellt die Körperbaubestimmungseinheit 16 in einem Fall, in dem sich der Skelettkoordinatenpunkt, der den Hals des Fahrers angibt, in dem aufgenommenen Bild in die linke Richtung bewegt, fest, dass der Fahrer wahrscheinlich klein ist, verringert den Körperbauindex und bestimmt dann den Körperbau des Fahrers auf der Grundlage des Körperbauindex.
Ferner kann die Körperbaubestimmungseinheit 16 beispielsweise Informationen über den Körperbau des Fahrers erhalten, indem sie den von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrag und Informationen, die die Bewegungsmenge des Skelettkoordinatenpunktes angeben, der den Hals des Fahrers in dem aufgenommenen Bild angibt, in ein Maschinenlernmodell (im Folgenden als „drittes Maschinenlernmodell“ bezeichnet) eingibt. Das dritte Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingaben den Körperbaubestimmungs-Merkmalsbetrag und die Information, die die Bewegungsrichtung des Skelettkoordinatenpunkts angibt, der den Nacken des Fahrers in dem aufgenommenen Bild angibt, empfängt und die Information über den Körperbau des Fahrers ausgibt.
Es ist zu beachten, dass beispielsweise in der Körperbaubestimmungsvorrichtung 1 bei eingeschaltetem Motor des Fahrzeugs 100 die Skeletterkennungseinheit 12 anhand des aufgenommenen Bildes Skelett-Koordinatenpunkte erkennt, und wenn die Sitzplatz-Bestimmungseinheit 13 den Sitz ermittelt, auf dem der Insasse sitzt, speichert die Sitzplatz-Bestimmungseinheit die sitzplatzbezogenen SkelettKoordinatenpunkt-Informationen für einen vorgegebenen Zeitraum. Die Körperbaubestimmungseinheit 16 muss lediglich anhand der von der Sitzpositions-Bestimmungseinheit 13 gespeicherten sitzzugehörigen Skelettkoordinatenpunkt-Informationen feststellen, ob sich der Skelettkoordinatenpunkt, der den Nacken des Fahrers angibt, in dem aufgenommenen Bild bewegt hat oder nicht.
Ferner kann beispielsweise die Körperbaubestimmungseinheit 16 die Informationen über den Körperbau des Fahrers erhalten, indem sie den von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrag und die X-Koordinate des Skelettkoordinatenpunkts, der den Hals des Fahrers in dem aufgenommenen Bild angibt, in ein Maschinenlernmodell (im Folgenden als „viertes Maschinenlernmodell“ bezeichnet) eingibt. Das vierte Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingaben den Körperbaubestimmungs-Merkmalsbetrag und die X-Koordinate des Skelettkoordinatenpunkts, der den Hals des Fahrers in dem aufgenommenen Bild angibt, empfängt und die Informationen über den Körperbau des Fahrers ausgibt.
Bei der Bestimmung des Körperbaus des Fahrers unter Verwendung des vierten Maschinenlernmodells kann die Körperbaubestimmungseinheit 16 den Körperbau des Fahrers unter Berücksichtigung des Tiefenabstands von der Bildaufnahmevorrichtung 2 zum Fahrer auf der Basis eines aufgenommenen Bildes bestimmen, das von der Bildaufnahmevorrichtung 2 aufgenommen wurde, während die Bildaufnahmevorrichtung 2 den Insassen erfasst.
Darüber hinaus kann beispielsweise die Information, die den Tiefenabstand von der Bildaufnahmevorrichtung 2 zum Fahrer angibt, eine Information über die Breite der Augen des Fahrers sein.
Beispielsweise vergrößert sich die Breite der Augen des Fahrers, wenn der Fahrer klein ist und den Fahrersitz nach vorne bewegt. Umgekehrt nimmt die Breite der Augen des Fahrers ab, wenn der Fahrer groß ist und den Fahrersitz nach hinten bewegt. Es ist zu beachten, dass die Breite der menschlichen Augen unabhängig vom Körperbau im Wesentlichen gleich sein soll.
Beispielsweise stellt die Körperbaubestimmungseinheit 16 in einem Fall, in dem die Breite der Augen des Fahrers in dem aufgenommenen Bild zunimmt, fest, dass der Fahrer wahrscheinlich klein ist, verringert den Körperbau-Index und bestimmt dann den Körperbau des Fahrers auf der Grundlage des Körperbau-Index.
Ferner kann die Körperbaubestimmungseinheit 16 beispielsweise die Informationen über den Körperbau des Fahrers erhalten, indem sie den von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrag und Informationen, die den Grad der Veränderung der Breite der Augen des Fahrers in dem aufgenommenen Bild angeben, in ein Maschinenlernmodell (im Folgenden als „fünftes Maschinenlernmodell“ bezeichnet) eingibt. Das fünfte Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingaben den Körperbaubestimmungs-Merkmalsbetrag und die Information, die den Grad der Veränderung der Breite der Augen des Fahrers in dem aufgenommenen Bild angibt, empfängt und die Information über den Körperbau des Fahrers ausgibt.
Beispielsweise, wenn der Motor des Fahrzeugs 100 eingeschaltet ist, erfasst die Körperbaubestimmungseinheit 16 ein erfasstes Bild von der Aufnahmebild-Erfassungseinheit 11, führt einen bekannten Bilderkennungsprozess an dem erfassten Bild durch und berechnet die Breite der Augen des Fahrers. Die Körperbaubestimmungseinheit 16 speichert die Informationen über die berechnete Breite der Augen des Fahrers für einen vorgegebenen Zeitraum. Die Körperbaubestimmungseinheit 16 muss dann nur noch anhand der gespeicherten Informationen über die Breite der Augen des Fahrers den Grad der Veränderung der Breite der Augen des Fahrers im aufgenommenen Bild bestimmen.
Ferner kann beispielsweise die Körperbaubestimmungseinheit 16 die Informationen über den Körperbau des Fahrers erhalten, indem sie den von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbetrag und die Informationen über die Breite der Augen des Fahrers in dem aufgenommenen Bild in ein Maschinenlernmodell (im Folgenden als „sechstes Maschinenlernmodell“ bezeichnet) eingibt. Das sechste Maschinenlernmodell ist ein Maschinenlernmodell, das als Eingaben den Körperbaubestimmungs-Merkmalsbetrag und die Information über die Breite der Augen des Fahrers in dem aufgenommenen Bild erhält und die Körperbauinformation des Fahrers ausgibt.
Bei der Bestimmung des Körperbaus des Fahrers unter Verwendung des sechsten Maschinenlernmodells kann die Körperbaubestimmungseinheit 16 den Körperbau des Fahrers unter Berücksichtigung des Tiefenabstands von der Bildaufnahmevorrichtung 2 zum Fahrer auf der Grundlage eines aufgenommenen Bildes bestimmen, das von der Bildaufnahmevorrichtung 2 aufgenommen wurde, während die Bildaufnahmevorrichtung 2 den Insassen erfasst.
Wie oben beschrieben, kann die Körperbaubestimmungsvorrichtung 1 in einem Fall, in dem der Insasse der Fahrer ist, den Körperbau des Fahrers unter Berücksichtigung der Tiefenentfernung von der Bildaufnahmevorrichtung 2 zum Fahrer bestimmen. Infolgedessen kann die Körperbaubestimmungsvorrichtung 1 die Genauigkeit der Bestimmung des Körperbaus des Fahrers im Vergleich zu dem Fall der Bestimmung des Körperbaus des Fahrers ohne Berücksichtigung des Tiefenabstands verbessern.
Darüber hinaus kann die Körperbaubestimmungsvorrichtung 1 in der oben beschriebenen ersten Ausführungsform feststellen, ob der Sitzzustand des Insassen ein normaler Sitzzustand ist oder nicht, und den Körperbau des Insassen bestimmen, wenn festgestellt wird, dass der Sitzzustand des Insassen der normale Sitzzustand ist.
Insbesondere bestimmt in der Körperbaubestimmungsvorrichtung 1 die Körperbaubestimmungseinheit 16 auf der Grundlage der von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkte, ob der Sitzzustand des Insassen der normale Sitzzustand ist oder nicht, und bestimmt den Körperbau des Insassen, wenn erkannt wird, dass der Sitzzustand des Insassen der normale Sitzzustand ist.
In der ersten Ausführungsform bedeutet der Zustand, in dem sich der Insasse im normalen Sitzzustand befindet, dass die Haltung des Insassen eine Haltung ist, in der der Körperbau des Insassen in geeigneter Weise bestimmt werden kann. In einem Fall, in dem die Haltung des Insassen eine Haltung ist, in der der Körperbau des Insassen nicht angemessen bestimmt werden kann, wird festgestellt, dass sich der Insasse nicht in dem normalen Sitzzustand befindet. Konkret bedeutet die Körperhaltung, in der der Körperbau des Insassen nicht angemessen bestimmt werden kann, beispielsweise einen Zustand, in dem die Körperhaltung des Insassen verloren ist. Ferner bedeutet die Haltung, in der der Körperbau des Insassen nicht angemessen bestimmt werden kann, beispielsweise eine Haltung, in der der Insasse seine Hand stark in Richtung der Bildaufnahmevorrichtung 2 streckt.
Beispielsweise ermittelt die Körperbaubestimmungseinheit 16 durch Vergleich der von der Merkmalsbetrag-Berechnungseinheit 15 berechneten Körperbaubestimmungs-Merkmalsbeträge, ob der Sitzzustand des Insassen der normale Sitzzustand ist oder nicht. Der Körperbaubestimmungs-Merkmalsbetrag wird auf der Grundlage der von der Skeletterkennungseinheit 12 erkannten und von der Skelettpunkt-Auswahleinheit 14 ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunkte berechnet.
Beispielsweise vergleicht die Körperbaubestimmungseinheit 16 den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Oberarms des Insassen angibt, den Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt, und stellt fest, ob es einen extrem kleinen Körperbaubestimmungs-Merkmalsbetrag gibt oder nicht. Liegt ein extrem kleiner Körperbaubestimmungs-Merkmalsbetrag vor, stellt die Körperbaubestimmungseinheit 16 fest, dass sich der Insasse nicht im normalen Sitzzustand befindet. Beispielsweise liegen in einem Fall, in dem der Insasse die Hand weit in Richtung der Bildaufnahmevorrichtung 2 ausstreckt, der Körperbaubestimmungs-Skelettkoordinatenpunkt, der die Schulter des Insassen angibt, und der Körperbaubestimmungs-Skelettkoordinatenpunkt, der den Ellbogen des Insassen angibt, in dem aufgenommenen Bild nahe beieinander. Das heißt, der Körperbaubestimmung-Merkmalsbetrag, der den Oberarm des Insassen angibt, ist extrem kleiner als der Körperbaubestimmung-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und der Körperbaubestimmung-Merkmalsbetrag, der die Länge des Halses des Insassen angibt. In diesem Fall wird der Körperbaubestimmungs-Merkmalsbetrag, der den Oberarm des Insassen angibt, nicht angemessen berechnet, und der Körperbau des Insassen kann nicht angemessen bestimmt werden, wenn der Körperbaubestimmungs-Merkmalsbetrag verwendet wird. Daher stellt die Körperbaubestimmungseinheit 16 in einem Fall, in dem ein extrem kleiner Körperbaubestimmungs-Merkmalsbetrag vorliegt, fest, dass sich der Insasse nicht im normalen Sitzzustand befindet.
Die Körperbaubestimmungseinheit 16 vergleicht den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Oberarms des Insassen angibt, den Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt, und stellt fest, dass sich der Insasse im normalen Sitzzustand befindet, wenn es keinen extrem kleinen Körperbaubestimmungs-Merkmalsbetrag gibt.
Beispielsweise kann die Körperbaubestimmungseinheit 16 auf der Grundlage der Neigung eines Liniensegments, das zwei Skelettkoordinatenpunkte in dem aufgenommenen Bild verbindet, bestimmen, ob der Sitzzustand des Insassen der normale Sitzzustand ist oder nicht.
Konkret berechnet die Körperbaubestimmungseinheit 16 beispielsweise die Neigung eines Liniensegments, das den Skelettkoordinatenpunkt, der den Nacken des Insassen angibt, und den Skelettkoordinatenpunkt, der entweder die rechte oder linke Taille des Insassen angibt, verbindet. Dann vergleicht die Körperbaubestimmungseinheit 16 die berechnete Neigung des Liniensegments mit einer im Voraus gespeicherten Neigung (im Folgenden als „Normal-Sitz-Bestimmungsneigung“ bezeichnet), um zu bestimmen, ob sich der Insasse im normalen Sitzzustand befindet oder nicht, und stellt fest, dass sich der Insasse im normalen Sitzzustand befindet, wenn die Differenz zwischen der berechneten Neigung des Liniensegments und der Normal-Sitz-Bestimmungsneigung innerhalb eines vorbestimmten Schwellenwerts liegt (im Folgenden als „Normal-Sitz-Bestimmungsschwelle“ bezeichnet). Die Neigung zur Bestimmung des normalen Sitzens ist beispielsweise definiert als die Neigung eines Liniensegments, das einen Skelettkoordinatenpunkt, der den Hals einer Person angibt, und einen Skelettkoordinatenpunkt, der entweder die linke oder die rechte Taille der Person angibt, in einem Zustand verbindet, in dem die Person mit einem Standardkörperbau in einer Standardposition sitzt, ohne ihre Haltung zu verlieren. Die die normale Sitzposition bestimmende Neigung wird im Voraus festgelegt und in der Körperbaubestimmungseinheit 16 gespeichert.
Ist dagegen die Differenz zwischen der berechneten Neigung des Liniensegments und der Neigung zur Bestimmung des Normalsitzes größer als der Schwellenwert für die Bestimmung des Normalsitzes, stellt die Körperbaubestimmungseinheit 16 fest, dass sich der Insasse nicht im Normalsitz befindet. In einem Fall, in dem die Differenz zwischen der berechneten Neigung des Liniensegments und der Neigung zur Bestimmung des normalen Sitzens größer ist als der Schwellenwert zur Bestimmung des normalen Sitzens, wird angenommen, dass die Körperhaltung des Insassen verloren ist.
Wenn festgestellt wird, dass sich der Insasse im normalen Sitzzustand befindet, bestimmt die Körperbaubestimmungseinheit 16 den Körperbau des Insassen, der sich im normalen Sitzzustand befindet. Wenn festgestellt wird, dass sich der Insasse nicht im normalen Sitzzustand befindet, ermittelt die Körperbaubestimmungseinheit 16 nicht den Körperbau des Insassen, für den festgestellt wurde, dass er sich nicht im normalen Sitzzustand befindet.
Es ist zu beachten, dass die Körperbaubestimmungseinheit 16 für jeden Insassen feststellt, ob er sich im normalen Sitzzustand befindet oder nicht.
In der Beschreibung wurde beschrieben, dass in der Körperbaubestimmungsvorrichtung 1 die Körperbaubestimmungseinheit 16 den Körperbau des Insassen bestimmt, der als im normalen Sitzzustand befindlich bestimmt wird, wenn bestimmt wird, dass der Sitzzustand des Insassen der normale Sitzzustand ist, und nicht den Körperbau des Insassen bestimmt, der als nicht im normalen Sitzzustand befindlich bestimmt wird, wenn bestimmt wird, dass der Sitzzustand des Insassen nicht der normale Sitzzustand ist, aber dies ist lediglich ein Beispiel.
Beispielsweise kann in der Körperbaubestimmungsvorrichtung 1 selbst in einer Situation, in der angenommen wird, dass die Sitzposition des Insassen nicht im normalen Sitzzustand ist, die Körperbaubestimmungseinheit 16 den Körperbaubestimmungs-Merkmalsbetrag auswählen, der verwendet wird, um den Körperbau des Insassen auf der Grundlage der Beziehung zwischen den Körperbaubestimmungs-Merkmalsbeträgen zu bestimmen, und dann den Körperbau des Insassen unter Verwendung des ausgewählten Körperbaubestimmungs-Merkmalsbetrags bestimmen.
Konkret wird beispielsweise, wie im oben beschriebenen Beispiel, angenommen, dass der Insasse die Hand stark in Richtung der Bildaufnahmevorrichtung 2 ausstreckt und der Körperbaubestimmungs-Merkmalsbetrag, der den Oberarm des Insassen angibt, extrem kleiner ist als der Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und der Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt. In diesem Fall schließt die Körperbaubestimmungseinheit 16 einen extrem kleinen Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Oberarms des Insassen angibt, aus und wählt den Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt, als die Körperbaubestimmungs-Merkmalsbeträge aus, die zur Bestimmung des Körperbaus des Insassen verwendet werden. Anschließend ermittelt die Körperbaubestimmungseinheit 16 den Körperbau des Insassen anhand des Körperbaubestimmungs-Merkmalsbetrags, der die Schulterbreite des Insassen angibt, und des Körperbaubestimmungs-Merkmalsbetrags, der die Länge des Halses des Insassen angibt.
Darüber hinaus ist es nicht auf das oben beschriebene Beispiel beschränkt, und beispielsweise kann aufgrund einer fehlerhaften Erkennung von Skelettkoordinatenpunkten des Insassen durch die Skeletterkennungseinheit 12 ein bestimmter Körperbaubestimmungs-Merkmalsbetrag extrem kleiner oder extrem größer sein als andere Körperbaubestimmungs-Merkmalsbeträge.
Als spezifisches Beschreibungsbeispiel wird beispielsweise angenommen, dass die Skeletterkennungseinheit 12 fälschlicherweise einen Skelettkoordinatenpunkt erkennt, der den Ellbogen des Insassen angibt. Es ist zu beachten, dass die Skeletterkennungseinheit 12 andere Skelettkoordinatenpunkte außer dem des Ellenbogens des Insassen erkennen kann. In diesem Fall ist die Merkmalsbetrag-Berechnungseinheit 15 möglicherweise nicht in der Lage, den Körperbaubestimmungs-Merkmalsbetrag, der den Oberarm des Insassen angibt, in geeigneter Weise zu berechnen. Beispielsweise besteht die Möglichkeit, dass die Merkmalsbetrag-Berechnungseinheit 15 den Körperbaubestimmungs-Merkmalsbetrag, der den Oberarm des Insassen angibt, extrem kleiner oder extrem größer berechnet als andere Körperbaubestimmungs-Merkmalsbeträge (der Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und der Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt). Dann stellt die Körperbaubestimmungseinheit 16 fest, dass der Sitzzustand des Insassen nicht der normale Sitzzustand ist.
Auch in einem solchen Fall, beispielsweise wenn die Körperbaubestimmungseinheit 16 feststellt, dass der Sitzzustand des Insassen nicht der normale Sitzzustand ist, bestimmt die Körperbaubestimmungseinheit nicht den Körperbau des Insassen, der als nicht im normalen Sitzzustand befindlich festgestellt wird.
Darüber hinaus kann die Körperbaubestimmungseinheit 16 einen extrem kleinen oder extrem großen Körperbaubestimmungs-Merkmalsbetrag, der den Oberarm des Insassen angibt, ausschließen, den Körperbaubestimmungs-Merkmalsbetrag, der die Schulterbreite des Insassen angibt, und den Körperbaubestimmungs-Merkmalsbetrag, der die Länge des Halses des Insassen angibt, als den Körperbaubestimmungs-Merkmalsbetrag auswählen, der zur Bestimmung des Körperbaus des Insassen verwendet wird, und den Körperbau des Insassen bestimmen.
Wie oben beschrieben, kann die Körperbaubestimmungsvorrichtung 1 in der ersten Ausführungsform feststellen, ob der Sitzzustand des Insassen der normale Sitzzustand ist oder nicht, und den Körperbau des Insassen bestimmen, wenn festgestellt wird, dass der Sitzzustand des Insassen der normale Sitzzustand ist. Infolgedessen kann die Körperbaubestimmungsvorrichtung 1 eine fehlerhafte Bestimmung des Körperbaus des Insassen in einem Fall reduzieren, in dem die Körperhaltung des Insassen verloren gegangen ist oder dergleichen.
Darüber hinaus kann die Körperbaubestimmungsvorrichtung 1 in der ersten Ausführungsform den Körperbaubestimmungs-Merkmalsbetrag, der zur Bestimmung des Körpers des Insassen verwendet wird, auf der Grundlage der Beziehung zwischen den Körperbaubestimmungs-Merkmalsbeträgen auswählen und dann den Körper des Insassen unter Verwendung des ausgewählten Körperbaubestimmungs-Merkmalsbetrags bestimmen. Dadurch kann die Körperbaubestimmungsvorrichtung 1 beispielsweise eine Verringerung der Leistung der Körperbaubestimmung aufgrund der Körperhaltung des Insassen oder eine Verringerung der Leistung der Körperbaubestimmung aufgrund des Vorhandenseins von Skelettkoordinatenpunkten, die nicht angemessen erkannt wurden, verhindern.
Darüber hinaus ist in der oben beschriebenen ersten Ausführungsform der von der Skeletterkennungseinheit 12 der Körperbaubestimmungsvorrichtung 1 erkannte Skelettkoordinatenpunkt beispielsweise ein Punkt in einem aufgenommenen Bild und wird durch Koordinaten in dem aufgenommenen Bild dargestellt, aber dies ist lediglich ein Beispiel.
In der oben beschriebenen ersten Ausführungsform kann die Skeletterkennungseinheit 12 auch den Skelettkoordinatenpunkt des Insassen als dreidimensionale Koordinaten im Raum innerhalb des Bildaufnahmebereichs der Bildaufnahmevorrichtung 2 erkennen. In diesem Fall berechnet die Merkmalsbetrag-Berechnungseinheit 15 die Länge des Oberarms, die Schulterbreite oder die Länge des Halses des Insassen als dreidimensionalen Abstand.
Konkret erhält beispielsweise die Skeletterkennungseinheit 12 Informationen über den Skelettkoordinatenpunkt, indem sie beispielsweise ein erlerntes Modell des maschinellen Lernens (im Folgenden als „siebtes maschinelles Lernmodell“ bezeichnet) verwendet, das ein aufgenommenes Bild als Eingabe erhält und die Informationen über den Skelettkoordinatenpunkt ausgibt. Die von dem siebten Maschinenlernmodell ausgegebenen Informationen über den Skelettkoordinatenpunkt umfassen Informationen über den Skelettkoordinatenpunkt in dem aufgenommenen Bild, der durch die dreidimensionalen Koordinaten angegeben ist, und Informationen, die bestimmen können, welchen Abschnitt des Körpers der Skelettkoordinatenpunkt angibt.
Das siebte Maschinenlernmodell wird auf der Grundlage von im Voraus erzeugten Trainingsdaten, d. h. durch sogenanntes überwachtes Lernen, erstellt. Das siebte Maschinenlernmodell führt ein Lernen durch, um die Information des Skelettkoordinatenpunktes in dem aufgenommenen Bild in Übereinstimmung mit Trainingsdaten auszugeben, bei denen die Eingabe das aufgenommene Bild ist und das Lehrermarkenzeichen die Information des Skelettkoordinatenpunktes ist, der durch Bewegungserfassung oder ähnliches erfasst wurde und durch dreidimensionale Koordinaten angegeben ist.
Das siebte Maschinenlernmodell wird im Voraus an einem Ort gespeichert, auf den die Skeletterkennungseinheit 12 zugreifen kann. Es ist zu beachten, dass das siebte Maschinenlernmodell ein Lernen durchführt, um Informationen über eine Vielzahl von Skelettkoordinatenpunkten in dem aufgenommenen Bild auszugeben.
Darüber hinaus ist die Bildaufnahmevorrichtung 2 in der oben beschriebenen ersten Ausführungsform in der Mitte der Instrumententafel installiert, aber dies ist lediglich ein Beispiel.
Beispielsweise kann die Bildaufnahmevorrichtung 2 in einer A-Säule auf der Fahrersitzseite oder der Beifahrersitzseite, in einem Instrumententafel oder in einem Audiobedienfeld vorgesehen sein. Außerdem kann die Bildaufnahmevorrichtung 2 in einem Rückspiegel vorgesehen sein.
Die Bildaufnahmevorrichtung 2 muss nur installiert werden, um zumindest einen Bereich im Fahrzeug 100 aufnehmen zu können, der einen Bereich umfasst, in dem sich der Oberkörper des Insassen im Fahrzeug 100 aufhalten soll.
Ferner wird davon ausgegangen, dass in der oben beschriebenen ersten Ausführungsform eine Bildaufnahmevorrichtung 2 vorhanden ist, was jedoch lediglich ein Beispiel ist. In der ersten Ausführungsform kann eine Vielzahl von Bildaufnahmevorrichtungen 2 in dem Fahrzeug 100 installiert sein.
Beispielsweise kann die Vielzahl von Bildaufnahmevorrichtungen 2 so installiert sein, dass sie auf den einzelnen Sitzen des Fahrzeugs 100 sitzende Insassen aufnehmen können.
In diesem Fall wird die Körperbaubestimmungsvorrichtung 1 die von der Vielzahl der Bildaufnahmevorrichtungen 2 aufgenommenen Bilder erfassen und den Körperbau jedes der Insassen bestimmen.
Darüber hinaus kann die Skelettpunkt-Auswahleinheit 14 der Körperbaubestimmungsvorrichtung 1 in der oben beschriebenen ersten Ausführungsform in einem Fall, in dem die Skelettkoordinatenpunkte, die gepaarte Körperteile angeben, bei der Auswahl der Körperbaubestimmungs-Skelettkoordinatenpunkte denselben Abstand von der Bildaufnahmevorrichtung 2 haben, einen beliebigen Skelettkoordinatenpunkt der Skelettkoordinatenpunkte, die gepaarte Körperteile angeben, als den Körperbaubestimmungs-Skelettkoordinatenpunkt verwenden.
Beispielsweise kann in einem Fall, in dem die Bildaufnahmevorrichtung 2 den Insassen von rechts vorne so aufnimmt, dass die optische Achse der Bildaufnahmevorrichtung 2 durch die Mitte des Insassen läuft, der Abstand zwischen der Bildaufnahmevorrichtung 2 und dem Skelettkoordinatenpunkt, der die linke Schulter angibt, und der Abstand zwischen der Bildaufnahmevorrichtung 2 und dem Skelettkoordinatenpunkt, der die rechte Schulter angibt, gleich sein. In diesem Fall braucht die Skelettpunkt-Auswahleinheit 14 nur entweder den Skelettkoordinatenpunkt, der die linke Schulter angibt, oder den Skelettkoordinatenpunkt, der die rechte Schulter angibt, als körperbaubestimmenden Skelettkoordinatenpunkt zu verwenden.
Es ist zu beachten, dass in einem Fall, in dem es eine Vielzahl von Sätzen von Skelettkoordinatenpunkten mit demselben Abstand von der Bildaufnahmevorrichtung 2 unter den Skelettkoordinatenpunkten gibt, die gepaarte Körperteile angeben, die Skelettpunkt-Auswahleinheit 14 eine Auswahl in einer solchen Weise trifft, dass unter den Sätzen der linken und rechten Skelettkoordinatenpunkte in dem aufgenommenen Bild die Skelettkoordinatenpunkte auf derselben Seite als die körperbaubestimmenden Skelettkoordinatenpunkte verwendet werden.
Darüber hinaus wird in der oben beschriebenen ersten Ausführungsform in einem Fall, in dem die Anzahl der Insassen, deren Körperbau durch die Körperbaubestimmungsvorrichtung 1 bestimmt werden soll, als eins bestimmt wird, beispielsweise nur der Fahrer unter den Insassen des Fahrzeugs 100 bestimmt, um einer Körperbaubestimmung durch die Körperbaubestimmungsvorrichtung unterzogen zu werden, kann die Skelettpunkt-Auswahleinheit 14 als den Körperbaubestimmungs-Skelettkoordinatenpunkt einen Skelettkoordinatenpunkt verwenden, der näher an der Bildaufnahmevorrichtung 2 der Skelettkoordinatenpunkte liegt, die gepaarte Körperteile angeben, unabhängig davon, auf welchem Sitz der Insasse sitzt.
Beispielsweise kann die Skelettpunkt-Auswahleinheit 14 auch in einem Fall, in dem die Bildaufnahmevorrichtung 2 für jeden Insassen installiert ist, als den Körperbaubestimmungs-Skelettkoordinatenpunkt einen Skelettkoordinatenpunkt verwenden, der näher an der Bildaufnahmevorrichtung 2 der Skelettkoordinatenpunkte liegt, die gepaarte Körperteile angeben, unabhängig davon, auf welchem Sitz der Insasse Platz genommen hat.
In diesem Fall umfasst die Körperbaubestimmungsvorrichtung 1 nicht unbedingt die Sitzposition-Bestimmungseinheit 13. In einem Fall, in dem die Skelettkoordinatenpunkte des Insassen Skelettkoordinatenpunkte sind, die auf gepaarte Körperteile hinweisen, muss die Skelettpunkt-Auswahleinheit 14 auf der Grundlage der von der Skeletterkennungseinheit 12 ausgegebenen Informationen über die Skelettkoordinatenpunkte nur die den Körperbau bestimmenden Skelettkoordinatenpunkte aus den von der Skeletterkennungseinheit 12 erkannten Skelettkoordinatenpunkten des Insassen auswählen, indem sie die Skelettkoordinatenpunkte verwendet, die näher an der Bildaufnahmevorrichtung 2 liegen.
Es ist zu beachten, dass beispielsweise auch in einem Fall, in dem die Anzahl der Insassen, deren Körperbau durch die Körperbaubestimmungsvorrichtung 1 bestimmt werden soll, mit eins bestimmt wird, oder auch in einem Fall, in dem die Bildaufnahmevorrichtung 2 für jeden Insassen installiert ist, die Sitzpositions-Bestimmungseinheit 13 den Sitz bestimmen kann, auf dem der Insasse sitzt, und die Skelettpunkt-Auswahleinheit 14 den körperbaubestimmenden Skelettkoordinatenpunkt auf der Basis der sitzplatzbezogenen Skelettkoordinatenpunkt-Information auswählen kann.
Ferner wird in der oben beschriebenen ersten Ausführungsform davon ausgegangen, dass die Bildaufnahmevorrichtung 2 den Fahrersitz und den Beifahrersitz aufnimmt, was jedoch lediglich ein Beispiel ist. Die Bildaufnahmevorrichtung 2 kann auch so installiert werden, dass sie in der Lage ist, den Rücksitz aufzunehmen, und die Körperbaubestimmungsvorrichtung 1 kann auch den Körperbau des Insassen auf dem Rücksitz auf der Grundlage eines aufgenommenen Bildes bestimmen, das durch Aufnahme des Rücksitzes mit der Bildaufnahmevorrichtung 2 erhalten wurde.
6A und 6B sind Diagramme, die ein Beispiel für eine Hardwarekonfiguration der Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform zeigen.
In der ersten Ausführungsform werden die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Skeletterkennungseinheit 12, der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrag-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 durch eine Verarbeitungsschaltung 1111 implementiert. Das heißt, die Körperbaubestimmungsvorrichtung 1 umfasst die Verarbeitungsschaltung 1111 zur Ausführung einer Steuerung zur Bestimmung des Körperbaus des Insassen auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen des Fahrzeugs 100 erhalten wurde.
Bei der Verarbeitungsschaltung 1111 kann es sich um zugeordnete Hardware handeln, wie in 6A dargestellt, oder um einen Prozessor 1114, der ein in einem Speicher gespeichertes Programm ausführt, wie in 6B dargestellt.
In einem Fall, in dem die Verarbeitungsschaltung 1111 zugeordnete Hardware ist, gehört die Verarbeitungsschaltung 1111 beispielsweise zu einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem feldprogrammierbaren Gate-Array (FPGA) oder einer Kombination davon.
In einem Fall, in dem die Verarbeitungsschaltung der Prozessor 1114 ist, werden die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Skeletterkennungseinheit 12, der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrags-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder Firmware wird als Programm beschrieben und in einem Speicher 1115 gespeichert. Der Prozessor 1114 liest das in dem Speicher 1115 gespeicherte Programm und führt es aus, wodurch die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Skeletterkennungseinheit 12, der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrag-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 ausgeführt werden. Das heißt, die Körperbaubestimmungsvorrichtung 1 umfasst den Speicher 1115 zum Speichern eines Programms, das dazu führt, dass die Schritte ST1 bis ST7 in 4 ausgeführt werden, wenn sie von dem Prozessor 1114 ausgeführt werden. Man kann auch sagen, dass das in dem Speicher 1115 gespeicherte Programm einen Computer veranlasst, die Prozeduren oder Verfahren durchzuführen, die durch die Aufnahmebild-Erfassungseinheit 11, die Skeletterkennungseinheit 12, die Sitzpositions-Bestimmungseinheit 13, die Skelettpunkt-Auswahleinheit 14, die Merkmalsbetrag-Berechnungseinheit 15, die Körperbaubestimmungseinheit 16 und die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 implementiert werden. Der Speicher 1115 gehört hier zu einem nichtflüchtigen oder flüchtigen Halbleiterspeicher, beispielsweise einem RAM, einem Nur-Lese-Speicher (ROM), einem Flash-Speicher, einem löschbaren programmierbaren Nur-Lese-Speicher (EPROM) oder einem elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), einer Magnetplatte, einer flexiblen Platte, einer optischen Platte, einer Compact-Disk, einer Mini-Disk, einer Digital Versatile Disc (DVD) oder dergleichen.
Es ist zu beachten, dass einige der Funktionen der Aufnahmebild-Erfassungseinheit 11, der Skeletterkennungseinheit 12, der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrag-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 durch zugeordnete Hardware implementiert sein können, und einige davon können durch Software oder Firmware implementiert sein. Beispielsweise können die Funktionen der Aufnahmebild-Erfassungseinheit 11 und der Skeletterkennungseinheit 12 durch die Verarbeitungsschaltung 1111 als zugeordnete Hardware implementiert werden, und die Funktionen der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrag-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 können durch den Prozessor 1114 implementiert werden, der im Speicher 1115 gespeicherte Programme liest und ausführt.
Darüber hinaus umfasst die Körperbaubestimmungsvorrichtung 1 eine Eingabeschnittstellenvorrichtung 1112 und eine Ausgabeschnittstellenvorrichtung 1113, die eine drahtgebundene oder drahtlose Kommunikation mit einer Vorrichtung wie beispielsweise der Bildaufnahmevorrichtung 2, der Airbag-Steuervorrichtung 3, der Benachrichtigungsvorrichtung 4 oder der Anzeigevorrichtung 5 durchführen.
In der oben beschriebenen ersten Ausführungsform ist die Körperbaubestimmungsvorrichtung 1 eine fahrzeugseitige Vorrichtung, die an dem Fahrzeug 100 angebracht ist, und die Aufnahmebild-Erfassungseinheit 11, die Skeletterkennungseinheit 12, die Sitzpositions-Bestimmungseinheit 13, die Skelettpunkt-Auswahleinheit 14, die Merkmalsbetrag-Berechnungseinheit 15, die Körperbaubestimmungseinheit 16 und die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 sind in der Körperbaubestimmungsvorrichtung 1 umfasst.
Es ist nicht darauf beschränkt, und einige der Aufnahmebild-Erfassungseinheit 11, der Skeletterkennungseinheit 12, der Sitzpositions-Bestimmungseinheit 13, der Skelettpunkt-Auswahleinheit 14, der Merkmalsbetrag-Berechnungseinheit 15, der Körperbaubestimmungseinheit 16 und der Körperbaubestimmungsergebnis-Ausgabeeinheit 17 können an der fahrzeugseitigen Vorrichtung des Fahrzeugs angebracht sein, und die übrigen können in einem Server vorgesehen sein, der mit der fahrzeugseitigen Vorrichtung über ein Netzwerk verbunden ist, so dass die fahrzeugseitige Vorrichtung und der Server ein Körperbaubestimmungssystem bilden können.
Darüber hinaus können die gesamte Aufnahmebild-Erfassungseinheit 11, die Skeletterkennungseinheit 12, die Sitzpositions-Bestimmungseinheit 13, die Skelettpunkt-Auswahleinheit 14, die Skelettpunkt-Auswahleinheit 15, die Körperbaubestimmungseinheit 16 und die Körperbaubestimmungsergebnis-Ausgabeeinheit 17 in dem Server vorgesehen sein.
Wie oben beschrieben, umfasst die Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform die Skeletterkennungseinheit 12, um einen Skelettkoordinatenpunkt eines Insassen zu erkennen, der einen Körperteil des Insassen auf der Grundlage eines aufgenommenen Bildes anzeigt, das durch Aufnehmen des Insassen des Fahrzeugs 100 unter Verwendung der Bildaufnahmevorrichtung 2 erhalten wurde, die Skelettpunkt-Auswahleinheit 14, um in einem Fall, in dem Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit 12 erkannt wurden, Skelettkoordinatenpunkte sind, die gepaarte Körperteile anzeigen, einen Körperbaubestimmungs-Skelettkoordinatenpunkt aus den Skelettkoordinatenpunkten des Insassen, die von der Skeletterfassungsvorrichtung 12 erkannt wurden, auszuwählen, indem der Skelettkoordinatenpunkt verwendet wird, der näher an der Bildaufnahmevorrichtung 2 liegt, die Merkmalsbetrag-Berechnungseinheit 15, um einen Körperbaubestimmungs-Merkmalsbetrag auf der Grundlage von Informationen des Körperbaubestimmungs-Skelettkoordinatenpunktes zu berechnen, der von der Skelettpunkt-Auswahleinheit 14 ausgewählt wurde, und die Körperbaubestimmungseinheit 16, um den Körperbau des Insassen auf der Grundlage des Körperbaubestimmungs-Merkmalsbetrags zu bestimmen, der von der Merkmalsbetrag-Berechnungseinheit 15 berechnet wurde. Daher kann die Körperbaubestimmungsvorrichtung 1 die Genauigkeit der Körperbaubestimmung im Vergleich zu einer herkömmlichen Technik verbessern, bei der die Körperbaubestimmung durch Erkennen der Gelenkpunkte der Schultern und der Taille des Insassen durchgeführt wird.
Ferner umfasst die Körperbaubestimmungsvorrichtung 1 gemäß der ersten Ausführungsform die Sitzposition-Bestimmungseinheit 13, um einen Sitz, auf dem der Insasse sitzt, auf der Grundlage von Informationen der Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit 12 erkannt wurden, zu bestimmen und die Informationen der Skelettkoordinatenpunkte des Insassen mit Informationen des Sitzes, auf dem der Insasse sitzt, zu verknüpfen. Die Skelettpunkt-Auswahleinheit 14 wählt den Körperbaubestimmungs-Skelettkoordinatenpunkt aus den Skelettkoordinatenpunkten des Insassen aus, die von der Skeletterkennungseinheit 12 erkannt wurden, indem sie den Skelettkoordinatenpunkt verwendet, der näher an der Bildaufnahmevorrichtung 2 liegt, wenn die Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit 12 erkannt wurden, die Skelettkoordinatenpunkte sind, die gepaarte Körperteile auf der Grundlage der Informationen der Skelettkoordinatenpunkte des Insassen und der Informationen des Sitzes, auf dem der Insasse sitzt, anzeigen, die von der Sitzposition-Bestimmungseinheit 13 zugeordnet werden. Daher kann die Körperbaubestimmungsvorrichtung 1 auch in einem Fall, in dem die Bildaufnahmevorrichtung 2 eine Vielzahl von Insassen aufnimmt, den Körperbau eines jeden der Insassen bestimmen.
Es ist zu beachten, dass es möglich ist, jede Komponente der Ausführungsform der vorliegenden Offenbarung zu modifizieren oder wegzulassen.
GEWERBLICHE ANWENDBARKEIT
Die Körperbaubestimmungsvorrichtung gemäß der vorliegenden Offenbarung kann die Genauigkeit der Körperbaubestimmung im Vergleich zu einer herkömmlichen Technik verbessern, bei der die Körperbaubestimmung durch Erkennen von Gelenkpunkten der Schultern und der Hüften des Insassen durchgeführt wird.
BEZUGSZEICHENLISTE

1: Körperbaubestimmungsvorrichtung,
11: Aufnahmebild-Erfassungseinheit,
12: Skeletterkennungseinheit,
13: Sitzposition-Bestimmungseinheit,
14: Skelettpunkt-Auswahleinheit,
15: Merkmalsbetrag-Berechnungseinheit,
16: Körperbaubestimmungseinheit,
17: Körperbaubestimmungsergebnis-Ausgabeeinheit,
2: Bildaufnahme-Vorrichtung,
3: Airbag-Steuervorrichtung,
4: Benachrichtigungsvorrichtung,
5: Anzeigevorrichtung,
6: Sicherheitsgurt-Steuervorrichtung,
100: Fahrzeug,
1111: Verarbeitungsschaltung,
1112: Eingabe-Schnittstellenvorrichtung,
1113: Ausgabe-Schnittstellenvorrichtung,
1114: Prozessor,
1115: Speicher

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018096946 A [0004]

Claims

Eine Körperbaubestimmungsvorrichtung, umfassend: eine Skeletterkennungseinheit zum Erkennen eines Skelettkoordinatenpunktes eines Insassen, der einen Körperteil des Insassen angibt, auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen eines Fahrzeugs unter Verwendung einer Bildaufnahmevorrichtung erhalten ist; eine Skelettpunkt-Auswahleinheit, um in einem Fall, in dem Skelettkoordinatenpunkte des Insassen, die durch die Skeletterkennungseinheit erkannt sind, gepaarte Körperteile anzeigen, einen Körperbaubestimmungs-Skelettkoordinatenpunkt aus den Skelettkoordinatenpunkten des Insassen, die durch die Skeletterkennungseinheit erkannt sind, auszuwählen, indem der Skelettkoordinatenpunkt näher an der Bildaufnahmevorrichtung verwendet wird; eine Merkmalsbetrags-Berechnungseinheit zum Berechnen eines Körperbaubestimmungsmerkmalsbetrags auf der Grundlage von Informationen des Körperbaubestimmungs-Skelettkoordinatenpunkts, der von der Skelettpunkt-Auswahleinheit ausgewählt ist; und eine Körperbaubestimmungseinheit, um einen Körperbau des Insassen auf der Grundlage des von der Merkmalsbetrag-Berechnungseinheit berechneten Körperbaubestimmungs-Merkmalsbetrags zu bestimmen.
Körperbaubestimmungsvorrichtung nach Anspruch 1, ferner umfassend eine Sitzposition-Bestimmungseinheit zum Bestimmen eines Sitzes, auf dem der Insasse sitzt, auf der Grundlage von Informationen der Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit erkannt sind, und zum Zuordnen der Informationen der Skelettkoordinatenpunkte des Insassen zu Informationen des Sitzes, auf dem der Insasse sitzt, wobei die Skelettpunkt-Auswahleinheit den Körperbaubestimmungs-Skelettkoordinatenpunkt aus den von der Skeletterkennungseinheit erkannten Skelettkoordinatenpunkten des Insassen auswählt, indem sie den Skelettkoordinatenpunkt verwendet, der näher an der Bildaufnahmevorrichtung liegt, in einem Fall, in dem die von der Skeletterkennungseinheit erkannten Skelettkoordinatenpunkte des Insassen gepaarte Skelette anzeigen, auf der Grundlage der Informationen der Skelettkoordinatenpunkte des Insassen und der Informationen des Sitzes, auf dem der Insasse sitzt, die von der Sitzposition-Bestimmungseinheit zugeordnet sind.
Körperbaubestimmungsvorrichtung nach Anspruch 1, wobei der von der Skelettpunkt-Auswahleinheit ausgewählte Körperbaubestimmungs-Skelettkoordinatenpunkt einen Punkt umfasst, der einen Ellbogen des Insassen angibt, oder einen Punkt, der ein Skelett oberhalb des Ellbogens des Insassen in dem aufgenommenen Bild angibt.
Körperbaubestimmungsvorrichtung nach Anspruch 3, wobei die Merkmalsbetrag-Berechnungseinheit mindestens eine Länge eines Oberarms, eine Schulterbreite oder eine Länge eines Halses des Insassen als den Körperbaubestimmungs-Merkmalsbetrag berechnet.
Körperbaubestimmungsvorrichtung nach Anspruch 1, die ferner eine Sitzposition-Bestimmungseinheit umfasst, um einen Sitz, auf dem der Insasse sitzt, auf der Grundlage von Informationen der Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit erkannt sind, zu bestimmen und die Informationen der Skelettkoordinatenpunkte des Insassen mit Informationen über den Sitz, auf dem der Insasse sitzt, zu verknüpfen, wobei in einem Fall, in dem die Sitzpositions-Bestimmungseinheit bestimmt, dass der Sitz, auf dem der Insasse sitzt, ein Fahrersitz ist, die Körperbaubestimmungseinheit einen Körperbau des Insassen auf der Grundlage des Körperbaubestimmungs-Merkmalsbetrags, der von der Merkmalsbetrag-Berechnungseinheit berechnet wird, und von Informationen, die einen Tiefenabstand von der Bildaufnahmevorrichtung zu dem Insassen angeben, bestimmt.
Körperbaubestimmungsvorrichtung nach Anspruch 1, wobei die Körperbaubestimmungseinheit bestimmt, ob ein Sitzzustand des Insassen ein normales Sitzen ist oder nicht, auf der Grundlage des von der Skelettpunkt-Auswahleinheit ausgewählten Körperbaubestimmungs-Skelettkoordinatenpunktes, und in einem Fall, in dem bestimmt wird, dass der Sitzzustand des Insassen der normale Sitzzustand ist, einen Körperbau des Insassen bestimmt.
Körperbaubestimmungsvorrichtung nach Anspruch 1, wobei die Körperbaubestimmungseinheit den Körperbaubestimmungs-Merkmalsbetrag, der zur Bestimmung des Körperbaus des Insassen verwendet wird, auf der Grundlage einer Beziehung zwischen den Körperbaubestimmungs-Merkmalsbeträgen auswählt und den Körperbau des Insassen unter Verwendung eines ausgewählten Körperbaubestimmungs-Merkmalsbetrags bestimmt.
Körperbaubestimmungsvorrichtung nach Anspruch 4, wobei die Skeletterkennungseinheit den Skelettkoordinatenpunkt des Insassen als dreidimensionale Koordinaten erkennt, und die Merkmalsbetrag-Berechnungseinheit die Länge des Oberarms, die Schulterbreite oder die Länge des Halses des Insassen als dreidimensionalen Abstand berechnet.
Ein Körperbaubestimmungsverfahren, umfassend: Erkennen, durch eine Skeletterkennungseinheit, eines Skelettkoordinatenpunktes eines Insassen, der einen Körperteil des Insassen angibt, auf der Grundlage eines aufgenommenen Bildes, das durch Aufnehmen des Insassen eines Fahrzeugs unter Verwendung einer Bildaufnahmevorrichtung erhalten wurde; Auswählen, durch eine Skelettpunkt-Auswahleinheit, in einem Fall, in dem Skelettkoordinatenpunkte des Insassen, die von der Skeletterkennungseinheit erkannt wurden, gepaarte Körperteile anzeigen, eines Körperbaubestimmungs-Skelettkoordinatenpunktes aus den Skelettkoordinatenpunkten des Insassen, die von der Skeletterkennungseinheit erkannt wurden, unter Verwendung des Skelettkoordinatenpunktes, der näher an der Bildaufnahmevorrichtung liegt; Berechnen, durch eine Merkmalsbetrag-Berechnungseinheit, eines Körperbaubestimmungs-Merkmalsbetrages auf der Basis von Informationen des Körperbaubestimmungs-Skelettkoordinatenpunktes, der durch die Skelettpunkt-Auswahleinheit ausgewählt wurde; und Bestimmen, durch eine Körperbaubestimmungseinheit, eines Körperbaus des Insassen auf der Grundlage des Körperbaubestimmungs-Merkmalsbetrags, der durch die Merkmalsbetrag-Berechnungseinheit berechnet wurde.