DE102020129979A1

DE102020129979A1 - Körperbauschätzvorrichtung und Haltungsschätzvorrichtung

Info

Publication number: DE102020129979A1
Application number: DE102020129979.6A
Authority: DE
Inventors: Godai TANAKA; Yoshiaki Tomatsu; Takayuki Nakagome
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2019-11-15
Filing date: 2020-11-13
Publication date: 2021-05-20
Also published as: JP7415469B2; US20210150754A1; US11380009B2; JP2021081836A

Abstract

Eine Körperbauschätzvorrichtung (C) umfasst: eine Kamera (6), die ein Bild eines Innenraums eines Fahrzeugs (A) aufnimmt; eine Skelettpunktkoordinatenerfassungseinheit (11), die Positionen von Skelettpunkten eines Körperbilds eines Insassen, der in einem aufgenommenen Bild des Innenraums umfasst ist, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds erfasst; eine Frontkoordinatenschätzeinheit (23), die einem Maschinenlernen unterzogen ist, sodass, durch Empfang einer Distanz zwischen voreingestellten Skelettpunkten und eines Winkels einer Skelettlinie, die durch Verbinden der Skelettpunkte erhalten wird, mit Bezug auf eine Referenzlinie, eine Frontkoordinate, die eine Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird; und eine Körperbaubestimmungseinheit (26), die einen Körperbau des Insassen basierend auf der Frontkoordinate bestimmt.

Description

Technisches Gebiet
Diese Offenbarung bezieht sich auf eine Körperbauschätzvorrichtung, die einen Körperbau eines Insassen schätzt, der durch eine Kamera aufgenommen wird, die ein Bild eines Innenraums eines Fahrzeugs aufnimmt, und eine Haltungsschätzvorrichtung, die eine Haltung des Insassen schätzt.
Hintergrunderörterung
Als eine Technik in Bezug auf eine Vorrichtung, die einen Körperbau schätzt, beschreibt die JP 2019 - 148865 A (Referenz 1) eine Vorrichtung mit einer Identifikationseinheit, die ein Bild eines Insassen eines Fahrzeugs (beweglichen Objekts in Referenz 1) mit einer Kamera (Bildgebungseinheit in Referenz 1) aufnimmt, eine Distanz zu einem Merkmalspunkt des Insassen durch ein optisches Laufzeit-Distanzmessverfahren herleitet und eine Haltung des Insassen basierend auf Distanzen zu einer Vielzahl von Merkmalspunkten identifiziert.
In Referenz 1 wird eine Skelettposition von jedem Teil wie etwa einem Kopf und einem Oberkörper eines Fahrers als ein Merkmalspunkt geschätzt, und identifiziert die Identifikationseinheit eine Haltung und eine Bewegung des Fahrers aus einer dreidimensionalen Koordinate von jedem Merkmalspunkt. Referenz 1 offenbart, dass bei dieser Identifikation eine Grundhaltung des Fahrers registriert sein kann und die Haltung basierend auf eine Änderung gegenüber der Grundhaltung identifiziert werden kann.
Die JP 2018 - 147313 A (Referenz 2) beschreibt eine Vorrichtung, bei der eine Skeletterzeugungseinheit ein Skelett eines Insassen aus einem Rahmen bzw. Einzelbild erzeugt, anstatt ein Bild eines Innenraums eines Fahrzeugs aufzunehmen, und jedes Körpergelenk und jedes Körperteil wie etwa ein Kopf, ein Oberkörper, eine Schulter des Insassen (Person in Referenz 2) geschätzt werden, um eine Haltung des Insassen zu schätzen.
Wenn ein Personenkraftwagen als Beispiel beschrieben wird, ist es möglich, einen Fahrzustand aus einer Fahrhaltung des Fahrers zu begreifen/verstehen, der auf einem Fahrersitz sitzt, und eine Haltung eines Oberkörpers des Fahrers, der auf dem Fahrersitz sitzt, ist aus dem Gesichtspunkt des Schutzes des Fahrers wichtig, wenn ein Airbag aktiviert wird.
In einem Fahrzeug, das mit Seitenairbags ausgestattet ist, ist es ferner wünschenswert, eine Haltung eines Oberkörpers eines Insassen, der auf einem Beifahrersitz oder einem hinteren Fahrgastsitz sitzt, zu verhindern, in der dieser sich gegen Innenwände lehnt, an denen die Seitenairbags eingerichtet sind.
Daher ist es denkbar, eine notwendige Nachricht bzw. Meldung an den Fahrer oder den Insassen auszugeben, indem der Körperbau und die Haltung des Insassen in dem Fahrzeug begriffen/verstanden werden. Die in Referenz 1 beschriebene Technik verwendet eine Vorrichtung, die den Insassen als die dreidimensionalen Koordinate verarbeitet, was zu einer Erhöhung von Kosten führt. In der Technik von Referenz 1 kann zum Beispiel, wenn ein Arm in einer Position ist, in der der Arm in dem Bild durch den Oberkörper verdeckt ist, eine Distanzmessung nicht korrekt durchgeführt werden, und kann eine Beziehung zwischen Distanzmessinformationen und dem Merkmalspunkt nicht zusammenpassen, da die dreidimensionale Koordinate verwendet wird.
Ferner wird in Referenz 2 die Haltung des Insassen aus einer Datenbank, Lerndaten für einen Merkmalspunkt in der Datenbank und Positionen von jedem Teil und jedem Gelenk des Körpers in der Datenbank geschätzt. Eine Körperform des Insassen wird jedoch nicht von der Vorderseite des Insassen aus erfasst.
Daher besteht ein Bedarf für eine Vorrichtung, die einen Körperbau eines Insassen erfasst, und eine Vorrichtung, die eine Haltung des Insassen schätzt, und zwar aus einem Körperbild, das in einem aufgenommenen Bild eines Innenraums eines Fahrzeugs umfasst ist, ohne eine Erhöhung von Kosten zu verursachen.
Kurzfassung
Eine Merkmalskonfiguration einer Körperbauschätzvorrichtung gemäß dieser Offenbarung umfasst eine Kamera, die konfiguriert ist zum Aufnehmen eines Bilds eines Innenraums eines Fahrzeugs, eine Skelettpunktkoordinatenerfassungseinheit, die konfiguriert ist zum Erfassen von Positionen von einer Vielzahl von Skelettpunkten von einem Körperbild eines Insassen, der in einem aufgenommenen Bild umfasst ist, das durch Aufnehmen eines Bilds des Innenraums durch die Kamera erhalten wird, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds, eine Frontkoordinatenschätzeinheit, die einem Maschinenlernen unterzogen ist, sodass, durch Empfang von Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und Winkelinformationen, die einen Winkel einer Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf eine Referenzlinie darstellen, eine Frontkoordinate, die eine Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird, und eine Körperbaubestimmungseinheit, die konfiguriert ist zum Bestimmen eines Körperbaus des Insassen basierend auf der durch die Frontkoordinatenschätzeinheit geschätzten Frontkoordinate.
Gemäß dieser Merkmalskonfiguration erfasst die Skelettpunktkoordinatenerfassungseinheit die Positionen der Vielzahl von Skelettpunkten des Insassen, der in dem aufgenommenen Bild umfasst ist, aus dem durch die Kamera aufgenommenen Bild als die Skelettpunktkoordinaten des zweidimensionalen Koordinatensystems. Als Nächstes schätzt die Frontkoordinatenschätzeinheit die Frontkoordinate, wenn der Insasse von vorne betrachtet wird, basierend auf den Distanzinformationen, die die Distanz zwischen der Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, und den Winkelinformationen, die den Winkel einer Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, mit Bezug auf die Referenzlinie darstellen, und bestimmt die Körperbaubestimmungseinheit den Körperbau basierend auf dieser Schätzung. Das heißt, wenn der Körperbau des Insassen basierend auf der Vielzahl von Skelettpunkten direkt bestimmt wird, kann ein Fehler abhängig von einer Haltung des Insassen auftreten. Bei dieser Merkmalskonfiguration kann jedoch der Fehler reduziert werden, und kann der Körperbau genau bestimmt werden, da der Körperbau basierend auf der Frontkoordinate geschätzt wird.
Insbesondere führt bei dieser Konfiguration die Frontkoordinatenschätzeinheit ein Maschinenlernen durch, indem die Distanzinformationen, die die Distanz zwischen der Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, und die Winkelinformationen, die den Winkel der Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, mit Bezug auf die Referenzlinie darstellen, empfangen werden, sodass die Frontkoordinate, die die Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird, was eine hochgenaue Schätzung implementiert. Ferner ist bei dieser Konfiguration zum Beispiel, da die Schätzung in dem zweidimensionalen Koordinatensystem basierend auf dem aufgenommenen Bild ohne eine Konfiguration für eine Distanzmessung durchgeführt wird, eine Verarbeitung wie etwa ein Bestimmen einer Positionsbeziehung der Skelettpunktkoordinaten in einem angenommenen dreidimensionalen Raum nicht notwendig, wird eine Erhöhung von Kosten verhindert, und kann eine Verarbeitung mit hoher Geschwindigkeit durchgeführt werden.
Als Folge hiervon ist es möglich, eine Vorrichtung bereitzustellen, die den Körperbau des Insassen, wenn dieser von vorne betrachtet wird, aus dem Körperbild erfasst, das in dem aufgenommenen Bild im Inneren des Fahrzeugs umfasst ist, ohne eine Erhöhung von Kosten zu verursachen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration können die Distanzinformationen eine Distanz zwischen Skelettpunkten auf einer linken und einer rechten Schulter des Insassen und eine Distanz zwischen Skelettpunkten in einem linken und einem rechten Teil einer Hüfte des Insassen darstellen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration können die Winkelinformationen einen Winkel einer Wirbelsäulenlinie entlang einer Wirbelsäule des Insassen mit Bezug auf eine Referenzwirbelsäulenlinie darstellen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration können die Winkelinformationen einen Winkel einer Schulterlinie, die durch Verbinden von Skelettpunkten auf einer linken und einer rechten Schulter des Insassen erhalten wird, mit Bezug auf eine Referenzschulterlinie darstellen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration können die Winkelinformationen einen Winkel einer Wirbelsäulenlinie entlang einer Wirbelsäule des Insassen mit Bezug auf eine Hüftlinie darstellen, die durch Verbinden von Skelettpunkten in einem linken und einem rechten Teil einer Hüfte des Insassen erhalten wird.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Körperbauschätzvorrichtung zusätzlich eine Körperbauspeichereinheit umfassen, die konfiguriert ist zum Speichern von Körperbauelementen, die in eine Vielzahl von Körperbautypen unterteilt sind. Die Körperbaubestimmungseinheit kann bestimmen, zu welchem der Vielzahl von Körperbautypen, die in der Körperbauspeichereinheit gespeichert sind, der Körperbau des Insassen gehört.
Dementsprechend speichert die Körperbauspeichereinheit eine Vielzahl von Körperbautypen (zum Beispiel Körperbauelemente, die per/mittels Unterabschnitten des US-NHTSA-Standards (49 CFR Part 572) unterteilt sind), oder Körperbauelementen, die in AF05, AM50, AM95 und dergleichen als Menschenkörpermodellstandards unterteilt sind. Die Körperbaubestimmungseinheit kann bestimmen, zu welchem der Vielzahl von Körperbauelementen, die in der Körperbauspeichereinheit gespeichert sind, der geschätzte Körperbau gehört, und kann auch eine Größe, ein Gewicht und dergleichen begreifen/verstehen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Körperbauschätzvorrichtung zusätzlich eine Sitzpositionserfassungseinheit, die konfiguriert ist zum Erfassen einer Position eines Sitzunterbaus und einer Lehnhaltung/-stellung eines Sitzrückenteils eines Sitzes in dem Fahrzeug, und eine Korrektureinheit, die konfiguriert ist zum Korrigieren der Skelettpunktkoordinaten basierend auf durch die Sitzpositionserfassungseinheit erfassten Informationen, umfassen.
Dementsprechend kann, durch Erfassen der Position des Sitzunterbaus und der Lehnhaltung/-stellung des Sitzrückenteils des Sitzes durch die Sitzpositionserfassungseinheit, die Korrektureinheit zum Beispiel die Skelettpunktkoordinaten korrigieren, um Skelettpunktkoordinaten für eine Vielzahl von Insassen zu erfassen, die ähnlich zu Skelettpunktkoordinaten von Insassen sind, die auf im Voraus angenommenen Sitzen sitzen, und einen angemessenen Körperbau erfassen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Körperbauschätzvorrichtung zusätzlich eine Haltungsbestimmungseinheit umfassen, die konfiguriert ist zum Bestimmen einer Haltung eines Oberkörpers des Insassen, der auf einem Sitz in dem Fahrzeug sitzt, basierend auf den Winkelinformationen.
Dementsprechend kann die Haltungsbestimmungseinheit eine Neigungsrichtung und einen Neigungswinkel des Oberkörpers des auf dem Sitz sitzenden Insassen bestimmen. Dementsprechend können notwendige Nachrichten bzw. Meldungen und Alarme basierend auf einer Positionsbeziehung zwischen dem Oberkörper des auf dem Sitz sitzenden Insassen und einem Seitenairbag ausgegeben werden.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Skelettpunktkoordinatenerfassungseinheit die Skelettpunktkoordinaten eines Oberkörpers des Insassen erfassen, der auf einem Sitz in dem Fahrzeug sitzt, und kann die Frontkoordinatenschätzeinheit die Frontkoordinate basierend auf den durch die Skelettpunktkoordinatenerfassungseinheit erfassten Skelettpunktkoordinaten des Oberkörpers schätzen.
Dementsprechend kann, da die Frontkoordinate nur durch den Oberkörper des Insassen geschätzt werden kann, der in dem durch die Kamera aufgenommenen Bild umfasst ist, die Frontkoordinate, die die Anordnung der Skelettpunkte darstellt, wenn dieser von vorne betrachtet wird, geschätzt werden, ganz gleich, auf welchem Sitz der Insasse sitzt.
Eine Merkmalskonfiguration der Haltungsschätzvorrichtung gemäß dieser Offenbarung umfasst eine Kamera, die konfiguriert ist zum Aufnehmen eines Bilds eines Innenraums eines Fahrzeugs, eine Skelettpunktkoordinatenerfassungseinheit, die konfiguriert ist zum Erfassen von Positionen von einer Vielzahl von Skelettpunkten von einem Körperbild eines Insassen, der in einem aufgenommenen Bild umfasst ist, das durch Aufnehmen eines Bilds des Innenraums durch die Kamera erhalten wird, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds, und eine Haltungsschätzeinheit, die einem Maschinenlernen unterzogen ist, sodass, durch Empfang von Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellte Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und Winkelinformationen, die einen Winkel einer Skelettpunktlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf eine Referenzlinie darstellen, eine Haltung des Insassen geschätzt und ausgegeben wird.
Gemäß dieser Merkmalskonfiguration erfasst die Skelettpunktkoordinatenerfassungseinheit die Positionen der Vielzahl von Skelettpunkten des Insassen, der in dem aufgenommenen Bild umfasst ist, aus dem durch die Kamera aufgenommenen Bild als die Skelettpunktkoordinaten des zweidimensionalen Koordinatensystems. Als Nächstes wird die Haltung des Insassen basierend auf den Distanzinformationen, die die Distanz zwischen der Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, und den Winkelinformationen der Skelettlinie, die durch Verbinden der Vielzahl von Skelettpunkten erhalten wird, mit Bezug auf die Referenzlinie darstellen, geschätzt. Das heißt, dass die Haltungsschätzeinheit eine hochgenaue Schätzung durch Maschinenlernen implementiert, um die Haltung des Insassen zu schätzen und auszugeben, indem die Distanzinformationen und die Winkelinformationen empfangen werden. Ferner kann bei dieser Konfiguration eine Kostenerhöhung verhindert werden, da das aufgenommene Bild nur durch das zweidimensionale Koordinatensystem ohne eine Konfiguration für eine Distanzmessung verarbeitet wird.
Als Folge hiervon ist es möglich, eine Vorrichtung bereitzustellen, die die Haltung des Insassen aus einem Insassenbild schätzt, das in dem aufgenommenen Bild des Innenraums des Fahrzeugs umfasst ist, ohne eine Erhöhung von Kosten zu verursachen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Haltungsschätzvorrichtung zusätzlich eine Sitzpositionserfassungseinheit, die konfiguriert ist zum Erfassen einer Position eines Sitzunterbaus und einer Lehnhaltung/-stellung eines Sitzrückenteils eines Sitzes in dem Fahrzeug, und eine Korrektureinheit, die konfiguriert ist zum Korrigieren der Skelettpunktkoordinaten basierend auf durch die Sitzpositionserfassungseinheit erfassten Informationen, umfassen.
Dementsprechend kann die Korrektureinheit, durch Erfassen der Position des Sitzunterbaus und der Lehnhaltung/-stellung des Sitzrückenteils des Sitzes durch die Sitzpositionserfassungseinheit, zum Beispiel die Skelettpunktkoordinaten korrigieren, um Skelettpunktkoordinaten für eine Vielzahl von Insassen zu erfassen, die ähnlich zu Skelettpunktkoordinaten von Insassen sind, die auf im Voraus angenommenen Sitzen sitzen, und eine angemessene Haltung erfassen.
Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration kann die Haltungsschätzvorrichtung zusätzlich eine Körperbaubestimmungseinheit umfassen, die konfiguriert ist zum Bestimmen eines Körperbaus des Insassen basierend auf der durch die Haltungsschätzeinheit geschätzten Haltung.
Dementsprechend kann die Körperbaubestimmungseinheit aus der durch die Haltungsschätzeinheit geschätzten Haltung den Körperbau zum Beispiel durch eine Verarbeitung zum Erhalten einer Haltung ohne Lehnen/Beugen bestimmen.
Figurenliste
Die vorgenannten und weitere Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden ausführlichen Beschreibung deutlicher, wenn diese mit Bezug auf die beigefügten Zeichnungen betrachtet wird, für die gilt:

1 ist eine Draufsicht eines Personenkraftwagens;
2 ist eine Draufsicht, die eine Anordnung von Sitzen des Personenkraftwagens veranschaulicht;
3 ist ein Blockschaltbild einer Menschenkörperinformationsverarbeitungsvorrichtung;
4 ist ein aufgenommenes Bild eines Innenraums des Kraftwagens, das mit einer Kamera aufgenommen wird;
5 veranschaulicht ein Körperbild, Skelettpunkte und dergleichen eines Insassen in einer Referenzhaltung;
6 veranschaulicht ein Körperbild, Skelettpunkte und dergleichen des Insassen in einer nach vorne lehnenden Haltung;
7 veranschaulicht ein Körperbild, Skelettpunkte und dergleichen des Insassen in einer seitlich lehnenden Haltung;
8 veranschaulicht ein Körperbild, Skelettpunkte und dergleichen des Insassen in einer verdrehten Haltung;
9 ist ein Ablaufdiagramm, das einen Verarbeitungsmodus der Menschenkörperinformationsverarbeitungsvorrichtung zeigt;
10 ist ein Ablaufdiagramm einer Körperbauschätzroutine;
11 ist ein Blockschaltbild einer Menschenkörperinformationsverarbeitungsvorrichtung eines Ausführungsbeispiels (a);
12 ist ein Ablaufdiagramm einer Körperbauschätzroutine des Ausführungsbeispiels (a); und
13 veranschaulicht ein Körperbild, Skelettpunkt und dergleichen eines Insassen bei einem Ausführungsbeispiel (b).

Ausführliche Beschreibung
Hierin nachstehend werden hier offenbarte Ausführungsbeispiele unter Bezugnahme auf die Zeichnungen beschrieben.
Gesamtkonfiguration
Wie es in 1 und 2 veranschaulicht ist, umfasst ein Personenkraftwagen (ein Beispiel eines Fahrzeugs) eine Motorhaube 3, die in einem vorderen Teil eines Fahrzeugkörpers A eingerichtet ist, der ein Paar von linken und rechten Vorderrädern 1 und ein Paar von linken und rechten Hinterrädern 2 umfasst, und eine Vielzahl von Sitzen S (übergeordnetes Konzept von einem Fahrersitz S1, einem Beifahrersitz S2, einem Rücksitz S3, die nachstehend zu beschreiben sind) in einem Raum unter einem Dach 4 in einem Bereich, der sich von einer Mitte zu einem hinteren Ende des Fahrzeugkörpers A erstreckt.
Wie es in 2 veranschaulicht ist, umfassen die Vielzahl von Sitzen S, die in dem Raum angeordnet sind, den Fahrersitz S1, der auf einer Seite in einer Links-Rechts-Richtung des vorderen Bereichs eingerichtet ist, den Beifahrersitz S2, der neben dem Fahrersitz S1 eingerichtet ist, und den sitzbankartigen Rücksitz S3, der an einer hinteren Position eingerichtet ist. Ein Lenkrad 5 ist auf einer Vorderseite des Fahrersitzes S1 eingerichtet.
In diesem Personenkraftwagen sind der Fahrersitz S1 und der Beifahrersitz S2 derart konfiguriert, dass eine Vorne-Hinten-Position und eine vertikale Position von jedem Sitzunterbau und eine Lehn- bzw. Neigungshaltung/-stellung von jedem Sitzrückenteil durch eine Sitzsteuereinheit 8 (siehe 3), die einen Elektromotor umfasst, frei gesteuert werden können.
Wie es in 1 und 2 veranschaulicht ist, ist eine Dachkonsole an einer vorderen Position einer Unterseite des Dachs 4 bereitgestellt. Die Dachkonsole umfasst eine Kamera 6, die zum Aufnehmen von Infrarotbildern imstande ist, und ein Licht 7, das Infrarotstrahlen ausstrahlt. Der Fahrzeugkörper A umfasst eine Menschenkörperinformationsverarbeitungsvorrichtung C (ein Beispiel einer Körperbauschätzvorrichtung), die Sitzpositionen von Insassen (einschließlich eines Fahrers) aus den durch die Kamera 6 aufgenommenen Bildern spezifiziert, Skelettpunktkoordinaten von einer Vielzahl von Stellen/Orten aus einem Körperbild von jedem Insassen erfasst und ein Skelett bzw. Knochengerüst des Insassen schätzt. Ferner ist das Körperbild ein Bild, das durch Ausschneiden eines Bereichs, wo sich der Insasse befindet, aus dem aufgenommenen Bild erhalten wird.
Menschenkörperinformationsverarbeitungsvorrichtung

Wie es in 3 veranschaulicht ist, umfasst die
Menschenkörperinformationsverarbeitungsvorrichtung C eine Menschenkörperinformationserfassungseinheit 10, eine
Körperbauerfassungseinheit 20 und eine Ausgabeeinheit 30. Die Menschenkörperinformationserfassungseinheit 10, die
Körperbauerfassungseinheit 20 und die Ausgabeeinheit 30 sind durch Software ausgebildet, und ein Halbleiterspeicher wird als ein Teil bzw. Bauteil verwendet, das Daten speichert. Ferner kann ein Teil der
Menschenkörperinformationserfassungseinheit 10, der
Körperbauerfassungseinheit 20 und der Ausgabeeinheit 30 durch Hardware als eine Logikschaltung ausgebildet sein.

Menschenkörperinformationsverarbeitungsvorrichtung:

Menschenkörperinformationserfassungseinheit

Die Menschenkörperinformationserfassungseinheit 10 umfasst eine Skelettpunktkoordinatenerfassungseinheit 11, eine Skelettmodellspeichereinheit 12, eine Insassenpräsenz- und -absenzbestimmungseinheit 13 und eine Sitzpositionserfassungseinheit 14.
Die Skelettpunktkoordinatenerfassungseinheit 11 erfasst Skelettpunkte eines Insassen, der auf einem von der Vielzahl von Sitzen S sitzt, aus dem durch die Kamera 6 aufgenommenen Bild. Hier umfassen die Vielzahl von Sitzen S den Fahrersitz S1, den Beifahrersitz S2 und den Rücksitz S3. Die Skelettpunkte des Insassen, der sich in einem von fünf Bereichen von einem ersten Bereich E1, einem zweiten Bereich E2 und dritten Bereichen E3a, E3b und E3c befindet, die in 4 veranschaulicht sind, werden erfasst.
Wenn Skelettpunktkoordinaten in dieser Verarbeitung erfasst werden, bestimmt die Insassenpräsenz- und -absenzbestimmungseinheit 13, dass sich der Insasse an einer Position befindet, wo die Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds erfasst werden. Die Skelettpunktkoordinatenerfassungseinheit 11 erfasst die Skelettpunktkoordinaten in einem Bereich des zweidimensionalen Koordinatensystems, für den bestimmt wird, dass sich der Insasse dort befindet.
Zum Beispiel erfasst die Skelettpunktkoordinatenerfassungseinheit 11 die Skelettpunktkoordinaten des Insassen, wie es in 5 veranschaulicht ist. In dieser Figur, in der das Körperbild des Insassen und Skelettpunktkoordinaten überlagert sind, sind Gelenkpositionen einer linken und einer rechten Schulter, Gelenkpositionen (Hüftgelenkpositionen) eines linken und eines rechten Teils einer Hüfte bzw. Taille und eine Gelenkposition eines Halses bzw. Nackens extrahiert, und sind die extrahierten Positionen durch Punkte veranschaulicht.
Wie es in 5 veranschaulicht ist, ist eine Linie, die durch Verbinden der Gelenkpositionen der linken und der rechten Schulter erhalten wird, als eine Schulterlinie La (ein Beispiel einer Skelettlinie) veranschaulicht, ist eine Linie, die durch Verbinden der Positionen bzw. Gelenke des linken und des rechten Teils der Hüfte erhalten wird, als eine Hüftlinie Lb (ein Beispiel der Skelettlinie) veranschaulicht, und ist eine Linie, die sich von einer Mitte der Hüftlinie Lb über eine Wirbelsäule bzw. ein Rückgrat erstreckt, als eine Wirbelsäulenlinie Lc veranschaulicht. Ferner kann die Wirbelsäulenlinie Lc als eine gerade Linie in einer vertikalen Haltung entlang der Wirbelsäule bzw. des Rückgrats des Insassen betrachtet werden.
Die Skelettpunktkoordinatenerfassungseinheit 11 hat eine Funktion zum Erhalten von Koordinaten von einer Vielzahl von Gelenkpositionen von einem menschlichen Körper aus dem aufgenommenen Bild durch eine bekannte Skeletterkennungsverarbeitung. In der Skeletterkennungsverarbeitung wird die Koordinate von jeder Gelenkposition mit Bezug auf ein in der Skelettmodellspeichereinheit 12 gespeichertes Skelettmodell bestimmt.
Die Skelettpunktkoordinatenerfassungseinheit 11 kann auch Ellbogengelenke, Handgelenke, Kniegelenke und Fuß-/Sprunggelenke erfassen. Da eine durch die Körperbauerfassungseinheit 20 durchgeführte Verarbeitung die vorstehend beschriebene Schulterlinie La, Hüftlinie Lb und Wirbelsäulenlinie Lc benötigt, werden diese Informationen in dem zweidimensionalen Koordinatensystem (Koordinaten auf einer X-Y-Ebene) erfasst.
Die Kamera 6 hat eine Funktion zum Erfassen eines Videos. Die Skelettpunktkoordinatenerfassungseinheit 11 erfasst ein aufgenommenes Bild (einen Rahmen bzw. ein Einzelbild) aus dem Video, und sie erfasst und aktualisiert Positionen von einer Vielzahl von Skelettpunkten des erfassten aufgenommenen Bilds als Skelettpunktkoordinaten mit der gleichen Rate bzw. Frequenz wie die Bild-/Rahmenrate des Videos.
Wie es in 4 veranschaulicht ist, wird das aufgenommene Bild im Inneren des Fahrzeugs durch die Kamera 6 erfasst. Wenn die Skelettpunktkoordinatenerfassungseinheit 11 die Skelettpunktkoordinaten nicht erfassen kann, bestimmt die Insassenpräsenz- und -absenzbestimmungseinheit 13, dass sich kein Insasse in dem Fahrzeug befindet. Wenn die Skelettpunktkoordinaten erfasst werden können, bestimmt die Insassenpräsenz- und -absenzbestimmungseinheit 13, in welchem der fünf Bereiche von dem ersten Bereich E1, dem zweiten Bereich E2 und den dritten Bereichen E3a, E3b und E3c, die in der gleichen Figur veranschaulicht sind, sich der Insasse befindet.
Die vorstehend beschriebene Skelettpunktkoordinatenerfassungseinheit 11 fügt Identifikationsinformationen zum Identifizieren an-/hinzu, zu welchem Bereich die erfassten Skelettpunkte gehören. Durch An-/Hinzufügen der Identifikationsinformationen auf diese Art und Weise wird selbst dann, wenn der Insasse auf irgendeinem von der Vielzahl von Sitzen S sitzt, eine Korrektur entsprechend den Sitzen S durchgeführt, wenn eine Frontkoordinate aus den Skelettpunktkoordinaten erfasst wird.
Das heißt, dass die Kamera 6 das Bild mit einer/einem Weitwinkellinse/-objektiv aufnimmt. Wenn die Kamera 6 ein Bild des auf dem Sitz S sitzenden Insassen basierend auf einer Positionsbeziehung zwischen der Vielzahl von Sitzen S und der Kamera 6 aufnimmt, kann, selbst wenn der Insasse in einer Haltung/Körperhaltung ist, in der er nach vorne gerichtet ist, der Insasse in dem Bild diagonal von vorne aufgenommen werden, oder ein Teil eines Körpers verformt sein. Aus diesem Grund wird, wenn ein Front- bzw. Vorderseitenbild geschätzt wird, eine Position des Sitzes S, auf dem der Insasse sitzt, basierend auf den Identifikationsinformationen identifiziert, und führt die Menschenkörperinformationserfassungseinheit 10 (ein Beispiel einer Korrektureinheit) eine Korrektur wie etwa eine Koordinatenumwandlung der Skelettpunktkoordinaten, um Skelettpunktkoordinaten für eine Vielzahl von Insassen zu erfassen, die ähnlich zu Skelettpunktkoordinaten von Insassen sind, die auf den Sitzen S sitzen, die im Voraus angenommen werden, basierend auf Sitzpositionsinformationen durch, die durch die nachstehend zu beschreibende Sitzpositionserfassungseinheit 14 erfasst werden.
Selbst wenn entweder der Fahrersitz S1 oder der Beifahrersitz S2 durch die Sitzsteuereinheit 8 gesteuert wird, erfasst die Sitzpositionserfassungseinheit 14 Positionen in der Vorne-Hinten-Richtung und Höhen der Sitzunterbauten sowie Neigungswinkel der Sitzrückenteile, die basierend auf Steuerungsinformationen der Sitzsteuereinheit 8 eingestellt sind, als die Sitzpositionsinformationen. Ein dedizierter Sensor zum Erfassen der Positionen in der Vorne-Hinten-Richtung und der Höhen der Sitzunterbauten sowie der Neigungswinkel der Sitzrückenteile kann als die Sitzpositionserfassungseinheit 14 verwendet werden.
Auf diese Art und Weise kann mit der Menschenkörperinformationserfassungseinheit 10 basierend auf den Informationen von der Sitzsteuereinheit 8 eine relative Distanz zwischen dem Insassen, der entweder auf dem Fahrersitz S1 oder dem Beifahrersitz S2 sitzt, und der Kamera 6 genau begriffen/verstanden werden, und wird ein Korrekturwert eingestellt, der der Distanz zwischen dem Insassen, der entweder auf dem Fahrersitz S1 oder dem Beifahrersitz S2 sitzt, und der Kamera 6 entspricht, um die vorstehend beschriebenen Skelettpunktkoordinaten zu korrigieren und auszugeben.
Menschenkörperinformationsverarbeitungsvorrichtung:

Körperbauerfassu ngsein heit

Wie es in 3 veranschaulicht ist, umfasst die Körperbauerfassungseinheit 20 eine Distanzinformationserfassungseinheit 21, eine Neigungsinformationserfassungseinheit 22, eine Frontkoordinatenschätzeinheit 23, eine Lerndatenspeichereinheit 24, eine Haltungsbestimmungseinheit 25, eine Körperbaubestimmungseinheit 26 und eine Körperbaudatenspeichereinheit 27 (ein Beispiel einer Körperbauspeichereinheit).
5 veranschaulicht ein Körperbild, das durch Aufnehmen eines Bilds des Insassen, der in einer normalen Haltung/Körperhaltung (die hierin nachstehend als Referenzhaltung bezeichnet wird) auf einem vorbestimmten Sitz S sitzt, aus einem schrägen Winkel durch die Kamera 6 erhalten wird. Die Schulterlinie La und die Hüftlinie Lb sind horizontal, und die Wirbelsäulenlinie Lc erstreckt sich in einer vertikalen Richtung.
Basierend auf der Positionsbeziehung zwischen der Kamera 6 und dem Sitz S sowie Eigenschaften einer/eines Bildaufnahmelinse/-objektivs der Kamera 6 sind, in dem aufgenommenen Bild, die Schulterlinie La und die Hüftlinie Lb nicht horizontal, und erstreckt sich die Wirbelsäulenlinie Lc nicht in der vertikalen Richtung. In der Körperbauerfassungseinheit 20 werden diese jedoch als die Schulterlinie La und die Hüftlinie Lb, die horizontal sind, und die Wirbelsäulenlinie Lc, die sich in der vertikalen Richtung erstreckt, verarbeitet.
Die Distanzinformationserfassungseinheit 21 erfasst Distanzinformationen über Skelettpunkte (Skelettpunktkoordinaten) der linken und der rechten Schulter des Insassen. Das heißt, wie es in 5 veranschaulicht ist, wenn der Insasse in der Referenzhaltung ein Körperbauerfassungsziel/-objekt ist und die Gelenke der linken und der rechten Schulter des Insassen die Skelettpunkte (Skelettpunktkoordinaten) sind, werden die Distanzinformationen (Länge der Schulterlinie La) zwischen den Skelettpunkten in dem aufgenommenen Bild als Schulterdistanz Wa (ein Beispiel der Distanzinformationen) erfasst, und, wenn die Gelenke bzw. Positionen des linken und des rechten Teils der Hüfte die Skelettpunkte (Skelettpunktkoordinaten) sind, werden die Distanzinformationen (Länge der Hüftlinie Lb) zwischen den Skelettpunkten als eine Hüftdistanz Wb (ein Beispiel der Distanzinformationen) erfasst.
Die Schulterdistanz Wa und die Hüftdistanz Wb werden erfasst, indem die Längen der Skelettlinien, die durch Verbinden der zwei Gelenke, die als die Skelettpunktkoordinaten dienen, mit geraden Linien erhalten werden, als die Distanzinformationen basierend auf einem Pixelabstand (Pixelzwischenraum) des aufgenommenen Bilds an-/genommen werden. Das heißt, dass alle von einer Vorwärts-Lehnen-Schulterdistanz Wax (Distanzinformationen) gemäß 6, einer Seitlich-Lehnen-Schulterdistanz Way (Distanzinformationen) gemäß 7 und einer Verdreht-Schulterdistanz Waz (Distanzinformationen) gemäß 8, die nachstehend zu beschreiben sind, als die Distanzinformationen basierend auf dem Pixelabstand in der gleichen Art und Weise erfasst werden.
Ferner werden alle von einer Vorwärts-Lehnen-Hüftdistanz Wbx (Distanzinformationen) gemäß 6, einer Seitlich-Lehnen-Hüftdistanz Wby (Distanzinformationen) gemäß 7 und einer Verdreht-Hüftdistanz Wbz (Distanzinformationen) gemäß 8, die nachstehend zu beschreiben sind, als die Distanzinformationen basierend auf dem Pixelabstand in der gleichen Art und Weise erfasst.
6 veranschaulicht ein Körperbild, in dem ein Oberkörper des Insassen, der auf dem vorbestimmten Sitz S sitzt, in einer nach vorne lehnenden bzw. gelehnten Haltung ist. Die gleiche Figur veranschaulicht eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) der linken und der rechten Schulter erhalten wird, als eine Vorwärts-Lehnen-Schulterlinie Lax (ein Beispiel der Skelettlinie), eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) des linken und des rechten Teils der Hüfte erhalten wird, als eine Vorwärts-Lehnen-Hüftlinie Lbx (ein Beispiel der Skelettlinie) und die Wirbelsäule als die Vorwärts-Lehnen-Wirbelsäulenlinie Lcx. In der vorwärts lehnenden bzw. gelehnten Haltung ist die Vorwärts-Lehnen-Wirbelsäulenlinie Lcx um einen Vorwärts-Lehnen-Winkel θ1 (ein Beispiel von Winkelinformationen) im Vergleich zu der Wirbelsäulenlinie Lc in der Referenzhaltung nach vorne gelehnt.
Ferner erfasst die Distanzinformationserfassungseinheit 21 eine Länge der Vorwärts-Lehnen-Schulterlinie Lax als die Vorwärts-Lehnen-Schulterdistanz Wax (ein Beispiel der Distanzinformationen), und erfasst sie eine Länge der Vorwärts-Lehnen-Hüftlinie Lbx als die Vorwärts-Lehnen-Hüftdistanz Wax (ein Beispiel der Distanzinformationen).
7 veranschaulicht ein Körperbild, in dem der Oberkörper des Insassen, der auf dem vorbestimmten Sitz S sitzt, in einer seitlich lehnenden bzw. gelehnten Haltung ist. Die gleiche Figur veranschaulicht eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) der linken und der rechten Schulter erhalten wird, als eine Seitlich-Lehnen-Schulterlinie Lay (Skelettlinie), eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) des linken und des rechten Teils der Hüfte erhalten wird, als eine Seitlich-Lehnen-Hüftlinie Lby (Skelettlinie), und eine Wirbelsäule als eine Seitlich-Lehnen-Wirbelsäulenlinie Lcy.
Dementsprechend erfasst die Distanzinformationserfassungseinheit 21 eine Länge der Seitlich-Lehnen-Schulterlinie Lay, als die Seitlich-Lehnen-Schulterdistanz Way (Distanzinformationen), und erfasst sie eine Länge der Seitlich-Lehnen-Hüftlinie Lby als die Seitlich-Lehnen-Hüftdistanz Wby (Distanzinformationen).
Ferner, wie es in 7 veranschaulicht ist, ist die Seitlich-Lehnen-Schulterlinie Lay mit Bezug auf eine Referenzlinie Lap, die parallel zu der Schulterlinie La der Referenzhaltung ist, um einen Seitlich-Lehnen-Schulterwinkel θ2 (Winkelinformationen) geneigt, und ist die Seitlich-Lehnen-Wirbelsäulenlinie Lcy mit Bezug auf die Hüftlinie Lby um einen Seitlich-Lehnen-Hüftwinkel θ3 (Winkelinformationen) geneigt.
8 veranschaulicht ein Körperbild, in dem der Oberkörper des Insassen, der auf dem vorbestimmten Sitz S sitzt, in einer verdrehten Haltung ist. Die gleiche Figur veranschaulicht eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) der linken und der rechten Schulter erhalten wird, als eine Verdreht-Schulterlinie Laz (Skelettlinie), eine Linie, die durch Verbinden der Skelettpunkte (Skelettpunktkoordinaten) des linken und des rechten Teils der Hüfte erhalten wird, als eine Verdreht-Hüftlinie Lbz (Skelettlinie) und die Wirbelsäule als eine Verdreht-Wirbelsäulenlinie Lcz. In der verdrehten Haltung ist in 8 die Verdreht-Schulterlinie Laz mit Bezug auf die Schulterlinie La der Referenzhaltung um einen Verdreht-Winkel θ4 (Winkelinformationen) geneigt.
Dementsprechend erfasst die Distanzinformationserfassungseinheit 21 eine Länge der Verdreht-Schulterlinie Laz als die Verdreht-Schulterdistanz Waz (Distanzinformationen), und erfasst sie eine Länge der Verdreht-Hüftlinie Lbz als die Verdreht-Hüftdistanz Wbz (Distanzinformationen).
In der Distanzinformationserfassungseinheit 21 können Distanzinformationen wie etwa die korrigierte Schulterdistanz Wa erfasst werden, wenn die Haltung des Insassen von/aus einer Position, in der die Haltung des Insassen die Referenzhaltung ist, aufgrund der Steuerung auf den Fahrersitz S1 oder den Beifahrersitz S2 geändert wird, wie es vorstehend beschrieben ist, da die Skelettpunktkoordinaten durch die Menschenkörperinformationserfassungseinheit 10 (ein Beispiel der Korrektureinheit) korrigiert werden, und ist es auch denkbar, die Distanzinformationen wie etwa die Schulterdistanz Wa basierend auf den Sitzpositionsinformationen von der Sitzpositionserfassungseinheit 14 zu korrigieren.
Wie es in 5 veranschaulicht ist, erfasst die Neigungsinformationserfassungseinheit 22 0 Grad als die Winkelinformationen, wenn der Oberkörper des Insassen in der Referenzhaltung ist, die in keinerlei Richtung geneigt ist. Wie es in 6 veranschaulicht ist, wird der Vorwärts-Lehnen-Winkel θ1 erfasst, wenn der Oberkörper des Insassen in der nach vorne lehnenden bzw. gelehnten Haltung ist. Wie es in 7 veranschaulicht ist, werden der Seitlich-Lehnen-Schulterwinkel θ2 und der Seitlich-Lehnen-Hüftwinkel θ3 erfasst, wenn der Oberkörper des Insassen in der seitlich lehnenden bzw. gelehnten Haltung ist. Wie es in 8 veranschaulicht ist, wird der Verdreht-Winkel θ4 erfasst, wenn der Oberkörper des Insassen in der verdrehten Haltung ist.
Die Frontkoordinatenschätzeinheit 23 schätzt die Frontkoordinate, die eine Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, aus dem aufgenommenen Bild mit Bezug auf Lerndaten der Lerndatenspeichereinheit 24 und basierend auf den durch die Distanzinformationserfassungseinheit 21 erfassten Distanzinformationen sowie den durch die Neigungsinformationserfassungseinheit 22 erfassten Winkelinformationen.
Das heißt, dass die Frontkoordinatenschätzeinheit 23 ein Maschinenlernen durchführt, indem die Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten bzw. vorgegebenen Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und die Winkelinformationen, die einen Winkel einer Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf die Referenzlinie darstellen, empfangen werden, sodass die Frontkoordinate in dem zweidimensionalen Koordinatensystem, die die Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird.
Die Lerndatenspeichereinheit 24 speichert einen Parameter, der die Schätzung der Frontkoordinate basierend auf den Distanzinformationen und den Neigungsinformationen der Skelettpunktkoordinaten des aufgenommenen Bilds ermöglicht. Im Speziellen wird ein Wandlungsparameter zum Umwandeln der Koordinaten der Vielzahl von Skelettpunkten in dem aufgenommenen Bild in die Frontkoordinate oder ein Positionskorrekturparameter zum Korrigieren der Koordinaten der Vielzahl von Skelettpunkten in dem aufgenommenen Bild in einer X-Y-Richtung des zweidimensionalen Koordinatensystems gespeichert. Ferner kann, als die Lerndaten, ein Vektorparameter zum Spezifizieren der Koordinate von jedem Skelettpunkt verwendet werden, da ein vorbestimmter Referenzpunkt als eine Referenz in dem zweidimensionalen Koordinatensystem verwendet wird.
Die Haltungsbestimmungseinheit 25 bestimmt einen Verlagerungsbetrag des Oberkörpers des Insassen basierend auf der durch die Frontkoordinatenschätzeinheit 23 erfassten Frontkoordinate und den durch die Neigungsinformationserfassungseinheit 22 erfassten Winkelinformationen. Das heißt, dass die Frontkoordinate in der Grundhaltung ist, wenn der Insasse von vorne betrachtet wird. Eine Position eines Kopfs kann in dieser Grundhaltung leicht erfasst werden, und die Haltungsbestimmungseinheit 25 erfasst eine Position des Kopfes, wenn der Oberkörper des Insassen in der Grundhaltung um einen Winkel entsprechend den Winkelinformationen geneigt ist.
Daher wird zum Beispiel, wie es in 6 veranschaulicht ist, wenn die Vorwärts-Lehnen-Wirbelsäulenlinie Lcx des Oberkörpers des Insassen im Vergleich zu der Wirbelsäulenlinie Lc der Referenzhaltung um den Vorwärts-Lehnen-Winkel θ1 nach vorne gelehnt ist, ein Verlagerungsbetrag des Oberkörpers auf eine Vorderseite basierend auf diesem Vorwärts-Lehnen-Winkel θ1 erfasst.
Ferner, wie es in 7 veranschaulicht ist, ist der Oberkörper des Insassen in der seitlich lehnenden bzw. gelehnten Haltung. Wenn die Seitlich-Lehnen-Schulterlinie Lay mit Bezug auf die Referenzlinie Lap um den Seitlich-Lehnen-Schulterwinkel θ2 geneigt ist, und die Seitlich-Lehnen-Wirbelsäulenlinie Lcy mit Bezug auf die Hüftlinie Lby um den Seitlich-Lehnen-Hüftwinkel θ3 geneigt ist, erfasst die Haltungsbestimmungseinheit 25 einen Verlagerungsbetrag des Oberkörpers in einer Querrichtung.
Gleichermaßen, wie es in 7 veranschaulicht ist, wenn die Seitlich-Lehnen-Wirbelsäulenlinie Lcy mit Bezug auf die Hüftlinie Lby um den Seitlich-Lehnen-Hüftwinkel θ3 geneigt ist, erfasst die Haltungsbestimmungseinheit 25 einen Verlagerungsbetrag des Oberkörpers basierend auf dem Seitlich-Lehnen-Hüftwinkel θ3.
Die Körperbaubestimmungseinheit 26 bestimmt einen Körperbau durch eine Verarbeitung basierend auf den Distanzinformationen (Distanzinformationen der Referenzhaltung, die in 5 veranschaulicht ist) der Skelettpunktkoordinaten der durch die Frontkoordinatenschätzeinheit 23 geschätzten Frontkoordinate bezugnehmend auf Tabelleninformationen und Berechnung der Distanzinformationen und erfasst Körperbauinformationen mit Bezug auf die Körperbaudatenspeichereinheit 27 mit dem bestimmten Körperbau.
Die Körperbaudatenspeichereinheit 27 speichert eine Vielzahl von Körperbautypen (zum Beispiel Körperbauelemente, die per/mittels Unterabschnitten des US-NHTSA-Standards (49 CFR Part 572) unterteilt sind) oder Körperbauelementen, die in AF05, AM50, AM95 und dergleichen als Menschenkörpermodelstandard unterteilt sind. Die Körperbaubestimmungseinheit 26 bestimmt, zu welchem von der Vielzahl von Körperbautypen, die in der Körperbaudatenspeichereinheit 27 gespeichert sind, der Körperbau gehört, der wie vorstehend beschrieben bestimmt wird, und gibt ein Bestimmungsergebnis als die Körperbauinformationen aus.
Menschenkörperinformationsverarbeitungsvorrichtung: Ausgabeeinheit
Die Ausgabeeinheit 30 umfasst eine Relativpositionsbestimmungseinheit 31 und gibt Informationen an ein Benachrichtigungsendgerät bzw. -terminal 9 außerhalb der Menschenkörperinformationsverarbeitungsvorrichtung C aus.
Zum Beispiel, wenn ein Oberkörper des Fahrers in einer Haltung ist, in der der Fahrer eine starke Einwirkung erfahren kann, wenn ein Airbag aktiviert wird, oder wenn der Kopf des Insassen sich in einer Richtung nahe eines Seitenairbags befindet, gibt die Relativpositionsbestimmungseinheit 31, basierend auf dem durch die Haltungsbestimmungseinheit 25 bestimmten Verlagerungsbetrag des Oberkörpers und den von der Körperbaubestimmungseinheit 26 ausgegebenen Körperbauinformationen, eine Nachricht bzw. Meldung zum Korrigieren der Haltung an das Benachrichtigungsendgerät bzw. -terminal 9 aus.
Verarbeitungsmodus von Menschenkörperinformationsverarbeitungsvorrichtung
In einem Verarbeitungsmodus der Menschenkörperinformationsverarbeitungsvorrichtung C, wie er in einem Ablaufdiagramm von 9 veranschaulicht ist, erfasst die Skelettpunktkoordinatenerfassungseinheit 11 die Skelettpunktkoordinaten basierend auf dem erfassten aufgenommenen Bild (Schritte #101 und #102).
Wenn die Insassenpräsenz- und -absenzbestimmungseinheit 13 bestimmt, dass die Skelettpunktkoordinaten in dieser Verarbeitung nicht erfasst werden können (NEIN in Schritt #103), wird diese Steuerung zurückgegeben. Wenn die Skelettpunktkoordinaten erfasst werden können (JA in Schritt #103), spezifiziert die Insassenpräsenz- und -absenzbestimmungseinheit 13 die Anzahl von Insassen und die Positionen der Insassen (Schritt #104).
Das heißt, dass in Schritt #103 bestimmt wird, ob es den Fahrer (Insassen) auf dem Fahrersitz S1 in dem in 4 veranschaulichten ersten Bereich E1 gibt, ob es einen Insassen auf dem Fahrersitz S2 in dem zweiten Bereich E2 gibt, und ob es Insassen in den dritten Bereichen E3a, E3b und E3c des Rücksitzes S3 gibt. Es wird nur dann erkannt, dass es einen Insassen gibt, wenn bestimmt wird, dass ein Insasse vorhanden ist.
Ferner werden, basierend auf den durch die Sitzpositionserfassungseinheit 14 erfassten Sitzpositionsinformationen und den Identifikationsinformationen, die Skelettpunktkoordinaten für jeden der identifizierten Sitze S korrigiert (Schritt #105). Durch diese Korrektur werden die gleichen Skelettpunktkoordinaten wie diejenigen des Insassen, der an der im Voraus angenommenen Position sitzt, für jeden von der Vielzahl von Insassen erhalten.
Als Nächstes wird der Körperbau des Insassen aus dem aufgenommenen Bild geschätzt (Schritt #200). Nachdem der Körperbau und die Haltung des Insassen in diesem Schritt #200 erfasst sind, wird eine Relativposition basierend auf der Bestimmung der Haltungsbestimmungseinheit 25 bestimmt (Schritt #106). Als die Bestimmung dieser relativen Position werden eine relative Positionsbeziehung zwischen dem Fahrer (Insassen) und dem Lenkrad 5 sowie eine relative Positionsbeziehung zwischen dem Insassen und dem Seitenairbag bestimmt.
Als Folge dieser Bestimmung wird diese Steuerung zurückgegeben, wenn eine Nachrichten-/Mitteilungsausgabe nicht notwendig ist (NEIN in Schritt #107), und werden Informationen von dem Benachrichtigungsendgerät bzw. -terminal 9 ausgegeben, wenn die Nachrichten-/Mitteilungsausgabe notwendig ist (JA in Schritt #107).
Schritt #200 ist eine Subroutine. In einem Verarbeitungsmodus von dieser, wie er in einem Ablaufdiagramm von 10 veranschaulicht ist, erfasst die Distanzinformationserfassungseinheit 21 die Distanz zwischen den Skelettpunktkoordinaten der linken und der rechten Schulter und die Distanz zwischen den Skelettpunktkoordinaten des linken und des rechten Teils der Hüfte (Beispiele der Distanz der Skelettpunkte), und erfasst sie den Neigungswinkel oder einen Verdreht-Winkel der Skelettlinie (Schritte #201 und #202).
In Schritt #201 werden zum Beispiel entsprechend den in 5 bis 8 veranschaulichten aufgenommenen Bildern die Länge der Schulterlinie La als die Schulterdistanz Wa erfasst und die Länge der Vorwärts-Lehnen-Schulterlinie Lax als die Vorwärts-Lehnen-Schulterdistanz Wax erfasst. Ferner wird die Länge der Seitlich-Lehnen-Schulterlinie Lay als die Seitlich-Lehnen-Schulterdistanz Way erfasst, und wird die Länge der Verdreht-Schulterlinie Laz als die Verdreht-Schulterdistanz Waz erfasst. Die Distanzinformationen werden als die Distanzinformationen basierend auf dem Pixelabstand erfasst.
Gleichermaßen werden zum Beispiel entsprechend den in 5 bis 8 veranschaulichten aufgenommenen Bildern die Länge der Hüftlinie Lb als die Hüftdistanz Wb erfasst und die Länge der Vorwärts-Lehnen-Hüftlinie Lbx als die Vorwärts-Lehnen-Hüftdistanz Wbx erfasst. Ferner wird die Länge der Seitlich-Lehnen-Hüftlinie Lby als die Seitlich-Lehnen-Hüftdistanz Wby erfasst, und wird die Länge der Verdreht-Hüftlinie Lbz als die Verdreht-Hüftdistanz Wbz erfasst. Die Distanzinformationen werden als die Distanzinformationen basierend auf dem Pixelabstand erfasst.
In Schritt #202 wird der Vorwärts-Lehnen-Winkel θ1 aus dem in 6 veranschaulichten Körperbild (aufgenommenen Bild) erfasst, werden der Seitlich-Lehnen-Schulterwinkel θ2 und der Seitlich-Lehnen-Hüftwinkel θ3 aus dem in 7 veranschaulichten Körperbild (aufgenommenen Bild) erfasst, und wird der Verdreht-Winkel θ4 aus dem in 8 veranschaulichten Körperbild (aufgenommenen Bild) erfasst.
Die Frontkoordinatenschätzeinheit 23 schätzt die Frontkoordinate, die die Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, aus dem aufgenommenen Bild mit Bezug auf Lerndaten der Lerndatenspeichereinheit 24 und basierend auf den durch die Distanzinformationserfassungseinheit 21 erfassten Distanzinformationen und der Vielzahl von Skelettpunktkoordinaten (Schritt #203).
Es wird angenommen, dass der Insasse in dem aufgenommenen Bild in einer von der Referenzhaltung, der Vorwärts-Lehnen-Haltung, der Seitlich-Lehnen-Haltung, der Verdreht-Haltung und einer Mischhaltung ist, die eine Kombination von zumindest zwei Haltungen von der Vorwärts-Lehnen-Haltung, der Seitlich-Lehnen-Haltung und der Verdreht-Haltung ist. Daher wandelt die Frontkoordinatenschätzeinheit 23 die Koordinaten von der Vielzahl von Skelettpunkten des aufgenommenen Bilds durch Verwendung des Wandlungsparameters der Lerndatenspeichereinheit 24 in die Frontkoordinate um.
Als Nächstes bestimmt die Körperbaubestimmungseinheit 26 basierend auf der durch die Frontkoordinatenschätzeinheit 23 geschätzten Frontkoordinate mit Bezug auf die Körperbauinformationen der Körperbaudatenspeichereinheit 27, zu welchem Element der Körperbauinformationen, die in die Vielzahl von Typen unterteilt sind, wie etwa AF05, AM50 und AM95, der Körperbau des Insassen des aufgenommenen Bilds gehört (Schritt #204).
Auf diese Art und Weise gibt, nachdem die Körperbauinformationen erfasst sind, die Ausgabeeinheit 30 Informationen wie etwa eine notwendige Nachricht bzw. Meldung basierend auf den erfassten Körperbaudaten und den durch die Neigungsinformationserfassungseinheit 22 erfassten Winkelinformationen an das Benachrichtigungsendgerät bzw. -terminal 9 aus. Das Benachrichtigungsendgerät bzw. -terminal 9 ist durch eine Anzeige, die Informationen wie etwa Zeichen und Symbole ausgibt, oder einen Lautsprecher, der Sprache ausgibt, ausgebildet. Dementsprechend wird zum Beispiel, wenn der Oberkörper des Fahrers in der Haltung ist, in der der Fahrer eine starke Einwirkung erfahren kann, wenn der Airbag aktiviert wird, oder wenn sich der Kopf des Insassen in einer Richtung nahe des Seitenairbags befindet, eine Nachricht bzw. Meldung zum Korrigieren der Haltung an das Benachrichtigungsendgerät bzw. -terminal 9 ausgegeben.
Wirkung von Ausführungsbeispiel
Auf diese Art und Weise bestimmt die Menschenkörperinformationsverarbeitungsvorrichtung C nicht nur, ob sich ein Insasse auf der Vielzahl von Sitzen S in dem Fahrzeug befindet (ob der Insasse auf dem Sitz sitzt), basierend auf dem aufgenommenen Bild von der Kamera 6, sondern erfasst sie auch die Skelettpunktkoordinaten für jeden Insassen, der als vorhanden bestimmt wird, und schätzt sie die Frontkoordinate des Insassen, wenn dieser von vorne betrachtet wird, ungeachtet der Haltung des Insassen. Dann wird der Körperbau basierend auf der auf diese Art und Weise geschätzten Frontkoordinate bestimmt, und werden notwendige Informationen an das Benachrichtigungsendgerät bzw. -terminal 9 ausgegeben.
Das heißt, wenn der Körperbau des Insassen basierend auf den Skelettpunktkoordinaten des Insassen direkt bestimmt wird, nimmt ein Fehler des bestimmten Körperbaus abhängig von der Haltung des Insassen zu, da sich die Skelettpunktkoordinaten stark ändern. Da die Frontkoordinate, die eine Anordnung der Skelettpunkte von der Vorderseite des Insassen aus darstellt, geschätzt wird und der Körperbau basierend auf dieser Schätzung bestimmt wird, kann jedoch eine Genauigkeit des bestimmten Körperbaus verbessert werden.
Wenn die Frontkoordinate geschätzt wird, sind ferner, da Anordnungen von der Vielzahl von Skelettpunkten als die Skelettpunktkoordinaten erfasst werden, sodass sie das zweidimensionale Koordinatensystem des aufgenommenen Bilds überlappen bzw. -lagern, und die Distanzinformationen und die Winkelinformationen in diesem zweidimensionalen Koordinatensystem erfasst werden, die Skelettpunkte im Vergleich zu zum Beispiel einem Erfassen der Skelettpunkte des Insassen in einem dreidimensionalen Koordinatensystem einfach zu erfassen, und sind die Distanzinformationen und die Winkelinformationen ziemlich einfach zu erfassen.
Ferner führt die Frontkoordinatenschätzeinheit 23 ein Maschinenlernen durch, indem die Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten bzw. vorgegebenen Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und die Winkelinformationen, die einen Winkel einer Skelettlinie, die durch Verbinden der Vielzahl von Skelettpunkten erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf die Referenzlinie darstellen, empfangen werden, sodass die Frontkoordinate in dem zweidimensionalen Koordinatensystem, die die Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, ausgegeben und geschätzt wird. Daher wird eine hochgenaue Schätzung implementiert.
Weitere Ausführungsbeispiele
Diese Offenbarung kann, zusätzlich zu dem vorstehend beschriebenen Ausführungsbeispiel, wie folgt konfiguriert werden (wobei diejenigen Elemente mit den gleichen Funktionen wie diejenigen bei dem Ausführungsbeispiel durch die gleichen Bezugszeichen und -symbole wie diejenigen bei dem Ausführungsbeispiel bezeichnet werden).

(a) Wie es in 11 veranschaulicht ist, umfasst die Menschenkörperinformationsverarbeitungsvorrichtung C eine Haltungserfassungseinheit 40 anstelle der Körperbauerfassungseinheit 20 unter den bei dem Ausführungsbeispiel beschriebenen Konfigurationen.

Bei diesem Ausführungsbeispiel (a) sind die Menschenkörperinformationserfassungseinheit 10 und die Ausgabeeinheit 30 gleich denjenigen, die bei dem Ausführungsbeispiel beschrieben sind, aber ist die Haltungserfassungseinheit 40 verschieden von derjenigen, die bei dem Ausführungsbeispiel beschrieben ist. Das heißt, dass die Haltungserfassungseinheit 40, wie bei dem Ausführungsbeispiel, die Distanzinformationserfassungseinheit 21, die Neigungsinformationserfassungseinheit 22, die Körperbaubestimmungseinheit 26 und die Körperbaudatenspeichereinheit 27 umfasst. Sie unterscheidet sich von dem Ausführungsbeispiel darin, dass die Haltungserfassungseinheit 40 eine Haltungsschätzeinheit 28 und eine Haltungslerndatenspeichereinheit 29 umfasst, und die Frontkoordinatenschätzeinheit 23, die Lerndatenspeichereinheit 24 oder die Haltungsbestimmungseinheit 25 des Ausführungsbeispiels nicht umfasst.
In einem zweidimensionalen Koordinatensystem eines aufgenommenen Bilds führt die Haltungsschätzeinheit 28 ein Maschinenlernen in Zusammenhang mit einer Lehnhaltung/-stellung, in der eine Skelettlinie, die durch Verbinden von voreingestellten bzw. vorgegebenen Skelettpunkten unter einer Vielzahl von Skelettpunktkoordinaten erhalten wird, mit Bezug auf eine Referenzlinie geneigt ist, und einer Haltung eines Insassen durch, um die Haltung des Insassen aus dem aufgenommenen Bild zu schätzen.
Insbesondere, wenn das in 6 veranschaulichte aufgenommene Bild als Beispiel beschrieben wird, ist die Wirbelsäulenlinie Lc in dieser Figur eine Referenzlinie. Wenn das in 7 veranschaulichte aufgenommene Bild als ein Beispiel beschrieben wird, sind die Referenzlinie Lap und die Hüftlinie Lby in dieser Figur Referenzlinien. Wenn das in 8 veranschaulichte aufgenommene Bild als Beispiel beschrieben wird, ist die Schulterlinie La einer Referenzhaltung eine Referenzlinie.
Ein Steuerungsmodus des Ausführungsbeispiels (a) ist gleich der grundlegenden Steuerung des Ausführungsbeispiels, die in dem Ablaufdiagramm von 9 gezeigt ist. Wie es in einem Ablaufdiagramm von 12 veranschaulicht ist, unterscheidet sich jedoch ein Steuerungsmodus von Schritt #203 von einem Steuerungsmodus einer Subroutine von dem Ausführungsbeispiel.
In Schritt #203 schätzt nämlich die Haltungsschätzeinheit 28 die Haltung des Insassen und einen Verlagerungsbetrag eines Oberkörpers aus dem aufgenommenen Bild mit Bezug auf Lerndaten der Haltungslerndatenspeichereinheit 29 und basierend auf durch die Distanzinformationserfassungseinheit 21 erfassten Distanzinformationen und einer Vielzahl von Skelettpunktkoordinaten.
Die Haltungslerndatenspeichereinheit 29 speichert Daten, die die Schätzung der Haltung des Insassen basierend auf den Distanzinformationen und den Neigungsinformationen der Skelettpunktkoordinaten des aufgenommenen Bilds ermöglichen. Es wird angenommen, dass die Haltung des Insassen in einer von der in 5 veranschaulichten Referenzhaltung, der in 6 veranschaulichten Vorwärts-Lehnen-Haltung, der in 7 veranschaulichten Seitlich-Lehnen-Haltung, der in 8 veranschaulichten Verdreht-Haltung und einer Mischhaltung ist, die eine Kombination von zumindest zwei Haltungen von der Vorwärts-Lehnen-Haltung, der Seitlich-Lehnen-Haltung und der Verdreht-Haltung ist. Die Haltungslerndatenspeichereinheit 29 speichert auch Daten, die die Schätzung des Verlagerungsbetrags des Oberkörpers ermöglichen.
Bei diesem Ausführungsbeispiel (a) bestimmt in Schritt #204 die Körperbaubestimmungseinheit 26 basierend auf der durch die Haltungsschätzeinheit 28 geschätzten Haltung des Insassen mit Bezug auf die Körperbauinformationen der Körperbaudatenspeichereinheit 27, zu welchem von einer Vielzahl von Körperbautypen (zum Beispiel Körperbauelementen, die per/mittels Unterabschnitten des US-NHTSA-Standards (49 CFR Part 572) unterteilt sind), oder zu welchem Element von Körperbauinformationen, die in AF05, AM50, AM95 und dergleichen als Menschenkörpermodellstandards unterteilt sind, der Körperbau des Insassen in dem aufgenommenen Bild gehört.
Mit einer Konfiguration des Ausführungsbeispiels (a) wird die Schätzung der Haltung des Oberkörpers des Insassen implementiert, indem die Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten bzw. vorgegebenen Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und die Lehnhaltung/-stellung, in der die Skelettlinie, die durch Verbinden der voreingestellten bzw. vorgegebenen Skelettpunkte unter der Vielzahl von Skelettpunktkoordinaten basierend auf den Skelettpunktkoordinaten erhalten wird, die aus dem aufgenommenen Bild erfasst werden, mit Bezug auf die Referenzlinie geneigt ist, erfasst werden. Da der Körperbau des Insassen basierend auf der geschätzten Haltung des Insassen bestimmt wird, wird ferner zum Beispiel ein Fehler des bestimmten Körperbaus im Vergleich zu einem Fall reduziert, in dem der Körperbau des Insassen basierend auf der Vielzahl von Skelettpunkten direkt bestimmt wird.

(b) Ein Verarbeitungsmodus ist derart eingestellt bzw. festgelegt, dass selbst dann, wenn die Skelettpunktkoordinatenerfassungseinheit 11 nur Skelettpunktkoordinaten von einem Oberkörper eines Insassen erfassen kann, wie es in 13 veranschaulicht ist, die Frontkoordinatenschätzeinheit 23 eine Frontkoordinate schätzt und die Körperbaubestimmungseinheit 26 einen Körperbau bestimmt.

Gemäß 13 werden nämlich Koordinaten einer linken und einer rechten Schulter als eine Vielzahl von Skelettpunkten des Oberkörpers bestimmt, und ist eine Oberkörper-Schulterlinie Lav als eine Linie veranschaulicht, die durch Verbinden dieser Skelettpunkte erhalten wird. Eine Länge dieser Oberkörper-Schulterlinie Lav ist eine Distanz zwischen den Skelettpunkten, und ein Winkel dieser Oberkörper-Schulterlinie Lav mit Bezug auf eine (nicht veranschaulichte) Referenzlinie stellt Winkelinformationen dar. Um diese Schätzung zu implementieren, werden/sind ferner Informationen bezüglich eines Maschinenlernens durch die Frontkoordinatenschätzeinheit 23 derart eingestellt bzw. festgelegt, dass eine Frontkoordinate aus den Skelettpunktkoordinaten des Oberkörpers geschätzt werden kann.
Daher kann die Frontkoordinate des Insassen geschätzt werden, um den Körperbau zu bestimmen, selbst wenn nur der Oberkörper in dem aufgenommenen Bild wiedergespiegelt wird, wie bei einem Insassen auf dem Rücksitz S3, oder wenn ein Unterkörper auf dem Beifahrersitz S2 mit einer Decke bedeckt ist.

(c) Ein Verarbeitungsmodus ist derart eingestellt bzw. festgelegt, dass die Körperbaubestimmungseinheit 26 einen Körperbau basierend auf Distanzinformationen von Skelettpunktkoordinaten einer durch die Frontkoordinatenschätzeinheit 23 geschätzten Frontkoordinate schätzt. Das heißt, dass es durch Empfang der Distanzinformationen der Skelettpunktkoordinaten der Frontkoordinate denkbar ist, ein Maschinenlernen durchzuführen, um den Körperbau eines Insassen zu schätzen und auszugeben. Durch Durchführung eines Maschinenlernens auf diese Art und Weise ist es möglich, eine Genauigkeit des durch die Körperbaubestimmungseinheit 26 bestimmten Körperbaus zu verbessern.
(d) Ein Steuerungsmodus kann derart eingestellt bzw. festgelegt sein, dass, wenn eine Bedingung zum Ausgeben von Informationen an das Benachrichtigungsendgerät bzw. -terminal 9 erfüllt ist, die Informationen nur dann ausgegeben werden, wenn ein Zustand, in dem die Bedingung erfüllt ist, über eine eingestellte Zeit hinaus fortdauert. Dementsprechend wird eine Frequenz bzw. Häufigkeit reduziert, in/mit der die Informationen ausgegeben werden.

Als eine Konfiguration zusätzlich zu der vorgenannten Konfiguration können die Distanzinformationen eine Distanz zwischen Skelettpunkten auf einer linken und einer rechten Schulter des Insassen und eine Distanz zwischen Skelettpunkten in einem linken und einem rechten Bereich einer Hüfte des Insassen darstellen. Die Winkelinformationen können einen Winkel einer Wirbelsäulenlinie entlang einer Wirbelsäule des Insassen mit Bezug auf eine Referenzwirbelsäulenlinie darstellen. Die Winkelinformationen können einen Winkel einer Schulterlinie, die durch Verbinden der Skelettpunkte auf der linken und der rechten Schulter des Insassen erhalten wird, mit Bezug auf eine Referenzschulterlinie darstellen. Die Winkelinformationen können einen Winkel der Wirbelsäulenlinie entlang der Wirbelsäule des Insassen mit Bezug auf eine Hüftlinie darstellen, die durch Verbinden der Skelettpunkte in dem linken und dem rechten Teil der Hüfte des Insassen erhalten wird. Auf diese Art und Weise kann die Frontkoordinate basierend auf den Distanzinformationen und den Winkelinformationen geschätzt werden.
Gewerbliche Anwendbarkeit
Diese Offenbarung kann als eine Vorrichtung genutzt werden, die einen Körperbau eines Insassen schätzt, der durch eine Kamera aufgenommen wird, die ein Bild eines Innenraums eines Fahrzeugs aufnimmt.
Eine Körperbauschätzvorrichtung (C) umfasst: eine Kamera (6), die ein Bild eines Innenraums eines Fahrzeugs (A) aufnimmt; eine Skelettpunktkoordinatenerfassungseinheit (11), die Positionen von Skelettpunkten eines Körperbilds eines Insassen, der in einem aufgenommenen Bild des Innenraums umfasst ist, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds erfasst; eine Frontkoordinatenschätzeinheit (23), die einem Maschinenlernen unterzogen ist, sodass, durch Empfang einer Distanz zwischen voreingestellten Skelettpunkten und eines Winkels einer Skelettlinie, die durch Verbinden der Skelettpunkte erhalten wird, mit Bezug auf eine Referenzlinie, eine Frontkoordinate, die eine Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird; und eine Körperbaubestimmungseinheit (26), die einen Körperbau des Insassen basierend auf der Frontkoordinate bestimmt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019148865 A [0002]
JP 2018147313 A [0004]

Claims

Körperbauschätzvorrichtung (C) mit: einer Kamera (6), die konfiguriert ist zum Aufnehmen eines Bilds eines Innenraums eines Fahrzeugs (A); einer Skelettpunktkoordinatenerfassungseinheit (11), die konfiguriert ist zum Erfassen von Positionen von einer Vielzahl von Skelettpunkten von einem Körperbild eines Insassen, der in einem aufgenommenen Bild umfasst ist, das durch Aufnehmen eines Bilds des Innenraums durch die Kamera erhalten wird, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds; einer Frontkoordinatenschätzeinheit (23), die einem Maschinenlernen unterzogen ist, sodass, durch Empfang von Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und Winkelinformationen, die einen Winkel einer Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf eine Referenzlinie darstellen, eine Frontkoordinate, die eine Anordnung der Skelettpunkte darstellt, wenn der Insasse von vorne betrachtet wird, geschätzt und ausgegeben wird; und einer Körperbaubestimmungseinheit (26), die konfiguriert ist zum Bestimmen eines Körperbaus des Insassen basierend auf der durch die Frontkoordinatenschätzeinheit geschätzten Frontkoordinate.
Körperbauschätzvorrichtung gemäß Anspruch 1, wobei die Distanzinformationen eine Distanz zwischen Skelettpunkten auf einer linken und einer rechten Schulter des Insassen und eine Distanz zwischen Skelettpunkten in einem linken und einer rechten Bereich einer Hüfte des Insassen darstellen.
Körperbauschätzvorrichtung gemäß Anspruch 1 oder 2, wobei die Winkelinformationen einen Winkel einer Wirbelsäulenlinie entlang einer Wirbelsäule des Insassen mit Bezug auf eine Referenzwirbelsäulenlinie darstellen.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Winkelinformationen einen Winkel einer Schulterlinie, die durch Verbinden von Skelettpunkten auf einer linken und einer rechten Schulter des Insassen erhalten wird, mit Bezug auf eine Referenzschulterlinie darstellen.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei die Winkelinformationen einen Winkel einer Wirbelsäulenlinie entlang einer Wirbelsäule des Insassen mit Bezug auf eine Hüftlinie darstellen, die durch Verbinden von Skelettpunkten in einem linken und einem rechten Bereich einer Hüfte des Insassen erhalten wird.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 5, zusätzlich mit: einer Körperbauspeichereinheit (27), die konfiguriert ist zum Speichern von Körperbauelemente, die in eine Vielzahl von Körperbautypen unterteilt sind, wobei die Körperbaubestimmungseinheit bestimmt, zu welchem der Vielzahl von Körperbautypen, die in der Körperbauspeichereinheit gespeichert sind, der Körperbau des Insassen gehört.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 6, zusätzlich mit: einer Sitzpositionserfassungseinheit (14), die konfiguriert ist zum Erfassen einer Position eines Sitzunterbaus und einer Lehnhaltung eines Sitzrückenteils eines Sitzes (S) in dem Fahrzeug; und einer Korrektureinheit (10), die konfiguriert ist zum Korrigieren der Skelettpunktkoordinaten basierend auf durch die Sitzpositionserfassungseinheit erfassten Informationen.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 7, zusätzlich mit: einer Haltungsbestimmungseinheit (25), die konfiguriert ist zum Bestimmen einer Haltung eines Oberkörpers des Insassen, der auf einem Sitz (S) in dem Fahrzeug sitzt, basierend auf den Winkelinformationen.
Körperbauschätzvorrichtung gemäß einem der Ansprüche 1 bis 8, wobei die Skelettpunktkoordinatenerfassungseinheit die Skelettpunktkoordinaten eines Oberkörpers des Insassen erfasst, der auf einem Sitz (S) in dem Fahrzeug sitzt, und die Frontkoordinatenschätzeinheit die Frontkoordinate basierend auf den durch die Skelettpunktkoordinatenerfassungseinheit erfassten Skelettpunktkoordinaten des Oberkörpers schätzt.
Haltungsschätzvorrichtung mit: einer Kamera (6), die konfiguriert ist zum Aufnehmen eines Bilds eines Innenraums eines Fahrzeugs; einer Skelettpunktkoordinatenerfassungseinheit (11), die konfiguriert ist zum Erfassen von Positionen von einer Vielzahl von Skelettpunkten von einem Körperbild eines Insassen, der in einem aufgenommenen Bild umfasst ist, das durch Aufnehmen eines Bilds des Innenraums durch die Kamera erhalten wird, als Skelettpunktkoordinaten in einem zweidimensionalen Koordinatensystem des aufgenommenen Bilds; und einer Haltungsschätzeinheit (25), die einem Maschinenlernen unterzogen ist, sodass, durch Empfang von Distanzinformationen, die eine Distanz zwischen einer Vielzahl von voreingestellten Skelettpunkten unter der Vielzahl von Skelettpunkten darstellen, die durch die Skelettpunktkoordinaten spezifiziert werden, und Winkelinformationen, die einen Winkel einer Skelettlinie, die durch Verbinden der Vielzahl der Skelettpunkte erhalten wird, die durch die Skelettpunktkoordinaten spezifiziert werden, mit Bezug auf eine Referenzlinie darstellen, eine Haltung des Insassen geschätzt und ausgegeben wird.
Haltungsschätzvorrichtung gemäß Anspruch 10, zusätzlich mit: einer Sitzpositionserfassungseinheit (14), die konfiguriert ist zum Erfassen einer Position eines Sitzunterbaus und einer Lehnhaltung eines Sitzrückenteils eines Sitzes (S) in dem Fahrzeug; und einer Korrektureinheit (10), die konfiguriert ist zum Korrigieren der Skelettpunktkoordinaten basierend auf durch die Sitzpositionserfassungseinheit erfassten Informationen.
Haltungsschätzvorrichtung gemäß Anspruch 10 oder 11, zusätzlich mit: einer Körperbaubestimmungseinheit (26), die konfiguriert ist zum Bestimmen eines Körperbaus des Insassen basierend auf der durch die Haltungsschätzeinheit geschätzten Haltung.