DE102020117555A1

DE102020117555A1 - METHOD AND DEVICE FOR INTRIBUTOR CLASSIFICATION

Info

Publication number: DE102020117555A1
Application number: DE102020117555.8A
Authority: DE
Inventors: Elvir Hasedzic; Ionut Valentin Gheorghe
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2019-07-05
Filing date: 2020-07-03
Publication date: 2021-01-07
Also published as: GB2585247A; GB201909699D0; GB2585247B

Abstract

Aspekte der vorliegenden Erfindung beziehen sich auf eine Methode und Vorrichtung zur Klassifizierung von Fahrzeuginsassen. Ein Bild wird von einer in der Kabine eines Fahrzeugs angeordneten Kamera empfangen. Das Bild wird analysiert, um eine Vielzahl von Körpermerkmalen eines Insassen in der Fahrzeugkabine zu identifizieren. Zu den mehreren identifizierten Körpermarkierungen gehört mindestens ein Paar der Körpermarkierungen. Zwischen den Körpermerkmalen, die jedes Paar bilden, wird ein Abstand bestimmt. Der Insasse wird in Abhängigkeit von einem Vergleich des ermittelten Abstands mit einem vordefinierten Klassifizierungsschwellenwert als ein erster Insassentyp oder als ein zweiter Insassentyp klassifiziert. Der Betrieb eines oder mehrerer Fahrzeugsysteme kann somit in Abhängigkeit von der Klassifizierung des Insassen gesteuert werden.Aspects of the present invention relate to a method and apparatus for classifying vehicle occupants. An image is received by a camera located in the cabin of a vehicle. The image is analyzed to identify a variety of body features of an occupant in the vehicle cabin. The multiple body markings identified include at least a pair of the body markings. A distance is determined between the body features that make up each pair. The occupant is classified as a first occupant type or as a second occupant type as a function of a comparison of the determined distance with a predefined classification threshold value. The operation of one or more vehicle systems can thus be controlled as a function of the classification of the occupant.

Description

TECHNISCHER BEREICHTECHNICAL PART

Die vorliegende Offenlegung bezieht sich auf eine Methode und einen Apparat zur Insassenklassifizierung. Aspekte der Erfindung beziehen sich auf eine Fahrzeuginsassen-Klassifizierungsmethode; ein nicht vorübergehendes computerlesbares Medium; ein Fahrzeuginsassen-Klassifizierungssystem; ein Fahrzeug; und ein Steuergerät.The present disclosure relates to a method and apparatus for occupant classification. Aspects of the invention relate to a vehicle occupant classification method; a non-transitory computer readable medium; a vehicle occupant classification system; a vehicle; and a control unit.

HINTERGRUNDBACKGROUND

Es hat Fälle gegeben, in denen Kinder unbeaufsichtigt in einem Fahrzeug, z.B. einem Automobil, zurückgelassen wurden. Es wäre wünschenswert, ein System bereitzustellen, das erkennen kann, wann sich ein Kind im Fahrzeug befindet. Die Verwendung einer Kamera zur Erkennung von Kindern hat einige Probleme. Zum Beispiel kann es schwierig sein, die Kamera im Fahrzeug zu orten, um ein Ganzkörperbild aufzunehmen, da normalerweise nur der Oberkörper sichtbar ist, während die Beine des Kindes eher nicht zu sehen sind. Auch die Verarbeitung der Bilddaten kann schwierig sein, da sich der Insasse ständig im Fahrzeug bewegt.There have been cases where children have been left unattended in a vehicle such as an automobile. It would be desirable to provide a system that can detect when a child is in the vehicle. There are some problems with using a camera to detect children. For example, it can be difficult to locate the camera in the vehicle in order to take a full body picture, as normally only the upper body is visible while the child's legs are less likely to be seen. Processing the image data can also be difficult because the occupant is constantly moving in the vehicle.

Es ist ein Ziel der vorliegenden Erfindung, einen oder mehrere der mit dem Stand der Technik verbundenen Nachteile zu beheben.It is an object of the present invention to overcome one or more of the disadvantages associated with the prior art.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Aspekte und Ausführungsformen der Erfindung bieten eine Fahrzeuginsassen-Klassifizierungsmethode; ein nicht vorübergehendes computerlesbares Medium; ein Fahrzeuginsassen-Klassifizierungssystem; ein Fahrzeug; und ein Steuergerät gemäß den beigefügten AnsprüchenAspects and embodiments of the invention provide a vehicle occupant classification method; a non-transitory computer readable medium; a vehicle occupant classification system; a vehicle; and a control device according to the appended claims

Nach einem Aspekt der vorliegenden Erfindung ist eine Methode zur Klassifizierung der Fahrzeuginsassen vorgesehen, die Folgendes umfasst

Empfang eines Bildes von einer Kamera, die in der Kabine eines Fahrzeugs angeordnet ist;
Analysieren des Bildes, um eine Vielzahl von Körper-Markierungen eines Insassen in der Fahrzeugkabine zu identifizieren, wobei die Vielzahl der identifizierten Körper-Markierungen mindestens ein Paar der Körper-Markierungen umfasst;
Bestimmen eines Abstands zwischen den Körpermarkierungen, die jedes Paar bilden; und
die Klassifizierung des Insassen als einen ersten Insassentyp oder einen zweiten Insassentyp in Abhängigkeit von einem Vergleich des ermittelten Abstands mit einem vordefinierten Klassifizierungsschwellenwert. Das Bild wird verarbeitet, um die Körpermarkierungen zu identifizieren, die ein Skelettmodell bilden können. Das Skelettmodell kann dann analysiert werden, um zu einem Referenzwert für einen Fahrzeuginsassen zu gelangen. Der Referenzwert kann z.B. einen Skelettgrößenwert umfassen.

According to one aspect of the present invention, a method for classifying vehicle occupants is provided, comprising the following

Receiving an image from a camera located in the cabin of a vehicle;
Analyzing the image to identify a plurality of body markings of an occupant in the vehicle cabin, the plurality of body markings identified including at least a pair of the body markings;
Determining a distance between the body markings that make up each pair; and
the classification of the occupant as a first occupant type or a second occupant type as a function of a comparison of the determined distance with a predefined classification threshold value. The image is processed to identify the body markings that can form a skeletal model. The skeleton model can then be analyzed in order to arrive at a reference value for a vehicle occupant. The reference value can include, for example, a skeleton size value.

Der erste Insassentyp kann als unabhängig klassifiziert werden; und der zweite Insassentyp kann als abhängig (oder gefährdet) klassifiziert werden. Der erste Insassentyp kann als eine erste Altersgruppe und der zweite Insassentyp kann als eine zweite Altersgruppe klassifiziert werden. Der erste Insassentyp kann ein Erwachsener (ein Major) sein; und der zweite Insassentyp kann ein Kind (ein Minderjähriger) sein. Das Verfahren kann darin bestehen, jeden Insassen des Fahrzeugs entweder als Erwachsenen oder als Kind zu klassifizieren. Der Referenzwert kann verwendet werden, um den Insassen als Kind oder als Erwachsenen zu klassifizieren. Dieses Verfahren kann für jeden Fahrzeuginsassen durchgeführt werden.The first type of occupant can be classified as independent; and the second type of occupant can be classified as dependent (or at risk). The first type of occupant can be classified as a first age group and the second type of occupant can be classified as a second age group. The first type of occupant can be an adult (a major); and the second type of inmate can be a child (a minor). The method can be to classify each occupant of the vehicle as either an adult or a child. The reference value can be used to classify the occupant as a child or an adult. This procedure can be carried out for each vehicle occupant.

Das Verfahren kann die Einstufung des Insassen als einen von mehreren verschiedenen Insassentypen umfassen. Die Insassentypen können einen oder mehrere der folgenden Typen umfassen: ein Neugeborenes (mit einem Alter von weniger als einem (1) Monat); ein Kleinkind (mit einem Alter zwischen einem (1) Monat und zwei (2) Jahren); ein Kind (mit einem Alter von mehr als zwei (2) Jahren und weniger als oder gleich zwölf (12) Jahren); ein Jugendlicher (mit einem Alter zwischen zwölf (12) und sechzehn (16) Jahren); und ein Erwachsener (mit einem Alter von mehr als oder gleich sechzehn (16) Jahren). Zum Beispiel kann eine Klassifizierung in Bezug auf einen Insassen vorgenommen werden, der als Kind unter sechs (6) Jahren (oder einem anderen vordefinierten Alter) eingestuft wird.The method may include classifying the occupant as one of several different types of occupants. The types of occupants may include one or more of the following types: a newborn (less than one (1) month old); a toddler (between one (1) month and two (2) years of age); a child (aged more than two (2) years and less than or equal to twelve (12) years); an adolescent (aged between twelve (12) and sixteen (16) years old); and an adult (greater than or equal to sixteen (16) years of age). For example, a classification may be made in relation to an occupant who is classified as a child under six (6) years of age (or other predefined age).

Die Methode kann in Bezug auf ein einzelnes Bild durchgeführt werden. Alternativ kann die Methode in Bezug auf ein Videobild durchgeführt werden, das ein oder mehrere Einzelbilder pro Sekunde umfassen kann. Ein durchschnittlicher Abstand zwischen den Körperlandmarken kann in Abhängigkeit von einer Vielzahl von Einzelbildern bestimmt werden. Der Durchschnittswert kann zur Klassifizierung des Insassen verwendet werden.The method can be carried out in relation to a single image. Alternatively, the method can be carried out in relation to a video image, which can comprise one or more individual images per second. An average distance between the body landmarks can be determined as a function of a large number of individual images. The average value can be used to classify the occupant.

Die Mehrzahl der identifizierten Körperlandmarken kann eine Mehrzahl von Körperlandmarkenpaaren umfassen. Das Verfahren kann die Bestimmung des Abstands zwischen den Körperlandmarken in jedem der mehreren Paare umfassen. Das Verfahren kann die Addition der ermittelten Abstände jedes der mehreren Paare umfassen, um einen Gesamtabstand zu bestimmen. Der Gesamtabstand kann eine Skelettgröße darstellen. Zumindest in bestimmten Ausführungsformen kann die Skelettgröße zur Klassifizierung des Insassen verwendet werden. Die Methode kann den Vergleich des Gesamtabstands mit dem Klassifizierungsschwellenwert umfassen. The plurality of identified body landmarks may include a plurality of body landmark pairs. The method may include determining the distance between the body landmarks in each of the plurality of pairs. The method may include adding the determined distances of each of the plurality of pairs to determine a total distance. The total distance can represent a skeleton size. At least in In certain embodiments, skeletal size can be used to classify the occupant. The method may include comparing the total distance to the classification threshold.

Der Klassifizierungsschwellenwert kann unter Bezugnahme auf Bevölkerungsdaten definiert werden, z. B. durch Gewichte und/oder Abmessungen einer Population. Der Klassifizierungsschwellenwert kann dem Gewicht und/oder den Abmessungen eines vordefinierten Perzentils der Bevölkerung für ein bestimmtes Alter oder eine bestimmte Klassifizierung entsprechen. Der Klassifizierungsschwellenwert kann z.B. einem 50. Perzentil der Kinder eines bestimmten Alters oder einem 50.The classification threshold can be defined with reference to population data, e.g. B. by weights and / or dimensions of a population. The classification threshold may correspond to the weight and / or dimensions of a predefined percentile of the population for a particular age or classification. For example, the classification threshold can be a 50th percentile of children of a certain age or a 50th percentile.

Der Klassifizierungsschwellenwert kann in Abhängigkeit von der Position des Fahrzeuginsassen im Fahrzeug festgelegt werden. Beispielsweise können für die erste und zweite Sitzreihe jeweils ein erster und ein zweiter Klassifizierungsschwellenwert festgelegt werden, die sich voneinander unterscheiden.The classification threshold value can be established as a function of the position of the vehicle occupant in the vehicle. For example, a first and a second classification threshold value, which differ from one another, can be established for the first and second row of seats.

Das Verfahren kann die Modellierung eines Skelettrahmens des Insassen in Abhängigkeit von den identifizierten Körpermerkmalen umfassen. Der Skelettrahmen kann mindestens ein Glied umfassen, das sich zwischen den Körpermerkmalen in jedem Paar erstreckt. Der Abstand kann einer Länge des Gliedes entsprechen.The method can include modeling a skeletal frame of the occupant as a function of the identified body features. The skeletal frame may include at least one limb that extends between the body features in each pair. The distance can correspond to a length of the link.

Das mindestens eine Paar der Körpermerkmale kann aus einem oder mehreren der folgenden Elemente bestehen:

einen Orientierungspunkt für die rechte Schulter und einen Orientierungspunkt für den rechten Ellbogen;
einen Orientierungspunkt für die linke Schulter und einen Orientierungspunkt für den linken Ellbogen;
einen Orientierungspunkt an der Brust und einen Orientierungspunkt an der rechten Schulter;
einen Orientierungspunkt auf der Brust und einen auf der linken Schulter;
Markierung für die linke Schulter und die rechte Schulter; Markierung für die linke Schulter und die rechte Schulter;
einen Orientierungspunkt auf der Brust und einen Orientierungspunkt auf der rechten Hüfte; und
eine Landmarke für den Brustkorb und eine Landmarke für die linke Hüfte.

The at least one pair of body features can consist of one or more of the following elements:

a landmark for the right shoulder and a landmark for the right elbow;
a landmark for the left shoulder and a landmark for the left elbow;
a landmark on the chest and a landmark on the right shoulder;
one landmark on the chest and one on the left shoulder;
Marking for the left shoulder and the right shoulder; Marking for the left shoulder and the right shoulder;
a landmark on the chest and a landmark on the right hip; and
a landmark for the rib cage and a landmark for the left hip.

Das mindestens eine Paar der Körpermarkierungen kann aus einem oder mehreren der folgenden Elemente bestehen:

ein Nasen-Landmarken zu einem Brust-Landmarken;
einen Orientierungspunkt für die rechte Hüfte und einen Orientierungspunkt für das rechte Knie; und
eine Markierung für die linke Hüfte zu einer Markierung für das linke Knie.

The at least one pair of body markings can consist of one or more of the following elements:

a nose landmark to a chest landmark;
a landmark for the right hip and a landmark for the right knee; and
a marker for the left hip to a marker for the left knee.

Das Verfahren kann die Bestimmung umfassen, ob der Insasse in einer ersten Sitzreihe in der Fahrzeugkabine oder in einer zweiten Sitzreihe in der Fahrzeugkabine sitzt. Bei der ersten Sitzreihe kann es sich um eine vordere Sitzreihe handeln. Bei der zweiten Reihe kann es sich um eine hintere Sitzreihe handeln. Das Verfahren kann die Bestimmung umfassen, ob der Insasse in einer dritten Sitzreihe im Fahrzeuginnenraum Platz genommen hat. Die Klassifizierungsschwelle kann eine erste Klassifizierungsschwelle umfassen, wenn sich der Insasse in der ersten Reihe befindet, und die Klassifizierungsschwelle kann eine zweite Klassifizierungsschwelle umfassen, wenn sich der Insasse in der zweiten Reihe befindet.The method may include determining whether the occupant is seated in a first row of seats in the vehicle cabin or in a second row of seats in the vehicle cabin. The first row of seats can be a front row of seats. The second row can be a rear row of seats. The method may include determining whether the occupant is seated in a third row of seats in the vehicle interior. The classification threshold may include a first classification threshold when the occupant is in the first row and the classification threshold may include a second classification threshold when the occupant is in the second row.

Die Verarbeitung des Bildes kann die Definition eines oder mehrerer Bereiche von Interesse umfassen. Jeder Interessenbereich kann in Bezug auf eine diskrete Teilmenge des Bildes definiert werden. Die Interessensgebiete können eine nicht überlappende Anordnung haben. Es können mehrere Interessenbereiche definiert werden, von denen jeder einem Sitz in der Kabine des Fahrzeugs entspricht. Die interessierenden Bereiche können in Bezug auf verschiedene Sitzreihen in der Kabine definiert werden. Die interessierenden Bereiche können die gleichen Abmessungen haben. Alternativ dazu können die interessierenden Bereiche unterschiedliche Abmessungen haben. Beispielsweise kann ein erster Bereich von Interesse, der in Bezug auf einen Sitz im hinteren Teil der Kabine definiert ist, kleiner sein als ein zweiter Bereich von Interesse, der in Bezug auf einen Sitz im vorderen Teil der Kabine definiert ist.Processing the image may include defining one or more areas of interest. Each area of interest can be defined in terms of a discrete subset of the image. The areas of interest can have a non-overlapping arrangement. Several areas of interest can be defined, each of which corresponds to a seat in the cabin of the vehicle. The areas of interest can be defined in relation to different rows of seats in the cabin. The areas of interest can have the same dimensions. Alternatively, the areas of interest can have different dimensions. For example, a first area of interest defined with respect to a seat in the rear of the cabin may be smaller than a second area of interest defined with respect to a seat in the front of the cabin.

Die Körpermerkmale eines Insassen können in Bezug auf einen oder mehrere interessierende Bereiche identifiziert werden. Beispielsweise können die innerhalb oder in der Nähe eines Interessenbereichs identifizierten Körpermarkierungen in Bezug auf einen Insassen auf einem Sitz, der mit diesem Interessenbereich verbunden ist, kategorisiert werden. Durch die Vordefinition der Interessenbereiche innerhalb der Szene kann das Potenzial für eine falsche Identifizierung eines Insassen verringert werden. Beispielsweise kann die Wahrscheinlichkeit verringert werden, dass eine durch ein Seitenfenster oder eine Heckscheibe sichtbare Person als Insasse identifiziert wird. In einigen Experimenten identifizierte die Kamera Personen außerhalb eines Fahrzeugs fälschlicherweise als Kinder.An occupant's body features can be identified in relation to one or more areas of interest. For example, the body markings identified within or near an area of interest can be categorized in relation to an occupant on a seat associated with that area of interest. By pre-defining the areas of interest within the scene, the potential for misidentification of an occupant can be reduced. For example, the likelihood of a person visible through a side window or a rear window being identified as an occupant can be reduced. In some experiments The camera incorrectly identified people outside a vehicle as children.

Die Vielzahl der identifizierten Körpermarkierungen kann mindestens eine Referenzkörpermarkierung umfassen. Die Methode kann die Bestimmung umfassen, ob sich die Referenzkörpermarkierung innerhalb eines vordefinierten Bereichs von Interesse befindet. Der Referenzpunkt des Körpers kann z.B. ein Brustpunkt sein.The plurality of identified body markings can comprise at least one reference body mark. The method may include determining whether the reference body marker is within a predefined area of interest. The reference point of the body can be a chest point, for example.

Der interessierende Bereich kann mit einem Sitz in der Fahrzeugkabine verbunden sein. Jedem Sitz in der Fahrzeugkabine kann ein separater Bereich von Interesse zugeordnet werden. Zum Beispiel kann ein erster Interessenbereich mit einem ersten Sitz verbunden sein; und ein zweiter Interessenbereich kann mit einem zweiten Sitz verbunden sein. Die Methode kann die Bestimmung umfassen, dass der Sitz besetzt ist, wenn sich die Bezugskörpermarkierung innerhalb des interessierenden Bereichs befindet. Die Methode kann die Bestimmung umfassen, dass der Sitz unbesetzt ist, wenn sich die Landmarke des Referenzkörpers außerhalb des interessierenden Bereichs befindet. Alternativ oder zusätzlich kann die Methode die Bestimmung umfassen, dass der Sitz unbesetzt ist, wenn keine Körpermarkierungen identifiziert werden.The area of interest can be connected to a seat in the vehicle cabin. A separate area of interest can be assigned to each seat in the vehicle cabin. For example, a first area of interest may be associated with a first seat; and a second area of interest may be associated with a second seat. The method may include determining that the seat is occupied when the reference body marker is within the area of interest. The method may include determining that the seat is unoccupied when the landmark of the reference body is outside the area of interest. Alternatively or additionally, the method may include determining that the seat is vacant if no body markings are identified.

Die Methode kann die Analyse des Bildes umfassen, um einen Kindersicherheitssitz in der Kabine zu identifizieren. Der Sitz kann den identifizierten Kindersicherheitssitz umfassen.The method may include analyzing the image to identify a child safety seat in the cabin. The seat can include the identified child safety seat.

Die Methode kann das Sperren oder Freigeben des Betriebs eines oder mehrerer Fahrzeugsysteme in Abhängigkeit von der Klassifizierung des Insassen umfassen. Alternativ oder zusätzlich kann das Verfahren die Steuerung des Betriebs eines oder mehrerer Fahrzeugsysteme in Abhängigkeit von der Klassifizierung des Insassen umfassen. Das Verfahren kann die Verhinderung oder Freigabe des Betriebs eines oder mehrerer Fahrzeugsysteme umfassen, wenn der Insasse als Kind klassifiziert ist. Das Fahrzeugsystem kann ein Sicherheitssystem zur Erzeugung einer Benachrichtigung oder eines Alarms umfassen. Eine erste Benachrichtigung kann für einen Insassen ausgegeben werden, der als erster Insassentyp klassifiziert ist, und eine zweite Benachrichtigung kann für einen Insassen ausgegeben werden, der als zweiter Insassentyp klassifiziert ist. Zum Beispiel kann die erste Benachrichtigung für einen Insassen ausgegeben werden, der als Kind mit einem Alter von weniger als sechs (6) Jahren klassifiziert ist; und eine zweite Benachrichtigung kann für einen Insassen ausgegeben werden, der als Kind mit einem Alter von mindestens 6 Jahren klassifiziert ist. Das Verfahren kann beinhalten, dass der Betrieb eines oder mehrerer Fahrzeugsysteme nur dann ermöglicht wird, wenn der Insasse als Erwachsener klassifiziert ist. Ein Fahrzeugantriebssystem kann deaktiviert werden, wenn ein auf dem Fahrersitz identifizierter Insasse als Kind klassifiziert wird (oder wenn kein Insasse auf dem Fahrersitz identifiziert wird). Das Fahrzeugantriebssystem darf nur aktiviert werden, wenn der Insasse auf dem Fahrersitz als Erwachsener eingestuft ist. Das Fahrzeugantriebssystem kann aus einem oder mehreren der folgenden Elemente bestehen: einem Zündsystem, einem Getriebesteuergerät und einem Gaspedal, einem Bremssystem (z.B. einer Feststellbremse). Ein unangemessenes oder fehlerhaftes Einrücken eines Fahrmodus kann dadurch verringert werden.The method can include disabling or enabling the operation of one or more vehicle systems depending on the classification of the occupant. Alternatively or additionally, the method can comprise the control of the operation of one or more vehicle systems as a function of the classification of the occupant. The method may include preventing or enabling operation of one or more vehicle systems if the occupant is classified as a child. The vehicle system can include a security system for generating a notification or an alarm. A first notification can be issued for an occupant classified as a first occupant type and a second notification can be issued for an occupant classified as a second occupant type. For example, the first notification can be issued for an occupant classified as a child less than six (6) years old; and a second notification can be issued for an occupant classified as a child of at least 6 years of age. The method can include that the operation of one or more vehicle systems is only enabled if the occupant is classified as an adult. A vehicle propulsion system may be deactivated if an occupant identified in the driver's seat is classified as a child (or if no occupant is identified in the driver's seat). The vehicle propulsion system may only be activated if the occupant in the driver's seat is classified as an adult. The vehicle propulsion system can consist of one or more of the following elements: an ignition system, a transmission control unit and an accelerator pedal, a braking system (e.g. a parking brake). Inappropriate or erroneous engagement of a driving mode can thereby be reduced.

Das Verfahren kann wiederholt werden, um jeden Insassen in der Fahrzeugkabine zu klassifizieren.The process can be repeated to classify each occupant in the vehicle cabin.

Die Klassifizierungsschwelle kann in Abhängigkeit von einem geographischen Betriebsgebiet des Fahrzeugs festgelegt werden. Der Klassifizierungsschwellenwert kann so angepasst werden, dass er die demografischen Unterschiede in Höhe und/oder Größe der Bevölkerung in der geografischen Betriebsregion, in der das Fahrzeug eingesetzt werden soll, widerspiegelt. Die geographische Einsatzregion kann in einer Fahrzeugkonfigurationsdatei angegeben oder von einem Benutzer eingegeben werden. Alternativ kann die geographische Betriebsregion unter Bezugnahme auf ein Satellitenpositionierungssystem bestimmt werden.The classification threshold can be determined as a function of a geographical operating area of the vehicle. The classification threshold can be adjusted to reflect the demographic differences in height and / or size of the population in the geographic operating region in which the vehicle is to be used. The geographic region of use can be specified in a vehicle configuration file or entered by a user. Alternatively, the geographic operating region can be determined with reference to a satellite positioning system.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein nicht vorübergehendes computerlesbares Medium bereitgestellt, in dem ein Satz von Anweisungen gespeichert ist, die bei ihrer Ausführung einen Prozessor veranlassen, das hier beschriebene Verfahren auszuführen.According to a further aspect of the present invention, a non-transitory computer-readable medium is provided having stored therein a set of instructions which, when executed, cause a processor to carry out the method described herein.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Fahrzeuginsassen-Klassifizierungssystem vorgesehen, das ein Steuergerät mit einem Prozessor und einem Systemspeicher umfasst, wobei das Steuergerät so konfiguriert ist, dass es

ein Bild von einer in der Kabine eines Fahrzeugs angeordneten Kamera zu empfangen;
das Bild zu analysieren, um eine Vielzahl von Körpermarkierungen eines Insassen in der Fahrzeugkabine zu identifizieren, wobei die Vielzahl der identifizierten Körpermarkierungen mindestens ein Paar der Körpermarkierungen umfasst;
Bestimmen eines Abstands zwischen den Körpermarkierungen, die jedes Paar bilden; und
klassifizieren den Bewohner in Abhängigkeit von einem Vergleich des ermittelten Abstands mit einem vordefinierten Klassifizierungsschwellenwert als einen ersten Bewohnertyp oder einen zweiten Bewohnertyp.

According to a further aspect of the present invention, a vehicle occupant classification system is provided that comprises a control device with a processor and a system memory, wherein the control device is configured to be

receive an image from a camera located in the cabin of a vehicle;
analyze the image to identify a plurality of body marks of an occupant in the vehicle cabin, the plurality of body marks identified including at least a pair of the body marks;
Determining a distance between the body markings that make up each pair; and
classify the resident as a first resident type or a second resident type as a function of a comparison of the determined distance with a predefined classification threshold value.

Der erste Insassentyp kann als unabhängig klassifiziert werden; und der zweite Insassentyp kann als abhängig (oder gefährdet) klassifiziert werden. Der erste Insassentyp kann als eine erste Altersgruppe klassifiziert werden; und der zweite Insassentyp kann als eine zweite Altersgruppe klassifiziert werden. Der erste Insassentyp kann ein Erwachsener und der zweite Insassentyp ein Kind sein. Das Fahrzeuginsassen-Klassifizierungssystem kann somit dazu dienen, jeden Insassen des Fahrzeugs entweder als Erwachsenen oder als Kind zu klassifizieren.The first type of occupant can be classified as independent; and the second type of occupant can be classified as dependent (or at risk). The first type of occupant can be classified as a first age group; and the second type of occupant can be classified as a second age group. The first type of occupant can be an adult and the second type of occupant can be a child. The vehicle occupant classification system can thus serve to classify each occupant of the vehicle as either an adult or a child.

Die Mehrzahl der identifizierten Körpermarkierungen kann eine Mehrzahl von Paaren der Körpermarkierungen umfassen. Das Steuergerät kann so konfiguriert werden, dass es den Abstand zwischen den Körpermarkierungen in jedem der mehreren Paare bestimmt. Der Controller kann so konfiguriert werden, dass er die ermittelten Abstände jedes der mehreren Paare addiert, um einen Gesamtabstand zu bestimmen. Der Gesamtabstand kann eine Skelettgröße darstellen. Zumindest in bestimmten Ausführungsformen kann die Skelettgröße zur Klassifizierung des Insassen verwendet werden. Der Controller ist so konfiguriert, dass er den Gesamtabstand mit dem Klassifizierungsschwellenwert vergleicht.The plurality of identified body markings may include a plurality of pairs of the body markings. The controller can be configured to determine the spacing between the body markings in each of the multiple pairs. The controller can be configured to add the determined distances of each of the multiple pairs to determine a total distance. The total distance can represent a skeleton size. In at least certain embodiments, the skeleton size can be used to classify the occupant. The controller is configured to compare the total distance to the classification threshold.

Das mindestens eine Paar der Körperlandmarken besteht aus einem oder mehreren der folgenden Punkte:

eine Landmarke für die rechte Schulter und eine Landmarke für den rechten Ellbogen;
eine Landmarke für die linke Schulter und eine Landmarke für den linken Ellbogen;
eine Markierung für den Brustkorb und eine Markierung für die rechte Schulter;
einen Orientierungspunkt auf der Brust und einen auf der linken Schulter;
Markierung für die linke Schulter und die rechte Schulter; Markierung für die linke Schulter und die rechte Schulter;
einen Orientierungspunkt auf der Brust und einen Orientierungspunkt auf der rechten Hüfte; und
eine Landmarke für den Brustkorb und eine Landmarke für die linke Hüfte.

The at least one pair of body landmarks consists of one or more of the following:

a landmark for the right shoulder and a landmark for the right elbow;
a landmark for the left shoulder and a landmark for the left elbow;
a mark for the chest and a mark for the right shoulder;
one landmark on the chest and one on the left shoulder;
Marking for the left shoulder and the right shoulder; Marking for the left shoulder and the right shoulder;
a landmark on the chest and a landmark on the right hip; and
a landmark for the rib cage and a landmark for the left hip.

Der Controller kann so konfiguriert werden, dass er bestimmt, ob der Insasse in einer ersten Sitzreihe in der Fahrzeugkabine oder in einer zweiten Sitzreihe in der Fahrzeugkabine sitzt. Die Klassifizierungsschwelle kann eine erste Klassifizierungsschwelle umfassen, wenn sich der Insasse in der ersten Reihe befindet, und die Klassifizierungsschwelle kann eine zweite Klassifizierungsschwelle umfassen, wenn sich der Insasse in der zweiten Reihe befindet.The controller can be configured to determine whether the occupant is seated in a first row of seats in the vehicle cabin or in a second row of seats in the vehicle cabin. The classification threshold may include a first classification threshold when the occupant is in the first row and the classification threshold may include a second classification threshold when the occupant is in the second row.

Der Controller kann so konfiguriert werden, dass er einen oder mehrere Bereiche von Interesse definiert. Jeder Interessenbereich kann in Bezug auf eine diskrete Teilmenge des Bildes definiert werden. Die interessierenden Bereiche können eine nicht überlappende Anordnung haben. Es können mehrere Interessenbereiche definiert werden, von denen jeder einem Sitz in der Kabine des Fahrzeugs entspricht. Die interessierenden Bereiche können in Bezug auf verschiedene Sitzreihen in der Kabine definiert werden. Die interessierenden Bereiche können die gleichen Abmessungen haben. Alternativ dazu können die interessierenden Bereiche unterschiedliche Abmessungen haben. Beispielsweise kann ein erster Bereich von Interesse, der in Bezug auf einen Sitz im hinteren Teil der Kabine definiert ist, kleiner sein als ein zweiter Bereich von Interesse, der in Bezug auf einen Sitz im vorderen Teil der Kabine definiert ist.The controller can be configured to define one or more areas of interest. Each area of interest can be defined in terms of a discrete subset of the image. The areas of interest can have a non-overlapping arrangement. Several areas of interest can be defined, each of which corresponds to a seat in the cabin of the vehicle. The areas of interest can be defined in relation to different rows of seats in the cabin. The areas of interest can have the same dimensions. Alternatively, the areas of interest can have different dimensions. For example, a first area of interest defined with respect to a seat in the rear of the cabin may be smaller than a second area of interest defined with respect to a seat in the front of the cabin.

Die Körpermerkmale eines Insassen können in Bezug auf einen oder mehrere interessierende Bereiche identifiziert werden. Beispielsweise können die innerhalb oder in der Nähe eines Interessenbereichs identifizierten Körpermarkierungen in Bezug auf einen Insassen auf einem Sitz, der mit diesem Interessenbereich verbunden ist, kategorisiert werden. Durch die Vordefinition der Interessenbereiche innerhalb der Szene kann das Potenzial für eine falsche Identifizierung eines Insassen verringert werden. Beispielsweise kann die Wahrscheinlichkeit verringert werden, dass eine durch ein Seitenfenster oder eine Heckscheibe sichtbare Person als Insasse identifiziert wird. In einigen Experimenten identifizierte die Kamera Personen außerhalb eines Fahrzeugs fälschlicherweise als Kinder.An occupant's body features can be identified in relation to one or more areas of interest. For example, the body markings identified within or near an area of interest can be categorized in relation to an occupant on a seat associated with that area of interest. By pre-defining the areas of interest within the scene, the potential for misidentification of an occupant can be reduced. For example, the likelihood of a person visible through a side window or a rear window being identified as an occupant can be reduced. In some experiments, the camera incorrectly identified people outside a vehicle as children.

Die Mehrzahl der identifizierten Körpermarkierungen kann mindestens eine Referenzkörpermarkierung umfassen, wobei die Steuerung so konfiguriert ist, dass sie bestimmt, ob sich die Referenzkörpermarkierung innerhalb eines vordefinierten Bereichs von Interesse befindet. Die Referenzkörper-Landmarke kann zum Beispiel eine Brustkorblandmarke umfassen.The plurality of identified body markings can include at least one reference body marking, the controller being configured to determine whether the reference body marking is within a predefined one Area of interest is located. The reference body landmark can include a chest landmark, for example.

Der interessierende Bereich kann mit einem Sitz in der Fahrzeugkabine verbunden sein. Der Controller kann so konfiguriert werden, dass er feststellt, dass der Sitz besetzt ist, wenn sich die Bezugsmarkierung des Körpers innerhalb des interessierenden Bereichs befindet. Der Controller kann so konfiguriert werden, dass er feststellt, dass der Sitz nicht besetzt ist, wenn sich die Bezugsmarkierung des Körpers außerhalb des interessierenden Bereichs befindet. Der Controller kann so konfiguriert werden, dass er feststellt, dass der Sitz unbesetzt ist, wenn keine Körperlandmarken in den Bilddaten identifiziert werden.The area of interest can be connected to a seat in the vehicle cabin. The controller can be configured to determine that the seat is occupied when the body fiducial is within the area of interest. The controller can be configured to determine that the seat is vacant when the body's fiducial mark is outside the area of interest. The controller can be configured to determine that the seat is unoccupied when no body landmarks are identified in the image data.

Der Controller kann so konfiguriert werden, dass er das Bild analysiert, um einen Kindersicherheitssitz in der Kabine zu identifizieren. Der Sitz kann den identifizierten Kindersicherheitssitz umfassen.The controller can be configured to analyze the image to identify a child safety seat in the cabin. The seat can include the identified child safety seat.

Das Steuergerät kann so konfiguriert werden, dass es den Betrieb eines oder mehrerer Fahrzeugsysteme in Abhängigkeit von der Klassifizierung des Insassen sperrt oder freigibt. Alternativ oder zusätzlich kann das Steuergerät so konfiguriert werden, dass es den Betrieb eines oder mehrerer Fahrzeugsysteme in Abhängigkeit von der Klassifizierung des Insassen steuert. Das Steuergerät kann so konfiguriert werden, dass es den Betrieb eines oder mehrerer Fahrzeugsysteme sperrt oder freigibt, wenn der Insasse als Kind klassifiziert ist. Das Fahrzeugsystem kann ein Sicherheitssystem zur Erzeugung einer Benachrichtigung oder eines Alarms umfassen.The control unit can be configured in such a way that it blocks or enables the operation of one or more vehicle systems depending on the classification of the occupant. Alternatively or additionally, the control device can be configured in such a way that it controls the operation of one or more vehicle systems as a function of the classification of the occupant. The control unit can be configured to block or enable the operation of one or more vehicle systems if the occupant is classified as a child. The vehicle system can include a security system for generating a notification or an alarm.

Die Klassifizierungsschwelle kann in Abhängigkeit von einem geographischen Betriebsbereich des Fahrzeugs festgelegt werden. Der Klassifizierungsschwellenwert kann so angepasst werden, dass er die demografischen Unterschiede in Höhe und/oder Größe der Bevölkerung in dem geografischen Betriebsgebiet, in dem das Fahrzeug eingesetzt wird, widerspiegelt. Die geographische Einsatzregion kann in einer Fahrzeugkonfigurationsdatei angegeben oder von einem Benutzer eingegeben werden. Alternativ kann die geographische Betriebsregion unter Bezugnahme auf ein Satellitenpositionierungssystem bestimmt werden.The classification threshold can be established as a function of a geographical operating area of the vehicle. The classification threshold can be adjusted to reflect the demographic differences in height and / or size of the population in the geographic operating area in which the vehicle is used. The geographic region of use can be specified in a vehicle configuration file or entered by a user. Alternatively, the geographic operating region can be determined with reference to a satellite positioning system.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das ein Fahrzeuginsassen-Klassifizierungssystem, wie hier beschrieben, umfasst.According to a further aspect of the present invention, a vehicle is provided that includes a vehicle occupant classification system as described herein.

Nach einem weiteren Aspekt der vorliegenden Erfindung ist ein Steuergerät zur Klassifizierung eines Fahrzeuginsassen vorgesehen, wobei das Steuergerät so konfiguriert ist, dass es einen Fahrzeuginsassen klassifiziert:

ein Bild von einer in der Kabine eines Fahrzeugs angeordneten Kamera zu empfangen;
das Bild zu analysieren, um eine Vielzahl von Körpermarkierungen eines Insassen in der Fahrzeugkabine zu identifizieren, wobei die Vielzahl der identifizierten Körpermarkierungen mindestens ein Paar der Körpermarkierungen umfasst;
Bestimmen eines Abstands zwischen den Körpermarkierungen, die jedes Paar bilden; und
klassifizieren den Bewohner in Abhängigkeit von einem Vergleich des ermittelten Abstands mit einem vordefinierten Klassifizierungsschwellenwert als einen ersten Bewohnertyp oder einen zweiten Bewohnertyp. Das Steuergerät kann in einem Fahrzeug vorhanden sein.

According to a further aspect of the present invention, a control device for classifying a vehicle occupant is provided, the control device being configured in such a way that it classifies a vehicle occupant:

receive an image from a camera located in the cabin of a vehicle;
analyze the image to identify a plurality of body marks of an occupant in the vehicle cabin, the plurality of body marks identified including at least a pair of the body marks;
Determining a distance between the body markings that make up each pair; and
classify the resident as a first resident type or a second resident type as a function of a comparison of the determined distance with a predefined classification threshold value. The control unit can be present in a vehicle.

Im Rahmen dieses Antrags ist ausdrücklich vorgesehen, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorstehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und in den Zeichnungen dargelegt sind, und insbesondere deren einzelne Merkmale unabhängig oder in beliebiger Kombination genommen werden können. Das heißt, dass alle Ausführungsformen und/oder Merkmale jeder Ausführungsform auf beliebige Weise und/oder in beliebiger Kombination kombiniert werden können, es sei denn, diese Merkmale sind unvereinbar. Der Anmelder behält sich das Recht vor, einen ursprünglich eingereichten Anspruch zu ändern oder einen neuen Anspruch entsprechend einzureichen, einschließlich des Rechts, einen ursprünglich eingereichten Anspruch dahingehend zu ändern, dass er von einem Merkmal eines anderen Anspruchs abhängt und/oder ein Merkmal eines anderen Anspruchs einbezieht, obwohl dieser ursprünglich nicht in dieser Weise beansprucht wurde.In the context of this application, it is expressly provided that the various aspects, embodiments, examples and alternatives set out in the preceding paragraphs, in the claims and / or in the following description and in the drawings, and in particular their individual features, independently or in any combination can be used. This means that all embodiments and / or features of each embodiment can be combined in any way and / or in any combination, unless these features are incompatible. Applicant reserves the right to amend an originally filed claim or to file a new claim accordingly, including the right to amend an originally filed claim to depend on a feature of another claim and / or a feature of another claim although it was not originally claimed in this way.

FigurenlisteFigure list

Eine oder mehrere Ausführungsformen der Erfindung werden nun nur beispielhaft anhand der zugehörigen Zeichnungen beschrieben, in denen:

zeigt eine schematische Darstellung eines Fahrzeugs mit einem Insassenklassifikationssystem entsprechend einer Ausführungsform der vorliegenden Erfindung;
eine schematische Darstellung der Karosseriemarkierungen eines Skelettrahmens eines Insassen zeigt;
zeigt ein von einer Sensoreinheit im Fahrzeug aufgenommenes Bild mit einer Vielzahl von überlagerten Interessenbereichen;
zeigt ein erstes Skelettmodell zur Verwendung durch das Insassenklassifikationssystem zur Klassifizierung des Fahrzeuginsassen;
zeigt ein zweites Skelettmodell zur Verwendung durch das Insassenklassifizierungssystem; zeigt ein erstes Skelettmodell zur Verwendung durch das Insassenklassifizierungssystem zur Klassifizierung des Fahrzeuginsassen;
zeigt ein drittes Skelettmodell zur Verwendung durch das Insassenklassifizierungssystem; zeigt ein drittes Skelettmodell zur Verwendung durch das Insassenklassifizierungssystem; zeigt ein drittes Skelettmodell zur Verwendung durch das Insassenklassifizierungssystem;
zeigt eine Häufigkeitsverteilung für die Skelettgröße von Erwachsenen und Kindern in einer Teststichprobe;
zeigt ein Flussdiagramm, das die Funktionsweise des Insassen-Klassifikationssystems in Übereinstimmung mit der vorliegenden Verkörperung darstellt;
zeigt ein erstes von der optischen Kamera aufgenommenes Bild, das ein erstes Szenario darstellt;
zeigt ein erstes Verteilungsdiagramm für die Skelettgröße der Insassen auf dem Rücksitz der in gezeigten Kabine;
zeigt ein zweites Bild, das von der optischen Kamera aufgenommen wurde und ein zweites Szenario darstellt;
zeigt ein zweites Verteilungsdiagramm für die Skelettgröße der Insassen auf dem Rücksitz der in gezeigten Kabine; und
zeigt ein drittes Verteilungsdiagramm, bestehend aus dem ersten, dem ersten und dem zweiten Verteilungsdiagramm, die in den und dargestellt sind.

One or more embodiments of the invention will now be described only by way of example with reference to the accompanying drawings, in which:

Fig. 3 shows a schematic representation of a vehicle having an occupant classification system according to an embodiment of the present invention;
Figure 12 shows a schematic representation of the body markings of a skeletal frame of an occupant;
shows an image recorded by a sensor unit in the vehicle with a plurality of superimposed areas of interest;
Figure 13 shows a first skeletal model for use by the occupant classification system to classify the vehicle occupant;
Figure 13 shows a second skeletal model for use by the occupant classification system; Figure 12 shows a first skeletal model for use by the occupant classification system to classify the vehicle occupant;
Figure 3 shows a third skeletal model for use by the occupant classification system; Figure 3 shows a third skeletal model for use by the occupant classification system; Figure 3 shows a third skeletal model for use by the occupant classification system;
shows a frequency distribution for the skeletal size of adults and children in a test sample;
Fig. 13 is a flow diagram illustrating the operation of the occupant classification system in accordance with the present embodiment;
Fig. 13 shows a first image captured by the optical camera representing a first scenario;
FIG. 13 shows a first distribution diagram for the skeletal size of the occupants in the rear seat of FIG shown cabin;
shows a second image captured by the optical camera and depicts a second scenario;
FIG. 3 shows a second distribution diagram for the skeletal size of the occupants in the rear seat of FIG shown cabin; and
FIG. 13 shows a third distribution diagram, consisting of the first, the first and the second distribution diagram, which are shown in FIGS and are shown.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Ein Insassenklassifizierungssystem 1 für ein Fahrzeug V gemäß einer Verkörperung der vorliegenden Erfindung wird nun unter Bezugnahme auf die beigefügten Abbildungen beschrieben. Das Insassenklassifizierungssystem 1 ist so konfiguriert, dass jeder Insasse O-n des Fahrzeugs V entweder als ein erster Insassentyp oder als ein zweiter Insassentyp klassifiziert wird.An occupant classification system 1 for a vehicle V according to an embodiment of the present invention will now be described with reference to the accompanying drawings. The occupant classification system 1 is configured so that each occupant On of the vehicle V is classified as either a first occupant type or a second occupant type.

In der vorliegenden Ausführungsform ist der erste Insassentyp ein Erwachsener und der zweite Insassentyp ein Kind. Das Insassenklassifizierungssystem 1 kann somit jeden Insassen O-n des Fahrzeugs V entweder als Erwachsener (ein Erwachsener) oder als Kind (ein Minderjähriger) klassifizieren. In der vorliegenden Ausführungsform wird der Begriff „Kind“ für eine Person unter zwölf (12) Jahren und der Begriff „Erwachsener“ für eine Person, die zwölf (12) Jahre oder älter ist, verwendet. Es wird davon ausgegangen, dass die Altersgrenze für die Unterscheidung zwischen einem Kind und einem Erwachsenen höher oder niedriger sein kann, zum Beispiel sechzehn (16) Jahre, siebzehn (17) Jahre oder achtzehn (18) Jahre. Das Insassenklassifizierungssystem 1 ist so konfiguriert, dass es ein oder mehrere Fahrzeugsysteme VS-n in Abhängigkeit von der ermittelten Insassenklassifizierung steuert. Das Insassenklassifizierungssystem 1 kann so konfiguriert werden, dass es ein oder mehrere Fahrzeugsicherheitssysteme VS-n steuert. Das Fahrzeugsicherheitssystem VS-n kann z.B. eine Benachrichtigung erzeugen, wenn ein oder mehrere als Kind klassifizierte Insassen O-n im Fahrzeug V identifiziert werden, ohne einen als Erwachsener klassifizierten Insassen O-n zu identifizieren. Eine Zeitgeberfunktion kann so implementiert werden, dass die Benachrichtigung nach Ablauf einer vorgegebenen Zeitspanne erzeugt wird. Die Benachrichtigung kann eine akustische oder sichtbare Warnung umfassen, die durch das Fahrzeug V erzeugt wird. Andere Arten der Benachrichtigung werden ebenfalls in Betracht gezogen.In the present embodiment, the first type of occupant is an adult and the second type of occupant is a child. The occupant classification system 1 can thus classify each occupant On of the vehicle V as either an adult (an adult) or a child (a minor). In the present embodiment, the term “child” is used for a person under twelve (12) years of age and the term “adult” is used for a person who is twelve (12) years old or older. It is understood that the age limit for distinguishing between a child and an adult can be higher or lower, for example sixteen (16) years, seventeen (17) years or eighteen (18) years. The occupant classification system 1 is configured in such a way that it controls one or more vehicle systems VS-n as a function of the determined occupant classification. The occupant classification system 1 can be configured to control one or more VS-n vehicle security systems. The vehicle safety system VS-n can, for example, generate a notification if one or more occupants On classified as children are identified in the vehicle V without identifying an occupant On classified as an adult. A timer function can be implemented in such a way that the notification is generated after a predetermined period of time. The notification may include an audible or visual warning generated by the vehicle V. Other types of notification are also contemplated.

Das Fahrzeug V umfasst eine Kabine C für einen oder mehrere Insassen O-n. Eine Draufsicht auf die Kabine C des Fahrzeugs V ist in dargestellt. Der Fahrgastraum C in der vorliegenden Ausführung besteht aus einer vorderen Reihe R-1 mit einem ersten und einem zweiten Vordersitz SF-1, SF-2; und einer hinteren Reihe R-2 mit einem ersten, einem zweiten und einem dritten Rücksitz SB-1, SB-2, SB-3. Der erste Vordersitz SF-1 ist ein Fahrersitz für einen Fahrer des Fahrzeugs; und der zweite Vordersitz SF-2 ist ein Beifahrersitz für einen Beifahrer. Die ersten, zweiten und dritten Rücksitze SB-1, SB-2, SB-3 sind für zusätzliche Fahrgäste geeignet. Der Fahrersitz ist auf der rechten Seite der Kabine C abgebildet, aber es wird davon ausgegangen, dass die Erfindung in Links- und Rechtslenker-Iterationen des Fahrzeugs V angewendet werden kann. In einer modifizierten Anordnung kann die hintere Sitzreihe R-2 aus dem ersten und zweiten Rücksitz SB-1, SB-2 bestehen. Das Insassenklassifizierungssystem 1 kann in einem Fahrzeug V mit einer einzigen Sitzreihe, z.B. bestehend aus dem ersten und zweiten Vordersitz SF-1, SF-3, verwendet werden. Das Insassenklassifizierungssystem 1 kann in einem Fahrzeug V mit mehr als zwei Sitzreihen verwendet werden, z.B. einer dritten Sitzreihe, die aus einem oder mehreren gelegentlichen oder zeitweiligen Sitzen bestehen kann.The vehicle V comprises a cabin C for one or more occupants On. A top view of cab C of vehicle V is shown in FIG shown. The passenger compartment C in the present embodiment consists of a front row R-1 with a first and a second front seat SF-1 , SF-2 ; and a rear row R-2 having first, second and third rear seats SB-1 , SB-2 , SB-3 . The first front seat SF-1 is a driver's seat for a driver of the vehicle; and the second front seat SF-2 is a passenger seat for a passenger. The first, second and third rear seats SB-1 , SB-2 , SB-3 are suitable for additional passengers. The driver's seat is depicted to the right of cab C, but it is believed that the invention can be applied in left and right hand drive iterations of vehicle V. In a modified arrangement, the rear row R-2 can consist of the first and second rear seats SB-1 , SB-2 consist. The occupant classification system 1 can in a vehicle V with a single row of seats, for example consisting of the first and second front seat SF-1 , SF-3 , be used. The occupant classification system 1 can be used in a vehicle V with more than two rows of seats, for example a third row of seats which may consist of one or more occasional or temporary seats.

Das Insassenklassifizierungssystem 1 umfasst eine Kabinensensoreinheit 10 und ein Verarbeitungsmodul 11. Die Kabinen-Sensoreinheit 10 in der vorliegenden Ausführung besteht aus einer optischen Kamera 12 mit einem Sichtfeld FV1. Die optische Kamera 12 ist so betreibbar, dass sie Bilddaten IMG1 erzeugt, die eine Bildszene innerhalb der Kabine C darstellen. Die optische Kamera 12 ist eine Videokamera, die so betreibbar ist, dass sie Bilddaten IMG1 erzeugt, die mehrere Male pro Sekunde aktualisiert werden (entsprechend den Bild-„Frames“). Die optische Kamera 12 ist an der Vorderseite der Kabine C angebracht und nach hinten gerichtet. Im Gebrauch ist die optische Kamera 12 so ausgerichtet, dass das Sichtfeld FV1 mindestens einen Teil jedes Insassen O-n umfasst, der auf einem oder mehreren der ersten und zweiten Vordersitze SF-1, SF-2 und/oder einem oder mehreren der ersten, zweiten und dritten Rücksitze SB-1, SB-2, SB-3 sitzt. Die optische Kamera 12 in der vorliegenden Ausführung ist mittig in einem oberen Bereich der Kabine C angebracht, um eine verbesserte Sichtlinie eines Insassen O-n zu gewährleisten, der auf einem oder mehreren der ersten, zweiten und dritten Rücksitzen SB-1, SB-2, SB-3 sitzt. Die optische Kamera 12 könnte z.B. an einem Rückspiegel, einem Dach der Kabine C oder einem Armaturenbrett (nicht abgebildet) angebracht werden. Die Kabinensensoreinheit 10 könnte mehr als eine optische Kamera 12 umfassen. Eine separate optische Kamera 12 könnte jeder Sitzreihe in der Kabine C oder jedem Sitz in der Kabine C zugeordnet werden. Beispielsweise könnten die erste und die zweite optische Kamera 12 jeweils der vorderen Reihe R-1 und der hinteren Reihe R-2 zugeordnet werden. Die optische Kamera 12 in der vorliegenden Ausführungsform arbeitet in einem sichtbaren Bereich des Lichtspektrums. Alternativ oder zusätzlich dazu könnte die optische Kamera 12 in einem Infrarotspektrum arbeiten.The occupant classification system 1 comprises a cabin sensor unit 10 and a processing module 11 . The cabin sensor unit 10 in the present embodiment consists of an optical camera 12th with a field of view FV1. The optical camera 12th is operable to generate image data IMG1 representing an image scene within car C. The optical camera 12th is a video camera that can be operated to generate image data IMG1 that is updated several times per second (corresponding to the image “frames”). The optical camera 12th is attached to the front of the cab C and facing backwards. The optical camera is in use 12th oriented so that the field of view FV1 includes at least a portion of each occupant On who is seated on one or more of the first and second front seats SF-1 , SF-2 and / or one or more of the first, second and third rear seats SB-1 , SB-2 , SB-3 sits. The optical camera 12th In the present embodiment, the cabin C is mounted centrally in an upper region in order to ensure an improved line of sight of an occupant On who is in one or more of the first, second and third rear seats SB-1 , SB-2 , SB-3 sits. The optical camera 12th could for example be attached to a rearview mirror, a roof of cab C, or an instrument panel (not shown). The cabin sensor unit 10 could be more than an optical camera 12th include. A separate optical camera 12th could be assigned to each row of seats in cabin C or to each seat in cabin C. For example, the first and second optical cameras could 12th assigned to the front row R-1 and the back row R-2. The optical camera 12th in the present embodiment operates in a visible region of the light spectrum. Alternatively or in addition to this, the optical camera could 12th work in an infrared spectrum.

Das Verarbeitungsmodul 11 besteht aus einem elektronischen Prozessor 13 und einem Systemspeicher 14. Ein Satz von Rechenbefehlen ist im Systemspeicher 14 gespeichert, und wenn diese Rechenbefehle ausgeführt werden, veranlassen sie den elektronischen Prozessor 13, die hier beschriebene(n) Methode(n) auszuführen. Das Verarbeitungsmodul 11 ist so konfiguriert, dass es die von der optischen Kamera 12 erzeugten Bilddaten IMG1 empfängt. Das Verarbeitungsmodul 11 implementiert einen Algorithmus zur Erkennung von Körpermerkmalen als Vorverarbeitungsschritt. Der Algorithmus zur Erkennung von Körperlandmarken verarbeitet die Bilddaten IMG1, um Körperlandmarken eines Skelettrahmens 15 zu identifizieren, der einem Insassen-O-n zugeordnet ist. Die Body Landmarks werden für jeden in der Kabine C befindlichen Insassen O-n identifiziert.The processing module 11 consists of an electronic processor 13th and a system memory 14th . A set of arithmetic instructions is in system memory 14th stored, and when these arithmetic instructions are executed, they cause the electronic processor 13th to perform the method (s) described here. The processing module 11 is configured to use it from the optical camera 12th receives generated image data IMG1. The processing module 11 implements an algorithm for recognizing body features as a preprocessing step. The algorithm for recognizing body landmarks processes the image data IMG1 to form body landmarks of a skeletal frame 15th to identify which is assigned to an occupant-On. The body landmarks are identified for each occupant On located in the cabin C.

Wie in dargestellt, können die Körperlandmarken eines Insassen-O-n aus einem oder mehreren der folgenden Elemente bestehen: eine Markierung für die Nase LM-0, eine Markierung für die Brust LM-1, eine Markierung für die rechte Schulter LM-2, eine Markierung für den rechten Ellbogen LM-3, eine Markierung für das rechte Handgelenk LM-4, eine Markierung für die linke Schulter LM-5, eine Markierung für den linken Ellbogen LM-6, eine Markierung für das linke Handgelenk LM-7, eine Markierung für die rechte Hüfte LM-8, eine Markierung für das rechte Knie LM-9, eine Markierung für den rechten Knöchel LM-10, eine Markierung für die linke Hüfte LM-11, eine Markierung für das linke Knie LM-12, eine Markierung für den linken Knöchel LM-13, eine Markierung für das rechte Auge LM-14, eine Markierung für das linke Auge LM-15, eine Markierung für das rechte Ohr LM-16 und eine Markierung für das linke Ohr LM-17. Das Sichtfeld FV1 kann durch Merkmale in der Kabine C teilweise verdeckt sein, so dass die Bilddaten IMG1 eine unvollständige Darstellung eines oder mehrerer Insassen O-n enthalten können. Beispielsweise können der erste und zweite Vordersitz SF-1, SF-2 einen Insassen O-n, der auf einem der ersten, zweiten und dritten Rücksitze SB-1, SB-2, SB-3 sitzt, teilweise verdecken. In Bezug auf jeden Insassen O-n ist der Algorithmus zur Erkennung von Körperlandmarken so konfiguriert, dass er in Abhängigkeit von den identifizierten Körperlandmarken ein Skelettmodell 20 (in dargestellt) erzeugt. In der vorliegenden Ausführung besteht das Skelettmodell aus den folgenden Körperlandmarken: Brustkorb-Landmarke LM-1; rechte und linke Schulter-Landmarke LM-2, LM-5; rechte und linke Ellbogen-Landmarke LM-3, LM-6; und rechte und linke Hüft-Landmarke LM-8, LM-11. Das Skelettmodell 20 könnte so modifiziert werden, dass es zusätzliche Körpermerkmale enthält, wie das rechte und linke Knie-Merkmal LM-9, das Merkmal LM-12 und/oder das Nasen-Merkmal LM-0. Für kommerzielle Anwendungen ist eine Vielzahl von Algorithmen zur visuellen Erkennung von Körperlandmarken verfügbar. Ein geeigneter Algorithmus zur Erkennung von Körperlandmarken ist der OpenPose-Algorithmus.As in As shown, an inmate-on's body landmarks may consist of one or more of the following: A marker for the nose LM-0 , a mark for the chest LM-1 , a mark for the right shoulder LM-2 , a mark for the right elbow LM-3 , a mark for the right wrist LM-4 , a mark for the left shoulder LM-5 , a mark for the left elbow LM-6 , a mark for the left wrist LM-7 , a mark for the right hip LM-8 , a mark for the right knee LM-9 , a mark for the right ankle LM-10 , a marker for the left hip LM-11 , a mark for the left knee LM-12 , a mark for the left ankle LM-13 , a marker for the right eye LM-14 , a marker for the left eye LM-15 , a marker for the right ear LM-16 and a marker for the left ear LM-17 . The field of view FV1 can be partially covered by features in the cabin C, so that the image data IMG1 can contain an incomplete representation of one or more occupants On. For example, the first and second front seats SF-1 , SF-2 an occupant on who is on one of the first, second, and third rear seats SB-1 , SB-2 , SB-3 sits, partially cover. With respect to each occupant On, the algorithm for recognizing body landmarks is configured in such a way that it creates a skeleton model as a function of the body landmarks identified 20th (in shown). In the present embodiment, the skeleton model consists of the following body landmarks: Chest Landmark LM-1 ; right and left shoulder landmarks LM-2 , LM-5 ; right and left elbow landmarks LM-3 , LM-6 ; and right and left hip landmarks LM-8 , LM-11 . The skeleton model 20th could be modified to include additional body features such as the right and left knee features LM-9 , The characteristic LM-12 and / or the nose feature LM-0 . A variety of algorithms for the visual recognition of body landmarks are available for commercial applications. A suitable algorithm for recognizing body landmarks is the OpenPose algorithm.

Wie in dargestellt, sind innerhalb der Bilddaten IMG1 eine Vielzahl von Interessensgebieten A-n definiert. Die Areas of Interest A-n umfassen jeweils einen diskreten Bereich, der sich mit keinem der anderen Areas of Interest A-n überschneidet. In der vorliegenden Ausführungsform sind die Areas of Interest A-n rechteckig. Die interessierenden Bereiche A-n können andere polygonale Formen haben. Jeder interessierende Bereich A-n ist mit einem der Sitze in der Kabine C verbunden. In der vorliegenden Ausführung sind der erste und zweite interessierende Bereich A-1, A-2 mit dem ersten bzw. zweiten Vordersitz SF-1 bzw. SF-2 verbunden; und der dritte, vierte und fünfte interessierende Bereich A-3, A-4, A-5 sind mit dem ersten, zweiten und dritten Rücksitz SB-1, SB-2 bzw. SB-3 verbunden. Die interessierenden Bereiche A-n, die dem ersten, zweiten und dritten Rücksitz SB-1, SB-2, SB-3 zugeordnet sind, sind kleiner als die, die dem ersten und zweiten Vordersitz SF-1, SF-2 zugeordnet sind, um die relative Nähe zur optischen Kamera 12 zu reflektieren. Die Größe und/oder Lage der interessierenden Bereiche A-n könnte dynamisch verändert werden. Ein interessierendes Gebiet A-n kann in Abhängigkeit von der Feststellung, dass ein angrenzender Sitz nicht besetzt ist, vergrößert werden; und/oder es kann in Abhängigkeit von der Feststellung, dass ein angrenzender Sitz besetzt ist, verkleinert werden. Durch die Vordefinition der interessierenden Bereiche A-n innerhalb der Szene kann das Potenzial für eine falsche Identifizierung eines Insassen O-n verringert werden. Beispielsweise kann die Wahrscheinlichkeit verringert werden, dass eine durch eine Seitenscheibe oder eine Heckscheibe sichtbare Person als Insasse O-n identifiziert wird.As in As shown, a large number of areas of interest An are defined within the image data IMG1. The Areas of Interest An each comprise a discrete area that does not overlap with any of the other Areas of Interest An. In the present embodiment, the areas of interest An are rectangular. The interesting ones Areas An can have other polygonal shapes. Each area of interest An is connected to one of the seats in cabin C. In the present embodiment, the first and second are regions of interest A-1 , A-2 with the first or second front seat SF-1 or. SF-2 connected; and the third, fourth, and fifth areas of interest A-3 , A-4 , A-5 come with the first, second and third rear seats SB-1 , SB-2 or. SB-3 connected. The areas of interest to that of the first, second and third rear seats SB-1 , SB-2 , SB-3 are assigned are smaller than those assigned to the first and second front seats SF-1 , SF-2 are assigned to the relative proximity to the optical camera 12th to reflect. The size and / or location of the areas of interest An could be changed dynamically. An area of interest An may be enlarged depending on the determination that an adjacent seat is not occupied; and / or it can be downsized depending on the determination that an adjacent seat is occupied. By pre-defining the areas of interest An within the scene, the potential for incorrect identification of an occupant On can be reduced. For example, the probability can be reduced that a person visible through a side window or a rear window will be identified as occupant On.

Der Algorithmus zur Erkennung von Körpermerkmalen verwendet die interessierenden Bereiche A-n, um ein oder mehrere Körpermerkmale LM-n zu identifizieren, die sich auf einen Insassen O-n beziehen, der auf einem der Sitze in der Kabine C sitzt. Das Verarbeitungsmodul 11 kann dadurch die Bilddaten IMG1 verarbeiten, um festzustellen, ob jeder Sitz in der Kabine C besetzt oder frei ist. Das Verarbeitungsmodul 11 verwendet für diese Bestimmung mindestens eine der Körpermarkierungen LM-n als mindestens eine Referenzkörpermarkierung LM-n. In der vorliegenden Ausführungsform wird der Brustkorb-Landmarke LM-1 als Referenzkörper-Landmarke LM-n verwendet. Das Verarbeitungsmodul 11 analysiert die Bilddaten IMG1, um eine oder mehrere Brustkorblandmarken LM-1 zu identifizieren. Das Verarbeitungsmodul 11 vergleicht die Lage der oder jeder identifizierten Brustkorblandmarke LM-1 mit den interessierenden Bereichen A-n. Wenn das Verarbeitungsmodul 11 eine Orientierungsmarke LM-1 für die Brust identifiziert, die sich innerhalb eines vordefinierten Interessenbereichs A-n befindet, wird der diesem Interessenbereich A-n zugeordnete Sitz als besetzt gekennzeichnet. Wenn das Verarbeitungsmodul 11 nicht in der Lage ist, einen Orientierungspunkt LM-1 in der Brust zu identifizieren, der sich innerhalb eines vordefinierten Interessenbereichs A-n befindet, wird der diesem Interessenbereich A-n zugeordnete Sitz als unbesetzt gekennzeichnet. Dadurch kann das Verarbeitungsmodul 11 feststellen, ob jeder Sitz besetzt oder unbesetzt ist.The body feature recognition algorithm uses the regions of interest An to identify one or more body features LM-n that relate to an occupant On who is seated on one of the seats in cabin C. The processing module 11 can thereby process the image data IMG1 to determine whether each seat in the cabin C is occupied or vacant. The processing module 11 uses at least one of the body markings LM-n as at least one reference body mark LM-n for this determination. In the present embodiment, the chest landmark is LM-1 used as reference body landmark LM-n. The processing module 11 analyzes the image data IMG1 to determine one or more chest landmarks LM-1 to identify. The processing module 11 compares the location of the or each identified rib cage landmark LM-1 with the areas of interest An. When the processing module 11 an orientation mark LM-1 is identified for the breast that is within a predefined area of interest An, the seat associated with that area of interest An is marked as occupied. When the processing module 11 is unable to provide a landmark LM-1 To identify in the chest that is within a predefined area of interest An, the seat associated with this area of interest An is marked as vacant. This allows the processing module 11 determine whether each seat is occupied or unoccupied.

Der Algorithmus zur Erkennung von Körpermarkierungen verknüpft die Körpermarkierungen LM-n, die mit der/den identifizierten Brustmarkierung(en) LM-1 verbunden sind, um das Skelettmodell 20 für jeden besetzten O-n zu bilden. Der Algorithmus zur Erkennung von Körpermerkmalen ist so konfiguriert, dass er Paare der Körpermerkmale LM-n identifiziert, die das Skelettmodell 20 bilden. In der vorliegenden Ausführungsform besteht das Skelettmodell 20 aus fünf (5) Paaren A-E, wie in dargestellt. Die rechte Schultermarkierung LM-2 und die rechte Ellenbogenmarkierung LM-3 bilden ein erstes Paar A, das einem oberen (rechten) Arm des Insassen O-n entspricht. Der linke Schulter-Markierungspunkt LM-5 und der Markierungspunkt LM-6 des linken Ellbogens bilden ein zweites Paar B, das einem oberen (linken) Arm des Insassen O-n entspricht. Der rechte Schulter-Markierungspunkt LM-2 und der linke Schulter-Markierungspunkt LM-5 bilden ein drittes Paar C. Der Brustmarkierungspunkt LM-1 und der rechte Hüft-Markierungspunkt LM-8 bilden ein viertes Paar D; und der Brustmarkierungspunkt LM-1 und der linke Hüft-Markierungspunkt LM-11 bilden ein fünftes Paar E. Die Bilddaten IMG1 werden analysiert, um eine Länge jedes Paares A-E zu bestimmen (d.h. um einen Abstand zwischen den Körper-Markierungspunkten LM-n in jedem Paar A-E zu bestimmen). Für jedes Skelettmodell 20 wird eine Körpersignatur bestimmt, um die Klassifizierung des Insassen O-n als Kind oder Erwachsener zu ermöglichen. Die Körpersignatur in der vorliegenden Verkörperung hat die Form eines Skelettabstands (d), der durch Summierung der Länge jedes der Paare A-E bestimmt wird. In der vorliegenden Verkörperung ist die Skelettgröße (d) gleich der Summe des ersten, zweiten, dritten, vierten und fünften Paares A-E (d.h. d=A+B+C+D+E+F). Die Skelettgröße (d) kann für jedes in den Bilddaten IMG1 identifizierte gültige Einzelbild bestimmt werden, oder die Ergebnisse können über mehrere Einzelbilder gemittelt werden (z.B. über einen Zeitraum von 2 oder 3 Sekunden). Um die Rechenlast zu verringern, kann das Verarbeitungsmodul 11 so konfiguriert werden, dass es die Bilddaten IMG1 nur in Bezug auf diejenigen Plätze analysiert, die als besetzt identifiziert werden.The body mark detection algorithm links the body markings LM-n that are associated with the identified breast mark (s) LM-1 are connected to the skeleton model 20th to form for each occupied on. The body feature detection algorithm is configured to identify pairs of the body features LM-n that make up the skeletal model 20th form. In the present embodiment, there is the skeleton model 20th of five (5) pairs AE, as in shown. The right shoulder mark LM-2 and the right elbow marker LM-3 form a first pair A corresponding to an upper (right) arm of the occupant On. The left shoulder marker point LM-5 and the marker point LM-6 of the left elbow form a second pair B, which corresponds to an upper (left) arm of the occupant On. The right shoulder marker point LM-2 and the left shoulder marker point LM-5 form a third pair C. The breast marking point LM-1 and the right hip marker point LM-8 form a fourth pair D; and the breast marker point LM-1 and the left hip marker point LM-11 form a fifth pair E. The image data IMG1 is analyzed to determine a length of each pair AE (ie, to determine a distance between the body marker points LM-n in each pair AE). For every skeleton model 20th a body signature is determined to enable the occupant On to be classified as a child or adult. The body signature in the present embodiment is in the form of a skeletal distance (d) which is determined by summing the length of each of the pairs AE. In the present embodiment, the skeleton size (d) is equal to the sum of the first, second, third, fourth, and fifth pairs AE (ie, d = A + B + C + D + E + F). The skeleton size (d) can be determined for each valid individual image identified in the image data IMG1, or the results can be averaged over several individual images (for example over a period of 2 or 3 seconds). In order to reduce the computational load, the processing module 11 can be configured in such a way that it analyzes the image data IMG1 only with regard to those seats which are identified as occupied.

Eine Falschrückweisungsrate (FRR) kann als Verhältnis der Anzahl der Falschrückweisungen geteilt durch die Anzahl der Identifikationsversuche bestimmt werden. Die FRR eines biometrischen Sicherheitssystems ist beispielsweise ein Mass für die Wahrscheinlichkeit, dass das System einen Zugriffsversuch eines autorisierten Benutzers fälschlicherweise zurückweist. In der gegenwärtigen Ausführungsform bedeutet ein FRR gleich Null (d.h. FFR=0), dass keine Erwachsenen vermisst werden, aber einige Kinder als Erwachsene eingestuft werden können. Eine Falschakzeptanzrate (FAR) kann als Verhältnis der Anzahl der Falschakzeptanz geteilt durch die Anzahl der Identifikationsversuche bestimmt werden. Als Beispiel bietet die FAR eines biometrischen Sicherheitssystems ein Maß für die Wahrscheinlichkeit, dass das System einen Zugriffsversuch eines autorisierten Benutzers fälschlicherweise akzeptiert. In der gegenwärtigen Ausführungsform bedeutet ein FAR gleich Null (FAR=0), dass keine Kinder vermisst werden, aber einige Erwachsene als Kinder eingestuft werden können.A false rejection rate (FRR) can be determined as the ratio of the number of false rejections divided by the number of identification attempts. The FRR of a biometric security system is, for example, a measure of the probability that the system will falsely reject an access attempt by an authorized user. In the current embodiment, a FRR equal to zero (ie, FFR = 0) means that no adults are missing, but some children are classified as adults can. A false acceptance rate (FAR) can be determined as the ratio of the number of false acceptance divided by the number of identification attempts. As an example, the FAR of a biometric security system provides a measure of the likelihood that the system will falsely accept an attempted access from an authorized user. In the current embodiment, a FAR equal to zero (FAR = 0) means that no children are missing, but some adults can be classified as children.

Das Verarbeitungsmodul 11 ist so konfiguriert, dass es jeden Insassen O-n in der Kabine C in Abhängigkeit von der ermittelten Skelettgröße (d) für das entsprechende Skelettmodell 20 klassifiziert. Ein Häufigkeitsverteilungsdiagramm 100 für einen Satz empirischer Analysen, der eine Vielzahl von Testpersonen in einer Stichprobe umfasst, ist in dargestellt. Die Testpersonen in der Stichprobe wurden aufgrund ihres Alters zum Zeitpunkt der Testdurchführung entweder als Erwachsene oder als Kinder eingestuft. Das Häufigkeitsverteilungsdiagramm 100 zeigt die Anzahl der Testpersonen (Y-Achse) mit einer gegebenen Skelettgröße (d) (X-Achse). Eine erste Häufigkeitsverteilungskurve 105 zeigt die Verteilung für Testpersonen, die als Kinder klassifiziert wurden. Eine zweite Häufigkeitsverteilungskurve 110 zeigt die Verteilung für Testpersonen, die als Erwachsene eingestuft werden. Eine Annäherung an einen Schwellenwert, der dem FRR=0 entspricht, ist im Häufigkeitsverteilungsdiagramm 105 dargestellt, das eine untere Grenze für die Skelettgrösse (d) der als Erwachsene klassifizierten Testpersonen definiert, unterhalb der keine Erwachsenen vermisst werden, aber oberhalb derer einige Kinder fälschlicherweise als Erwachsene eingestuft werden können. Eine Annäherung an einen Schwellenwert, der der FAR=0 entspricht, ist in der Häufigkeitsverteilungsgrafik dargestellt. 105 definiert eine Obergrenze für die Skelettgröße (d) von als Kinder klassifizierten Testpersonen, oberhalb derer keine Kinder vermisst werden, unterhalb derer jedoch einige Erwachsene fälschlicherweise als Kinder klassifiziert werden können. Wie in dargestellt, überlappen die erste und die zweite Häufigkeitsverteilungskurve 105, 110 einander für Skelettgrößen (d), die größer als die durch FRR=0 definierte Grenze und kleiner als die durch FAR=0 definierte Grenze sind.The processing module 11 is configured in such a way that there is every occupant On in the cabin C as a function of the determined skeleton size (d) for the corresponding skeleton model 20th classified. A frequency distribution diagram 100 for a set of empirical analyzes comprising a large number of test subjects in a sample is in shown. The test subjects in the sample were classified as either adults or children based on their age at the time the test was carried out. The frequency distribution diagram 100 shows the number of test subjects (Y-axis) with a given skeleton size (d) (X-axis). A first frequency distribution curve 105 shows the distribution for test subjects classified as children. A second frequency distribution curve 110 shows the distribution for test subjects who are classified as adults. An approximation to a threshold value corresponding to FRR = 0 is in the frequency distribution diagram 105 which defines a lower limit for the skeletal size (d) of the test persons classified as adults, below which no adults are missing, but above which some children can be incorrectly classified as adults. An approximation to a threshold value that corresponds to FAR = 0 is shown in the frequency distribution graph. 105 defines an upper limit for the skeleton size (d) of test persons classified as children, above which no children are missing, but below which some adults can be incorrectly classified as children. As in shown, the first and second frequency distribution curves overlap 105 , 110 each other for skeleton sizes (d) that are larger than the limit defined by FRR = 0 and smaller than the limit defined by FAR = 0.

Eine Klassifizierungsschwelle T1 ist in der Verteilungskurve 100 definiert. Der Klassifikationsschwellenwert (T1) kann z.B. einem 50. Perzentil eines 12-jährigen Kindes entsprechen. Das Verarbeitungsmodul 11 vergleicht jede Skelettgröße (d) mit dem Klassifizierungsschwellenwert T1. Wenn die Skelettgröße (d) größer als der Klassifizierungsschwellenwert T1 ist, klassifiziert das Verarbeitungsmodul 11 diesen Insassen O-n als Erwachsenen. Wenn die Skelettgröße (d) kleiner als der Klassifizierungsschwellenwert T1 ist, klassifiziert das Verarbeitungsmodul 11 diesen Insassen O-n als Kind. Dieser Vergleich wird für jeden in der Kabine C des Fahrzeugs V identifizierten Insassen O-n durchgeführt. In der vorliegenden Ausführung befindet sich nur die optische Kamera 12 an der Vorderseite der Kabine C. Es wird geschätzt, dass die Skelettgröße (d) von einem Abstand zwischen dem Insassen O-n und der optischen Kamera 12 abhängt. Zum Beispiel wird ein Insasse O-n, der auf einem der Rücksitze SB-1, SB-2, SB-3 sitzt, kleiner erscheinen, als wenn er auf einem der Vordersitze SF-1, SF-2 säße. Um dieser Variation Rechnung zu tragen, können unterschiedliche Klassifizierungsschwellenwerte definiert werden, je nachdem, ob der Insasse O-n auf einem der Rücksitze SB-1, SB-2, SB-3 oder auf einem der Vordersitze SF-1, SF-2 sitzt. Beispielsweise kann ein erster Klassifizierungsschwellenwert T1 verwendet werden, um einen auf einem der Vordersitze SF-1, SF-2 sitzenden Insassen zu klassifizieren, und ein zweiter Klassifizierungsschwellenwert T2 kann verwendet werden, um einen auf einem der Rücksitze SB-1, SB-2, SB-3 sitzenden Insassen zu klassifizieren. Alternativ oder zusätzlich kann ein Skalierungsfaktor auf die Skelettgröße (d) zumindest teilweise angewandt werden, um Unterschiede auszugleichen, die durch den Versatz zwischen dem Insassen und der optischen Kamera 12 verursacht werden.A classification threshold T1 is in the distribution curve 100 Are defined. The classification threshold ( T1 ) can for example correspond to a 50th percentile of a 12-year-old child. The processing module 11 compares each skeleton size (d) to the classification threshold T1 . When the skeleton size (d) is greater than the classification threshold T1 classifies the processing module 11 these inmates on as adults. When the skeleton size (d) is less than the classification threshold T1 classifies the processing module 11 these inmates on as a child. This comparison is carried out for each occupant On identified in the cabin C of the vehicle V. In the present embodiment there is only the optical camera 12th at the front of the cabin C. It is estimated that the skeleton size (d) depends on a distance between the occupant On and the optical camera 12th depends. For example, an occupant is on who is on one of the rear seats SB-1 , SB-2 , SB-3 sitting, appear smaller than if he was on one of the front seats SF-1 , SF-2 would sit. To take this variation into account, different classification threshold values can be defined, depending on whether the occupant is On in one of the rear seats SB-1 , SB-2 , SB-3 or on one of the front seats SF-1 , SF-2 sits. For example, a first classification threshold T1 used to put one on one of the front seats SF-1 , SF-2 to classify seated occupants, and a second classification threshold T2 can be used to put one on one of the back seats SB-1 , SB-2 , SB-3 classify seated occupants. Alternatively or additionally, a scaling factor can be applied to the skeleton size (d) at least partially in order to compensate for differences caused by the offset between the occupant and the optical camera 12th caused.

Die Funktionsweise des Insassen-Klassifikationssystems 1 wird nun anhand eines ersten Blockschaltbildes 200 in beschrieben. Das Insassen-Klassifizierungssystem 1 wird aktiviert (BLOCK 205). Die optische Kamera 12 erzeugt Bilddaten IMG1, die einen Innenraum der Kabine C darstellen (BLOCK 210). Der Algorithmus zur Erkennung von Körpermarkierungen analysiert die Bilder, um eine oder mehrere Brustmarkierungen LM-1 in der Szene zu identifizieren (BLOCK 215). Das Verarbeitungsmodul 11 bestimmt, welche(r) identifizierte(n) Brustkorb-Landmarke(n) LM1 sich gegebenenfalls in einem der interessierenden Bereiche A-n befindet/befinden (BLOCK 220). Stellt das Verarbeitungsmodul 11 fest, dass sich in einem Interessenbereich A-n keine der identifizierten Brustpunktmarkierungen LM-1 befindet, wird der diesem Interessenbereich A-n zugeordnete Sitzplatz als unbesetzt identifiziert (BLOCK 225). Wenn das Verarbeitungsmodul 11 feststellt, dass sich in einem Interessenbereich A-n eine der Brustpunktmarkierungen LM-1 befindet, wird der diesem Interessenbereich A-n zugeordnete Sitz als besetzt gekennzeichnet (BLOCK 230). Der Algorithmus zur Erkennung von Körperlandmarken analysiert die Bilddaten IMG1, um die Körperlandmarken LM-n zu identifizieren, und bildet das Skelettmodell 20 (BLOCK 235). Die Paare der Körperlandmarken LM-n werden innerhalb des Skelettmodells 20 identifiziert und die Skelettgröße (d) bestimmt (BLOCK 240). Die Skelettgröße (d) für jeden in der Kabine C identifizierten Insassen O-n wird mit dem Klassifizierungsschwellenwert T1 verglichen (BLOCK 245). Wenn die Skelettgröße (d) für einen bestimmten Insassen O-n größer oder gleich dem Klassifizierungsschwellenwert T1 ist, klassifiziert das Verarbeitungsmodul 11 diesen Insassen O-n als Erwachsenen (BLOCK 250). Wenn die Skelettgröße (d) für einen gegebenen Insassen O-n kleiner als der Klassifizierungsschwellenwert ist, klassifiziert das Verarbeitungsmodul 11 diesen Insassen O-n als ein Kind (BLOCK 255). Der Prozess wird für jeden in der Kabine C identifizierten Insassen O-n wiederholt. Der Prozess ist abgeschlossen, wenn alle Insassen O-n entweder als Erwachsener oder als Kind klassifiziert worden sind (BLOCK 260). Das Insassenklassifizierungssystem 1 kann die Prüfung periodisch wiederholen, um festzustellen, ob sich die Insassen O-n geändert haben.How the occupant classification system works 1 is now based on a first block diagram 200 in described. The occupant classification system 1 is activated (BLOCK 205 ). The optical camera 12th generates image data IMG1 representing an interior space of the car C (BLOCK 210 ). The body mark detection algorithm analyzes the images to identify one or more breast marks LM-1 to be identified in the scene (BLOCK 215 ). The processing module 11 determines which identified chest landmark (s) LM1 is / are, if applicable, in one of the regions of interest An (BLOCK 220 ). Provides the processing module 11 determines that there are no identified chest point markers in an area of interest An LM-1 is located, the seat assigned to this area of interest An is identified as unoccupied (BLOCK 225 ). When the processing module 11 finds that an area of interest An is one of the chest point markers LM-1 is located, the seat assigned to this area of interest To is marked as occupied (BLOCK 230 ). The body landmarks recognition algorithm analyzes the image data IMG1 to identify the body landmarks LM-n, and forms the skeleton model 20th (BLOCK 235 ). The pairs of body landmarks LM-n are within the skeletal model 20th identified and the skeleton size (d) determined (BLOCK 240 ). The skeleton size (d) for each occupant identified in the cabin C becomes On with the classification threshold T1 compared (BLOCK 245 ). When the skeleton size (d) for a particular occupant On is greater than or equal to the classification threshold T1 classifies the processing module 11 these inmates on as adults (BLOCK 250 ). If the skeleton size (d) for a given occupant On is less than the classification threshold, the processing module classifies 11 this inmate on as a child (BLOCK 255 ). The process is repeated for each occupant On identified in the cabin C. The process is complete when all inmates have been classified On as either adults or children (BLOCK 260 ). The occupant classification system 1 may repeat the test periodically to see if the occupants have changed On.

Ein erstes Bild 30, das von der optischen Kamera 12 in einem ersten Szenario aufgenommen wurde, ist in dargestellt. Die ersten und zweiten Insassen O-1, O-2 sitzen auf dem ersten und zweiten Vordersitz SF-1 bzw. SF-2; und die dritten und vierten Insassen O-3, O-4 sitzen auf dem ersten und dritten Rücksitz SB-1 bzw. SB-3. Im vorliegenden Beispiel ist jeder der vier Insassen O-1, O-2, O-3, O-4 ein Erwachsener. Die Skelettmodelle 20 für den dritten und vierten Insassen O-3, O-4 (auf dem ersten und dritten Rücksitz SB-1, SB-3 sitzend) werden dem ersten Bild 30 überlagert, um die Funktionsweise des Algorithmus zur Erkennung von Körpermerkmalen zu veranschaulichen. In dem illustrierten Beispiel wird die Skelettgröße (d) des dritten Insassen O-3 auf dem ersten Rücksitz SB-1 als 929,36 berechnet; und die Skelettgröße (d) des vierten Insassen O-4 auf dem dritten Rücksitz SB-3 als 970,54. Die von der optischen Kamera 12 aufgenommenen Bilddaten IMG1 werden über einen Zeitraum analysiert, um eine Vielzahl von Datenzählungen zu generieren. Aufgrund der Bewegung der Insassen O-n in der Kabine C wird davon ausgegangen, dass die Skelettgröße (d) schwankt. Ein erstes Verteilungsdiagramm 35 für die Skelettgröße (d) der dritten und vierten Insassen O-3, O-4 ist in dargestellt.A first picture 30th that from the optical camera 12th in a first scenario is in shown. The first and second inmates O-1 , O-2 sit on the first and second front seats SF-1 or. SF-2 ; and the third and fourth inmates O-3 , O-4 sit in the first and third back seats SB-1 or. SB-3 . In the present example, each of the four is inmates O-1 , O-2 , O-3 , O-4 an adult. The skeleton models 20th for the third and fourth occupant O-3 , O-4 (on the first and third back seats SB-1 , SB-3 sitting) will be the first picture 30th overlaid to illustrate how the body feature detection algorithm works. In the illustrated example, the skeleton size (d) of the third occupant becomes O-3 in the first back seat SB-1 calculated as 929.36; and the skeleton size (d) of the fourth occupant O-4 in the third back seat SB-3 than 970.54. The one from the optical camera 12th recorded image data IMG1 are analyzed over a period of time in order to generate a large number of data counts. Due to the movement of the occupants On in the cabin C, it is assumed that the skeleton size (d) fluctuates. A first distribution diagram 35 for the skeleton size (d) of the third and fourth occupants O-3 , O-4 is in shown.

Ein zweites Bild 40, das von der optischen Kamera 12 in einem zweiten Szenario aufgenommen wurde, ist in dargestellt. Ein erster Insasse O-1 sitzt auf dem ersten Vordersitz SF-1; und der zweite und dritte Insasse O-2, O-3 sitzen auf dem ersten und dritten Rücksitz SB-1 bzw. SB-3. Im vorliegenden Beispiel ist der erste Insasse O-1 ein Erwachsener, und der zweite und dritte Insasse O-2, O-3 sind Kinder. Die Skelettmodelle 20 für die Kinder auf dem ersten und dritten Rücksitz SB-1, SB-3 werden auf dem zweiten Bild 40 überlagert, um die Funktionsweise des Algorithmus zur Erkennung von Körpermerkmalen zu veranschaulichen. Im illustrierten Beispiel wird die Skelettgrösse (d) des Kindes auf dem ersten Rücksitz SB-1 als 642.79 berechnet; und die Skelettgrösse (d) des Kindes auf dem dritten Rücksitz SB-3 wird als 699.79 berechnet. Es wird gewürdigt, dass der Algorithmus zur Erkennung von Körpermerkmalen auch dann funktionieren kann, wenn ein Kind in einem Kindersicherheitssitz sitzt, der auf einem Standardsitz in der Fahrzeugkabine C vorgesehen ist, wie im zweiten Bild 40 gezeigt. Die von der optischen Kamera 12 aufgenommenen Bilddaten IMG1 werden über einen bestimmten Zeitraum analysiert, um eine Vielzahl von Datenzählungen zu generieren. Aufgrund der Bewegung der Insassen O-n in der Kabine C wird davon ausgegangen, dass die Skelettgröße (d) schwankt. Ein zweites Verteilungsdiagramm 45 für die Skelettgröße (d) der zweiten und dritten Insassen O-3, O-4 ist in dargestellt. Das Verarbeitungsmodul 11 kann so konfiguriert werden, dass es die Bilddaten IMG1 analysiert, um den Kindersitz zu identifizieren, z.B. durch Implementierung eines Bildanpassungsalgorithmus. Das Verarbeitungsmodul 11 kann feststellen, ob sich ein Insasse O-n im Kindersitz befindet oder ob der Kindersitz nicht besetzt ist.A second picture 40 that from the optical camera 12th in a second scenario is in shown. A first inmate O-1 sits in the first front seat SF-1 ; and the second and third occupants O-2 , O-3 sit in the first and third back seats SB-1 or. SB-3 . In the present example is the first occupant O-1 one adult, and the second and third inmates O-2 , O-3 are children. The skeleton models 20th for the children in the first and third back seats SB-1 , SB-3 are on the second picture 40 overlaid to illustrate how the body feature detection algorithm works. In the illustrated example, the skeleton size (d) of the child on the first back seat SB-1 calculated as 642.79; and the skeletal size (d) of the child in the third rear seat SB-3 is calculated as 699.79. It is appreciated that the algorithm for recognizing body features can also function when a child is sitting in a child safety seat which is provided on a standard seat in the vehicle cabin C, as in the second image 40 shown. The one from the optical camera 12th The recorded image data IMG1 are analyzed over a certain period of time in order to generate a large number of data counts. Due to the movement of the occupants On in the cabin C, it is assumed that the skeleton size (d) fluctuates. A second distribution diagram 45 for the skeleton size (d) of the second and third occupants O-3 , O-4 is in shown. The processing module 11 can be configured to analyze the image data IMG1 in order to identify the child seat, for example by implementing an image matching algorithm. The processing module 11 can determine whether there is an occupant On in the child seat or whether the child seat is not occupied.

Die ersten und zweiten Verteilungsdiagramme 35, 45 werden zu einem dritten Verteilungsdiagramm 50 kombiniert, das in dargestellt ist. Eine erste Häufigkeitsverteilungskurve 55 zeigt die Verteilung für Kinder; und eine zweite Häufigkeitsverteilungskurve 60 zeigt die Verteilung für Erwachsene. Die Unterschiede in der Skelettgrösse (d) für die Insassen O-n im ersten und zweiten Szenario werden durch die Trennung der ersten und zweiten Verteilungsdiagramme 35, 45 entlang der X-Achse veranschaulicht.The first and second distribution charts 35 , 45 become a third distribution diagram 50 combined that in is shown. A first frequency distribution curve 55 shows the distribution for children; and a second frequency distribution curve 60 shows the distribution for adults. The differences in the skeleton size (d) for the occupants On in the first and second scenarios are illustrated by the separation of the first and second distribution diagrams 35 , 45 illustrated along the X-axis.

Die Klassifizierungsschwelle T1 kann in Abhängigkeit von einer geographischen Betriebsregion des Fahrzeugs V konfiguriert werden. Der Klassifizierungsschwellenwert T1 kann dabei die normale Verteilung der Größe und/oder Höhe einer lokalen Bevölkerung widerspiegeln.The classification threshold T1 can be configured depending on a geographic operating region of the vehicle V. The classification threshold T1 can reflect the normal distribution of size and / or height of a local population.

Das Insassenklassifizierungssystem 1 in der obigen Ausführung verwendet ein Skelettmodell 20, das aus fünf (5) Paaren von Körperlandmarken LM-n besteht. Es wird davon ausgegangen, dass das Skelettmodell aus weniger als fünf (5) Paaren von Körpermerkmalen LM-n oder mehr als fünf (5) Paaren von Körpermerkmalen LM-n bestehen kann. Als Beispiel ist in ein Skelettmodell 20 dargestellt, das aus sechs (6) Paaren (A bis F) von Körpermerkmalen LM-n besteht; und ein Skelettmodell 20, das aus acht (8) Paaren (A bis H) von Körpermerkmalen LM-n besteht, ist in dargestellt.The occupant classification system 1 in the above embodiment used a skeleton model 20th , which consists of five (5) pairs of body landmarks LM-n. It is believed that the skeletal model can consist of fewer than five (5) pairs of body features LM-n or more than five (5) pairs of body features LM-n. As an example, in a skeleton model 20th shown consisting of six (6) pairs (A through F) of body features LM-n; and a skeleton model 20th , which consists of eight (8) pairs (A through H) of body features LM-n is in shown.

Das Insassenklassifizierungssystem 1 kann in Abhängigkeit von der ermittelten Klassifizierung des Insassen O-n ein Steuersignal ausgeben. Das Steuersignal kann den Betrieb eines oder mehrerer Fahrzeugsysteme steuern, z.B. zur selektiven Aktivierung und Deaktivierung eines oder mehrerer Fahrzeugsysteme. Ein erstes Steuersignal kann ausgegeben werden, wenn der Insasse O-n als ein erster Insassentyp klassifiziert ist. Ein zweites Steuersignal kann ausgegeben werden, wenn der Insasse O-n als ein zweiter Insassentyp klassifiziert ist. Das erste und das zweite Steuersignal können wahlweise verschiedene Fahrzeugsysteme aktivieren und deaktivieren; oder sie können wahlweise dasselbe Fahrzeugsystem aktivieren und deaktivieren.The occupant classification system 1 can output a control signal as a function of the ascertained classification of the occupant On. The control signal can control the operation of one or more vehicle systems, for example for the selective activation and deactivation of one or more vehicle systems. A first control signal can be output if the occupant On is classified as a first occupant type. A second control signal can be output if the occupant On is classified as a second type of occupant. The first and second control signals can selectively activate and deactivate different vehicle systems; or they can optionally activate and deactivate the same vehicle system.

Es ist zu begrüßen, dass verschiedene Änderungen und Modifikationen an der vorliegenden Erfindung vorgenommen werden können, ohne dass vom Anwendungsbereich der vorliegenden Anmeldung abgewichen wird.It is to be appreciated that various changes and modifications can be made to the present invention without departing from the scope of the present application.

Das Insassenklassifizierungssystem 1 kann so konfiguriert werden, dass zusätzliche Klassifizierungen vorgenommen werden können, z.B. um jeden Insassen des Fahrzeugs V als einen von mehreren verschiedenen Insassentypen zu klassifizieren. Die Mehrzahl von Insassentypen kann beispielsweise einen oder mehrere der folgenden Typen umfassen: ein Neugeborenes (mit einem Alter von weniger als einem (1) Monat); ein Kleinkind (mit einem Alter zwischen einem (1) Monat und zwei (2) Jahren); ein Kind (mit einem Alter von mehr als zwei (2) Jahren und weniger als oder gleich zwölf (12) Jahren); ein Jugendlicher (mit einem Alter zwischen zwölf (12) und sechzehn (16) Jahren); und ein Erwachsener (mit einem Alter von mehr als oder gleich sechzehn (16) Jahren). Es können noch weitere Klassifikationen vorgenommen werden. Beispielsweise kann eine weitere Klassifizierung in Bezug auf einen Insassen vorgenommen werden, der als Kind unter sechs (6) Jahren eingestuft wird.The occupant classification system 1 can be configured such that additional classifications can be made, for example in order to classify each occupant of the vehicle V as one of several different types of occupants. For example, the plurality of occupant types may include one or more of the following types: a newborn baby (less than one (1) month old); a toddler (between one (1) month and two (2) years of age); a child (aged more than two (2) years and less than or equal to twelve (12) years); an adolescent (aged between twelve (12) and sixteen (16) years old); and an adult (greater than or equal to sixteen (16) years of age). Further classifications can be made. For example, another classification may be made in relation to an inmate who is classified as a child under six (6) years of age.

Der Betrieb eines oder mehrerer Fahrzeugsysteme kann in Abhängigkeit von der festgelegten Klassifizierung des Insassen aktiviert/deaktiviert oder modifiziert werden. Das eine oder die mehreren Fahrzeugsysteme, die mit jedem Sitz im Fahrzeug verbunden sind, können in Abhängigkeit von der Klassifizierung des auf diesem Sitz sitzenden Insassen konfiguriert werden. Das eine oder die mehreren Fahrzeugsysteme können je Sitz in Abhängigkeit von der Klassifizierung des Sitzinsassen konfiguriert werden. Zum Beispiel kann die Airbagauslösung in Abhängigkeit von der Insassenklassifizierung selektiv aktiviert und deaktiviert werden. Alternativ oder zusätzlich kann die Airbagauslösung in Abhängigkeit von der Insassenklassifizierung gesteuert werden. Der Airbag kann in verschiedenen Entfaltungsmodi konfiguriert werden. Ein reduzierter Entfaltungsmodus kann z.B. bestimmte Entfaltungsmerkmale selektiv deaktivieren und andere aktivieren. Der Entfaltungsmodus des Airbags kann in Abhängigkeit von der Insassenklassifizierung gewählt werden. Der reduzierte Entfaltungsmodus kann aktiviert werden, wenn der Insasse als Kind unter sechs (6) Jahren klassifiziert ist.The operation of one or more vehicle systems can be activated / deactivated or modified depending on the defined classification of the occupant. The one or more vehicle systems associated with each seat in the vehicle can be configured depending on the classification of the occupant seated on that seat. The one or more vehicle systems can be configured for each seat as a function of the classification of the seat occupant. For example, the airbag deployment can be selectively activated and deactivated depending on the occupant classification. Alternatively or additionally, the airbag deployment can be controlled as a function of the occupant classification. The airbag can be configured in different deployment modes. A reduced deployment mode can, for example, selectively deactivate certain deployment features and activate others. The deployment mode of the airbag can be selected depending on the occupant classification. Reduced deployment mode can be activated when the occupant is classified as a child under six (6) years of age.

Es kann eine Mehrzahl von Klassifizierungsschwellen definiert werden, um den Insassen in Abhängigkeit von der ermittelten Skelettgröße O-n zu klassifizieren (d). Die Klassifizierungsschwellen können zum Beispiel in Abhängigkeit von einem Größenverteilungsdiagramm einer bestimmten Population definiert werden. Die Klassifizierungsschwellen können für männliche oder weibliche Insassen definiert werden. Beispielsweise kann das Insassenklassifikationssystem 1 so konfiguriert werden, dass es zwischen einem 5. Perzentil von Frauen mit einem Gewicht von etwa 48 kg und einem 6-Jährigen unterscheidet. Das Insassenklassifizierungssystem 1 kann so konfiguriert werden, dass es in Abhängigkeit von einer solchen Klassifizierung unterschiedliche Benachrichtigungen erzeugt.A plurality of classification thresholds can be defined in order to classify the occupant as a function of the determined skeleton size On (d). The classification thresholds can be defined, for example, as a function of a size distribution diagram of a specific population. The classification thresholds can be defined for male or female occupants. For example, the occupant classification system 1 be configured to differentiate between a 5th percentile of women weighing approximately 48 kg and a 6 year old. The occupant classification system 1 can be configured to generate different notifications depending on such a classification.

Claims

A vehicle occupant classification system comprising a controller with a processor and a system memory, wherein the controller is configured to receive an image from a camera located in a cabin of a vehicle; analyze the image to identify a plurality of body reference points of an occupant in the vehicle cabin, the plurality of the identified body reference points including a plurality of pairs of the body reference points; determine the distance between the body reference points in each of the plurality of pairs; add the determined distances of each of the plurality of pairs to determine a total distance. classify the occupant as a first occupant type or a second occupant type depending on a comparison of the determined distance with a predefined classification threshold value; and to control the operation of one or more vehicle systems depending on the classification of the occupant.

Vehicle occupant classification system according to Claim 1 wherein the plurality of pairs of body reference points comprises one or more of the following: a reference point for the right shoulder and a reference point for the right elbow; a reference point for the left shoulder and a reference point for the left elbow; a reference point for the chest and a reference point for the right shoulder; a reference point for the chest and a reference point for the left shoulder; a reference point for the left shoulder and a reference point for the right shoulder; a reference point for the chest and a reference point on the right hip; and a reference point for the rib cage and a reference point for the left hip.

Vehicle occupant classification system according to one of the Claims 1 or 2 , wherein the controller is configured to determine whether the occupant is seated in a first row of seats in the vehicle interior or is seated in a second row of seats in the vehicle interior, the classification threshold comprising a first classification threshold when the occupant is seated in the first row, and the classification threshold a second classification threshold if the occupant is seated in the second row.

Vehicle occupant classification system according to one of the Claims 1 to 3 wherein the plurality of identified body reference points include at least one body reference point, the controller configured to determine whether the body reference point is within a predefined area of interest.

Vehicle occupant classification system according to Claim 4 , wherein the region of interest is assigned to a seat in the vehicle cabin; and the controller is configured to determine that the seat is occupied when the reference body reference point is within the region of interest; and determine that the seat is unoccupied if the reference body reference point is outside the area of interest.

Vehicle occupant classification system according to Claim 5 wherein the controller is configured to analyze the image to identify a child safety seat in the cabin; and the seat comprises the identified child safety seat.

Vehicle occupant classification system according to one of the Claims 1 to 6th wherein the control device is configured to prevent or enable the operation of one or more vehicle systems depending on the classification of the occupant.

A vehicle occupant classification system according to one of the Claims 1 to 7th , wherein the classification threshold is determined as a function of a geographical operating area of the vehicle.

Vehicle with a vehicle occupant classification system according to one of the Claims 1 to 8th .

A vehicle occupant classification process comprising: Receiving an image from a camera located in a cabin of a vehicle; Analyzing the image to identify a plurality of body reference points of an occupant in the vehicle cabin, the plurality of the identified body reference points including a plurality of pairs of the body reference points; Determining the distance between the body reference points in each of the plurality of pairs; Adding the determined distances of each of the plurality of pairs to determine a total distance. Classifying the occupant as a first occupant type or a second occupant type as a function of a comparison of the determined total distance with a predefined classification threshold value; and Control of the operation of one or more vehicle systems depending on the classification of the occupant.

Non-transitory computer-readable medium that stores a set of instructions which, when executed, cause a processor to perform the method of Claim 10 perform.