DE102020102053A1

DE102020102053A1 - System und Verfahren für eine Objektüberwachung in einem Fahrzeug

Info

Publication number: DE102020102053A1
Application number: DE102020102053.8A
Authority: DE
Inventors: Markus Strassberger
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-01-29
Filing date: 2020-01-29
Publication date: 2021-07-29

Abstract

Die vorliegende Offenbarung betrifft ein System für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug. Das System umfasst wenigstens einen Sensor, der eingerichtet ist, um wenigstens ein Objekt in einem Innenraum des Fahrzeugs zu erfassen; und wenigstens eine Prozessoreinheit, die eingerichtet ist, um (i) dem wenigstens einen Objekt wenigstens einen Objektparameter zuzuordnen und (ii) den wenigstens einen Objektparameter mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung in Korrelation zu setzen.

Description

Die Offenbarung betrifft ein System für eine Objektüberwachung in einem Fahrzeug, ein Fahrzeug mit einem derartigen System und ein Verfahren für eine Objektüberwachung in einem Fahrzeug. Die vorliegende Offenbarung betrifft insbesondere eine situative Bewertung möglicher Implikationen von Objekten im Fahrzeug, insbesondere in Bezug auf Fahrzeuginsassen und/oder eine Beschädigung der Objekte aufgrund eines Beschleunigungsvorgangs des Fahrzeugs.
Stand der Technik
In Fahrzeugen befinden sich im Allgemeinen lose Gegenstände, wie zum Beispiel persönliche Gegenstände der Insassen oder Transportgegenstände. Persönliche Gegenstände der Insassen können zum Beispiel Smartphones sein. Transportgegenstände können zum Beispiel Gasflaschen sein. Erfolgen starke Beschleunigungen des Fahrzeugs, also ein starkes Bremsen oder ein starker Geschwindigkeitsanstieg, können die losen Gegenstände durch den Innenraum geschleudert werden und eine Gefahr für die Insassen darstellen. Zudem können die losen Gegenstände beschädigt werden.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, ein System für eine Objektüberwachung in einem Fahrzeug, ein Fahrzeug mit einem derartigen System und ein Verfahren für eine Objektüberwachung in einem Fahrzeug anzugeben, die eine Gefährdung von Insassen durch das Objekt und/oder eine Beschädigung des Objekts aufgrund von Beschleunigungen des Fahrzeugs vermeiden können.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein System für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, angegeben. Das System umfasst wenigstens einen Sensor, der eingerichtet ist, um wenigstens ein Objekt in einem Innenraum des Fahrzeugs zu erfassen; und wenigstens eine Prozessoreinheit, die eingerichtet ist, um (i) dem wenigstens einen Objekt wenigstens einen Objektparameter zuzuordnen und (ii) den wenigstens einen Objektparameter mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung abzugleichen bzw. in Korrelation zu setzen.
Erfindungsgemäß erfolgt ein intelligenter Abgleich von erkannten Objekten mit einer Situation im Innenraum des Fahrzeugs, wie zum Beispiel weiteren Parametern der Sensorik und/oder bekannten Informationen über den Innenraum. Damit kann eine situative Bewertung möglicher Implikationen von Objekten im Fahrzeug erfolgen. Basierend auf der situativen Bewertung können beispielsweise die Insassen des Fahrzeugs auf eine potenzielle Gefahr hingewiesen werden. Insbesondere können eine Gefährdung von Insassen durch das erkannte Objekt und/oder eine Beschädigung des Objekts aufgrund von Beschleunigungen des Fahrzeugs vermieden werden.
Der Begriff „Objekt“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, bezieht sich auf im Wesentlichen lose, d.h. nicht befestigte, Objekte im Fahrzeuginnenraum. Das Objekt kann zum Beispiel ein mobiles Endgerät, ein Hammer, ein Messer, ein Regenschirm, ein Kissen oder eine Gasflasche sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und das Objekt kann jedes andere Objekt sein, dass im Innenraum des Fahrzeugs ablegbar ist. Die Begriffe „Objekt“ und „Gegenstand“ können synonym verwendet werden.
Die wenigstens eine Prozessoreinheit kann ein Softwaremodul mit einer geeigneten Software, wie zum Beispiel eine Objekterkennungssoftware, umfassen, um Objekteigenschaften zu erkennen bzw. den wenigstens einen Objektparameter abzuleiten. Optional kann das Softwaremodul ein Machine Learning (ML)-Modul umfassen, so dass die Objekterkennung und/oder die Situationsbewertung über die Zeit kontinuierlich verbessert werden können.
Vorzugsweise ist der wenigstens eine Objektparameter aus der Gruppe ausgewählt, die ein Objektgewicht, eine Objektgröße, eine Objektform, eine Objektart und eine Objektposition umfasst, oder die daraus besteht.
Das Objektgewicht kann zum Beispiel aus einer Objektart und einer Objektgröße abgeleitet werden. Wenn zum Beispiel die Objektart „Hammer“ erkannt wird, kann aus der Objektgröße ein Gewicht abgeschätzt werden. Zum Bestimmen des Objektgewichts und der Objektart kann das System eine geeignete Datenbank umfassen. Beispielsweise kann aus einer Objektform auf eine Objektart geschlossen werden.
Die Objektposition kann eine Position des wenigstens einen Objekts im Innenraum des Fahrzeugs sein. Zum Beispiel kann die Objektposition mittels geeigneter Koordinaten in Bezug auf den Innenraum angegeben werden.
Vorzugsweise verwendet die wenigstens eine Prozessoreinheit eine softwarebasierte Objekterkennung bzw. Objekterkennungssoftware, um das Objektgewicht und/oder die Objektgröße und/oder die Objektform und/oder die Objektart und/oder die Objektposition zum Beispiel basierend auf Kamerabildern wenigstens einer Innenraumkamera zu bestimmen.
Vorzugsweise kann wenigstens einer der Objektparameter statistisch geschätzt werden, wie zum Beispiel ein Objektgewicht und/oder eine Objektgröße (z.B. eine Größe und/oder ein Gewicht eines Hammers).
Vorzugsweise ist der wenigstens eine Innenraumparameter aus der Gruppe ausgewählt, die eine Insassenposition, eine Insassencharakteristik und wenigstens eine Innenraum-Umweltbedingung umfasst, oder die daraus besteht.
Die Insassenposition ist eine Position eines Insassen im Innenraum des Fahrzeugs. Zum Beispiel kann die Insassenposition mittels geeigneter Koordinaten in Bezug auf den Innenraum angegeben werden. Ergänzend oder alternativ kann die Insassenposition entsprechend der Sitzposition definiert sein, wie zum Beispiel „Fahrersitz“, „Beifahrersitz“, etc.
Die Insassencharakteristik betrifft den Insassen, wie zum Beispiel eine Größe, Ausdehnung, Kopfposition, etc. Die Insassencharakteristik ist jedoch nicht hierauf beschränkt und es können andere geeignete Charakteristika verwendet werden, die den Insassen betreffen und beschreiben.
Die wenigstens eine Innenraum-Umweltbedingung kann zum Beispiel eine Temperatur, Sonneneinstrahlung, etc. sein.
Vorzugsweise ist die wenigstens eine Prozessoreinheit eingerichtet, um den wenigstens einen Objektparameter mit dem wenigstens einen Innenraumparameter des Fahrzeugs in Korrelation zu setzen bzw. Abzugleichen, um ein Gefahrenpotential für einen oder mehrere Fahrzeuginsassen und/oder ein Beschädigungspotential für das wenigstens eine Objekt zu ermitteln.
Beispielsweise kann das Objekt eine Gasflasche sein (Objektparameter = Objektart = Gasflasche), und die Innenraumtemperatur kann 40°C bei direkter Sonneneinstrahlung auf die Gasflasche sein (Innenraumparameter = Innenraumtemperatur und Sonneneinstrahlung). Die wenigstens eine Prozessoreinheit kann diese Parameter in Korrelation setzen und bestimmen, dass die Gasflasche bei dieser Temperatur und direkter Sonneneinstrahlung explodieren könnte, und kann daraus ein Gefahrenpotential für die Fahrzeuginsassen ableiten.
In einem weiteren Beispiel kann das Objekt ein Smartphone sein (Objektparameter = Objektart = Smartphone), und die Innenraumtemperatur kann 40°C bei direkter Sonneneinstrahlung auf das Smartphone sein (Innenraumparameter = Innenraumtemperatur und Sonneneinstrahlung). Die wenigstens eine Prozessoreinheit kann diese Parameter in Korrelation setzen und bestimmen, dass das Smartphone unter diesen Bedingungen beschädigt werden könnte.
Vorzugsweise ist die wenigstens eine Prozessoreinheit weiter eingerichtet, um für das wenigstens eine Objekt einen oder mehrere Objekt-Beschleunigungswerte entsprechend einem oder mehreren Fahrzeug-Beschleunigungswerten zu ermitteln. Anders gesagt kann für jeden Fahrzeug-Beschleunigungswert ein entsprechender Objekt-Beschleunigungswert ermittelt werden. Die Fahrzeug-Beschleunigungswerte können vorgegebene Fahrzeug-Beschleunigungswerte sein, die zum Beispiel in einer Datenbank hinterlegt sind und für das jeweilige Fahrzeug und/oder bestimmte Situationen typische Beschleunigungswerte umfassen.
Typischerweise können die Objekt-Beschleunigungswerte relativ zum Fahrzeuginnenraum ermittelt werden. Anders gesagt können die Objekt-Beschleunigungswerte im Inertialsystem des Innenraums definiert sein. Die Objekt-Beschleunigungswerte können daher auch als Objekt-Eigenbeschleunigungswerte bezeichnet werden.
Vorzugsweise kann die wenigstens eine Prozessoreinheit basierend auf einer aktuellen Fahrsituation einen oder mehrere Objekt-Beschleunigungswerte (z.B. zu einem bestimmten Zeitpunkt) ausschließen. Dies kann zum Beispiel dann erfolgen, wenn das Fahrzeug im Stau steht und keine wesentlichen Beschleunigungswerte auftreten.
Der Begriff „Beschleunigung“, wie er im Rahmen des vorliegenden Dokuments verwendet wird, umfasst positive und negative Beschleunigungen. Die positive Beschleunigung entspricht einer ansteigenden Geschwindigkeit, und die negative Beschleunigung entspricht einer abnehmenden Geschwindigkeit (d.h. Verzögerung, wie z.B. Abbremsen).
Vorzugsweise ist die wenigstens eine Prozessoreinheit weiter eingerichtet, um (i) basierend auf dem einen oder den mehreren Objekt-Beschleunigungswerten Bewegungstrajektorien des wenigstens einen Objekts zu bestimmen, und (ii) zu bestimmen, ob die Bewegungstrajektorien mit Fahrzeuginsassen zusammentreffen bzw. Fahrzeuginsassen schneiden. Damit kann ein Gefahrenpotential für den oder die Fahrzeuginsassen bestimmt werden. Beispielsweise kann bestimmt werden, dass ein auf der Hutablage liegender Hammer den Kopf eines auf der Rücksitzbank sitzenden Insassen treffen würden, wenn das Fahrzeug stark abgebremst wird.
Vorzugsweise ist die wenigstens eine Prozessoreinheit weiter eingerichtet, um basierend auf dem einen oder den mehreren Objekt-Beschleunigungswerten heuristisch zu bestimmen, ob das wenigstens eine Objekt bei den jeweiligen Objekt-Beschleunigungswerten mit Fahrzeuginsassen zusammentrifft. Damit kann auch ohne Bewegungstrajektorien ein Gefahrenpotential für den oder die Fahrzeuginsassen bestimmt werden.
Vorzugsweise ist die wenigstens eine Prozessoreinheit weiter eingerichtet, um basierend auf der Korrelation bzw. dem Abgleich zwischen dem wenigstens einen Objektparameter und dem wenigstens einen Innenraumparameter einen akustischen Hinweis und/oder optischen Hinweis an einen Fahrzeuginsassen auszugeben. Der Hinweis kann insbesondere eine Warnung sein.
In einigen Ausführungsformen kann der Hinweis eine reine Warnung vor der Gefahr sein. In einer weiteren Ausführungsform ist die wenigstens eine Prozessoreinheit eingerichtet, um eine Position des Obejkts zu beurteilen. Beispielsweise kann bei einer „schlechten“ Positionierung des Gegenstands eine Empfehlung erfolgen, z.B.: wo/wie das erkannte Objekt in der konkreten Konstellation besser positioniert werden kann (z.B. „Hammer von der Hutablage nehmen“ oder „Nehmen Sie den Hammer bitte von der Hutablage und legen Sie ihn bitte unter den Vordersitz“).
Ergänzend oder alternativ kann eine Wechselwirkung von zwei oder mehr Objekten, die sich gegenseitig beeinflussen, beurteilt werden. Zum Beispiel kann der folgende Hinweis an den bzw. die Fahrzeuginsassen erfolgen: „Legen Sie das Smartphone bitte unter die Decke, anstatt auf die Decke“.
Der akustische Hinweis kann mittels wenigstens einer Lautsprechereinheit ausgegeben werden. Die wenigstens eine Lautsprechereinheit kann im Fahrzeug integriert sein, wie zum Beispiel ii einem Infotainmentsystem.
Der optische Hinweis kann mittels einer Anzeigevorrichtung ausgegeben werden. Insbesondere kann das Fahrzeug die Anzeigevorrichtung, wie beispielsweise ein Display eines Infotainmentsystems, umfassen. Typischerweise ist das Display im oder am Armaturenbrett des Fahrzeugs installiert. Das Display kann zum Beispiel eine Headunit sein. In einigen Ausführungsformen ist das Display ein LCD-Display, ein Plasma-Display oder ein OLED-Display.
Die wenigstens eine Prozessoreinheit kann eingerichtet sein, um den wenigstens einen Objektparameter mit dem wenigstens einen Innenraumparameter des Fahrzeugs in Korrelation zu setzen bzw. Abzugleichen, um ein Gefahrenpotential für Fahrzeuginsassen und/oder ein Beschädigungspotential für das Objekt zu ermitteln. Vorzugsweise wird der akustische und/oder optische Hinweis nur dann ausgegeben, wenn das Gefahrenpotential für Fahrzeuginsassen bzw. das Beschädigungspotential für das Objekt eine vorbestimmte Schwelle überschreitet.
Beispielsweise kann basierend auf einem Fahrerprofil bestimmt werden, dass der Fahrer beim Zufahren auf eine rote Ampel wahrscheinlich sanft abbremsen wird. Insbesondere kann ein maximaler negativer Beschleunigungswert ermittelt werden, der beim Abbremsen wahrscheinlich auftreten wird. Wenn das Objekt bei diesem maximalen negativen Beschleunigungswert an seinem Platz bleibt, sich also nicht bewegt, kann kein Hinweis ausgegeben werden. Wenn jedoch bestimmt wird, dass das Objekt bei diesem maximalen negativen Beschleunigungswert seinen Platz verlässt und einen Insassen trifft, kann eine Warnung ausgegeben werden.
Wie aus dem obigen Beispiel ersichtlich ist, kann die vorbestimmte Schwelle für das Ausgeben des Hinweises auf eine Vielzahl geeigneter Weisen festgelegt werden. Insbesondere kann die Schwelle für bestimmte Objekte und/oder Fahrer individuell festgelegt werden. Zum Beispiel kann ein Messer eine höhere Gefahr darstellen als ein Tennisball, so dass die Schwelle im Falle eines Messers geringer ist als im Falle eines Tennisballs. Ähnlich kann die Schwelle im Falle eines sportlichen Fahrers geringer festgelegt sein als im Falle eines gemäßigten Fahrers.
Vorzugsweise ist die wenigstens eine Prozessoreinheit eingerichtet, um ein auf der Korrelation basierendes Bewertungsergebnis wenigstens einem anderen Fahrzeugsystem bereitzustellen. Beispielsweise kann die Situationsbewertung einem Fahrassistenzsystem zum automatisierten Fahren bereitgestellt werden. Wenn beispielsweise erkannt wird, dass ein bestimmtes Objekt ab einer bestimmten Beschleunigung eine Gefahr für einen Insassen darstellt, kann das Fahrassistenzsystem eine derartig hohe Beschleunigung, wie zum Beispiel ein starkes Abbremsen, vermeiden.
Vorzugsweise ist der wenigstens eine Sensor aus der Gruppe ausgewählt, die eine Kamera, eine Videokamera und ein Mikrofon (z.B. ein Richtmikrofon) zur Erfassung von Innenraumgeräuschen des Fahrzeugs umfasst, oder die daraus besteht. Die Sensoren sind jedoch nicht auf Kameras und Mikrofone beschränkt und es können weitere Arten von Sensoren verwendet werden, um den wenigstens einen Objektparameter zu bestimmen.
In einigen Ausführungsformen können die Daten von zwei oder mehreren (gleichartigen und/oder verschiedenartigen) Sensoren in Kombination verwendet werden, um den wenigstens einen Objektparameter zu bestimmen. Dadurch kann eine Zuverlässigkeit verbessert werden.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das System für eine Objektüberwachung in einem Fahrzeug gemäß den Ausführungsformen der vorliegenden Offenbarung.
Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
Vorzugsweise umfasst das Fahrzeug ein Fahrassistenzsystem zum automatisierten Fahren. Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Vorzugsweise verwendet das Fahrassistenzsystem ein auf der Korrelation des erfindungsgemäßen Systems basierendes Bewertungsergebnis bei der Ansteuerung des Fahrzeugs.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, angegeben. Das Verfahren umfasst ein Erfassen wenigstens eines Objekts in einem Innenraum des Fahrzeugs durch wenigstens einen Sensor; ein Zuordnen wenigstens eines Objektparameters zum wenigstens einen Objekt; und ein Abgleichen bzw. Korrelieren des wenigstens einen Objektparameters mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung.
Das Verfahren kann die Aspekte des in diesem Dokument beschriebenen Systems für eine Objektüberwachung in einem Fahrzeug implementieren. Weiter ist das System eingerichtet, das in diesem Dokument beschriebene Verfahren für eine Objektüberwachung in einem Fahrzeug auszuführen.
Gemäß einem weiteren unabhängigen Aspekt ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, auszuführen.
Gemäß einem weiteren unabhängigen Aspekt ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, auszuführen.
Figurenliste
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1 ein schematisches Diagramm eines Systems für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, gemäß Ausführungsformen der vorliegenden Offenbarung,
2 ein schematisches Diagramm einer Bestimmung eines Gefahrenpotentials für einen Fahrzeuginsassen gemäß Ausführungsformen der vorliegenden Offenbarung,
3 ein schematisches Diagramm einer Bestimmung eines Beschädigungspotentials für ein Objekt gemäß Ausführungsformen der vorliegenden Offenbarung,
4 schematisch ein Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung, und
5 ein Flussdiagramm eines Verfahrens für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
1 zeigt ein schematisches Diagramm eines Systems 100 für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, gemäß Ausführungsformen der vorliegenden Offenbarung.
Das System 100 umfasst wenigstens einen Sensor 110, der eingerichtet ist, um wenigstens ein Objekt in einem Innenraum des Fahrzeugs zu erfassen; und wenigstens eine Prozessoreinheit 120, die eingerichtet ist, um (i) dem wenigstens einen Objekt wenigstens einen Objektparameter zuzuordnen und (ii) den wenigstens einen Objektparameter mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung in Korrelation zu setzen.
Der wenigstens eine Sensor 110 kann eine Kamera, eine Videokamera oder ein Mikrofon (z.B. ein Richtmikrofon) des Fahrzeugs sein. In einigen Ausführungsformen können die Daten von zwei oder mehreren (gleichartigen und/oder verschiedenartigen) Sensoren in Kombination verwendet werden, um den wenigstens einen Objektparameter zu bestimmen. Dadurch kann eine Zuverlässigkeit der Objekterkennung verbessert werden.
In einer beispielhaften Ausführungsform der vorliegenden Offenbarung umfasst der wenigstens eine Sensor 110 eine Innenraumkamera. Die Innenraumkamera erfasst Bilder des Innenraums des Fahrzeugs, die die wenigstens eine Prozessoreinheit 120 verwendet, um eine Bilderkennung durchzuführen. Die Bilderkennung klassifiziert die Objekte bzw. Gegenstände und weist ihnen spezifische, für den Aufenthalt im Fahrzeug relevante Parameter zu, insbesondere bezüglich Gefährdungspotenzial mit Blick auf Gewicht und Form (zum Beispiel Hammer, Messer, Regenschirm (nass/trocken), Smartphone (Strombedarf), Kissen, Rückhaltenetz, Gasflasche (Hitzegefahr) etc. Zudem kann eine Positionierung der Objekte bzw. Gegenstände innerhalb des Fahrzeugs (also wo und/oder wie ist der Gegenstand abgelegt) erfolgen.
Diese spezifischen Parameter der erkannten Objekte („Objektparameter“) werden zu bekannten und/oder prognostizierten Parameterwerten des Fahrzeuginnenraums („Innenraumparameter“) in Korrelation gesetzt. Die Korrelation kann bezüglich eines Gefahrenpotenzials für die Fahrzeuginsassen erfolgen. Ergänzend oder alternativ kann die Korrelation bezüglich eines möglichen Beschädigungspotenzials für das Objekt, beispielsweise durch eine Hitzeeinwirkung, erfolgen.
Diese beiden Korrelationen bezüglich eines Gefahrenpotenzials und eines Beschädigungspotenzials sind unter Bezugnahme auf die 2 und 3 im Detail beschrieben.
In einigen Ausführungsformen, die mit anderen hier beschriebenen Ausführungsformen kombiniert werden können, umfasst das System 100 ein Machine Learning (ML)-Modul. Mittels Machine Learning kann das System 100 kontinuierlich weiter verbessert werden (z.B. bis zu einer Beschleunigung x sind bisher alle Handys der Größe A in Fahrzeug F auf dem Armaturenbrett liegen geblieben. Ab Beschleunigung y fangen diese an, runter zu rutschen.)
2 zeigt ein schematisches Diagramm einer Bestimmung eines Gefahrenpotentials für einen Fahrzeuginsassen gemäß Ausführungsformen der vorliegenden Offenbarung. Insbesondere sind ein Hammer 1 und ein Kopf 2 eines Fahrzeuginsassen schematisch dargestellt.
Wie zuvor erläutert werden die mittels des Sensorsystems erkannten Objekte miteinander in Korrelation gesetzt. Dies kann insbesondere bezüglich möglicher Auswirkungen untereinander im Falle von starken Beschleunigungen im Fahrzeug (zum Beispiel bei einer Vollbremsung) erfolgen.
Den erkannten Objekten können für eine Vielzahl von definierten und unterschiedlichen Beschleunigungswerten des Fahrzeugs unter Berücksichtigung der spezifischen Objekteigenschaften Eigenbeschleunigungswerte relativ zum Fahrzeuginnenraum zugewiesen werden.
Unter Verwendung der Eigenbeschleunigungswerte können mögliche Bewegungstrajektorien relativ zum Fahrzeuginnenraum berechnet werden. Beispielsweise fällt der sich auf einer Hutablage (nicht gezeigt) befindende Hammer 1 bei einer Längsverzögerung von a>x mit einer Traj ektorie t von der Hutablage. Der Wert x kann dabei eine Schwelle angeben, wie zum Beispiel eine Beschleunigung, bei der sich der Hammer 1 relativ gesehen nicht von der Hutablage bewegt.
Auf Basis der ermittelten Bewegungstrajektorien erfolgt unter Verwendung der spezifischen Obj ekteigenschaften ein Abgleich, ob sich diese Bewegungstraj ektorien mit der Position von Personen im Fahrzeug überschneiden. Dies kann unter Verwendung weiterer bekannter Innenraumparameter erfolgen (z.B. wo sitzen Personen; wie groß sind diese Personen; wo/wie ist die Kopfposition). In einer optionalen Ausführungsform können hier auch potenzielle Abpralleffekte mitberücksichtigt werden.
In einer weiteren Ausführungsformen kann diese Ermittlung auch heuristisch auf Basis vorgegebener Klassifikationen erfolgen, also ohne konkrete Berechnung der Bewegungstraj ektorien.
Auf Basis des Abgleichs kann nun wiederum unter Berücksichtigung spezifischer Objekteigenschaften des Objekts eine Gesamtbewertung der Gefährdungssituation für die Insassen erfolgen, wobei die Insassen bei Bedarf gewarnt werden können.
3 zeigt ein schematisches Diagramm einer Bestimmung eines Beschädigungspotentials für ein Objekt gemäß Ausführungsformen der vorliegenden Offenbarung.
In einer beispielhaften Ausführungsform kann unter Verwendung der Innenraumsensorik und/oder bekanntem Wissen über den konkreten Fahrzeuginnenraum (z.B. Geometrie, Materialien, etc.) eine Bewertung von Objekten in Hinblick auf wenigstens einen der folgenden beispielhaften Aspekte erfolgen:

• Hitze-/Kälteeinwirkung: Messung und Prognose der Temperaturverteilung im Fahrzeuginnenraum. Insbesondere kann bestimmt werden, ob sich ein temperaturempfindliches Objekt in der Nähe von Scheiben oder Klimasystemen befindet. Falls Klimasysteme aktiv sind, kann eine mögliche Gefährdung für Objekte wie Elektronikgeräte, Medikamente, Lebensmittel, etc. ermittelt werden.
• Fallempfindlichkeit: Es kann eine Bewertung erfolgen, ob das Objekt beschädigt werden kann, wenn es beispielsweise vom Armaturenbrett fällt.
• Einsehbarkeit von außen: Es wird ermittelt, ob das Objekt von außen sichtbar ist. Wenn das Objekt sichtbar ist, kann für bestimmte Objekte, wie zum Beispiel Smartphones, ein erhöhtes Diebstahlsrisiko bestehen.
• Zollbeschränkungen: Bei einer Grenzüberquerung kann bestimmt werden, ob bestimmte Objekte im Innenraum des Fahrzeugs Zollbeschränkungen unterliegen. Falls dies der Fall ist, kann der Fahrer darauf hingewiesen werden.

Basierend auf der unter Bezugnahme auf die 2 und 3 beschriebene Bewertung kann eine Interaktion mit den Fahrzeuginsassen erfolgen. Insbesondere können die Insassen darauf aufmerksam gemacht werden, dass bestimmte Objekte im Fahrzeug in der aktuellen Situation für bestimmte Insassen eine Gefährdung darstellen und/oder beschädigt werden könnten. Optional können Handlungsanweisungen geben werden, um die Situation zu entschärfen („Nehmen Sie den Hammer von der Hutablage.“).
4 zeigt schematisch ein Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
In einigen Ausführungsformen, die mit anderen hier beschriebenen Ausführungsformen kombiniert werden können, kann die erfindungsgemäße Situationsbewertung wenigstens einem anderen Fahrzeugsystem bereitgestellt werden. Beispielsweise kann die Situationsbewertung einem Fahrassistenzsystem zum automatisierten Fahren bereitgestellt werden.
Wie in 4 dargestellt umfasst das Fahrzeug 400 das Fahrassistenzsystem 300 zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs 400 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 beispielsweise den Antrieb 20, das (optionale) Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein LiDAR-System, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras umfassen.
Zusätzlich kann das Fahrzeug 400 das System 100 gemäß den Ausführungsformen der vorliegenden Offenbarung umfassen, dessen Situationsbewertung in Hinblick auf sich im Fahrzeug befindende Objekte in das Fahrassistenzsystem 300 eingegeben wird. Wenn beispielsweise erkannt wird, dass ein bestimmtes Objekt ab einer bestimmten Beschleunigung eine Gefahr für einen Insassen darstellt, kann das Fahrassistenzsystem 300 eine derartig hohe Beschleunigung vermeiden.
5 zeigt ein Flussdiagramm eines Verfahrens 500 für eine Objektüberwachung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Verfahren 500 umfasst im Block 510 ein Erfassen wenigstens eines Objekts in einem Innenraum des Fahrzeugs durch wenigstens einen Sensor; im Block 520 ein Zuordnen wenigstens eines Objektparameters zum wenigstens einen Objekt; und im Block 530 ein Abgleichen bzw. Korrelieren des wenigstens einen Objektparameters mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung.
Erfindungsgemäß erfolgt ein intelligenter Abgleich von erkannten Objekten mit einer Situation im Innenraum des Fahrzeugs, wie zum Beispiel weiteren Parametern der Sensorik und/oder bekannten Informationen über den Innenraum. Damit kann eine situative Bewertung möglicher Implikationen von Objekten im Fahrzeug erfolgen. Basierend auf der situativen Bewertung können beispielsweise die Insassen des Fahrzeugs auf eine potenzielle Gefahr hingewiesen werden. Insbesondere können eine Gefährdung von Insassen durch das erkannte Objekt und/oder eine Beschädigung des Objekts aufgrund von Beschleunigungen des Fahrzeugs vermieden werden.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims

System (100) für eine Objektüberwachung in einem Fahrzeug (400), umfassend: wenigstens einen Sensor (110), der eingerichtet ist, um wenigstens ein Objekt (1) in einem Innenraum des Fahrzeugs (400) zu erfassen; und wenigstens eine Prozessoreinheit (120), die eingerichtet ist, um: - dem wenigstens einen Objekt (1) wenigstens einen Objektparameter zuzuordnen; und - den wenigstens einen Objektparameter mit wenigstens einem Innenraumparameter des Fahrzeugs (440) für eine Situationsbewertung in Korrelation zu setzen.
Das System (100) nach Anspruch 1, wobei der wenigstens eine Objektparameter aus der Gruppe ausgewählt ist, die aus einem Objektgewicht, einer Objektform, einer Objektart und einer Objektposition besteht.
Das System (100) nach Anspruch 1 oder 2, wobei der wenigstens eine Innenraumparameter aus der Gruppe ausgewählt ist, die aus einer Insassenposition, einer Insassencharakteristik und wenigstens einer Innenraum-Umweltbedingung besteht.
Das System (100) nach einem der Ansprüche 1 bis 3, wobei die wenigstens eine Prozessoreinheit (120) eingerichtet ist, um den wenigstens einen Objektparameter mit dem wenigstens einen Innenraumparameter des Fahrzeugs (400) in Korrelation zu setzen, um ein Gefahrenpotential für Fahrzeuginsassen und/oder ein Beschädigungspotential für das Objekt (1) zu ermitteln.
Das System (100) nach einem der Ansprüche 1 bis 4, wobei die wenigstens eine Prozessoreinheit (120) weiter eingerichtet ist, um für das wenigstens eine Objekt (1) einen oder mehrere Objekt-Beschleunigungswerte entsprechend einem oder mehreren Fahrzeug-Beschleunigungswerten zu ermitteln, wobei die Objekt-Beschleunigungswerte relativ zum Fahrzeuginnenraum ermittelt werden.
Das System (100) nach Anspruch 5, wobei die wenigstens eine Prozessoreinheit (120) weiter eingerichtet ist, um: basierend auf dem einen oder den mehreren Objekt-Beschleunigungswerten Bewegungstrajektorien (t) des wenigstens einen Objekts (1) zu bestimmen, und zu bestimmen, ob die Bewegungstrajektorien (t) mit Fahrzeuginsassen (2) zusammentreffen.
Das System (100) nach Anspruch 5, wobei die wenigstens eine Prozessoreinheit (120) weiter eingerichtet ist, um basierend auf dem einen oder den mehreren Objekt-Beschleunigungswerten heuristisch zu bestimmen, ob das wenigstens eine Objekt (1) bei den jeweiligen Objekt-Beschleunigungswerten mit Fahrzeuginsassen (2) zusammentrifft.
Das System (100) nach einem der Ansprüche 1 bis 7, wobei die wenigstens eine Prozessoreinheit (120) weiter eingerichtet ist, um: basierend auf der Korrelation zwischen dem wenigstens einen Objektparameter und dem wenigstens einen Innenraumparameter einen akustischen und/oder optischen Hinweis an einen Fahrzeuginsassen auszugeben; und/oder die Situationsbewertung an wenigstens ein anderes Fahrzeugsystem, insbesondere ein Fahrassistenzsystem (300) zum automatisierten Fahren, auszugeben, und/oder eine Wechselwirkung zwischen zwei oder mehr Objekten zu beurteilen.
Fahrzeug (400), insbesondere Kraftfahrzeug, umfassend das System (100) nach einem der Ansprüche 1 bis 8.
Verfahren (500) für eine Objektüberwachung in einem Fahrzeug, umfassend: Erfassen (510) wenigstens eines Objekts in einem Innenraum des Fahrzeugs durch wenigstens einen Sensor; Zuordnen (520) wenigstens eines Objektparameters zum wenigstens einen Objekt; und Korrelieren (530) des wenigstens einen Objektparameters mit wenigstens einem Innenraumparameter des Fahrzeugs für eine Situationsbewertung.