DE102022122560A1

DE102022122560A1 - Verfahren und system zum erkennen von objekten in einem fahrzeug

Info

Publication number: DE102022122560A1
Application number: DE102022122560.7A
Authority: DE
Inventors: Johannes Feldmaier; Simone CAMBERG; Thomas Ewender
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-09-06
Filing date: 2022-09-06
Publication date: 2024-03-07

Abstract

Es wird ein Verfahren zum Erkennen von Objekten in einem Fahrzeug offenbart. Das Fahrzeug weist zumindest eine Fahrzeugfunktion mit einem beweglichen Teil auf, wobei das bewegliche Teil bei Ausführung der Fahrzeugfunktion innerhalb eines frei zugänglichen Bewegungsbereichs beweglich ist. Bei dem Verfahren werden Bilddaten mittels zumindest einer Bilderfassungseinrichtung erfasst, wobei die Bilddaten eine Ansicht eines Innenraums des Fahrzeugs und/oder eine Außenseite des Fahrzeugs zumindest teilweise repräsentieren. Die Bilddaten werden ausgewertet, um ein Objekt in der Ansicht zu erkennen, welches nicht Teil des Fahrzeugs ist. Es wird eine Position des erkannten Objekts bezüglich des Fahrzeugs bestimmt, wobei die Position des erkannten Objekts relativ zu dem Bewegungsbereich des beweglichen Teils der Fahrzeugfunktion bestimmt wird. Es wird ferner ein Verfahren zum Steuern einer Fahrzeugfunktion in einem Fahrzeug offenbart. Bei Erkennen eines Objekts, welches nicht Teil des Fahrzeugs ist, erfolgt ein Steuern der Fahrzeugfunktion abhängig von der bestimmten Position des erkannten Objekts relativ zu dem Bewegungsbereich des beweglichen Teils der Fahrzeugfunktion.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum Erkennen von Objekten in einem Fahrzeug. Insbesondere betrifft die Erfindung auch ein Verfahren und ein System zum Steuern einer Fahrzeugfunktion in Abhängigkeit von einem erkannten Objekt.
Moderne Fahrzeuge weisen verschiedene Fahrzeugfunktionen auf, die zur Bewegung von beweglichen Teilen dienen. Beispielsweise sind Fahrzeuge üblicherweise mit elektrischen Fensterhebern ausgestattet, um ein Fenster per Knopfdruck zu öffnen und zu schließen. Dabei kann auch eine automatische Schließfunktion vorgesehen sein, bei welcher sich das Fenster ohne das andauernde Halten einer Taste schließt. Bei diesem Komfortmerkmal ist es jedoch wichtig, dass ein Einklemmschutz vorhanden ist, was auch vom Gesetzgeber gefordert sein kann. Dies dient insbesondere der Sicherheit für Kinder, falls diese einen Arm oder ihren Kopf aus einem geöffneten Fenster strecken, während sich das Fenster schließt.
Einfache Systeme realisieren einen Einklemmschutz teilweise mechanisch über Rutsch- bzw. Reibkupplungen. Eine weitere Möglichkeit ist die Messung eines Antriebsmoments bzw. Stroms während des Schließens eines Fensters. Sobald das Antriebsmoment zum Fensterschließen einen bestimmten Grenzwert überschreitet, wird die Bewegung angehalten oder die Bewegungsrichtung der Scheibe umgekehrt. Der Einklemmschutz stellt über die Position des Fensters fest, ob ein Hindernis vorliegt oder die Fensterscheibe die Gummidichtung an der Endposition erreicht hat. Die Einklemmschutz-Funktion kann von einer direkt am Motor angebrachten Elektronik realisiert werden, da man die Fensterposition an der Motorachse einfach beispielsweise über Hallsensoren messen kann.
Bei einer derartigen Messung, die auf einem Widerstand beim Schließen beruht, muss jedoch eine Alterung der Dichtungen berücksichtigt werden. Auch kann der benötigte Strom zum Betätigen eines Fensterhebers mit einer Alterung steigen. Daher reicht ein einfacher Grenzwert nicht für eine sichere Ausführung. Der Fensterheber wird typischerweise zudem erst gestoppt, wenn ein Körperteil bereits eingeklemmt ist. Auch andere Verfahren, wie Lichtschranken, können fehleranfällig sein.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Erkennung von Objekten in einem Fahrzeug zu verbessern. Zudem soll ein verbessertes Verfahren zur Steuerung einer Fahrzeugfunktion abhängig von einem erkannten Objekt bereitgestellt werden. Insbesondere ist es wünschenswert, dadurch einen verbesserten Einklemmschutz für verschließbare Fahrzeugöffnungen, wie Fenster oder Schiebedach bereitzustellen.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Erkennen von Objekten in einem Fahrzeug, wobei das Fahrzeug zumindest eine Fahrzeugfunktion mit einem beweglichen Teil aufweist, wobei das bewegliche Teil bei Ausführung der Fahrzeugfunktion innerhalb eines frei zugänglichen Bewegungsbereichs beweglich ist. Bei dem Verfahren werden Bilddaten mittels zumindest einer Bilderfassungseinrichtung erfasst, wobei die Bilddaten eine Ansicht eines Innenraums des Fahrzeugs und/oder eine Außenseite des Fahrzeugs zumindest teilweise repräsentieren. Die Bilddaten werden ausgewertet, um ein Objekt in der Ansicht zu erkennen, welches nicht Teil des Fahrzeugs ist. Es wird eine Position des erkannten Objekts bezüglich des Fahrzeugs bestimmt, wobei die Position des erkannten Objekts relativ zu dem Bewegungsbereich des beweglichen Teils der Fahrzeugfunktion bestimmt wird.
Das vorgenannte Verfahren nach dem ersten Aspekt beruht folglich insbesondere darauf, dass ein Objekt, welches nicht Teil des Fahrzeugs ist, beispielsweise eine Person, durch eine Bilderkennung erkannt wird. Beim Auswerten der Bilddaten wird die von der Bilderfassungseinrichtung aufgenommene Ansicht verwendet, wobei z.B. ein Machine-Learning-Ansatz oder ein klassischer Bilderkennungsansatz zur Anwendung kommen kann. Insbesondere kann so auf einfache Weise festgestellt werden, wo sich ein Objekt bezüglich des Bewegungsbereichs des beweglichen Teils der Fahrzeugfunktion befindet. Im Hinblick auf einen Fensterheber kann so beispielsweise festgestellt werden, ob sich ein Objekt im Bereich einer Fensteröffnung befindet und möglicherweise im Bewegungsbereich einer Fensterscheibe. Das Verfahren bietet so eine einfache Weise der Objekterkennung, ohne dass eine zusätzliche Sensorik an der jeweiligen Fahrzeugfunktion notwendig ist. Auch können so Fehler oder Anpassungen vermieden werden, welche beispielsweise durch Alterung oder Abnutzung der Fahrzeugfunktion entstehen können. Durch die Bestimmung der Position eines Objekts bezüglich des Bewegungsbereichs der Fahrzeugfunktion kann auch bereits festgestellt werden, ob sich ein Objekt in der Nähe des Bewegungsbereichs befindet. So können gegebenenfalls frühzeitig Maßnahmen ergriffen werden, um ein sicheres Ausführen der Fahrzeugfunktion zu gewährleisten.
Der hier verwendete Begriff „Fahrzeug“ bezieht sich insbesondere auf einen Pkw, einschließlich aller Arten von Kraftfahrzeugen, Hybrid- und batteriebetriebenen Elektrofahrzeugen sowie Fahrzeuge wie Limousinen, Vans, Busse, Lkw, Lieferwagen und dergleichen.
Der hier verwendete Begriff „Fahrzeugfunktion“ bezieht sich insbesondere auf technische Merkmale, welche in einem Fahrzeug vorhanden sein können, um durch eine entsprechende Steuerung gesteuert zu werden. Eine Fahrzeugfunktion kann vorgesehen sein, ein bewegliches Teil zu bewegen. Der entsprechende Bereich, in welches sich das bewegliche Teil bewegt, wird als „Bewegungsbereich“ bezeichnet. Im Sinne der vorliegenden Erfindung sind insbesondere solche Fahrzeugfunktionen mit beweglichen Teilen angesprochen, bei welchen der Bewegungsbereich (im normalen Betrieb des Fahrzeugs) frei zugänglich ist, insbesondere für eine Person oder andere Objekte im Sinne der Erfindung. Durch die freie Zugänglichkeit des Bewegungsbereichs kann bei solchen Fahrzeugfunktionen ein Sicherheitsrisiko bestehen, beispielsweise eine Einklemmgefahr für Körperteile oder andere Objekte. Solche Fahrzeugfunktionen können beispielsweise elektrische Fensterheber, Schiebedächer, oder andere bewegliche Komponenten, wie verschwenkbare Tische, Bildschirme oder dergleichen sein. Nicht frei zugänglich im Sinne der Erfindung sind dagegen bewegliche Teile z.B. im Motorraum oder hinter Abdeckungen.
Der hier verwendete Begriff „Bilderfassungseinrichtung“ bezieht sich insbesondere auf eine Kamera, insbesondere eine Digitalkamera. Die Kamera kann Standbilder (Fotos) oder bewegte Bilder (Videos) aufnehmen. Die Bilderfassungseinrichtung kann ein derartiges Bild erfassen oder aufnehmen und entsprechende Bilddaten ausgeben. Die Bilderfassungseinrichtung kann eine 2D-Kamera oder eine 3D-Kamera sein.
Entsprechend wird eine zweidimensionale bzw. dreidimensionale Ansicht erfasst. Es kann sich insbesondere um eine Infrarotkamera oder eine Time-of-Flight-Kamera (TOF-Kamera) handeln. Für eine Infrarotkamera (IR oder NIR) kann eine entsprechende Infrarot-Lichtquelle vorgesehen werden, so dass das Verfahren auch bei Dunkelheit zuverlässig ausgeführt werden kann. Bei Verwendung einer TOF-Kamera kann mittels eines Lichtlaufzeitverfahrens eine dreidimensionale Ansicht des Innenraums insbesondere mittels eines PMD-Sensors erfasst werden. Es versteht sich, dass die Bilderfassungseinrichtung auch eine Kamera sein kann, welche mit sichtbarem Licht (Tageslicht), insbesondere im RGB-Farbraum arbeitet. Die Bilderfassungseinrichtung kann insbesondere eine Weitwinkelkamera sein.
Der Begriff „Objekt“ (welches nicht Teil des Fahrzeugs ist), wie hier verwendet, umfasst insbesondere Personen, sowohl Passagiere des Fahrzeugs als auch Personen in unmittelbarer Nähe zu dem Fahrzeug, beispielsweise wenn das Fahrzeug steht oder parkt. Auch können andere Objekte in den frei zugänglichen Bewegungsbereich der Fahrzeugfunktion gelangen, wie Gegenstände, die in dem Fahrzeug mitgeführt werden (z.B. Gepäckstücke, Sportgeräte, usw.). Tiere, z.B. Haustiere, können ebenfalls „Objekte“ im Sinne der Erfindung sein.
Der Begriff „Position“, wie hierin verwendet, bezieht sich insbesondere auf die Position eines Objekts im Raum. Dies kann seine absolute Position in einem Koordinatensystem (z.B. Fahrzeugkoordinatensystem) oder eine relative Position bezüglich andere Objekte oder feststehender Teile, wie feststehenden Teilen des Fahrzeugs betreffen. Somit können aus der Position auch Abstände zu anderen Teilen ermittelt werden, insbesondere zu einem Bewegungsbereich der Fahrzeugfunktion. Die Position eines Objekts kann insbesondere die Position seiner Komponenten umfassen. Beispielsweise kann die Position einer Person die Position und auch Orientierung ihrer Körperteile, einschließlich Gliedmaßen und Kopf umfassen.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens gemäß dem ersten Aspekt beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Bei einigen Ausführungsformen enthält die Ansicht den Bewegungsbereich zumindest teilweise, wobei das Bestimmen der Position des Objekts ein Bestimmen umfasst, ob sich das Objekt mit dem Bewegungsbereich überschneidet. Wenn der Bewegungsbereich in der Ansicht enthalten ist, kann auf einfache Weise die Position eines erkannten Objekts bezüglich des Bewegungsbereichs bestimmt werden. Beispielsweise kann der Ansicht direkt entnommen werden, ob sich das Objekt mit dem Bewegungsbereich überschneidet oder nicht.
Bei einigen Ausführungsformen wird einem in der Ansicht erkannten Objekt ein dreidimensionales Modell zugewiesen, und die Position des Objekts wird mit Hilfe des dreidimensionalen Modells bestimmt. Falls es sich bei dem Objekt um eine Person handelt, kann vorgesehen sein, dass der Person ein Skelettmodell zugewiesen wird, welches die Person repräsentiert. Das Skelettmodell kann entsprechend den Körper der Person, einschließlich Gliedmaßen (Arme, Beine, Hände) und Kopf repräsentieren und entsprechend der Position der Person erstellt werden. Insbesondere kann es sich bei dem Modell, wie dem Skelettmodell um ein bewegliches Modell handeln, welches entsprechend den Bewegungen der Person mitbewegt wird. Das Modell kann insbesondere mittels eines Machine-Learning-Prozesses entsprechend dem erkannten Objekt ausgewählt und zugewiesen werden. Das Modell erleichtert die Bestimmung der dreidimensionalen Position des Objekts bezüglich des Fahrzeugs.
Bei einigen Ausführungsformen repräsentiert das Modell das Objekt vollständig, wobei, wenn das Objekt nur teilweise in der Ansicht enthalten ist, das Bestimmen der Position ein Bestimmen einer Position von zumindest einem Teil des Objekts mit Hilfe des Modells umfasst, welcher nicht in der Ansicht enthalten ist. Auf diese Weise kann das Verfahren verbessert werden, auch wenn die Ansicht nicht ausreicht, um alle Teile, beispielsweise einer Person abzubilden. Durch Kenntnis des Modells kann beispielsweise ermittelt werden, wie weit ein Arm einer Person reicht oder wo sich ein Kopf einer Person befindet, auch wenn dies nicht in der Ansicht enthalten sein sollte. Auch kann dann die Position des Objekts relativ zu dem Bewegungsbereich auf einfache Weise ermittelt werden, selbst wenn dies nicht in der Ansicht, also außerhalb des Sichtfelds der Bilderfassungseinrichtung liegen sollte.
Bei einigen Ausführungsformen umfasst das Auswerten der Bilddaten ein Erkennen des Bewegungsbereichs. Es ist vorteilhaft, wenn ein zu überwachender Bewegungsbereich einer Fahrzeugfunktion in der Ansicht enthalten ist. Dann kann der Bewegungsbereich in der Ansicht anhand der Bilddaten erkannt werden, und so direkt die Position des Objekts relativ zu dem Bewegungsbereich. Es kann gegebenenfalls festgestellt werden, ob sich ein Objekt in der Nähe des Bewegungsbereichs befindet oder sogar mit diesem überschneidet. Es ist auch möglich, alternativ oder zusätzlich, Konstruktionsdaten des Fahrzeugs (wie CAD-Daten) zu verwenden, um die Position eines erkannten Objekts relativ zu dem Bewegungsbereich zu bestimmen.
Bei einigen Ausführungsformen umfasst das Verfahren ein Bestimmen einer Position des beweglichen Teils der Fahrzeugfunktion in seinem Bewegungsbereich. Auf diese Weise kann aus den Bilddaten ein Zustand der Fahrzeugfunktion bestimmt werden. Beispielsweise kann aus den Bilddaten ermittelt werden, ob ein Fenster geöffnet ist oder nicht, und gegebenenfalls wie weit das Fenster geöffnet ist. Alternativ oder zusätzlich können auch Daten aus der Fahrzeugsteuerung verwendet werden, die einen Zustand der Fahrzeugfunktion repräsentieren.
Bei einigen Ausführungsformen wird das Objekt klassifiziert. Während es ausreichend sein kann, festzustellen, wo sich ein (beliebiges) Objekt relativ zu dem Bewegungsbereich befindet, kann es vorteilhaft sein, das Objekt zu klassifizieren. Mit anderen Worten, es kann bestimmt werden, um welche Art von Objekt es sich handelt, beispielsweise ob es sich um eine erwachsende Person, ein Kind, ein Haustier, ein Gepäckstück, usw. handelt. Dabei kann ein auf maschinellem Lernen basierender Klassifizierer verwendet werden. Diese Information kann beispielsweise verwendet werden, um eine Relevanz bezüglich der Sicherheit bei der Ausführung der Fahrzeugfunktion festzustellen. Beispielsweise kann das Einklemmen einer Hand oder eines Arms eines Kindes als gefährlicher eingestuft werden als das Einklemmen eines Gepäckstücks.
Ein zweiter Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Steuern einer Fahrzeugfunktion in einem Fahrzeug, wobei die Fahrzeugfunktion ein bewegliches Teil aufweist, das bei Ausführung der Fahrzeugfunktion innerhalb eines frei zugänglichen Bewegungsbereichs beweglich ist. Das Verfahren gemäß dem zweiten Aspekt umfasst ein Erkennen eines Objekts, welches nicht Teil des Fahrzeugs ist, gemäß dem Verfahren nach dem ersten Aspekt. Es erfolgt ein Steuern der Fahrzeugfunktion abhängig von der bestimmten Position des erkannten Objekts relativ zu dem Bewegungsbereich des beweglichen Teils der Fahrzeugfunktion.
Das vorgenannte Verfahren nach dem zweiten Aspekt beruht folglich insbesondere darauf, dass zunächst ein Objekt erkannt und dessen Position relativ zu dem Bewegungsbereich bestimmt wird. Abhängig von der bestimmten Position kann dann die Fahrzeugfunktion gesteuert werden. Beispielsweise kann die Fahrzeugfunktion normal ausgeführt werden, wenn ein bestimmter Abstand zwischen dem Objekt und dem Bewegungsbereich besteht. Falls nicht, kann die Fahrzeugfunktion derart gesteuert werden, dass eine Kollision des beweglichen Teils der Fahrzeugfunktion mit dem Objekt verhindert wird.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens gemäß dem zweiten Aspekt beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Bei einigen Ausführungsformen umfasst das Steuern der Fahrzeugfunktion ein Blockieren oder Deaktivieren der Fahrzeugfunktion. Eine effektive Maßnahme zur Erhöhung der Sicherheit bei der Bewegung von bewegten Teilen in einem Fahrzeug ist das Blockieren der Fahrzeugfunktion, d.h. das Verhindern der Bewegung, abhängig von einer Position eines erkannten Objekts, insbesondere wenn die Gefahr einer Kollision des bewegten Teils mit dem Objekt besteht. Auf diese Weise kann ein Einklemmen des Objekts vermieden werden. Andererseits kann aber auch eine Beschädigung des bewegten Teils, beispielsweise einer Fensterscheibe verhindert werden.
Bei einigen Ausführungsformen wird die Fahrzeugfunktion blockiert oder deaktiviert, wenn sich ein erkanntes Objekt mit dem Bewegungsbereich überschneidet, um ein Ausführen der Fahrzeugfunktion zu verhindern. Alternativ kann das Erkennen eines Objekts bei Betätigen der Fahrzeugfunktion erfolgen und die Fahrzeugfunktion im Falle einer Überschneidung eines erkannten Objekts mit dem Bewegungsbereich blockiert werden. Eine Überschneidung kann festgestellt werden, wenn sich das Objekt und der Bewegungsbereich überlappen. Dazu kann vorgesehen sein, dass eine Bounding Box des Objekts als Hilfsmittel herangezogen wird, um eine Überlappung festzustellen. Dadurch kann ein gewisser Puffer oder Sicherheitsabstand bereitgestellt werden. Auch kann um den Bewegungsbereich herum ein Sicherheitsabstand vorgesehen sein, wobei eine Überschneidung des Objekts mit dem Bewegungsbereich bereits dann festgestellt wird, wenn sich das Objekt (bzw. eine Bounding Box des Objekts) mit dem Sicherheitsbereich überschneidet.
In dem ersten zuvor erwähnten Fall kann vorgesehen sein, dass eine permanente Überwachung, d.h. Bilderfassung, Bildauswertung, Objekterkennung und Positionsbestimmung stattfindet. Eine Fahrzeugfunktion kann dann bereits im Vorfeld deaktiviert werden, dann sich das Objekt mit dem Bewegungsbereich überschneidet, beispielsweise falls eine Person ihren Arm aus einem offenen Fenster streckt. Eine Betätigung des Fensterhebers zum Schließen kann dann bereits deaktiviert werden. Es kann jedoch auch vorgesehen sein, wie oben im zweiten Fall ausgeführt, dass eine Prüfung der Position eines Objekts erst mit Betätigung der Fahrzeugfunktion stattfindet, beispielsweise sobald ein Fensterheber zum Schließen eines Fensters betätigt wird. Das reduziert den Aufwand der Objekterkennung, da diese nur ausgeführt wird, wenn es notwendig ist. Die Fahrzeugfunktion kann dann erst ausgeführt werden, wenn dies gefahrlos möglich ist, d.h. wenn sich kein Objekt mit dem Bewegungsbereich überschneidet. Es kann insbesondere vorgesehen sein, die Fahrzeugfunktion nur insofern zu blockieren, wenn eine Kollision des beweglichen Teils mit dem Objekt droht. Beispielsweise kann ein Fensterheber nur in Schließrichtung blockiert werden, während ein Öffnen jederzeit möglich ist.
Bei einigen Ausführungsformen wird die Fahrzeugfunktion blockiert, wenn sich ein erkanntes Objekt im Fahrzeuginnraum von innen in den Bewegungsbereich hinein bewegt und/oder dem Bewegungsbereich nähert, und/oder wenn sich ein erkanntes Objekt außerhalb des Fahrzeugs von außen in den Bewegungsbereich hinein bewegt und/oder dem Bewegungsbereich nähert. Dies erhöht die Sicherheit weiter, da beispielsweise durch ein geöffnetes Fahrzeugfenster sowohl von innen als auch von außen Objekte durch das geöffnete Fenster gelangen können. Beispielsweise kann ein Passagier seinen Arm herausstrecken, oder eine andere Person kann von außen ihren Arm in das Fahrzeug strecken. Zu diesem Zweck können entsprechend im Fahrzeuginnenraum als auch außen am Fahrzeug eine oder mehrere Bilderfassungseinrichtungen vorgesehen sein. Beispielsweise kann ein Fahrzeug bereits für andere Zwecke über Außenkameras verfügen, welche auch zur Objekterkennung im Sinne der Erfindung verwendet werden können.
Bei einigen Ausführungsformen ist die Fahrzeugfunktion ein Fensterheber, wobei der Bewegungsbereich eine Fensteröffnung des Fahrzeugs ist, welche durch Bewegung einer Fensterscheibe verschlossen oder geöffnet werden kann, wobei der Fensterheber in einer Schließrichtung blockiert wird, wenn sich ein erkanntes Objekt mit einem offenen Teil der Fensteröffnung überschneidet. Wie bereits beschrieben, ist das Verfahren geeignet, einen Einklemmschutz für elektrische Fensterheber bereitzustellen. Bei dieser alltäglichen Komfortfunktion besteht ein besonders hohes Risiko, insbesondere für Kinder, dass ein Körperteil eingeklemmt wird. Gegebenenfalls kann vorgesehen sein, dass ein schließendes Fenster nicht nur stehenbleibt oder abbremst, sondern sich wieder öffnet.
Bei einigen Ausführungsformen ist die Fahrzeugfunktion ein Schiebedachantrieb, wobei der Bewegungsbereich eine Schiebedachöffnung des Fahrzeugs ist, welche durch Bewegung eines Schiebedachs verschlossen oder geöffnet werden kann, wobei der Schiebedachantrieb in einer Schließrichtung blockiert wird, wenn sich ein erkanntes Objekt mit einem offenen Teil der Schiebedachöffnung überschneidet. Ein Einklemmschutz ist insbesondere auch für ein Schiebedach von großem Nutzen, beispielsweise wenn eine Person einen Arm oder ihren Kopf aus dem geöffneten Schiebedach streckt. In diesem Fall wird effektiv ein Einklemmen verhindert, indem die Position der Person bezüglich eines geöffneten Schiebedachs bestimmt wird und ein Schließen gegebenenfalls unterbunden oder gestoppt wird. Auch hier kann gegebenenfalls kann vorgesehen sein, dass ein schließendes Schiebedach nicht nur stehenbleibt oder abbremst, sondern sich wieder öffnet.
Bei einigen Ausführungsformen ist die Fahrzeugfunktion eine elektrisch schließende Fahrzeugtür oder -klappe, wie eine Heckklappe des Fahrzeugs. Es kann beispielsweise vorgesehen sein, dass eine Tür oder die Heckklappe durch Betätigung eines Knopfs an der entsprechenden Tür bzw. an der Heckklappe oder einen Knopf, Touchscreen, o.ä. im Cockpit geöffnet bzw. geschlossen werden kann. Bei der Bewegung einer Tür zum Verschließen der entsprechenden Türöffnung bzw. bei der Bewegung der Heckklappe zum Verschließen des Kofferraums kann daher ebenfalls ein Einklemmgefahr bestehen. Die entsprechende Fahrzeugfunkton kann in Schließrichtung blockiert werden, wenn sich ein erkanntes Objekt mit der Türöffnung bzw. Kofferraumöffnung überschneidet, wie oben für die Fenster bzw. Schiebedach beschrieben.
Andere Fahrzeugfunktionen mit beweglichen Teilen sind ebenfalls denkbar, die gemäß dem Verfahren gesteuert werden, um ein Einklemmen von Objekten zu verhindern. Beispielsweise kann das Verfahren bei elektrisch verstellbaren Komponenten im Fahrzeuginnenraum zum Einsatz kommen, bei denen eine Einklemmgefahr oder Beschädigungsgefahr besteht, z.B. ein klappbarer oder verschwenkbarer Bildschirm oder Tisch.
Ein dritter Aspekt der Erfindung betrifft ein System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach dem ersten und/oder zweiten Aspekt der Erfindung ausführt. Das System weist außerdem zumindest eine Bilderfassungseinrichtung auf, die zum Erfassen von Bilddaten eingerichtet ist, sodass die Bilddaten eine Ansicht zumindest eines Teils eines Innenraums des Fahrzeugs und/oder zumindest einen Teil einer Außenseite des Fahrzeugs repräsentieren.
Ein vierter Aspekt der Erfindung betrifft ein Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach dem dritten Aspekt dieses veranlassen, das Verfahren nach dem ersten und/oder zweiten Aspekt auszuführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.
Das System nach dem dritten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Dies gilt auch für die in Bezug auf den zweiten Aspekt der Erfindung erläuterten Merkmale und Vorteile, die entsprechend auch für die weiteren Aspekte der Erfindung gelten.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.
Dabei zeigt:

1 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform;
2 eine Ansicht eines Fahrzeuginnenraums; und
3 eine Draufsicht eines Fahrzeugs mit einer Person.

In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.
In 1 ist ein Verfahren 100 zum Steuern einer Fahrzeugfunktion schematisch dargestellt. Das Verfahren 100 kann eine Einklemmschutzfunktion für elektrische Fensterheber oder ein Schiebedach eines Fahrzeugs 1 bereitstellen. Zur begleitenden Erläuterung ist in 2 ein Innenraum 2 eines Fahrzeugs 1 schematisch mit vier Sitzen 11, 12, 13, 14 dargestellt, wohingegen in 3 eine Draufsicht auf das Fahrzeug 1 mit einer Person 10 neben dem Fahrzeug 1 dargestellt ist.
Das Fahrzeug 1 weist Fahrzeugfunktionen auf, welche bewegliche Teil aufweisen, die sich in einem Bewegungsbereich bewegen, wenn die Fahrzeugfunktion ausgeführt wird. Insbesondere können dies elektrische Fensterheber 15 sein, welche eine Fensterscheibe herauf- oder herunterfahren, um ein entsprechendes Seitenfenster 7, 8 zu schließen bzw. zu öffnen. Die Fensteröffnungen 17, 18 bilden dabei den jeweiligen Bewegungsbereich einer Fensterscheibe (nicht dargestellt) als bewegliches Teil. Es kann auch ein Schiebedach 9 vorgesehen sein, welches über einen entsprechenden Schiebedachantrieb 16 geöffnet oder geschlossen werden kann, wobei sich das Schiebedach 9 in einer Schiebdachöffnung 19 bewegt. Es versteht sich, dass Komponenten eines Datenverarbeitungssystems vorgesehen sind, welche beispielsweise einen Prozessor 5 (z.B. ECU) mit einem Speicher sowie zumindest eine Steuereinheit 6 zur Steuerung des Fahrzeugfunktion aufweisen können.
Bezugnehmend auf 1 und begleitend dazu auf 2 und 3 wird ein Verfahren 100 zum Steuern einer Fahrzeugfunktion, wie beispielsweise eines Fensterhebers beschrieben. Das Verfahren umfasst die im Folgenden beschriebenen Schritte S1 bis S5, wobei die Schritte S1 bis S4 ein Verfahren zum Erkennen eines Objekts in einem Fahrzeug beschreiben. Das Verfahren 100 kann so ausgebildet sein, dass kontinuierlich Objekte erkannt werden und gegebenenfalls eine Fahrzeugfunktion gesteuert, beispielsweise ein Fensterheber blockiert wird. Es kann jedoch auch vorgesehen sein, dass das Verfahren 100 nur bei Betätigen der Fahrzeugfunktion als Sicherheitsprüfung ausgeführt wird, bevor die Ausführung der Fahrzeugfunktion freigegeben oder gegebenenfalls blockiert wird.
Zunächst werden in einem Schritt S1 Bilddaten erfasst. Dazu kann eine Kamera 3 im Innenraum 2 des Fahrzeugs 1 vorgesehen sein, um eine entsprechende Ansicht zu erfassen. Zusätzlich können auch Außenkameras 4 vorgesehen sein, um eine Außenansicht des Fahrzeugs 1 aufzunehmen. Beispielsweise eine solche Außenansicht kann dabei beispielsweise lediglich den Bereich um die Seitenfenster 7, 8 umfassen. Es ist jedoch auch denkbar eine Draufsicht des Fahrzeugs 1 zu verwenden, welche durch eine entsprechende Komposition von Außenansichten auf bekannte Weise erzeugt werden kann.
In einem Schritt S2 werden die Bilddaten ausgewertet. Dies kann mittels neuronalen Netzen und/oder Bildverarbeitung erfolgen. Es wird in der Ansicht ein Objekt erkannt (Schritt S3), welches nicht Teil des Fahrzeugs 1 ist. Ein solches Objekt kann beispielsweise eine Person 10 (eine erwachsende Person oder ein Kind) sein. In 3 ist eine Person 10 neben dem Fahrzeug 1 dargestellt, die ihren Arm durch das offene Fenster 7 streckt. Auch können Gegenstände, wie Gepäckstücke als ein solches Objekt identifiziert werden. Es ist vorteilhaft, wenn einer erkannten Person ein Skelettmodell zugewiesen wird. Ein solches Modell kann aus einem Machine-Learning-Modell stammen und repräsentiert die Person mit ihren Bewegungen im Raum. Bei der Bildauswertung kann gegebenenfalls auch der Zustand der Fenster 7, 8 bzw. des Schiebdachs 9 erkannt werden, also ob diese geschlossen oder geöffnet sind, und wenn ja wie weit. Dies kann jedoch auch den Fahrzeugdaten entnommen werden, welche den Öffnungsgrad der Fenster 7, 8 und des Schiebedachs 9 direkt wiedergeben können. Dies kann beispielsweise durch entsprechende Sensorik ermittelt werden.
Wenn ein Objekt erkannt und gegebenenfalls durch ein entsprechendes dreidimensionales Modell dargestellt wurde, wird in einem Schritt S4 die Position des erkannten Objekts 10 bezüglich des Fahrzeugs 1 bestimmt. Genauer gesagt, wird die Position des erkannten Objekts 10 relativ zu einem Bewegungsbereich des beweglichen Teils der Fahrzeugfunktion bestimmt. Insbesondere kann eine Position einer Person 10 bezüglich der Seitenfenster 7, 8 und des Schiebedachs 9 bestimmt werden. Es kann insbesondere festgestellt werden, ob sich ein Teil der Person 10, wie ein Arm, eine Hand oder Kopf in einer der Fensteröffnungen oder dem offenen Schiebedach 9 befindet oder außerhalb dieser Bereiche befindet. Durch Verwendung eines Modells der Person 10 können auch Positionen von Körperteilen ermittelt werden, die nicht von einer der Kameras 3, 4 erfasst werden und somit nicht in der Ansicht enthalten sind.
Abhängig von der erkannten Position der Person 10 werden die Fahrzeugfunktionen entsprechend gesteuert (Schritt S5). Falls sich in den entsprechenden Bewegungsbereichen 17, 18, 19 der Fensterscheiben oder des Schiebedachs kein Hindernis befindet, besteht keine Gefahr des Einklemmens und die Fensterheber 15 oder der Schiebedachantrieb 16 können normal angesteuert werden. Falls jedoch erkannt wird, dass sich die Person 10 bzw. zumindest ein Körperteil der Person 10 im Bereich einer der Fensteröffnungen oder des Schiebdach befindet (in 3 durch den ausgestreckten linken Arm der Person dargestellt) kann die Ausführung des entsprechenden Fensterhebers blockiert werden. Auf diese Weise wird ein Einklemmen des Arms der Person 10 verhindert.
Während vorhergehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorhergehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE

100: Verfahren zum Steuern einer Fahrzeugfunktion
1: Fahrzeug
2: Fahrzeuginnenraum
3: Kamera (innen)
4: Kamera (außen)
5: Prozessor
6: Steuereinheit
7: Seitenfenster links
8: Seitenfenster rechts
9: Schiebedach
10: Person
11: Fahrersitz
12: Beifahrersitz
13: Rücksitz links
14: Rücksitz rechts
15: Fensterheber
16: Schiebdachantrieb
17: Fensteröffnung links
18: Fensteröffnung rechts
19: Schiebedachöffnung

Claims

Verfahren zum Erkennen von Objekten (10) in einem Fahrzeug (1), wobei das Fahrzeug (1) zumindest eine Fahrzeugfunktion (15, 16) mit einem beweglichen Teil aufweist, wobei das bewegliche Teil bei Ausführung der Fahrzeugfunktion (15, 16) innerhalb eines frei zugänglichen Bewegungsbereichs (17, 18, 19) beweglich ist, wobei das Verfahren umfasst: - Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung (3, 4), wobei die Bilddaten eine Ansicht eines Innenraums (2) des Fahrzeugs (1) und/oder eine Außenseite des Fahrzeugs (1) zumindest teilweise repräsentieren; - Auswerten der Bilddaten, um ein Objekt (10) in der Ansicht zu erkennen, welches nicht Teil des Fahrzeugs (1) ist; und - Bestimmen einer Position des erkannten Objekts (10) bezüglich des Fahrzeugs (1), wobei die Position des erkannten Objekts (10) relativ zu dem Bewegungsbereich (17, 18, 19) des beweglichen Teils der Fahrzeugfunktion bestimmt wird.
Verfahren nach Anspruch 1, wobei die Ansicht den Bewegungsbereich (17, 18, 19) zumindest teilweise enthält, wobei das Bestimmen der Position des Objekts (10) ein Bestimmen umfasst, ob sich das Objekt (10) mit dem Bewegungsbereich (17, 18, 19) überschneidet.
Verfahren nach Anspruch 1 oder 2, wobei einem in der Ansicht erkannten Objekt (10) ein dreidimensionales Modell zugewiesen wird, und die Position des Objekts (10) mit Hilfe des dreidimensionalen Modells bestimmt wird.
Verfahren nach Anspruch 3, wobei das Modell das Objekt (10) vollständig repräsentiert, wobei, wenn das Objekt (10) nur teilweise in der Ansicht enthalten ist, das Bestimmen der Position ein Bestimmen einer Position von zumindest einem Teil des Objekts (10) mit Hilfe des Modells umfasst, welcher nicht in der Ansicht enthalten ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Auswerten der Bilddaten ein Erkennen des Bewegungsbereichs (17, 18, 19) umfasst.
Verfahren nach Anspruch 5, des Weiteren umfassend ein Bestimmen einer Position des beweglichen Teils der Fahrzeugfunktion (15, 16) in seinem Bewegungsbereich (17, 18, 19).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt (10) klassifiziert wird.
Verfahren (100) zum Steuern einer Fahrzeugfunktion (15, 16) in einem Fahrzeug (1), wobei die Fahrzeugfunktion (15, 16) ein bewegliches Teil aufweist, das bei Ausführung der Fahrzeugfunktion (15, 16) innerhalb eines frei zugänglichen Bewegungsbereichs (17, 18, 19) beweglich ist, wobei das Verfahren umfasst: - Erkennen eines Objekts (10), welches nicht Teil des Fahrzeugs (1) ist, gemäß dem Verfahren nach einem der vorhergehenden Ansprüche; und - Steuern der Fahrzeugfunktion (15, 16) abhängig von der bestimmten Position des erkannten Objekts (10) relativ zu dem Bewegungsbereich (17, 18, 19) des beweglichen Teils der Fahrzeugfunktion (15, 16).
Verfahren nach Anspruch 8, wobei das Steuern der Fahrzeugfunktion (15, 16) ein Blockieren der Fahrzeugfunktion (15, 16) umfasst.
Verfahren nach Anspruch 9, wobei die Fahrzeugfunktion (15, 16) blockiert wird, wenn sich ein erkanntes Objekt (10) mit dem Bewegungsbereich (17, 18, 19) überschneidet, um ein Ausführen der Fahrzeugfunktion (15, 16) zu verhindern, oder wobei das Erkennen eines Objekts (10) bei Betätigen der Fahrzeugfunktion (15, 16) erfolgt und die Fahrzeugfunktion (15, 16) im Falle einer Überschneidung eines erkannten Objekts (10) mit dem Bewegungsbereich (17, 18, 19) blockiert wird.
Verfahren nach Anspruch 9 oder 10, wobei die Fahrzeugfunktion (15, 16) blockiert wird, wenn sich ein erkanntes Objekt im Innenraum (2) des Fahrzeugs (1) von innen in den Bewegungsbereich (17, 18, 19) hinein bewegt und/oder dem Bewegungsbereich (17, 18, 19) nähert, und/oder wenn sich ein erkanntes Objekt (10) außerhalb des Fahrzeugs (1) von außen in den Bewegungsbereich (17, 18, 19) hinein bewegt und/oder dem Bewegungsbereich (17, 18, 19) nähert.
Verfahren nach einem der Ansprüche 8 bis 10, wobei die Fahrzeugfunktion ein Fensterheber (15) ist, wobei der Bewegungsbereich eine Fensteröffnung (17, 18) des Fahrzeugs (1) ist, welche durch Bewegung einer Fensterscheibe verschlossen oder geöffnet werden kann, wobei der Fensterheber in einer Schließrichtung blockiert wird, wenn sich ein erkanntes Objekt mit einem offenen Teil der Fensteröffnung (17, 18) überschneidet.
Verfahren nach einem der Ansprüche 8 bis 11, wobei die Fahrzeugfunktion ein Schiebedachantrieb (16) ist, wobei der Bewegungsbereich eine Schiebedachöffnung (19) des Fahrzeugs (1) ist, welche durch Bewegung eines Schiebedachs (9) verschlossen oder geöffnet werden kann, wobei der Schiebedachantrieb (16) in einer Schließrichtung blockiert wird, wenn sich ein erkanntes Objekt mit einem offenen Teil der Schiebedachöffnung (19) überschneidet.
System zur Datenverarbeitung, aufweisend zumindest einen Prozessor (5), der so konfiguriert ist, dass er das Verfahren nach einem der vorhergehenden Ansprüche ausführt, sowie zumindest eine Bilderfassungseinrichtung (3, 4), die zum Erfassen von Bilddaten eingerichtet ist, sodass die Bilddaten eine Ansicht zumindest eines Teils eines Innenraums (2) des Fahrzeugs (1) und/oder zumindest einen Teil einer Außenseite des Fahrzeugs (1) repräsentieren.
Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach Anspruch 14 dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.