DE102017124731A1

DE102017124731A1 - Verfahren und vorrichtung zur erfassung des türzustandes

Info

Publication number: DE102017124731A1
Application number: DE102017124731.9A
Authority: DE
Inventors: Joseph Machak; Mohannad Murad
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-10-24
Filing date: 2017-10-23
Publication date: 2018-04-26
Also published as: US20180111480A1; US10220704B2; CN107972609B; CN107972609A

Abstract

Ein Verfahren und eine Vorrichtung zum Erkennen eines Zustands einer Fahrzeugtür sind vorgesehen. Das Verfahren enthält die Erfassung eines Zustandes einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs, das Ermitteln einer auszuführenden Funktion aus einer Vielzahl von Funktionen basierend auf dem erfassten Zustand der Tür, und das Ausführen der bestimmten Funktion. Verfahren und Vorrichtung können in einem Fahrzeug zur Anzeige grafischer Indikatoren implementiert werden, die über eine angelehnte Tür warnen, oder als zusätzliches Erfassungssystem zu einem festverdrahteten Türstatus-Sensor.

Description

EINLEITUNG
Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen beziehen sich auf die Erfassung des Türzustandes. Insbesondere betreffen Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen die Erfassung des Türzustandes aus Kamerabildern.
ZUSAMMENFASSUNG
Eine oder mehrere exemplarische Ausführungsformen bieten ein Verfahren und eine Vorrichtung zur Erfassung eines Zustandes einer Tür durch eine Kamera an einem Fahrzeug. Genauer, eine oder mehrere exemplarische Ausführungsformen bieten ein Verfahren und eine Vorrichtung zur Erfassung, ob eine Tür oder andere Fahrzeugöffnung offen oder geschlossen ist, mittels einer Seitenkamera eines Fahrzeugs sowie das Senden einer Benachrichtigung über den Zustand der Tür an einem Benutzer.
Gemäß einem Aspekt einer exemplarischen Ausführungsform ist ein Verfahren zur Erfassung eines Zustands einer Fahrzeugtür bereitgestellt. Das Verfahren enthält die Erfassung eines Zustandes einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs; das Ermitteln einer auszuführenden Funktion aus einer Vielzahl von Funktionen basierend auf dem erfassten Zustand der Tür; und das Ausführen der bestimmten Funktion.
Die Vielzahl von Funktionen kann die Ausgabe einer Benachrichtigung über den Zustand der Tür, das Ausführen einer Fahrzeugfunktion, die Erfassung des Ein- und Aussteigens von Insassen, die Steuerung von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, Blockierung von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, adaptive Geschwindigkeitsregelung und Laden eines Insassen-Profils einschließlich einer oder mehrerer Einstellungen für Sitzposition, Lenkradstellung und Infotainment-Einstellungen umfassen.
Das Erfassen des Zustands einer Tür kann das Vergleichen mindestens eines Bildes mit einem gespeicherten Vergleichsbild des Fahrzeugs, das Ermitteln eines Zustandes einer Öffnung eines Fahrzeugs, einer Heckklappe, eines Kofferraums, einer vorderen Tür, einer hinteren Tür, sowohl einer Vordertür und einer Hintertür basierend auf dem Vergleich mindestens eines Bildes mit einem gespeicherten Vergleichsbild sowie die Ausgabe des Zustandes umfassen.
Die Ausführung der bestimmten Funktion kann die Ausgabe der Warnmeldung zum Zustand der Tür umfassen, wenn der Zustand anzeigt, dass mindestens eine Öffnung eines Fahrzeugs, eine Heckklappe, eine Motorhaube, ein Kofferraum, eine Vordertür, eine Hintertür oder sowohl eine Vordertür und eine Hintertür offen ist.
Das Erfassen des Zustands einer Tür kann umfassen: das Ermitteln eines Abstands zwischen Referenzpunkten in mindestens einem Bild; und Ermitteln eines Zustandes einer Öffnung eines Fahrzeugs, einer Heckklappe, eines Kofferraums, einer Vordertür, einer Hintertür, sowohl einer Vordertür und einer Hintertür basierend auf dem Abstand zwischen den Referenzpunkten in mindestens einem Bild; und die Ausgabe des Zustandes.
Das Verfahren kann weiterhin das Erfassen enthalten, ob ein Insasse im Fahrzeug ist, und das Ausführen der Funktion kann die Ausgabe der Benachrichtigung durch Übertragung einer Warnung an ein Mobilgerät eines Benutzers umfassen, falls das Ermitteln eine Warnmeldung zum Zustand der Tür ergibt und der Insasse nicht im Fahrzeug ist.
Das Ausführen der Funktion kann die Ausgabe der Benachrichtigung umfassen, und die Ausgabe der Benachrichtigung kann die Anzeige eines Indikators mit einer graphischen Darstellung entsprechend dem Zustand der Tür umfassen.
Das Verfahren kann weiterhin das Beleuchten der Tür beinhalten.
Das mindestens eine von der Kamera empfangene Bild kann ein Bild der Außenseite des Fahrzeugs enthalten.
Die Kamera kann mindestens entweder in einem Seitenspiegel oder oberhalb der Fahrzeugtür angeordnet sein.
Gemäß einem Aspekt einer weiteren exemplarischen Ausführungsform ist eine Vorrichtung zum Erkennen des Zustands einer Fahrzeugtür vorgesehen. Die Vorrichtung beinhaltet mindestens einen Prozessor, der computerausführbare Anweisungen umfasst; und mindestens einen Prozessor, der konfiguriert ist, um die computerausführbaren Anweisungen auszuführen. Die computerausführbaren Anweisungen bringen den mindestens einen Prozessor dazu: den Zustand einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs zu erkennen; eine auszuführende Funktion aus einer Vielzahl von Funktionen basierend auf dem erfassten Zustand der Tür zu bestimmen; und die bestimmte Funktion auszuführen.
Die Vielzahl von Funktionen kann die Ausgabe einer Benachrichtigung über den Zustand der Tür, das Ausführen einer Fahrzeugfunktion, die Erfassung des Ein- und Aussteigens von Insassen, die Steuerung von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, Blockierung von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, adaptive Geschwindigkeitsregelung und Laden eines Insassen-Profils einschließlich einer oder mehrerer Einstellungen für Sitzposition, Lenkradstellung und Infotainment-Einstellungen umfassen.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor dazu bringen, den Zustand einer Tür durch Vergleichen mindestens eines Bildes mit einem gespeicherten Vergleichsbild des Fahrzeugs zu bestimmen, einen Zustand mindestens einer Öffnung eines Fahrzeugs, wie einer Heckklappe, eines Kofferraums, einer Vordertür, einer Hintertür, sowohl einer Vordertür und einer Hintertür, basierend auf dem Vergleich mindestens eines Bildes mit einem gespeicherten Vergleichsbild zu bestimmen sowie den Zustand auszugeben.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor weiterhin dazu bringen, die bestimmte Funktion auszuführen durch Ausgabe der Warnmeldung zum Zustand der Tür, wenn der Zustand anzeigt, dass mindestens eine Öffnung eines Fahrzeugs, eine Heckklappe, eine Motorhaube, ein Kofferraum, eine Vordertür, eine Hintertür oder sowohl eine Vordertür und eine Hintertür offen ist.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor weiterhin dazu bringen, den Zustand einer Tür zu erfassen durch: das Ermitteln eines Abstands zwischen Referenzpunkten in mindestens einem Bild; und Ermitteln eines Zustandes einer Öffnung eines Fahrzeugs, einer Heckklappe, eines Kofferraums, einer Vordertür, einer Hintertür, sowohl einer Vordertür und einer Hintertür basierend auf dem Abstand zwischen den Referenzpunkten in mindestens einem Bild; und die Ausgabe des Zustandes.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor weiterhin dazu bringen zu bestimmen, ob ein Insasse im Fahrzeug ist und die Funktion zur Ausgabe der Benachrichtigung durch Übertragung einer Warnung an ein Mobilgerät eines Benutzers auszuführen, falls das Ermitteln die Ausgabe einer Warnmeldung zum Zustand der Tür ergibt und der Insasse nicht im Fahrzeug ist.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor weiterhin dazu bringen, die Funktion zur Ausgabe der Benachrichtigung durch Anzeige eines Indikators mit einer graphischen Darstellung entsprechend dem Zustand der Tür auszuführen.
Die Vorrichtung kann weiterhin eine Beleuchtungsvorrichtung enthalten, und die computerausführbaren Anweisungen können den mindestens einen Prozessor weiterhin dazu bringen, die Beleuchtungsvorrichtung zum Beleuchten der Tür zu steuern.
Das mindestens eine von der Kamera empfangene Bild kann ein Bild der Außenseite des Fahrzeugs enthalten.
Die Vorrichtung kann weiterhin die Kamera enthalten, die mindestens entweder in einem Seitenspiegel oder oberhalb der Fahrzeugtür angeordnet sein kann.
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein nichtflüchtiges computerlesbares Medium bereitgestellt, das computerausführbare Anweisungen umfasst, die durch einen Prozessor ausführbar sind, um das Verfahren zum Erkennen des Zustands einer Fahrzeugtür durchzuführen. Das Verfahren enthält das Erkennen eines Zustandes einer Öffnung eines Fahrzeugs basierend auf mindestens einem von einer extern blickenden Kamera eines Fahrzeugs empfangenen Bild; das Ermitteln, ob über den Zustand der Öffnung auf Grundlage des erfassten Zustandes der Öffnung gewarnt werden muss; und die Ausgabe einer Warnmeldung zum Zustand der Öffnung, falls das Ermitteln ergibt, das über den Zustand der Öffnung gewarnt werden muss.
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
Figurenliste

1 zeigt ein Blockdiagramm einer Vorrichtung, die den Zustand einer Fahrzeugtür gemäß einer exemplarischen Ausführungsform erkennt;
2 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen des Zustands einer Fahrzeugtür gemäß einer exemplarischen Ausführungsform;
3A und 3B zeigen Darstellungen einer Seitenkameraansicht der Fahrzeugtüren gemäß einem Aspekt einer exemplarischen Ausführungsform.
4A und 4B zeigen Darstellungen möglicher Positionen von Kameras gemäß Aspekten der exemplarischen Ausführungsformen; und
5 zeigt eine Darstellung der graphischen Indikatoren, die gemäß einem Aspekt einer exemplarischen Ausführungsform zu angelehnten Türen warnen.

AUSFÜHRLICHE BESCHREIBUNG
Eine Vorrichtung und ein Verfahren, die einen Zustand einer Fahrzeugtür erkennen, werden nun im Detail unter Bezugnahme auf die 1-5 der zugehörigen Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen.
Die folgende Offenbarung ermöglicht es Fachleuten, das Konzept der Erfindung umzusetzen. Jedoch sind die hierin offenbarten Ausführungsbeispiele lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jedes Ausführungsbeispiels normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, „gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element konfiguriert ist, um Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
Fahrzeuge, wie PKW, LKW, Sport Utility Vehicles (SUV), Mobile-Homes (RV), Schiffe, Luftfahrzeuge usw., enthalten oft Türen oder sonstige Öffnungen. So können beispielsweise Fahrzeuge Öffnungen oder Türen, einschließlich einer oder mehrerer vorderer und hinterer Türen der Beifahrerseite, der vorderen und hinteren Türen der Fahrerseite, Motorhaube, Dachfenster und Heckklappe oder Kofferraum haben. Türen können jede Barriere sein, die eine Öffnung eines Fahrzeugs abdeckt. Die Barriere kann gleitend oder klappbar sein. Zusätzlich können Fahrzeuge mit Kameras ausgerüstet sein, die Informationen zum Fahrzeug und der Fahrzeugumgebung oder Umgebung liefern.
Häufig wird eine Fahrzeugtür ungewollt offengelassen oder angelehnt. Dies kann durch einen oder mehrere im Fahrzeug vorhandene Sensoren oder durch die Kameras erkannt werden, die Informationen zum Fahrzeug und der Fahrzeugumgebung oder Umgebung liefern. In einem Beispiel können eine oder mehrere Kameras als Backup-System zu einem festverdrahteten Schaltsensor verwendet werden, der das Tür öffnen/schließen erkennt.
Das Ergebnis der Erfassung des Türzustandes kann verwendet werden, um Funktionen ausführen. In einem Beispiel kann eine Benachrichtigung an einen Insassen des Fahrzeugs oder einen Bediener oder Eigentümer eines Fahrzeugs bereitgestellt werden und über eine angelehnte Tür informieren, nachdem durch eine Kamera des Fahrzeugs eine angelehnte Tür erkannt wurde. Zusätzlich können basierend auf der vom Erfassungssensor bereitgestellten Information, welche Kombination von Türen, Fenstern, Klappen und Öffnungen offen oder geschlossen ist, eine oder mehrere Funktionen eingeleitet und ausgeführt werden. Die eine oder mehreren Funktionen können die Steuerung von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, Blockierung von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, adaptive Geschwindigkeitsregelung und das Laden eines Insassen-Profils einschließlich einer oder mehrerer Einstellungen für Sitzposition, Lenkradstellung und Infotainment-Einstellungen umfassen.
1 zeigt ein Blockdiagramm einer Vorrichtung zum Erkennen eines Zustands einer Tür 100 gemäß einer exemplarischen Ausführungsform. Wie in 1 gezeigt, enthält die Vorrichtung zum Erkennen des Zustands einer Tür 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, eine Ausgabe 104, eine Benutzereingabe 106, einen Türstatus-Sensor 107 und eine Kommunikationsvorrichtung 108. Jedoch ist die Vorrichtung zum Erkennen des Zustands einer Tür 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente enthält und/oder eines oder mehrere der vorgenannten Elemente weglässt. Die Vorrichtung zum Erkennen des Zustands einer Tür 100 kann als Teil eines Fahrzeugs oder als selbständige Komponente implementiert werden.
Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung zum Erkennen des Zustands einer Tür 100. Die Steuerung 101 kann einen oder mehrere Speicher 103, eine Ausgabe 104, eine Benutzereingabe 106, einen Türstatus-Sensor 107 und eine Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Zustands einer Tür 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
Die Steuerung 101 ist konfiguriert, um Informationen von einem oder mehreren Speichern 103, der Ausgabe 104, der Benutzereingabe 106, dem Türstatus-Sensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Zustands einer Tür 100 zu senden und/oder zu empfangen. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden oder können direkt von einem oder mehreren von dem Speicher 103, der Ausgabe 104, der Benutzereingabe 106, dem Türstatus-Sensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Zustands einer Tür 100 gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN) und andere geeignete Verbindungen, wie z. B. Ethernet.
Die Stromversorgung 102 liefert Strom an eines oder mehrere Dinge von Steuerung 101, Speicher 103, Ausgabe 104, Benutzereingabe 106, Türstatus-Sensor 107 und Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Zustandes einer Tür 100. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
Der Speicher 103 ist zum Speichern von Information und zum Wiedergewinnen von Informationen konfiguriert, die von der Vorrichtung zum Erkennen eines Zustandes einer Tür 100 verwendet werden. Der Speicher 103 kann von der Steuerung 101 gesteuert werden, um Informationen über den Zustand einer oder mehrerer Türen, Fenster, Öffnungen usw., zu speichern und abzurufen. So kann beispielsweise der Speicher 103 Informationen zum Zustand einer von mehreren Fahrzeug-Öffnungen, einer Haube, eines Dachfensters, einer vorderen Tür der Beifahrerseite, einer hinteren Tür der Beifahrerseite, einer vorderen Tür der Fahrerseite, einer hinteren Tür der Fahrerseiten und einer Heckklappe oder eines Kofferraums enthalten. Die Statusinformationen können angeben, ob eine oder mehrere Türen geschlossen oder angelehnt sind. Der Speicher 103 kann auch die computerausführbaren Anweisungen enthalten, die so konfiguriert sind, dass sie durch einen Prozessor ausgeführt werden, um die Funktionen der Vorrichtung zum Erkennen des Zustands einer Tür 100 auszuführen.
Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
Die Ausgabe 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Die Ausgabe 104 kann über die Steuerung 101 gesteuert werden, um Ausgaben für den Benutzer der Vorrichtung zum Erkennen eines Zustands einer Tür 100 bereitzustellen. Die Ausgabe 104 kann eines oder mehrere Dinge aus einem Lautsprecher, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmelde-Vorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmelde-Vorrichtung, einer Tap-Rückmelde-Vorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Instrumentenanzeige usw. sein. Zusätzlich kann die Ausgabe 104 auch eine transparente Anzeige an einer Windschutzscheibe, einem Heckfenster, den Seitenfenstern und Spiegeln eines Fahrzeugs enthalten.
Die Ausgabe 104 kann eine Benachrichtigung ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung enthalten. Die Benachrichtigung kann Informationen bezüglich des Zustandes enthalten, welche Öffnung oder Tür(en) von Dachfenster, Motorhaube, Fenstern, der vorderen Tür der Beifahrerseite, der hinteren Tür der Beifahrerseite, der vorderen Tür der Fahrerseite, der hinteren Tür der Fahrerseite sowie Heckklappe oder Kofferraum angelehnt sind. Die Ausgabe 104 kann einen grafischen Indikator bezüglich des Zustandes enthalten, welche Öffnung oder Tür(en) von Fenstern, Motorhaube, Dachfenster, der vorderen Tür der Beifahrerseite, der hinteren Tür der Beifahrerseite, der vorderen Tür der Fahrerseite, der hinteren Tür der Fahrerseite sowie Heckklappe oder Kofferraum angelehnt sind.
Die Benutzereingabe 106 ist dazu konfiguriert, Informationen und Anweisungen an die Vorrichtung zum Erkennen des Zustands einer Tür 100 bereitzustellen. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einer Maus, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann konfiguriert sein, um eine Benutzereingabe zu empfangen, um die Benachrichtigung, die durch den Ausgang 104 ausgegeben ist, zu bestätigen oder zu verwerfen. Die Benutzereingabe 106 kann zudem auch so konfiguriert, um eine Benutzereingabe zu empfangen, um zwischen Benachrichtigungen oder verschiedenen Bildschirmen einer Benachrichtigung zu wechseln.
Der Türstatus-Sensor 107 ist dafür konfiguriert, um Zustand oder Position einer Kombination von Türen, Öffnungen, Fenstern, Hauben, usw. eines Fahrzeugs zu erfassen. So kann beispielsweise der Türstatus-Sensor 107 einen Zustand eines oder mehrerer Dinge aus einer Öffnung eines Fahrzeugs, einer Haube, einem Fenster, einem Dachfenster, einer vorderen Tür der Beifahrerseite, einer hinteren Tür der Beifahrerseite, einer vorderen Tür der Fahrerseite, einer hinteren Tür der Fahrerseite sowie einer Heckklappe oder einem Kofferraum erfassen. Der Türstatus-Sensor kann ein primärer Sensor oder eine Kombination von Sensoren einschließlich eines primären und eines sekundären Sensors sein. In einem Beispiel kann der primäre Sensor ein festverdrahteter Türschalter und der sekundäre oder Backup- Sensor eine Kamera sein.
Der Türstatus-Sensor 107 kann einer oder mehrere Sensoren, wie einen Radarsensor, einen Mikrowellensensor, einen Ultraschallsensor, einen festverdrahteten Sensor, eine Kamera, einen Infrarotsensor, ein LIDAR und einen Laser-Sensor, enthalten. Der Türstatus-Sensor 107 kann eine oder mehrere Informationen über Zustand oder Position einer Tür, Informationen zur Position einer Bezugsmarke an der Tür, Informationen zum Abstand zwischen einer Tür und einem Bezugspunkt und Informationen zum Unterschied zwischen einem Referenzbild einer Tür und einem aktuellen Bild einer Tür bereitstellen.
Zusätzlich kann der Türstatus-Sensor 107 eine oder mehrere Informationen über Zustand oder Position einer Öffnung eines Fahrzeugs, Informationen zur Position einer Bezugsmarke an einer Öffnung eines Fahrzeugs, Informationen zum Abstand zwischen einer Öffnung des Fahrzeugs und einem Bezugspunkt und Informationen zum Unterschied zwischen einem Referenzbild einer Öffnung des Fahrzeugs und einem aktuellen Bild einer Öffnung des Fahrzeugs bereitstellen. Weiterhin kann der Türstatus-Sensor 107 Informationen zu Objekten oder Personen liefern, die das Fahrzeug betreten oder verlassen. Der Türstatus-Sensor 107 kann mindestens entweder in einer Fahrzeugtür, einem Armaturenbrett, einem Fahrzeug-Seitenspiegel, einem Fahrzeugdach, einem Türverriegelungsbereich und einer Fahrzeughaube positioniert werden.
Die Kommunikationsvorrichtung 108 kann von der Vorrichtung zur Erfassung eines Zustands einer Tür 100 zur Kommunikation mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren verwendet werden. Die Kommunikationsvorrichtung 108 kann zum Senden/Empfangen von Türzustandsinformationen zur/von der Steuerung 101 der Vorrichtung zum Erkennen des Zustands einer Tür 100 verwendet werden. Die Kommunikationsvorrichtung 108 kann auch zur Übertragung der Benachrichtigung über eine angelehnte Tür und den Ort der angelehnten Tür konfiguriert werden. Die Benachrichtigung oder Warnung kann durch die Kommunikationsvorrichtung 108 an eine Ausgabe-Vorrichtung oder Anzeige, wie die Ausgabe 104 oder ein Mobilgerät, gesendet werden.
Die Kommunikationsvorrichtung 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations (NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Equalizer zu empfangen. Das NFC-Modul ist ein Modul, das mit einem externen Gerät in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren kommuniziert. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll, mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder ZigBee, beinhalten.
Die Steuerung 101 der Vorrichtung zur Erfassung eines Zustandes einer Tür 100 kann dafür konfiguriert sein, den Zustand einer Tür basierend auf mindestens einem von einer Kamera eines Fahrzeugs empfangenen Bild zu erfassen, zu bestimmen, ob basierend auf dem erfassten Zustand der Tür eine Funktion aus einer Vielzahl von Funktionen ausgeführt werden soll, und die Ausführung der bestimmten Funktion steuern. Die Vielzahl von Funktionen kann eine oder mehrere von der Ausgabe einer Benachrichtigung über den Zustand der Tür, die Steuerung von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, Blockierung von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, adaptive Geschwindigkeitsregelung und Laden eines Insassen-Profils einschließlich einer oder mehrerer Einstellungen für Sitzposition, Lenkradstellung und Infotainment-Einstellungen umfassen.
Die Steuerung 101 der Vorrichtung zur Erfassung eines Zustandes einer Tür 100 kann auch dafür konfiguriert sein, einen Zustand einer Tür durch Vergleichen des mindestens einen Bildes mit einem gespeicherten Vergleichsbild des Fahrzeugs zu erfassen, basierend auf dem Vergleich des mindestens einen Bildes mit einem gespeicherten Vergleichsbild zu bestimmen, ob eine Öffnung, Motorhaube, ein Kofferraum, ein Dachfenster, ein Fenster, eine vordere Tür, eine hintere Tür oder sowohl eine Vordertür und eine Hintertür angelehnt sind, und die Ausgabe des Zustands zu steuern, der anzeigt, ob mindestens eine Öffnung, Motorhaube, ein Kofferraum, ein Dachfenster, ein Fenster, eine vordere Tür, eine hintere Tür oder sowohl eine Vordertür und eine Hintertür angelehnt sind und ob sowohl eine vordere Tür als auch eine hintere Tür geschlossen sind. Das mindestens eine von der Kamera empfangene Bild kann ein Bild der Außenseite des Fahrzeugs enthalten.
Die Steuerung 101 der Vorrichtung zur Erfassung eines Zustandes einer Tür 100 kann auch dafür konfiguriert sein, den Zustand eines Tür durch Ermitteln eines Abstands zwischen Referenzpunkten in mindestens einem Bild zu bestimmen; den Zustand auszugeben, der anzeigt, dass mindestens eine Öffnung, Motorhaube, ein Kofferraum, ein Dachfenster, ein Fenster, eine vordere Tür, eine hintere Tür, sowohl eine Vordertür und eine Hintertür und eine Heckklappe geöffnet oder geschlossen sind, basierend auf dem Abstand zwischen Referenzpunkten in mindestens einem Bild.
Die Steuerung 101 der Vorrichtung zur Erfassung eines Zustandes einer Tür 100 kann auch dafür konfiguriert sein zu erkennen, ob ein Insasse im Fahrzeug ist und die Benachrichtigung durch Übertragung einer Warnung an ein Mobilgerät eines Benutzers ausgeben, falls eine Warnmeldung zum Zustand der Tür auszugeben ist und sich kein Insasse im Fahrzeug befindet.
Die Steuerung 101 der Vorrichtung zur Erfassung eines Zustandes einer Tür 100 kann auch dafür konfiguriert sein, eine Beleuchtungsvorrichtung zum Beleuchten der Tür zu steuern.
2 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen des Zustands einer Fahrzeugtür gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Vorrichtung zum Erkennen eines Zustands einer Tür 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen.
Unter Bezugnahme auf 2 wird ein Zustand einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs im Schritt S210 erkannt. Dabei kann der Zustand einer oder mehrerer Öffnungen wie einer oder mehreren aus einem Fenster, einem Dachfenster, einer vorderen Tür der Beifahrerseite, einer hinteren Tür der Beifahrerseite, einer vorderen Tür der Fahrerseite, einer hinteren Tür der Fahrerseite und einer Heckklappe oder Kofferraumklappe mit einer Fahrzeugkamera, wie einer extern zugewendeten Fahrzeugkamera, erfasst werden.
Das Erfassen der Zustände einer Tür kann das Durchführen einer Bildanalyse durch Vergleich mindestens eines Bildes mit einem gespeicherten Vergleichsbild des Fahrzeugs oder der Fahrzeug-Öffnung und/oder durch Bestimmung des Abstands zwischen Referenzpunkten in mindestens einem Bild enthalten. Die Bildanalyse kann dann zur Bestimmung verwendet werden, ob eines oder mehrere von einen Fenster, einem Dachfenster, einer Haube, einer vorderen Tür der Beifahrerseite, einer hinteren Tür der Beifahrerseite, einer vorderen Tür der Fahrerseiten, einer hinteren Tür der Fahrerseite und eine Heckklappe oder Kofferraumklappe betroffen sind und welche Türen aus der vorderen Tür der Beifahrerseite, hinteren Tür der Beifahrerseite, vorderen Tür der Fahrerseite, hinteren Tür der Fahrerseite und Heckklappe oder Kofferraum angelehnt sind.
Dann wird festgestellt, ob eine Funktion aus einer Vielzahl von Funktionen ausgeführt werden soll, basierend auf dem erfassten Zustand der Tür im Schritt S220. So kann beispielsweise bestimmt werden, über den Zustand der Tür zu warnen, wenn eine oder mehrere von einer vorderen Tür der Beifahrerseite, einer hinteren Tür der Beifahrerseite, einer vorderen Tür der Fahrerseite, einer hinteren Tür der Fahrerseite und einer Heckklappe oder Kofferraumklappe mit einer Fahrzeugkamera, wie einer extern zugewandten Fahrzeugkamera, als offen erkannt werden. Andere Bedingungen zum Warnen über den Zustand der Tür können auch berücksichtigt werden zum Ermitteln, ob zum Zustand der Tür gewarnt wird. Die eine oder mehreren Bedingungen können umfassen, ob ein Insasse im Fahrzeug ist oder nicht, ob der Fahrer, das Mobilgerät des Fahrers oder der Schlüssel des Fahrzeugs im Fahrzeug ist oder sich vom Fahrzeug entfernen sowie der Zustand des Getriebes des Fahrzeugs.
Die Vielzahl der Funktionen können auch eine oder mehrere umfassen von der Steuerung von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, Blockierung von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, adaptive Geschwindigkeitsregelung und das Laden eines Insassen-Profils einschließlich Einstellungen, wie Sitzposition, Lenkradstellung und Infotainment-Einstellungen, aus dem Speicher. Ein weiteres Beispiel einer Funktion, die ausgeführt werden kann, kann das Erkennen des Ein- oder Aussteigens eines Insassen auf der Grundlage des erfassten Zustands der Tür oder Öffnungen eines Fahrzeugs sein. So kann beispielsweise eine Folge von Türöffnungen und - schließungen sowie das Einleiten oder Bedienen von Fahrzeugfunktionen und Steuerelementen erfasst und ausgewertet werden, um zu bestimmen, auf welchen Sitzen Insassen sind und ob Insassen in ein Fahrzeug ein- und aussteigen.
Im Schritt S230 wird die bestimmte Funktion ausgeführt. So wird beispielsweise eine Warnung zum Zustand der Tür ausgegeben, wenn das Ermitteln ergibt, über den Zustand der Tür zu warnen. Die Ausgabe der Benachrichtigung kann die Anzeige eines Indikators mit einer graphischen Darstellung entsprechend dem Zustand einer oder mehrerer Türen umfassen. Außerdem kann die Ausgabe das Übertragen der Warnung an ein Mobilgerät eines Benutzers umfassen, wenn der Insasse nicht im Fahrzeug ist. Wenn eine oder mehrere der genannten Bedingungen erfüllt sind, kann die Meldung zusätzlich auf einer Anzeige im Fahrzeug angezeigt oder zu einem Mobilgerät eines Bedieners oder Besitzers des Fahrzeugs übertragen werden.
3A und 3B zeigen Darstellungen einer Seitenkameraansicht der Fahrzeugtüren gemäß einem Aspekt einer exemplarischen Ausführungsform; Unter Bezugnahme auf 3A kann eine Seitenansichtkamera nahe einem Dach oder an einem Seitenspiegel ein- oder beidseitig an einem Fahrzeug angeordnet sein. Die Seitenansichtkamera kann ein Bild 300 der vorderen Tür 301 und hinteren Tür 302 erfassen und zeigen, dass die Türen geschlossen sind. Unter Bezugnahme auf 3B kann die Seitenansichtkamera ein Bild der Bewegung einer Tür erfassen und ein Bild 305 zeigen, dass die Vordertür 301 geöffnet ist. Es kann eine Seitenansichtkamera an jeder Seite des Fahrzeugs sein, um eine Ansicht der vorderen Tür der Beifahrerseite, hinteren Tür der Beifahrerseite, vorderen Tür der Fahrerseite und hinteren Tür der Fahrerseite zu erfassen.
Das Bild der Seitenansichtkamera kann analysiert werden, um zu bestimmen, welche Kombination von Türen, Fenstern und/oder Eingängen zu einem Fahrzeug offen ist. So kann beispielsweise das Bild der Seitenansichtkamera analysiert werden, um zu bestimmen, ob eine oder mehrere von der vorderen Tür der Beifahrerseite, hinteren Tür der Beifahrerseite, vorderen Tür der Fahrerseite und hinteren Tür der Fahrerseite offen sind.
4A und 4B zeigen Darstellungen möglicher Positionen von Kameras gemäß Aspekten der exemplarischen Ausführungsformen. Unter Bezugnahme auf 4A kann eine nahe dem Dach des Fahrzeugs angeordnete Kamera 400 zur Vordertür 402 und Hintertür 403 schauen, um ein Bild der Türen zu erfassen. Unter Bezugnahme auf 4B kann eine am Seitenspiegel des Fahrzeugs angeordnete Kamera 401 zur Vordertür 402 und Hintertür 403 schauen, um ein Bild der Türen zu erfassen.
5 zeigt eine Darstellung der graphischen Indikatoren, die gemäß einem Aspekt einer exemplarischen Ausführungsform zu angelehnten Türen warnen. Unter Bezugnahme auf 5 zeigt eine grafische Anzeige 500 grafische Indikatoren entsprechend der vorderen Tür der Fahrerseite 501, hinteren Tür der Fahrerseite 502, vorderen Tür der Beifahrerseite 503, hinteren Tür der Beifahrerseite 504, hinteren Kofferraum- oder Heckklappe 505 und/oder Motorhaube 506, dass diese angelehnt sind. Die grafischen Indikatoren können auf einer Anzeige in einem Fahrzeug oder der Anzeige des Mobilgeräts dargestellt werden, um einen Eigentümer oder Fahrzeugführer zu warnen, dass eine oder mehrere Türen angelehnt sind. Die grafischen Indikatoren können aufleuchten oder hervorgehoben sein und eine angelehnte Tür, Kofferraumklappe, Haube, Fensterscheibe, Dachfenster usw. zu zeigen.
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten, verkörpert werden.
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.

Claims

Vorrichtung zum Erkennen eines Zustands einer Tür, die Vorrichtung umfassend: mindestens einen Speicher, umfassend computerausführbare Anweisungen; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen zu lesen und auszuführen, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor zu Folgendem veranlassen: das Erfassen des Zustands einer Tür basierend auf mindestens einem empfangenen Bild von einer Kamera eines Fahrzeugs; das Ermitteln einer auszuführenden Funktion aus einer Vielzahl von Funktionen basierend auf dem erfassten Zustand der Tür; und das Ausführen der bestimmten Funktion, worin die Vielzahl von Funktionen das Ausgeben eine Benachrichtigung über den Zustand der Tür, das Ausführen einer Fahrzeugfunktion, das Erfassen des Ein- und Aussteigens von Insassen, das Steuern von Fahrzeugdiebstahl-Alarm, Innenraumbeleuchtung, Einparkhilfe, das Heben und Senken eines Fahrzeug-Trittbretts, Motorsteuerung, das Blockieren von Start-Stopp-Funktionen eines Fahrzeugs, Vorbereitung des Motors zum Anfahren, die adaptive Geschwindigkeitsregelung und das Laden eines Insassen-Profils, einschließlich einer oder mehrerer Einstellungen für Sitzposition, Lenkradstellung und Infotainment-Einstellungen, umfasst.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, den Zustand einer Tür zu erfassen durch: das Vergleichen des mindestens einen Bildes mit einem gespeicherten Vergleichsbild des Fahrzeugs; das Ermitteln eines Zustandes mindestens einer Öffnung eines Fahrzeugs, einer Heckklappe, eines Kofferraums, einer vorderen Tür, einer hinteren Tür, sowohl einer Vordertür und einer Hintertür basierend auf dem Vergleich des mindestens einen Bildes mit dem gespeicherten Vergleichsbild; und das Ausgeben des Zustandes.
Vorrichtung nach Anspruch 2, worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin dazu bringen, die bestimmte Funktion durch Ausgabe der Warnmeldung zum Zustand der Tür auszuführen, wenn der Zustand anzeigt, dass mindestens eine Öffnung eines Fahrzeugs, eine Heckklappe, eine Motorhaube, ein Kofferraum, eine Vordertür, eine Hintertür oder sowohl eine Vordertür und eine Hintertür offen ist.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin veranlassen, den Zustand einer Tür zu erfassen durch: das Ermitteln eines Abstands zwischen Referenzpunkten in dem mindestens einen Bild; und das Ermitteln eines Zustandes einer Öffnung eines Fahrzeugs, einer Heckklappe, einem Kofferraum, einer vorderen Tür, einer hinteren Tür, sowohl einer Vordertür und einer Hintertür basierend auf dem Abstand zwischen den Referenzpunkten in dem mindestens einen Bild; und das Ausgeben des Zustandes.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin veranlassen zu erkennen, ob ein Insasse im Fahrzeug ist, und worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin dazu bringen, die Funktion zur Ausgabe der Benachrichtigung durch Übertragung einer Warnung an ein Mobilgerät eines Benutzers auszuführen, falls das Ermitteln die Ausgabe einer Warnmeldung zum Zustand der Tür ergibt und der Insasse nicht im Fahrzeug ist.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin veranlassen, die Funktion zur Ausgabe der Benachrichtigung auszuführen, und worin die Funktion zur Ausgabe der Benachrichtigung die Anzeige eines Indikators mit einer graphischen Darstellung entsprechend dem Zustand der Tür umfasst.
Die Vorrichtung nach Anspruch 1, die weiterhin eine Beleuchtungsvorrichtung umfasst, worin die computerausführbaren Anweisungen den mindestens einen Prozessor weiterhin dazu bringen, die Beleuchtungsvorrichtung zum Beleuchten der Tür zu steuern.
Vorrichtung nach Anspruch 1, worin das mindestens eine von der Kamera empfangene Bild ein Bild der Außenseite des Fahrzeugs enthält.
Vorrichtung nach Anspruch 1, weiterhin umfassend die Kamera, die mindestens entweder an einem Seitenspiegel oder oberhalb der Fahrzeugtür angeordnet ist.
Nichtflüchtiges computerlesbares Medium, umfassend computerausführbare Anweisungen, die durch einen Prozessor ausführbar sind, um ein Verfahren zum Erfassen des Zustands einer Fahrzeugtür auszuführen, das Verfahren umfassend: das Erfassen eines Zustandes einer Öffnung eines Fahrzeugs basierend auf mindestens einem von einer externen zugewandten Kamera eines Fahrzeugs empfangenen Bild; das Ermitteln, ob über den Zustand der Öffnung gewarnt wird, basierend auf dem erfassten Zustand der Öffnung; und das Ausgeben einer Warnung zum Zustand der Öffnung, wenn das Ermitteln ergibt, über den Zustand der Öffnung zu warnen.