DE102018110430A1

DE102018110430A1 - Verfahren und vorrichtung zur erkennung und klassifizierung von objekten in verbindung mit einem fahrzeug

Info

Publication number: DE102018110430A1
Application number: DE102018110430.8A
Authority: DE
Inventors: David Clifford; Orhan Demirovic; Orhan BULAN; Eric Hatfield; David Hiemenga; Mohannad Murad
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-05-03
Filing date: 2018-05-01
Publication date: 2018-11-08
Also published as: US20180322342A1; CN108805026A; US10210387B2

Abstract

Ein Verfahren und eine Vorrichtung zum Erkennen und Klassifizieren von Objekten, die mit einem Fahrzeug verknüpft sind, werden bereitgestellt. Das Verfahren beinhaltet das Erfassen eines ersten Bildes und eines zweiten Bildes einer Kabine eines Fahrzeugs, wobei das erste Bild und das zweite Bild in mehrere Bereiche unterteilt werden, wobei ein erster Bereich des ersten Bildes mit einem zweiten Bereich des zweiten Bildes verglichen wird in Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, Klassifizieren eines Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, und Markieren des klassifizierten Objekts und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen aus Insasse des Fahrzeugs und einen Fahrer des Fahrzeugs.

Description

EINLEITUNG
Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, betreffen die bildbasierte Objekterkennung. Insbesondere betreffen Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, das Erfassen von Objekten in Bildern einer Fahrzeugkabine.
KURZDARSTELLUNG
Eine oder mehrere exemplarische Ausführungsformen stellen ein Verfahren und eine Vorrichtung bereit, die Bilder eines Innenraums eines Fahrzeugs vergleichen, um zu bestimmen, ob Änderungen aufgetreten sind. Insbesondere stellen eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung bereit, die Bilder von Bereichen eines Fahrzeugs aufteilen, die Bereiche der unterteilten Bilder vergleichen, um zu bestimmen, ob eine Änderung aufgetreten ist, und einen Bediener eines Fahrzeugs oder einer Flotte über die Veränderung der Bilder zu benachrichtigen. Das Verfahren und die Vorrichtung können verwendet werden, um Benachrichtigungen über Schäden an einem Fahrzeug oder Benachrichtigungen über ein Objekt, das in einem Fahrzeug zurückgelassen wurde, bereitzustellen.
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein Verfahren zum Detektieren und Klassifizieren von einem Fahrzeug zugeordneten Objekten bereitgestellt. Das Verfahren umfasst: Erfassen eines ersten Bildes und eines zweiten Bildes einer Kabine eines Fahrzeugs, Unterteilen des ersten Bildes und des zweiten Bildes in mehrere Bereiche, Vergleichen eines ersten Bereichs des ersten Bildes mit einem zweiten Bereich des zweiten Bildes, der zweite Bereich des zweiten Bildes, der einer Stelle in dem ersten Bereich in dem ersten Bild entspricht, als Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, Klassifizieren eines Objekts, das in dem Unterschied zwischen des zweiten Bereichs und des ersten Bereichs vorhanden ist und Etikettieren des klassifizierten Objekts und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einen Fahrer des Fahrzeugs.
Das Erfassen des ersten Bildes der Kabine kann durchgeführt werden, bevor ein Insasse das Fahrzeug betritt, und das Erfassen des zweiten Bildes der Kabine kann durchgeführt werden, nachdem der Insasse das Fahrzeug verlassen hat.
Das Verfahren kann ferner Folgendes: Empfangen einer Eingabe zum erneuten Kennzeichnen des klassifizierten Objekts von dem Betreiber des Fahrzeugs; und Neuklassifizieren des Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, basierend auf der empfangenen Eingabe.
Die Vielzahl von Bereichen kann zwei oder mehr von einem vorderen Beifahrersitz, einer vorderen Fahrerseite, einem hinteren linken Sitz, einem hinteren rechten Sitz, einem Rücksitzbereich, einem vorderen Beifahrerfußraum, einem vorderen Fahrerfüßraum, einem hinteren linken Fußraum, einen hinteren rechten Fußraum, einen hinteren Fußraum, einem Armaturenbrett, einem Getränkehalter, einer Mittelkonsole, einem Kofferraumbereich und einer an die Heckscheibe angrenzenden Fläche beinhalten.
Das Bereitstellen der Benachrichtigung über den erkannten Unterschied kann das Übertragen von Informationen über das zweite Bild oder das klassifizierte Objekt an einen Bediener beinhalten.
Das Erfassen des ersten Bildes und des zweiten Bildes der Kabine des Fahrzeugs kann durch eine Kamera durchgeführt werden.
Das Vergleichen dem ersten Bereich des ersten Bildes mit dem zweiten Bereich des zweiten Bildes kann das Detektieren einer Änderung von Pixelwerten in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich beinhalten.
Das Klassifizieren des Objekts in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich kann das Vergleichen eines Bildes des Objekts mit Bildern von in einer Datenbank gespeicherten Objekten und das Klassifizieren des Objekts gemäß einer Klassifikation eines in der Datenbank gespeicherten Bildes beinhalten, das sich am nächsten zum Bild des Objekts befindet.
Das Klassifizieren des in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhandenen Objekts kann das Identifizieren des Objekts durch Ausführen von mindestens einer von Kantenanpassung, Graustufenanpassung und Gradientenanpassung beinhalten.
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird eine Vorrichtung bereitgestellt, die mit einem Fahrzeug verknüpfte Objekte erfasst und klassifiziert. Die Vorrichtung beinhaltet mindestens einen Prozessor, der computerausführbare Anweisungen beinhaltet; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen auszuführen. Die computerausführbaren Anweisungen bewirken, dass der mindestens eine Prozessor ein erstes Bild und ein zweites Bild eines Bereichs eines Fahrzeugs erfasst, das erste Bild und das zweite Bild in mehrere Bereiche aufteilt, einen ersten Bereich des ersten Bildes mit einer zweiten Region des zweiten Bildes vergleicht, wobei die zweite Region des zweiten Bildes dem ersten Bereich in dem ersten Bild entspricht, als Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, Klassifizieren eines in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhandenen Objektes und Etikettieren des klassifizierten Objekts; und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einem Fahrer des Fahrzeugs.
Die computerausführbaren Anweisungen können bewirken, dass der mindestens eine Prozessor das erste Bild erfasst, bevor ein Insasse das Fahrzeug betritt, und das zweite Bild erfasst, nachdem der Insasse das Fahrzeug verlassen hat.
Die computerausführbaren Anweisungen können bewirken, dass der mindestens eine Prozessor eine Eingabe empfängt, um das klassifizierte Objekt vom Betreiber des Fahrzeugs neu zu kennzeichnen; und Neuklassifizieren des Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, basierend auf der empfangenen Eingabe.
Die Vielzahl von Bereichen kann zwei oder mehr von einem vorderen Beifahrersitz, einer vorderen Fahrerseite, einem hinteren linken Sitz, einem hinteren rechten Sitz, einem Rücksitzbereich, einem vorderen Beifahrerfußraum, einem vorderen Fahrerfußraum, einem hinteren linken Fußraum, einen hinteren rechten Fußraum, einen hinteren Fußraum, einem Armaturenbrett, einem Getränkehalter, einer Mittelkonsole, einem Kofferraumbereich und einer an die Heckscheibe angrenzenden Fläche beinhalten.
Die computerausführbaren Anweisungen können ferner bewirken, dass der mindestens eine Prozessor die Benachrichtigung über den erkannten Unterschied durch Übertragen von Informationen über das zweite Bild oder das klassifizierte Objekt einem Bediener bereitstellt.
Die Vorrichtung kann ferner eine in dem Fahrzeug montierte Kamera umfassen. Die computerausführbaren Anweisungen können ferner bewirken, dass der mindestens eine Prozessor die Kamera steuert, um das erste Bild und das zweite Bild zu erfassen.
Die computerausführbaren Anweisungen können ferner bewirken, dass der mindestens eine Prozessor die erste Region des ersten Bildes mit dem zweiten Bereich des zweiten Bildes vergleicht, indem er eine Änderung der Pixelwerte zwischen dem zweiten Bereich und dem ersten Bereich erkennt.
Die computerausführbaren Anweisungen können ferner bewirken, dass der mindestens eine Prozessor das Objekt in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich klassifiziert, indem er ein Bild des Objekts mit Bildern von in einer Datenbank gespeicherten Objekten vergleicht und das Objekt entsprechend einer Klassifizierung eines Bildes klassifiziert, das in der Datenbank gespeichert ist und dem Bild des Objekts am nächsten kommt.
Die computerausführbaren Anweisungen können ferner bewirken, dass der mindestens eine Prozessor das Objekt in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich klassifiziert, indem er das Objekt durch Ausführen von mindestens einer von Kantenanpassung, Graustufenanpassung und Gradientenanpassung identifiziert.
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein nichtflüchtiges computerlesbares Medium mit computerlesbaren Anweisungen bereitgestellt. Die computerlesbaren Anweisungen sind durch einen Computer ausführbar, um ein Verfahren durchzuführen, das Folgendes beinhaltet: Empfangen eines ersten Bildes und eines zweiten Bildes einer Kabine eines Fahrzeugs, Unterteilen des ersten Bildes und des zweiten Bildes in eine Vielzahl von Bereichen, Vergleichen eines ersten Bereichs des ersten Bildes mit einem zweiten Bereich des zweiten Bildes, wobei der zweite Bereich des zweiten Bildes dem ersten Bereich in dem ersten Bild entspricht, in Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, Klassifizieren eines in dem Unterschied vorhandenen Objekts zwischen dem zweiten Bereich und dem ersten Bereich und Etikettieren des klassifizierten Objekts und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einem Fahrer des Fahrzeugs.
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
Figurenliste

1 zeigt ein Blockdiagramm einer Vorrichtung, die einem Fahrzeug zugeordnete Objekte erkennt und klassifiziert, gemäß einer exemplarischen Ausführungsform;
2 zeigt ein Flussdiagramm für ein Verfahren zum Erkennen und Klassifizieren von Objekten, die einem Fahrzeug zugeordnet sind, gemäß einer exemplarischen Ausführungsform; und
3 zeigt eine Darstellung eines Teilens eines Bildes in Regionen zum Ausführen einer Objekterkennung gemäß einem Aspekt einer exemplarischen Ausführungsform; und
4 zeigt ein System, das eine Benachrichtigung eines klassifizierten Objekts gemäß einem Aspekt einer exemplarischen Ausführungsform bereitstellen kann.

DETAILLIERTE BESCHREIBUNG VON EXEMPLARISCHEN
AUSFÜHRUNGSBEISPIELEN
Eine Vorrichtung und ein Verfahren zum Erkennen und Klassifizieren von Objekten, die mit einem Fahrzeug verknüpft sind, werden nun im Detail unter Bezugnahme auf die 1 - 4 der begleitenden Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen durchweg auf gleiche Elemente beziehen.
Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten Ausführungsbeispiele lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jedes Ausführungsbeispiels normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, „gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
Fahrzeuge werden mit Sensoren ausgestattet, die in der Lage sind, die Bedingungen der Umgebung eines Fahrzeugs zu erkennen. Die Sensoren liefern Informationen über die Bedingungen in der Umgebung und diese Informationen können zum Steuern des Fahrzeugs oder zur Unterstützung eines Fahrzeugführers verwendet werden. Einer der zuvor erwähnten Sensoren, z. B. eine Kamera, kann konfiguriert sein, um Objekte, Personen und/oder Änderungen in einem Fahrzeug zu erkennen. Zum Beispiel kann ein von einer Kamera aufgenommenes Bild von einem Bediener verwendet werden, um Objekte, Personen und/oder Änderungen an einem Fahrzeug zu identifizieren.
Ein Verfahren zum Identifizieren von Änderungen besteht darin, Bilder eines Fahrzeugs zu verschiedenen Zeitpunkten zu vergleichen. Dieses Verfahren ist jedoch möglicherweise nicht effizient, da bestimmte Bereiche des Fahrzeugs kritischer als andere Bereiche beim Erkennen von Objekten oder Personen in einem Fahrzeug oder beim Erkennen anderer Merkmale eines Fahrzeugs sind. In einem Beispiel kann ein von einer Kamera aufgenommenes Bild in Bereiche unterteilt werden und nur diejenigen Bereiche, die als kritisch für die Durchführung von Objekt-, Personen- oder Änderungsidentifikation identifiziert wurden, können analysiert werden, um ein Objekt, eine Person oder eine Änderung in dem Bereich zu identifizieren. In einem anderen Beispiel können Bereiche basierend auf der Rangordnung geordnet und durchsucht werden, um ein Objekt, eine Person oder eine Änderung in einem Bereich zu identifizieren.
1 zeigt ein Blockdiagramm einer Vorrichtung, die einem Fahrzeug 100 zugeordnete Objekte erkennt und klassifiziert, gemäß einer exemplarischen Ausführungsform. Wie in 1 gezeigt, beinhaltet die Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, beinhaltet gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Objekterkennungssensor 107 und einen Kommunikationsgerät 108. Die Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erfasst und klassifiziert, ist jedoch nicht auf die oben erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente enthält und/oder eines oder mehrere der vorstehend genannten Elemente auslässt. Die Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte detektiert und klassifiziert, kann als Teil eines Fahrzeugs als eine eigenständige Komponente als ein Hybrid zwischen einer fahrzeugseitigen und einer fahrzeugexternen Vorrichtung oder einer anderen Computervorrichtung implementiert sein.
Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert. Die Steuerung 101 kann einen oder mehrere von einem Speicher 103, einem Ausgang 104, einer Benutzereingabe 106, einem Objektdetektionssensor 107 und einer Kommunikationsvorrichtung 108 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte detektiert und klassifiziert, steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
Die Steuerung 101 ist konfiguriert zum Senden und/oder Empfangen von Information von einem oder mehreren der Speicher 103, der Ausgabe 104, der Benutzereingabe 106, des Objekterfassungssensors 107 und der Kommunikationsvorrichtung 108 der Vorrichtung, die zugeordnete Objekte erkennt und klassifiziert, die mit einem Fahrzeug 100 verknüpft sind. Die Information kann über einen Bus oder ein Netzwerk gesendet und empfangen werden oder kann direkt von einem oder mehreren der Speicher 103, der Ausgabe 104, der Benutzereingabe 106, des Objekterfassungssensors 107 und der Kommunikationsvorrichtung 108 der Vorrichtung, die einem Fahrzeug 100 zugeordnete Objekte erkennt und klassifiziert, gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
Die Stromversorgung 102 liefert Strom an eine oder mehrere der Steuerungen 101, den Speicher 103, den Ausgang 104, die Benutzereingabe 106, den Objektdetektionssensor 107 und die Kommunikationsvorrichtung 108 der Vorrichtung, die Objekte detektiert und klassifiziert, die mit einem Fahrzeug 100 verknüpft sind. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
Der Speicher 103 ist zum Speichern von Informationen und zum Abrufen von Informationen konfiguriert, die von der Vorrichtung verwendet werden, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert. Der Speicher 103 kann durch den Controller 101 gesteuert werden, um Informationen zu speichern und abzurufen, die von dem Controller 101, dem Objektdetektionssensor 107 und/oder der Kommunikationsvorrichtung 108 empfangen werden. Die Information kann Informationen über Bilder enthalten, die von dem Objekterkennungssensor 107 und/oder einer Datenbank mit Klassifizierungsinformationen über Objekte oder Merkmale, die zum Identifizieren von Objekten oder Merkmalen in den von dem Objekterfassungssensor 107 aufgenommenen Bildern verwendet werden, aufgenommen werden. Der Speicher 103 kann auch Computeranweisungen enthalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung auszuführen, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert.
Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
Die Ausgabe 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Die Ausgabe 104 kann durch die Steuerung 101 gesteuert werden, um Ausgaben an den Benutzer der Vorrichtung bereitzustellen, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Audiovorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
Der Ausgang 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung usw. beinhalten. Die Benachrichtigungen können anzeigen, dass ein Objekt in einem Fahrzeug gelassen wurde, eine Person sich in dem Fahrzeug befindet, eine Änderung eines Merkmals des Fahrzeugs und/oder eine Identifikations- oder Klassifizierungsinformation über ein detektiertes Objekt und/oder Merkmal.
Die Benutzereingabe 106 ist konfiguriert, Informationen und Befehle an die Vorrichtung zu liefern, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einem Lenkrad, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann dazu konfiguriert sein, eine Benutzereingabe zu empfangen und damit die Benachrichtigung durch den Ausgang 104 zu bestätigen oder zu verwerfen.
Der Objekterfassungssensor 107 kann einen oder mehrere aus einer Vielzahl von Sensoren einschließlich einer Kamera, eines Lasersensors, eines Ultraschallsensors, einer Infrarotkamera, eines LIDAR, eines Radarsensors, eines Ultrakurzbereichsradarsensors, Breitbandradarsensor und ein Mikrowellensensor. Gemäß einem Beispiel kann der Objektdetektionssensor 107 eine oder mehrere Kameras sein, die in und um das Fahrzeug herum angeordnet sind. Zum Beispiel kann eine Kamera in einem oder mehreren eines Dachhimmels des Fahrzeugs, eines Rückspiegels des Fahrzeugs, eines Seitenspiegels des Fahrzeugs, eines mittleren hoch montierten Bremslichts eines Fahrzeugs, einer Rückfahrkamera eines Fahrzeugs, eines Kofferraums eines Fahrzeugs, unter einer Motorhaube eines Fahrzeugs, auf einem Fahrzeug, einer Lichtkuppel eines Fahrzeugs, eines Armaturenbretts eines Fahrzeugs, einer Mittelkonsole eines Fahrzeugs usw. montiert sein.
Die Kommunikationsvorrichtung 108 kann von der Vorrichtung verwendet werden, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, um mit verschiedenen Typen von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann zum Senden/Empfangen von Informationen über Bilder verwendet werden, die von dem Objekterfassungssensor 107 und/oder einer Datenbank mit Klassifizierungsinformationen über Objekte oder Merkmale, die zum Identifizieren von Objekten oder Merkmalen in den von dem Objekterfassungssensor 107 aufgenommenen Bildern verwendet werden, aufgenommen werden. Die Kommunikationsvorrichtung 108 kann auch verwendet werden, um Informationen über Bilder zu empfangen, die von dem Objekterfassungssensor 107 und/oder einer Datenbank mit Klassifizierungsinformationen über Objekte oder Merkmale aufgenommen wurden, die zum Identifizieren von Objekten oder Merkmalen in den von dem Objekterfassungssensor 107 aufgenommenen Bildern verwendet werden. von der Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert.
Das Kommunikationsgerät 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations (NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder Zigbee, beinhalten.
Gemäß einer exemplarischen Ausführungsform kann die Steuerung 101 der Vorrichtung, die Objekte erkennt und klassifiziert, die mit einem Fahrzeug 100 verknüpft sind, konfiguriert sein, um ein erstes Bild und ein zweites Bild eines Bereichs eines Fahrzeugs zu erfassen. Zum Beispiel kann die Fläche des Fahrzeugs eine Kabine des Fahrzeugs sein. Die Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erfasst und klassifiziert, kann dann zum Teilen des ersten Bildes und des zweiten Bildes in eine Vielzahl von Regionen, Vergleichen einer ersten Region des ersten Bildes mit einer zweiten Region des zweiten Bildes, wobei die zweite Region des zweiten Bildes dem ersten Bereich in dem ersten Bild entspricht, als Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, Klassifizieren eines in dem Unterschied zwischen dem zweiten und dem ersten Bereich vorhandenen Objekts und Markieren des klassifizierten Objekts und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einer Bedienungsperson des Fahrzeugs.
Gemäß einem Beispiel kann der erste Bereich einem Ort in dem Fahrzeug entsprechen und der zweite Bereich kann dem gleichen Ort entsprechen, dem der erste Bereich entspricht, mit der Ausnahme, dass das Bild des zweiten Bereichs zu einem anderen Zeitpunkt aufgenommen wird als das Bild dem ersten Bereich.
Die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte detektiert und klassifiziert, kann konfiguriert sein, um das erste Bild des Gebiets aufzunehmen, bevor ein Insasse das Fahrzeug betrifft. Die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, kann konfiguriert sein, um das zweite Bild der Kabine zu erfassen, nachdem der Insasse das Fahrzeug verlassen hat. Zum Beispiel kann ein erstes Bild erfasst werden, bevor ein Passagier in einem Fahrgemeinschaftsdienst aufgenommen wird, und ein zweites Bild kann erfasst werden, nachdem der Passagier das Fahrzeug verlassen hat.
Das Bild kann aus einem Bereich bestehen, der mit dem Insassen oder Passagier verknüpft ist, der das Fahrzeug betritt und es verlässt. Zum Beispiel kann der Bereich des ersten und zweiten Bildes einem Bereich entsprechen, der von einem Insassen besetzt ist, der in ein Fahrzeug einsteigt/aussteigt oder einem Bereich entsprechen kann, auf den ein Insasse zugreift, wie etwa einen Kofferraum, ein Handschuhfach oder einen Rücksitz. Gemäß einem anderen Beispiel, ein Leuchtbild kann aufgeteilt werden, in einem oder mehreren der Bereiche entsprechend einem PKW oder Insassen in/verlässt Fahrzeugs oder einen Bereich von Serviceaufträgen der PKW oder Insassen/austritt, das in einem Fahrzeug wie einem Kofferraum, Handschuhkasten, Rücksitz.
Die Bereiche können eines oder mehrere von einem Beifahrersitz, einer vorderen Fahrerseite, einem hinteren rechten Sitz, einem hinteren linken Sitz, einem Rücksitzbereich, einem vorderen Beifahrerfußraum, einem vorderen Fahrerfußraum, einem hinteren linken Fußraum, einem hinteren rechten Fußraum, einem hinterem Fußraum, einem Armaturenbrett, einem Becherhalter, einer Mittelkonsole, einem Kofferraumbereich und einer an die Heckscheibe angrenzenden Fläche beinhalten.
Die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, kann konfiguriert sein, um eine Eingabe zu empfangen, um das klassifizierte Objekt von dem Betreiber des Fahrzeugs neu zu klassifizieren, und das Objekt, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, neu zu klassifizieren, basierend auf der empfangenen Eingabe. Der Bediener kann eine Klassifizierung oder Identifizierung eines Objekts oder eines Merkmals erhalten, das bestimmt wird, indem eine Objekterfassung an dem zweiten Bild durchgeführt wird, nachdem die Differenz zwischen den Bildern erfasst wurde. Der Bediener kann dann die Klassifizierung oder Identifikation bestätigen oder gegebenenfalls von einem entfernten Computer aus überarbeiten.
Die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, kann konfiguriert sein, um die Benachrichtigung über die detektierte Differenz durch Übertragen von Informationen über das zweite Bild oder das klassifizierte Objekt einem Bediener bereitzustellen. Zum Beispiel kann ein Bediener über einen Unterschied informiert werden, und der Bediener kann ein Bild des Unterschieds betrachten, um ein Objekt oder Merkmal in dem Unterschied zwischen den zwei Bildern zu klassifizieren. Das Objekt oder Merkmal kann ein vergessener Gegenstand oder eine Beschädigung des Fahrzeugs sein.
Die Steuerung 101 der Vorrichtung, die einem Fahrzeug 100 zugeordnete Objekte erkennt und klassifiziert, kann konfiguriert sein, um den ersten Bereich des ersten Bildes mit dem zweiten Bereich des zweiten Bildes durch Ändern der Pixelwerte in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich zu vergleichen. Zusätzlich kann die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte detektiert und klassifiziert, zum Klassifizieren des in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich befindlichen Objekts konfiguriert sein, indem ein Bild des Objekts mit Bildern von Objekten verglichen wird, die in einer Datenbank gespeichert sind und das Objekt gemäß einer Klassifikation eines Bildes, das in der Datenbank gespeichert ist, die dem Bild des Objekts am nächsten ist, klassifiziert.
Die Steuerung 101 der Vorrichtung, die einem Fahrzeug 100 zugeordnete Objekte erkennt und klassifiziert, kann konfiguriert sein, um einen Klassifikator mit Informationen über interessierende Bereiche zu trainieren. Ein oder mehrere Klassifikatoren können für jeden unterteilten Bereich bereitgestellt werden, so dass es eine Vielzahl von Klassifikatoren gibt. Außerdem kann jeder Klassifikator einen neuronalen Netzwerkklassifikator, einen nächsten Nachlassklassifikator, einen Entscheidungsbaumklassifikator oder einen Unterstützungsvektormaschinenklassifikator sein oder enthalten.
Die Steuerung 101 der Vorrichtung, die mit einem Fahrzeug 100 verknüpfte Objekte detektiert und klassifiziert, kann konfiguriert sein, um das Objekt in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich zu klassifizieren, indem das Objekt durch Ausführen von mindestens eines von Kantenanpassung, Graustufenabgleich und Farbverlaufsanpassung identifiziert wird.
2 zeigt ein Flussdiagramm für ein Verfahren zum Detektieren und Klassifizieren von Objekten, die mit einem Fahrzeug verknüpft sind, gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann von der Vorrichtung ausgeführt werden, die mit einem Fahrzeug 100 verknüpfte Objekte erkennt und klassifiziert, oder sie kann in einem computerlesbaren Medium als Anweisungen codiert sein, die von einem Computer ausführbar sind, um das Verfahren auszuführen.
Bezugnehmend auf 2 wird das Erfassen eines ersten Bildes und eines zweiten Bildes eines Bereichs eines Fahrzeugs in Schritt S210 durchgeführt. Das erste und das zweite Bild können Bilder sein, die von derselben Kamera oder von demselben Bereich eines Fahrzeugs aufgenommen wurden, die jedoch zu unterschiedlichen Zeitpunkten aufgenommen wurden. Das erste und das zweite Bild werden in Schritt S220 in eine Vielzahl von Regionen unterteilt. Ein erster Bereich des ersten Bildes und ein zweiter Bereich des zweiten Bildes werden in Schritt S230 verglichen. In diesem Fall sind der erste und der zweite Bereich die gleichen Bereiche unterschiedlicher Bilder oder sind Bereiche, die einander entsprechen, aber aus verschiedenen Bildern stammen.
In den Schritten S240 und S250 werden die Bereiche analysiert, um zu bestimmen, ob eine Differenz zwischen dem ersten Bild und dem zweiten Bild festgestellt wird. Wenn eine Differenz zwischen dem ersten Bild und dem zweiten Bild detektiert wird (Schritt S250-Ja), wird das Klassifizieren eines Objekts oder Merkmals, das in der erfassten Differenz zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, und das Kennzeichnen eines klassifizierten Objekts wird in Schritt S260 durchgeführt und anschließend wird in Schritt S270 eine Benachrichtigung des klassifizierten Objekts oder Merkmals an einen Betreiber des Fahrzeugs oder der Flotte gesendet. Andernfalls, falls keine Differenz in den entsprechenden Bereichen des ersten und des zweiten Bildes vorhanden ist (Schritt S250-Nein), endet der Prozess.
3 zeigt eine Darstellung eines Teilens eines Bildes in Bereiche zum Ausführen einer Objekterfassung gemäß einem Aspekt einer exemplarischen Ausführungsform. Bezugnehmend auf 3 ist ein Bild 300 gezeigt, das von einer Kamera in einem Dachhimmel eines Fahrzeugs aufgenommen wurde.
Das Bild ist in Bereiche unterteilt, die als Orte erkannt werden, an denen Merkmale oder Objekte von Interesse erkannt werden können. In diesem Beispiel ist ein erster Bereich 301 ein Fahrersitz, ein zweiter Bereich 302 ist ein Beifahrersitz, ein dritter Bereich 303 ist ein Beifahrerseitenboden und ein vierter Bereich 304 ist ein Bereich der Rücksitze. Die Darstellung in 3 ist lediglich ein Beispiel und Bilder können in andere interessierende Bereiche unterteilt werden.
In einem anderen Beispiel können Bilder von einer oder mehreren von einer hinteren Passagierkamera, einer vorderen Passagierkamera und einer mittleren Kamera in Bereiche unterteilt werden. Ein Klassifikator kann für jeden Bereich trainiert werden, und dieser Klassifikator kann verwendet werden, um eine Differenz zwischen einem ersten Bild (z. B. Vorreitbild) und einem zweiten Bild (z. B. einem Nachreitbild) für jeden Bereich zu identifizieren.
4 zeigt eine Darstellung einer Betriebsumgebung, die ein mobiles Fahrzeugkommunikationssystem 410 umfasst und die zum Implementieren der Vorrichtung und des Verfahrens zum Klassifizieren von Objekten in einer Fahrzeugkabine verwendet werden kann.
Bezugnehmend auf 4 ist eine Betriebsumgebung gezeigt, die ein mobiles Fahrzeugkommunikationssystem 410 umfasst und die zum Implementieren der Vorrichtung und des Verfahrens zum Klassifizieren von Objekten in einer Fahrzeugkabine verwendet werden kann. Das Kommunikationssystem 410 kann eines oder mehrere von einem Fahrzeug 412, einem oder mehreren drahtlosen Trägersystemen 414, einem Landkommunikationsnetz 416, einem Computer 418 und einem Call-Center 420 umfassen. Es versteht sich, dass die offenbarte Vorrichtung und das Verfahren zum Klassifizieren von Objekten in einer Fahrzeugkabine mit einer beliebigen Anzahl an unterschiedlichen Systemen verwendet werden können und nicht speziell auf die hier gezeigte Betriebsumgebung beschränkt sind. Die folgenden Absätze geben lediglich einen kurzen Überblick über ein solches Kommunikationssystem 410; jedoch können andere hier nicht gezeigte Systeme die offenbarte Vorrichtung und das Verfahren zum Klassifizieren von Objekten in einer Fahrzeugkabine ebenfalls verwenden.
Das Fahrzeug 412 ist in der dargestellten Ausführungsform als ein Personenkraftwagen dargestellt, aber es sollte klar sein, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sport Utility Vehicles (SUVs), Freizeitfahrzeuge (RVs), Marineschiffe, Flugzeuge usw. ebenfalls verwendet werden verwendet werden können. Ein oder mehrere Elemente einer Vorrichtung zum Klassifizieren von Objekten in einer Fahrzeugkabine 100, die in 1 gezeigt ist, können in das Fahrzeug 412 eingebaut sein.
Eine der vernetzten Vorrichtungen, die mit der Kommunikationsvorrichtung 108 kommunizieren können, ist eine drahtlose Vorrichtung, beispielsweise ein Smartphone 457. Das Smartphone 457 kann eine Computerverarbeitungsfähigkeit, einen Sendeempfänger, der unter Verwendung eines Kurzstrecken-Drahtlosprotokolls 458 kommunizieren kann, und eine visuelle Smartphone-Anzeige 459 umfassen. In einigen Implementierungen beinhaltet die Smartphone-Anzeige 459 auch eine grafische Touchscreen-Benutzerschnittstelle und/oder ein GPS-Modul, das GPS-Satellitensignale empfangen und basierend auf diesen Signalen GPS-Koordinaten erzeugen kann. Ein oder mehrere Elemente einer Vorrichtung zum Klassifizieren von Objekten in einer Fahrzeugkabine 100, die in 1 gezeigt ist, können in das Smartphone 457 integriert sein.
Das GPS-Modul der Kommunikationsvorrichtung 108 kann Funksignale von einer Konstellation 460 von GPS-Satelliten einen Standort eines Fahrzeugs basierend auf den Bordkartendetails oder einer Sehenswürdigkeit oder eines Wahrzeichens empfangen. Von diesen Signalen kann die Kommunikationsvorrichtung 108 die Fahrzeugposition ermitteln, die verwendet wird, um dem Fahrzeugführer Navigations- und andere, die Position betreffende Dienste bereitzustellen. Navigationsinformationen können durch die Ausgabe 104 (oder einer anderen Anzeige innerhalb des Fahrzeugs) dargestellt oder in verbaler Form präsentiert werden, wie es beispielsweise bei der Wegbeschreibungsnavigation der Fall ist. Die Navigationsdienste können über ein eigenes Navigationsmodul im Fahrzeug bereitgestellt werden, oder es können einige oder alle Navigationsdienste über die Kommunikationsvorrichtung 108 durchgeführt werden. Positionsinformationen können an einen entfernten Standort gesendet werden, um das Fahrzeug mit Navigationskarten, Kartenanmerkungen (Points of Interest, Restaurants usw.), Routenberechnungen und dergleichen zu versehen. Die Positionsinformationen können an das Call-Center 420 oder ein anderes Remotecomputersystem wie Computer 418 für andere Zwecke wie Flottenmanagement bereitgestellt werden. Außerdem können von dem Callcenter 420 neue oder aktualisierte Kartendaten durch die Kommunikationsvorrichtung heruntergeladen werden. In einem Beispiel kann Positionsinformation durch die Vorrichtung zum Klassifizieren von Objekten in einer Fahrzeugkabine 100, die in 1 gezeigt ist, verwendet werden. um die Position eines Fahrzeugs anzugeben, das repariert werden muss oder das ein vergessenes Objekt enthält.
Das Fahrzeug 412 kann andere Fahrzeugsystemmodule (VSMs) in Form von elektronischen Hardwarekomponenten beinhalten, die sich im gesamten Fahrzeug befinden und in der Regel eine Eingabe von einem oder mehreren Sensoren empfangen und die erfassten Eingaben verwenden, um Diagnose-, Überwachungs-, Steuerungs-, Berichterstattungs- und/oder andere Funktionen auszuführen. Jedes der VSMs kann durch einen Kommunikationsbus mit den anderen VSMs, sowie der Steuerung 101 verbunden, und kann dafür programmiert werden, Fahrzeugsystem- und Subsystemdiagnosetests auszuführen. Die Steuerung 101 kann dafür konfiguriert sein, Informationen von den VSMs zu senden und zu empfangen, und VSMs zu steuern, um Fahrzeugfunktionen auszuführen. So kann beispielsweise ein VSM ein Motorsteuergerät (ECM) sein, das verschiedene Aspekte des Motorbetriebs, wie z. B. Kraftstoffzündung und Zündzeitpunkt, steuert, ein weiteres VSM kann ein externes Sensormodul sein, das konfiguriert ist, um Informationen von externen Sensoren, wie Kameras, Radar, LIDARs und Laser, zu empfangen, ein weiteres VSM kann Antriebsstrang-Steuermodul sein, das den Betrieb einer oder mehreren Komponenten des Fahrzeugantriebsstrangs reguliert, und ein weiteres VSM kann ein Chassis-Steuermodul sein, das verschiedene im Fahrzeug befindliche elektrische Komponenten, wie beispielsweise die Zentralverriegelung des Fahrzeugs und die Scheinwerfer, verwaltet. Gemäß einer exemplarischen Ausführungsform ist das Motorsteuergerät mit integrierten Diagnose-(OBD)-Funktionen ausgestattet, die unzählige Echtzeitdaten, wie z. B. die von verschiedenen Sensoren, einschließlich Fahrzeugemissionssensoren, erhaltenen Daten bereitstellen und eine standardisierte Reihe von Diagnosefehlercodes (DTCs) liefern, die einem Techniker ermöglichen, Fehlfunktionen innerhalb des Fahrzeugs schnell zu identifizieren und zu beheben. Sachverständige auf dem Fachgebiet werden erkennen, dass es sich bei den vorgenannten VSMs nur um Beispiele von einigen der Module handelt, die im Fahrzeug 412 verwendet werden können, da jedoch auch zahlreiche andere verfügbar sind.
Das Drahtlosträgersystem 414 kann ein Mobiltelefonsystem sein, das mehrere Zellentürme 470 (nur einer gezeigt), eine oder mehrere mobile Vermittlungszentralen (MSC) 472 sowie beliebige andere Netzwerkkomponenten beinhaltet, die erforderlich sind, um das Drahtlosträgersystem 414 mit dem Festnetz 416 zu verbinden. Jeder Mobilfunkturm 470 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunktürmen mit der MSC 472 entweder direkt oder über zwischengeschaltete Geräte wie z. B. eine Basisstationssteuereinheit verbunden sind. Das Drahtlosträgersystem 414 kann jede geeignete Kommunikationstechnik implementieren, darunter beispielsweise analoge Technologien, wie AMPS, oder die neueren Digitaltechnologien, wie CDMA (z. B. CDMA2000 oder 1xEV-DO) oder GSM/GPRS (z. B. 4G LTE). Der Fachmann wird erkennen, dass verschiedene Zellenturm-/Basisstation/MSC-Anordnungen möglich sind und mit dem drahtlosen System 414 verwendet werden könnten. Zum Beispiel könnten sich Basisstation und Zellentürme an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Zellenturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Zellentürme bedienen und verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Drahtlosträgersystems 414 kann ein unterschiedliches Drahtlosträgersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten 462 und einer Uplink-Sendestation 464 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation 464 erhalten werden, für das Hochladen gepackt und anschließend zum Satelliten 462 gesendet werden, der die Programmierung an die Teilnehmer sendet. Bidirektionale Kommunikation kann beispielsweise Satellitentelefoniedienste unter Verwendung der Satelliten 462 sein, um Telefonkommunikationen zwischen dem Fahrzeug 412 und der Station 464 weiterzugeben. Bei Verwendung kann dieses Satellitenfernsprechen entweder zusätzlich zum oder anstatt des Drahtlosträgersystems 414 verwendet werden.
Das Festnetz 416 kann ein konventionelles landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 414 mit dem Callcenter 420 verbindet. So kann beispielsweise das Festnetz 416 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 416 könnten mit einem normalen drahtgebundenen Netzwerk, einem Lichtleiter- oder einem anderen optischen Netzwerk, einem Kabelnetz, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Gemäß einem Beispiel kann das Callcenter 420 nicht über das Festnetz 416 verbunden sein, sondern kann Funktelefonieausrüstung beinhalten, sodass direkt mit einem drahtlosen Netzwerk, wie dem Drahtlosträgersystem 414, kommuniziert werden kann.
Der Computer 418 kann einer von einer Anzahl an Computern sein, die über ein privates oder öffentliches Netzwerk wie das Internet zugänglich sind. Jeder dieser Computer 418 kann für einen oder mehrere Zweck(e), z. B. als Webserver verwendet werden, der vom Fahrzeug über die Kommunikationsvorrichtung 108 und den Drahtlosträger 414 zugänglich ist. Bei anderen der besagten zugänglichen Computer 418 kann es sich beispielsweise um folgende handeln: einen Kundendienstzentrumscomputer in einem Kundendienstzentrum, bei dem Diagnoseinformationen und andere Fahrzeugdaten von dem Fahrzeug über die Kommunikationsvorrichtung 108 hochgeladen werden können; ein Clientcomputer, der von dem Fahrzeugbesitzer oder einem anderen Teilnehmer für solche Zwecke, wie etwa das Zugreifen auf oder das Empfangen von Fahrzeugdaten oder zum Einstellen oder Konfigurieren von Teilnehmerpräferenzen oder Steuern von Fahrzeugfunktionen verwendet wird; oder ein Speicherort eines Drittanbieters, dem oder von dem Fahrzeugdaten oder andere Informationen entweder durch Kommunizieren mit dem Fahrzeug 412 oder dem Callcenter 420 oder beiden bereitgestellt werden. Ein Computer 418 kann auch für das Bereitstellen von Internetkonnektivität wie DNS-Dienste oder als ein Netzwerkadressenserver verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 412 eine IP-Adresse zuzuweisen.
Das Callcenter 420 ist konzipiert, die Fahrzeugelektronik mit einer Anzahl an unterschiedlichen System-Back-End-Funktionen bereitzustellen, und beinhaltet nach dem hierin gezeigten Ausführungsbeispiel im Allgemeinen einen oder mehrere Schalter 480, Server 482, Datenbanken 484, Live-Berater 486 sowie ein automatisiertes Sprachausgabesystem (VRS) 488, die alle auf dem Fachgebiet bekannt sind. Diese verschiedenen Komponenten des Callcenters können miteinander über ein verdrahtetes oder drahtloses lokales Netzwerk 490 gekoppelt sein. Der Switch 480, der ein Nebenstellenanlagen (PBX)-Switch sein kann, leitet eingehende Signale weiter, sodass Sprachübertragungen gewöhnlich entweder zum Live-Berater 486 über das reguläre Telefon oder automatisiert zum Sprachdialogsystem 488 unter Verwendung von VoIP gesendet werden. Das Live-Berater-Telefon kann auch VoIP verwenden, wie durch die gestrichelte Linie in 4 angezeigt. VoIP und andere Datenkommunikation durch den Switch 480 werden über ein Modem (nicht gezeigt) implementiert, das zwischen dem Switch 480 und Netzwerk 490 verbunden ist. Datenübertragungen werden über das Modem an den Server 482 und/oder die Datenbank 484 weitergegeben. Die Datenbank 484 kann Kontoinformationen wie beispielsweise Teilnehmerauthentifizierungsinformationen, Fahrzeugkennungen, Profilaufzeichnungen, Verhaltensmuster, Informationen über Bilder, die von dem Objektdetektionssensor 107 aufgenommen wurden, speichern, wobei eine Datenbank mit Klassifizierungsinformationen über Objekte oder Merkmale, die zum Identifizieren von Objekten oder Merkmalen in den von dem Objektdetektionssensor 107 aufgenommenen Bildern verwendet werden, Informationen über erkannte Objekte oder Merkmale und einen entsprechenden Fahrzeug- und Fahrzeugort und andere relevante Teilnehmerinformationen aufweist. Datenübertragungen können zudem durch drahtlose Systeme, wie z. B. 802.11x, GPRS und dergleichen, erfolgen. Obwohl die veranschaulichte Ausführungsform beschrieben wurde, als ob sie in Verbindung mit einem bemannten Call-Center 420 verwendet werden würde, das den Live-Berater 486 einsetzt, ist es offensichtlich, dass das Call-Center stattdessen VRS 488 als einen automatisierten Berater verwenden kann oder eine Kombination von VRS 488 und dem Live-Berater 486 verwendet werden kann. Die Informationen in der Datenbank können von einem Live-Berater oder Server verwendet werden, um Benachrichtigungen über erkannte Objekte, Merkmale, Schäden an den oben genannten Fahrzeugen oder Smartphones über die oben genannten Netzwerke bereitzustellen.
Gemäß einem Beispiel kann der Live-Advisor 486 eine Klassifizierungsinformation bezüglich einer Klassifikation eines Bereiches der Vielzahl von Bereichen und eines Bildes des Bereiches empfangen. Der Live-Berater 486 kann die Klassifizierungsinformationen bestätigen oder ändern, nachdem er das Bild der Region betrachtet hat. In einem anderen Beispiel kann der Live-Advisor 486 die Klassifizierungsinformationen und das Bild empfangen, wenn ein Konfidenzwert der Klassifikation des Bereichs unter einem vorbestimmten Vertrauensschwellenwert liegt. Somit kann der Live-Berater 486 die Klassifizierungsinformation bei Bedarf korrigieren.
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.

Claims

Vorrichtung zum Erkennen und Klassifizieren von einem Fahrzeug zugeordneten Objekten, die Vorrichtung umfassend: mindestens einen Speicher, umfassend computerausführbare Anweisungen; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen zu lesen und auszuführen, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen zum: Erfassen eines ersten Bildes und eines zweiten Bildes eines Bereichs eines Fahrzeugs; Teilen des ersten Bildes und des zweiten Bildes in eine Vielzahl von Bereichen; Vergleichen eines ersten Bereiches des ersten Bildes mit einem zweiten Bereich des zweiten Bildes, wobei der zweite Bereich des zweiten Bildes des ersten Bereiches in dem ersten Bild entspricht; in Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und des ersten Bereichs, Klassifizieren eines Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, und Markieren des klassifizierten Objekts; und Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einem Betreiber des Fahrzeugs.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen bewirken, dass der mindestens eine Prozessor das erste Bild erfasst, bevor ein Insasse das Fahrzeug betritt, und worin die computerausführbaren Anweisungen bewirken, dass der mindestens eine Prozessor das zweite Bild erfasst, nachdem der Insasse das Fahrzeug verlassen hat.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen ferner veranlassen, dass der mindestens eine Prozessor konfiguriert ist zum: Empfangen einer Eingabe, um das klassifizierte Objekt vom Betreiber des Fahrzeugs neu zu kennzeichnen; und Umklassifizieren des Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, basierend auf der empfangenen Eingabe.
Vorrichtung nach Anspruch 1, worin die Vielzahl von Bereichen zwei oder mehrere von einem vorderen Beifahrersitz, einer vorderen Fahrerseite, einem hinteren linken Sitz, einem hinteren rechten Sitz, einem Rücksitzbereich, einem vorderen Fußraum, einem vorderen Fahrerfußraum, einem hinteren linken Fußraum, einem hinteren rechten Fußraum, einem hinteren Fußraum, einem Armaturenbrett, einem Getränkehalter, einer Mittelkonsole, einem Kofferraumbereich und einer Oberfläche benachbart der hinteren Fensterscheibe umfassen.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen ferner bewirken, dass der mindestens eine Prozessor die Benachrichtigung über die erkannte Differenz durch Übertragen von Informationen über das zweite Bild oder das klassifizierte Objekt an einen Bediener bereitstellt.
Vorrichtung nach Anspruch 1, ferner umfassend eine Kamera, die in dem Fahrzeug montiert ist, worin die computerausführbaren Anweisungen ferner bewirken, dass der mindestens eine Prozessor die Kamera steuert, um das erste Bild und das zweite Bild zu erfassen.
Vorrichtung nach Anspruch 6, worin die computerausführbaren Anweisungen ferner bewirken, dass der mindestens eine Prozessor den ersten Bereich des ersten Bildes mit dem zweiten Bereich des zweiten Bildes vergleicht, indem er eine Änderung der Pixelwerte in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich erkennt.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen ferner bewirken, dass der mindestens eine Prozessor das Objekt in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich klassifiziert, indem ein Bild des Objekts mit Bildern von in einer Datenbank gespeicherten Objekten verglichen wird, und Klassifizieren des Objekts gemäß einer Klassifikation eines Bildes, das in der Datenbank gespeichert ist, die dem Bild des Objekts am nächsten ist.
Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen ferner bewirken, dass der mindestens eine Prozessor das Objekt in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich durch Identifizieren des Objekts durch Ausführen von mindestens einer von Kantenanpassung, Graustufenanpassung und Gradientenanpassung klassifiziert.
Nicht-flüchtiges computerlesbares Medium mit computerlesbaren Anweisungen, wobei die computerlesbaren Anweisungen durch einen Computer ausführbar sind, um ein Verfahren durchzuführen, umfassend: das Empfangen eines ersten Bildes und eines zweiten Bildes einer Kabine eines Fahrzeugs; das Teilen des ersten Bildes und des zweiten Bildes in eine Vielzahl von Bereichen; das Vergleichen eines ersten Bereiches des ersten Bildes mit einem zweiten Bereich des zweiten Bildes, wobei der zweite Bereich des zweiten Bildes dem ersten Bereich in dem ersten Bild entspricht; in Reaktion auf das Erkennen eines Unterschieds zwischen dem zweiten Bereich und dem ersten Bereich, das Klassifizieren eines Objekts, das in dem Unterschied zwischen dem zweiten Bereich und dem ersten Bereich vorhanden ist, und Kennzeichnen des klassifizierten Objekts; und das Bereitstellen einer Benachrichtigung des klassifizierten Objekts an mindestens einen von einem Insassen des Fahrzeugs und einem Fahrer des Fahrzeugs.