-
Gebiet
-
Die vorliegende Offenbarung betrifft die Detektion eines Objekts, das versehentlich auf einer Oberfläche eines Fahrzeugs gelassen wurde.
-
Hintergrund
-
Es geschieht sehr häufig, dass ein Benutzer eines Fahrzeugs versehentlich persönliche Objekte (z. B. eine Handtasche, einen Geldbeutel, ein Telefon, einen Laptop usw.) auf der Oberseite eines Fahrzeugs zurücklässt. Falls der Benutzer vergisst, dass sich das persönliche Objekt auf der Oberseite des Fahrzeugs befindet, kann der Benutzer in das Fahrzeug einsteigen und wegfahren. Dies kann verursachen, dass das persönliche Objekt herunterfällt und möglicherweise beschädigt wird. Daher ist es in einer derartigen Situation, bevor der Benutzer wegfährt, wünschenswert, ein System aufzuweisen, das das persönliche Objekt lokalisiert und den Benutzer warnt, dass der persönliche Gegenstand auf der Oberseite des Fahrzeugs zurückgelassen wurde.
-
Das US-Patentdokument
US6163250A offenbart ein System, das einen Sensor beinhaltet, der ein sich an der Außenseite des Fahrzeugs befindliches Objekt detektiert. Der Sensor kann aus bekannten und kommerziell verfügbaren Komponenten, wie etwa einem Kraft- oder Druckmesser, ausgebildet sein, die an der Innenseite des Fahrzeugdaches befestigt sind. Viele Arten von Sensoren können eingesetzt werden, einschließlich kapazitiver und/oder Kraft-/Drucksensoren, die in der Technik bekannt sind.
-
Est ist im Stand der Technik nicht möglich, den Ort des persönlichen Objekts auf dem Dach zu detektieren und anzuzeigen. Daher besteht ein Bedarf an einem System, das den Ort des persönlichen Gegenstands auf der Oberseite des Fahrzeugs zusammen mit einer Warnung für den Benutzer des Fahrzeugs anzeigt.
-
Kurzfassung
-
Ausführungsformen der vorliegenden Erfindung sind auf ein Verfahren und ein System zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs und, wie in den angehängten Ansprüchen dargelegt, ausgerichtet.
-
Das Verfahren zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs umfasst Empfangen, durch einen Prozessor, eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung. Ein vorbestimmtes Gebiet von Interesse wird aus dem einen oder den mehreren Bildern identifiziert. Das Gebiet von Interesse des einen oder der mehreren Bilder wird verfolgt, um mindestens ein Objekt auf der Oberfläche des Fahrzeugs basierend auf einer Differenz in der Pixelintensität in dem Gebiet von Interesse zu detektieren. Der Ort des detektierten Objekts in dem Gebiet von Interesse wird zu einer Position auf einem repräsentativen Bild der Oberfläche des Fahrzeugs abgebildet. Des Weiteren wird das repräsentative Bild der Oberfläche des Fahrzeugs zusammen mit einer Warnung für einen Benutzer des Fahrzeugs angezeigt. Zusätzlich dazu wird ein Warnsymbol an der abgebildeten Position auf dem repräsentativen Bild der Oberfläche des Fahrzeugs überlagert.
-
Das System zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs umfasst eine Bildaufnahmeeinrichtung, eine Anzeigeeinrichtung und einen Prozessor, der funktionsfähig mit der Bildaufnahmeeinrichtung und der Anzeigeeinrichtung gekoppelt ist. Der Prozessor ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung und Identifizieren eines vorbestimmten Gebiets von Interesse aus dem einen oder den mehreren Bildern ausgelegt. Der Prozessor ist ferner zum Verfolgen des Gebiets von Interesse und Detektieren von mindestens einem Objekt auf der Oberfläche des Fahrzeugs basierend auf einer Differenz in der Pixelintensität ausgelegt. Der Prozessor ist ferner zum Abbilden der Position des detektierten Objekts, das in dem Gebiet von Interesse detektiert wird, zu einer Position auf einem repräsentativen Bild der Oberfläche des Fahrzeugs ausgelegt. Ferner ist der Prozessor zum Anzeigen des repräsentativen Bildes der Oberfläche des Fahrzeugs und Überlagern eines Symbols an der Position auf dem repräsentativen Bild der Oberfläche des Fahrzeugs ausgelegt.
-
Somit stellen das Verfahren und das System der vorliegenden Erfindung einem Benutzer des Fahrzeugs eine Warnung auf der Anzeigeeinrichtung des Fahrzeugs einschließlich des Ortes des Objekts auf dem Dach des Fahrzeugs bereit.
-
Es ist auch ein Computerprogramm bereitgestellt, das Programmanweisungen umfasst, um ein Computerprogramm zu veranlassen, das obige Verfahren auszuführen, die auf einem Aufzeichnungsmedium, einem Trägersignal oder einem Nurlesespeicher umgesetzt sein können.
-
Figurenliste
-
Die Erfindung wird aus der folgenden Beschreibung einer Ausführungsform davon, die nur beispielshalber gegeben ist, unter Bezugnahme auf die begleitenden Zeichnungen besser verständlich, in denen gilt:
- 1A veranschaulicht beispielhaft eine Seitenansicht eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung;
- 1B veranschaulicht beispielhaft eine Draufsicht des Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung;
- 2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht;
- 3 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht; und
- 4 veranschaulicht beispielhaft eine Anzeige des Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung.
-
Ausführliche Beschreibung der Zeichnungen
-
1A veranschaulicht beispielhaft eine Seitenansicht eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung, die das Fahrzeug 101, eine Bildaufnahmeeinrichtung 102, die auf dem Dach des Fahrzeugs angeordnet ist, und ein Objekt 103, das auf dem Dach des Fahrzeugs 101 zurückgelassen wurde, darstellt. Die gepunkteten Linien in 1A stellen das Sichtfeld der Bildaufnahmeeinrichtung dar, die auch das Dach des Fahrzeugs aufnimmt.
-
1B veranschaulicht beispielhaft eine Draufsicht eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung, die das Fahrzeug 101, eine Bildaufnahmeeinrichtung 102, die auf dem Dach des Fahrzeugs angeordnet ist, und ein Objekt 103, das auf dem Dach des Fahrzeugs 101 zurückgelassen wurde, darstellt.
-
2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht. Das Verfahren zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs umfasst Empfangen 201 eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung. Ein vorbestimmter Hintergrund wird von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder subtrahiert 202. Es versteht sich, dass andere Verfahren verwendet werden können, um ein Objekt als vom Hintergrund verschieden zu identifizieren. Das Gebiet von Interesse des einen oder der mehreren Bilder wird verfolgt 203, um mindestens ein Objekt auf der Oberfläche des Fahrzeugs basierend auf einer Differenz in der Pixelintensität in dem Gebiet von Interesse, nachdem der Hintergrund subtrahiert wird, zu detektieren. Der Ort des detektierten Objekts in dem Gebiet von Interesse wird auf eine Position auf einem repräsentativen Bild der Oberfläche des Fahrzeugs abgebildet 204. Des Weiteren wird das repräsentative Bild der Oberfläche des Fahrzeugs zusammen mit einer Warnung für einen Benutzer des Fahrzeugs angezeigt 205. Des Weiteren wird ein Warnsymbol an der abgebildeten Position auf dem repräsentativen Bild der Oberfläche des Fahrzeugs überlagert. Zum Beispiel veranschaulicht 4 beispielhaft eine Anzeige 401, die das repräsentative Bild 402 der oberen Oberfläche oder des Fahrzeugs 101 anzeigt, und ein Warnsymbol 403 wird dem repräsentativen Bild überlagert. Des Weiteren gibt das Warnsymbol 403 im Wesentlichen den Ort oder die Position des detektierten Objekts auf dem Dach des Fahrzeugs an (siehe 1B).
-
Das Erzeugen des vorbestimmten Gebiets von Interesse basiert zumindest auf der Position der Bildaufnahmeeinrichtung bezüglich der Oberfläche des Fahrzeugs. Die Position der Bildaufnahmeeinrichtung bezüglich der Oberfläche des Fahrzeugs bestimmt zum Beispiel das Gebiet von Interesse. Mit anderen Worten ist das Gebiet von Interesse ein Abschnitt eines Bildes, das die Oberfläche des Fahrzeugs aufnimmt.
-
Des Weiteren, wie oben erwähnt, basiert das Erzeugen des vorbestimmten Hintergrunds auf mindestens einem Bild der Oberfläche des Fahrzeugs. Ein Bild der Oberfläche des Fahrzeugs kann zum Beispiel unter Verwendung der Bildaufnahmeeinrichtung aufgenommen werden, während kein Objekt auf der Oberfläche platziert ist. Bei einer anderen Ausführungsform kann die Bildaufnahmeeinrichtung mehrere Bilder zu unterschiedlichen Zeiten aufnehmen, wenn sich das Fahrzeug in Bewegung befindet. Der Abschnitt des Bildes, der im Wesentlichen statisch bleibt und sich nicht über Bilder hinweg ändert, wird als der Hintergrund des Bildes angesehen. Die Kontur des statischen Abschnitts der Bilder kann auch das Gebiet von Interesse definieren, wie oben erwähnt.
-
Das Verfahren umfasst ferner Extrahieren des Bildes des detektierten Objekts und Klassifizieren des Objekts unter Verwendung eines Maschinenlernalgorithmus oder eines Modells basierend auf einem Neuronalnetzwerk und Bereitstellen einer Audiowarnung für einen Benutzer des Fahrzeugs basierend auf der Klassifikation des Objekts. Falls zum Beispiel ein Apfel auf der Oberfläche des Fahrzeugs zurückgelassen wird, kann eine Warnung „Warnung! Ein Apfel befindet sich auf dem Dach des Fahrzeugs“ ertönen.
-
Das Verfahren umfasst ferner Senden eines Signals zu der elektronischen Steuereinheit (ECU: Electronic Control Unit) des Fahrzeugs, um eine Bewegung des Fahrzeugs zu verhindern oder die Geschwindigkeit des Fahrzeugs zu beschränken. Falls zum Beispiel ein Objekt auf der Oberfläche des Fahrzeugs detektiert wird, dann wird der ECU signalisiert, die Geschwindigkeit des Fahrzeugs zu beschränken oder zu verhindern, dass sich das Fahrzeug bewegt, sodass das Objekt, das versehentlich auf dem Fahrzeug zurückgelassen wurde, nicht herunterfällt.
-
Während es das Gebiet von Interesse verfolgt, ignoriert das Verfahren Objekte, die an dem Fahrzeug angebracht sind, wobei die Objekte ein Teil des Fahrzeugs sind. Zum Beispiel eine Gepäckhalterung, die am Dach des Fahrzeugs befestigt ist.
-
Das obige Verfahren könnte bei einer beliebigen Oberfläche des Fahrzeugs angewendet werden, z. B. einem Dach des Fahrzeugs, einer Motorhaube des Fahrzeugs oder einem Kofferraumdeckel des Fahrzeugs.
-
3 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung 300 zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht. Das System umfasst einen Prozessor 301, einen Speicher 302, einen Sendeempfänger 303, eine Bildaufnahmeeinrichtung 304 und eine Anzeige 305. Der Prozessor 301 ist funktionsfähig mit dem Speicher 302, dem Sendeempfänger 303, der Bildaufnahmeeinrichtung 304 und der Anzeige 305 gekoppelt. Des Weiteren befindet sich eine elektronische Steuereinheit (ECU) 311 über den Sendeempfänger 303 in Kommunikation mit dem Prozessor 301. Ein Geschwindigkeitsregler 312 des Fahrzeugs ist auch funktionsfähig mit der ECU 311 gekoppelt. Bei einer bevorzugten Ausführungsform ist die Bildaufnahmeeinrichtung 304 eine Fischaugenkamera.
-
Der Prozessor 301 ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung 304 ausgelegt. Des Weiteren subtrahiert der Prozessor 301 einen vorbestimmten Hintergrund von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder. Der Prozessor 301 ist ferner zum Verfolgen des Gebiets von Interesse und Detektieren von mindestens einem Objekt auf der Oberfläche des Fahrzeugs basierend auf einer Differenz in der Pixelintensität innerhalb des Gebiets von Interesse ausgelegt. Der Prozessor 301 ist ferner zum Abbilden der Position des detektierten Objekts, das in dem Gebiet von Interesse detektiert wird, zu einer Position auf einem repräsentativen Bild der Oberfläche des Fahrzeugs ausgelegt. Des Weiteren bewirkt der Prozessor 301, dass die Anzeige 305 das repräsentative Bild der Oberfläche des Fahrzeugs anzeigt und ein Symbol an der Position auf dem repräsentativen Bild der Oberfläche des Fahrzeugs überlagert. Zum Beispiel veranschaulicht 4 beispielhaft eine Anzeige 401, die das repräsentative Bild 402 der oberen Oberfläche oder des Fahrzeugs 101 darstellt, und ein Warnsymbol 403 wird auf dem repräsentativen Bild überlagert. Des Weiteren gibt das Warnsymbol 403 im Wesentlichen den Ort oder die Position des detektierten Objekts auf dem Dach des Fahrzeugs an (siehe 1B).
-
Die Erzeugung des vorbestimmten Gebiets von Interesse durch den Prozessor 301 basiert zumindest auf der Position der Bildaufnahmeeinrichtung 304 bezüglich der Oberfläche des Fahrzeugs. Die Position der Bildaufnahmeeinrichtung 304 bezüglich der Oberfläche des Fahrzeugs bestimmt zum Beispiel das Gebiet von Interesse. Mit anderen Worten ist das Gebiet von Interesse ein Abschnitt eines Bildes, das die Oberfläche des Fahrzeugs aufnimmt.
-
Des Weiteren ist der Prozessor zum Erzeugen des vorbestimmten Hintergrunds, der auf mindestens einem Bild der Oberfläche des Fahrzeugs basiert, ausgelegt. Ein Bild der Oberfläche des Fahrzeugs kann zum Beispiel unter Verwendung der Bildaufnahmeeinrichtung 304 aufgenommen werden, während kein Objekt auf der Oberfläche platziert ist, und das Bild wird im Speicher 302 als ein Hintergrundbild gespeichert. Bei einer anderen Ausführungsform kann der Prozessor 301 bewirken, dass die Bildaufnahmeeinrichtung 304 mehrere Bilder zu unterschiedlichen Zeiten aufnimmt, wenn sich das Fahrzeug in Bewegung befindet. Des Weiteren kann der Prozessor einen Abschnitt des Bildes bestimmen, der im Wesentlichen durchweg durch die aufgenommenen mehreren Bilder statisch/unverändert bleibt, wobei der bestimmte Abschnitt des Bildes in dem Speicher 302 als das Hintergrundbild gespeichert wird. Außerdem kann die Kontur des statischen Abschnitts der Bilder das Gebiet von Interesse definieren, wie oben erwähnt, und die Konfiguration der Kontur wird im Speicher 302 als das Gebiet von Interesse gespeichert.
-
Der Prozessor 301 ist ferner zum Extrahieren des Bildes des detektierten Objekts und Klassifizieren des Objekts unter Verwendung eines Maschinenlernalgorithmus oder eines Modells basierend auf einem Neuronalnetzwerk ausgelegt. Das System umfasst ferner eine Audioausgabeeinrichtung, die funktionsfähig mit dem Prozessor 301 gekoppelt ist, und der Prozessor 301 ist zum Bereitstellen einer Audiowarnung für einen Benutzer des Fahrzeugs basierend auf der Klassifikation des Objekts ausgelegt. Falls zum Beispiel ein Apfel auf der Oberfläche des Fahrzeugs gelassen wird, kann eine Warnung „Warnung! Ein Apfel befindet sich auf dem Dach des Fahrzeugs“ ertönen.
-
Der Prozessor 301 ist ferner zum Senden eines Signals zu der elektronischen Steuereinheit (ECU) 311 des Fahrzeugs ausgelegt, um eine Bewegung des Fahrzeugs zu verhindern oder die Geschwindigkeit des Fahrzeugs einzuschränken. Falls zum Beispiel ein Objekt auf der Oberfläche des Fahrzeugs detektiert wird, dann wird der ECU signalisiert, unter Verwendung des Geschwindigkeitsreglers 312 die Geschwindigkeit des Fahrzeugs zu beschränken oder zu verhindern, dass sich das Fahrzeug bewegt, sodass das Objekt, das versehentlich auf dem Fahrzeug zurückgelassen wurde, nicht herunterfällt.
-
Des Weiteren wird ein Durchschnittsfachmann verstehen, dass die verschiedenen illustrativen logischen/funktionellen Blöcke, Module, Schaltungen, Techniken/Algorithmen und Prozessschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben sind, als elektronische Hardware oder eine Kombination aus Hardware und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination aus Hardware und Software zu verdeutlichen, sind verschiedene illustrative Komponenten, Blöcke, Module, Schaltungen und Schritte oben allgemein hinsichtlich ihrer Funktionalität beschrieben worden. Ob eine derartige Funktionalität als Hardware oder eine Kombination aus Hardware und Software implementiert wird, hängt von der Gestaltungswahl eines Durchschnittsfachmanns ab. Derartige Fachleute können die beschriebene Funktionalität auf verschiedene Weisen für jede spezielle Anwendung implementieren, aber derartige offensichtliche Gestaltungswahlen sollten nicht so interpretiert werden, dass sie ein Abweichen vom Schutzumfang der vorliegenden Erfindung bewirken.
-
Der in der vorliegenden Offenbarung beschriebene Prozess kann unter Verwendung verschiedener Mittel implementiert werden. Der in der vorliegenden Offenbarung beschriebene Prozess kann zum Beispiel in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden. Für eine Hardwareimplementierung können die Verarbeitungseinheiten oder Prozessoren innerhalb einer/eines oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs: Application Specific Integrated Circuits), Digitalsignalprozessoren (DSPs), digitaler Signalverarbeitungseinrichtungen (DSPDs: Digital Signal Processing Devices), programmierbarer Logikeinrichtungen (PLDs: Programmable Logic Devices), feldprogrammierbarer Gate-Arrays (FPGAs: Field Programmable Gate Arrays), Prozessoren, Steuerungen, Mikrocontrollern, Mikroprozessoren, elektronischer Einrichtungen, anderer elektronischer Einheiten, die zum Durchführen der hierin beschriebenen Funktionen konstruiert sind, oder einer Kombination davon implementiert werden.
-
Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und durch einen Prozessor ausgeführt werden. Ein Speicher kann innerhalb der Prozessoreinheit oder extern zu der Prozessoreinheit implementiert werden. Wie hierin verwendet, bezieht sich der Ausdruck „Speicher“ auf eine beliebige Art von flüchtigem Speicher oder nichtflüchtigem Speicher.
-
Weiterhin wird, obwohl Elemente der Erfindung im Singular beschrieben oder beansprucht sein können, der Plural in Betracht gezogen, es sei denn, dass eine Beschränkung auf den Singular ausdrücklich angegeben ist.
-
Die unter Bezugnahme auf die Zeichnungen beschriebenen Ausführungsformen in der Erfindung umfassen eine Computervorrichtung und/oder Prozesse, die in einer Computervorrichtung durchgeführt werden. Die Erfindung erstreckt sich jedoch auch auf Computerprogramme, insbesondere Computerprogramme, die auf oder in einem Träger gespeichert sind, der dazu eingerichtet ist, die Erfindung in die Praxis umzusetzen. Das Programm kann die Form von Sourcecode, Objektcode oder eines Codes zwischen Source- und Objektcode aufweisen, wie etwa in teilweise kompilierter Form oder in einer beliebigen anderen Form, die sich zur Verwendung bei der Implementierung des Verfahrens gemäß der Erfindung eignet. Der Träger kann ein Speicherungsmedium, wie etwa ROM, umfassen, z. B. einen Speicherstick oder eine Festplatte. Der Träger kann ein elektrisches oder optisches Signal sein, das über ein elektrisches oder ein optisches Kabel oder durch Funk oder andere Mittel übertragen werden kann.
-
In der Spezifikation werden die Ausdrücke „umfassen, umfasst, eingeschlossen und umfassend“ oder eine beliebige Variation davon und die Ausdrücke „beinhalten, beinhaltet, enthalten und einschließlich“ oder eine beliebige Variation davon als vollständig austauschbar angesehen und allen sollte die größtmögliche Interpretation gewährt werden, und umgekehrt.
-
Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann sowohl in der Konstruktion als auch in den Einzelheiten variiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
