-
Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrerassistenzeinrichtung in einem Kraftfahrzeug. Es wird ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera der Fahrerassistenzeinrichtung erfasst. Zu dem Umgebungsbereich werden außerdem Sensordaten mittels eines von der Kamera unterschiedlichen Sensors erfasst. Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung zum Durchführen eines solchen Verfahrens, wie auch ein Kraftfahrzeug mit einer derartigen Fahrerassistenzeinrichtung.
-
Fahrerassistenzeinrichtungen sind aus dem Stand der Technik bereits in vielfältiger Ausgestaltung bekannt. So sind einerseits Kamerasysteme bekannt, welche über eine Vielzahl von am Kraftfahrzeug angebrachten Video-Kameras verfügen, deren Bilder auf einem Display im Kraftfahrzeug angezeigt werden können. Die Bilder der Kameras können auch einer Bildverarbeitung unterzogen werden, und es können zusätzliche Funktionalitäten anhand der Bilder bereitgestellt werden. Beispielsweise erfolgt anhand der Bilder eine Objekterkennung, sodass das Kamerasystem als Kollisionswarnungssystem dienen kann. Andererseits sind auch Systeme bekannt, welche zum Messen von Entfernungen zwischen dem Kraftfahrzeug und den in seiner Umgebung befindlichen Hindernissen ausgebildet sind. Gemeint sind hier beispielsweise Ultraschallsensoren, welche an dem vorderen und dem hinteren Stoßfänger des Kraftfahrzeugs verteilt angeordnet sein können. Jeder Ultraschallsensor besitzt dann seinen eigenen Erfassungsbereich, welcher ein Teilsegment eines gemeinsamen Erfassungsbereichs des gesamten Ultraschallsensorsystems darstellt. Jeder Ultraschallsensor misst also die Abstände in seinem eigenen Erfassungsbereich.
-
Es ist auch bereits Stand der Technik, ein Kamerasystem mit einem Sensorsystem in einem Kraftfahrzeug zu kombinieren. Eine derartige Sensorfusion ist beispielsweise aus dem Dokument
GB 2463544 A bekannt. Es werden hier eine Vielzahl von Ultraschallsensoren eingesetzt, die beispielsweise an einem Stoßfänger angebracht sind. Der durch die Ultraschallsensoren erfasste Umgebungsbereich des Kraftfahrzeugs wird außerdem mittels einer Kamera abgebildet. Eine Recheneinrichtung verarbeitet gleichzeitig die Sensordaten der Ultraschallsensoren, wie auch die Bilder der Kamera. Einerseits werden die Bilder auf einem Display im Kraftfahrzeug angezeigt; andererseits wird mittels der Recheneinrichtung überprüft, ob ein detektiertes Objekt sich dem Kraftfahrzeug annähert. Gegebenenfalls wird dann ein Warnsignal ausgegeben,
-
Im Stand der Technik erfolgt die Sensorfusion also derart, dass alle Informationen unterschiedlicher Sensorsysteme – nämlich der Kamera einerseits und der Ultraschallsensoren andererseits – in einer gemeinsamen Recheneinrichtung gesammelt und gleichzeitig verarbeitet werden.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung die Bilder der Kamera einerseits und die Sensordaten des Sensors andererseits besser als im Stand der Technik miteinander kombiniert werden können.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Fahrerassistenzeinrichtung sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs durch Erfassen eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera der Fahrerassistenzeinrichtung, wie auch durch Erfassen von Sensordaten zu dem Umgebungsbereich mittels eines von der Kamera unterschiedlichen Sensors, nämlich beispielsweise eines Ultraschallsensors. Erfindungsgemäß ist vorgesehen, dass mittels einer elektronischen Recheneinrichtung der Fahrerassistenzeinrichtung ein in dem Umgebungsbereich befindliches Objekt in dem Bild erkannt wird und zum Erkennen des Objekts in dem Bild die Sensordaten des Sensors verwendet werden.
-
Der erfindungsgemäße Effekt wird also dadurch erzielt, dass die Recheneinrichtung das fahrzeugexterne Objekt in dem Bild nicht oder nicht nur anhand der Bilddaten identifiziert, sondern (auch) anhand der Sensordaten des zumindest einen Sensors. Die Erfindung beruht dabei auf der Erkenntnis, dass es mithilfe der aus dem Stand der Technik bekannten Detektionsalgorithmen, welche zur Detektion von Objekten anhand der Bilder dienen, nicht immer möglich ist, das Objekt in dem aufgenommenen Bild zu identifizieren.
-
Eine Objekterkennung alleine anhand der Bilddaten ist nämlich insbesondere in einem Nahbereich bis zu etwa 0,5 m vom Kraftfahrzeug nicht oder nur eingeschränkt möglich. Es kann vorkommen, dass ein in diesem Nahbereich befindliches Objekt zwar in den aufgenommenen Bildern abgebildet ist, jedoch alleine anhand der Bilder nicht erkannt werden kann. Die Erfindung geht nun den Weg, zur Identifikation des Objekts in dem aufgenommenen Bild die Sensordaten des Sensors zu verwenden. Dies kann beispielsweise so aussehen, dass, falls das Objekt anhand der Bilddaten nicht erkannt werden kann, selbiges Objekt alleine anhand der Sensordaten identifiziert wird. Wird hingegen das Objekt sowohl anhand der Sensordaten als auch anhand des Bildes identifiziert, so kann die Erkennung des Objekts in dem Bild sowohl in Abhängigkeit von den Sensordaten als auch abhängig von den Bilddaten erfolgen. Insgesamt wird somit die Sensorfusion im Vergleich zum Stand der Technik verbessert und die Genauigkeit und Zuverlässigkeit der Objekterkennung in dem Bild der Kamera erhöht.
-
Die Erkennung des Objekts in dem Bild kann beispielsweise so erfolgen, dass zumindest ein Bereich des im Bild abgebildeten Objekts mit einem Begrenzungsrechteck (bounding box) umgeben wird. Eine solche Vorgehensweise, ein anhand von Bilddaten identifiziertes Objekt in dem Bild mittels eines Begrenzungsrechtecks zu kennzeichnen, ist bereits beispielsweise aus der Druckschrift
JP 2011/119917 A bekannt. Bei dieser Ausführungsform wird hingegen auch vorgeschlagen, ein derartiges Begrenzungsrechteck nicht oder nicht nur anhand der Bilddaten der Kamera zu erzeugen, sondern ergänzend oder alternativ auch anhand der Sensordaten des Sensors. Diese Ausführungsform macht sich die Tatsache zunutze, dass ein nach dem Echolaufzeitverfahren arbeitender Sensor einen bestimmten Erfassungsbereich besitzt und die Abstände lediglich in diesem Erfassungsbereich misst. Insbesondere bei Ultraschallsensoren ist dieser Erfassungsbereich relativ schmal, sodass bei Vorhandensein mehrerer Sensoren mit guter Genauigkeit auch die Position des Objekts relativ zum Kraftfahrzeug und somit auch die Position des Objekts in dem aufgenommenen Bild bestimmt werden können. Das anhand der Sensordaten erzeugte Begrenzungsrechteck kann in dem Bild der Kamera beispielsweise eine Breite aufweisen, welche der Breite des Erfassungsbereichs des Sensors entspricht. Ein solches Kamerabild mit dem Begrenzungsrechteck kann dann auf unterschiedlichste Art und Weisen verwertet werden: Zum einen kann dieses Bild auf einem Display im Kraftfahrzeug angezeigt werden, sodass der Fahrer über das detektierte Objekt informiert wird. Andererseits kann dieses Bild mit dem Begrenzungsrechteck auch an andere Fahrerassistenzsysteme im Kraftfahrzeug übertragen werden, und diese anderen Systeme können das Bild zum Bereitstellen unterschiedlicher Funktionalitäten im Kraftfahrzeug verwenden. Ein solches System kann beispielsweise das Kollisionswarnungssystem sein, welches anhand des Bildes ein Warnsignal zum Warnen des Fahrers erzeugen kann.
-
In einer Ausführungsform ist vorgesehen, dass in dem Bild das Objekt sowohl anhand der Sensordaten des Sensors als auch anhand des Bildes der Kamera mittels der Recheneinrichtung erkannt wird. Dies ist insbesondere dann vorgesehen, wenn die Objekterkennung sowohl anhand der Sensordaten als auch anhand der Bilddaten der Kamera möglich ist, wenn sich also das Objekt in einem Überlappungsbereich zwischen dem Erfassungsbereich des Sensors sowie einem Bildanalysebereich befindet, in welchem die Objekterkennung auch anhand der Bilddaten möglich ist. Diese Ausführungsform hat den Vorteil, dass das fahrzeugexterne Objekt besonders zuverlässig und höchst genau in dem Bild der Kamera identifiziert werden kann. Diese Ausführungsform vereint nämlich die Vorteile der Objekterkennung anhand der Bilddaten einerseits mit den Vorteilen der Objekterkennung anhand der Sensordaten andererseits, sodass die jeweiligen Nachteile der beiden Objekterkennungsmethoden umgangen werden können.
-
Dies kann beispielsweise so erfolgen, dass in dem Bild ein erstes Begrenzungsrechteck anhand der Sensordaten des Sensors erzeugt wird, während ein zweites Begrenzungsrechteck anhand des Bildes der Kamera (also mittels einer Bildverarbeitung) erzeugt wird. Dann können die beiden Begrenzungsrechtecke zu einem gemeinsamen Begrenzungsrechteck zusammengefügt werden. Somit ist die Erzeugung des Begrenzungsrechtecks in dem Bild der Kamera besonders präzise.
-
Besonders bevorzugt beinhaltet das Erkennen des Objekts, dass anhand des Bildes der Kamera eine Breite des Objekts in dem Bild bestimmt wird, während anhand der Sensordaten des Sensors die Position eines unteren Endes des Objekts in dem Bild bestimmt wird. Diese Ausführungsform beruht auf der Erkenntnis, dass sowohl die Objekterkennung anhand der Bilddaten als auch die Erkennung anhand der Sensordaten „schwache Punkte” aufweisen. So ist bei der Objekterkennung anhand der Bilddaten die genaue Bestimmung des unteren Endes im Bild aufgrund der verwendeten Detektionsalgorithmen (optical flow, ego-motion compensation method) nicht oder nur eingeschränkt möglich. Mit diesen Detektionsalgorithmen können beispielsweise die Füße von Fußgängern nur ungenau detektiert werden. Andererseits ist anhand der Sensordaten des Sensors die Bestimmung der Breite des Objekts im Bild nur mit einer eingeschränkten Genauigkeit möglich. Aus diesem Grund wird vorliegend vorgeschlagen, zur Bestimmung der Breite des Objekts im Bild die Bilddaten der Kamera und zur Bestimmung der Position eines unteren Endes des Objekts im Bild die Sensordaten des Sensors zu verwenden. Die jeweiligen Nachteile der Erkennungsmethoden – anhand der Bilddaten einerseits und anhand der Sensordaten andererseits – können somit umgangen werden, und die Objekterkennung kann besonders präzise erfolgen.
-
Letztere Ausführungsform kann beispielsweise derart verwirklicht werden, dass das Zusammenfügen der beiden Begrenzungsrechtecke auf eine ganz spezifische Art und Weise durchgeführt wird: Für das gemeinsame Begrenzungsrechteck kann die Breite des zweiten Begrenzungsrechtecks (anhand der Kameradaten) sowie die Position einer unteren Kante des ersten Begrenzungsrechtecks in dem Bild anhand der Sensordaten) übernommen werden. Das gemeinsame Begrenzungsrechteck weist somit die Breite des anhand der Bilddaten erzeugten Begrenzungsrechtecks auf, und die Position der unteren Kante des gemeinsamen Begrenzungsrechtecks entspricht der Position des anhand der Sensordaten erzeugten Begrenzungsrechtecks. Das gemeinsame Begrenzungsrechteck gibt somit die tatsächliche Position des Objekts im Bild besonders präzise wieder.
-
Wie bereits ausgeführt, kann es vorkommen, dass sich das Objekt innerhalb des Erfassungsbereichs des Sensors befindet, jedoch außerhalb eines Bildanalysebereichs, in welchem das Erkennen des Objekts anhand der Bilddaten überhaupt möglich ist. In einem solchen Falle wird selbiges Objekt in dem Bild vorzugsweise alleine anhand der Sensordaten des Sensors erkannt. Die Schwächen der Objekterkennung anhand der Sensordaten werden bei dieser Ausführungsform in Kauf genommen. Diese Ausführungsform ermöglicht jedoch, dass auch bei Fehlen einer Objekterkennung anhand der Bilddaten das fahrzeugexterne Objekt trotzdem in dem Bild der Kamera identifiziert werden kann.
-
Falls sich das Objekt hingegen außerhalb des Erfassungsbereichs des Sensors befindet, wird selbiges Objekt in dem Bild alleine anhand des Bildes der Kamera erkannt. Kann das Objekt also anhand der Sensordaten nicht erkannt werden, werden alleine die Bilddaten der Kamera zur Objekterkennung verwendet. Dies ist insbesondere dann der Fall, wenn sich das Objekt relativ weit weg vom Kraftfahrzeug befindet, nämlich in einer Entfernung größer als beispielsweise 2,2 m. Bei einer derartigen Entfernung kann das Objekt mithilfe des Sensors nämlich nicht mehr detektiert werden, und die Objekterkennung kann alleine anhand der Bilddaten vorgenommen werden.
-
Es ist bevorzugt ein Ultraschallsensor, welcher zur Erfassung der Sensordaten zum Umgebungsbereich des Kraftfahrzeugs verwendet wird. Es können insgesamt eine Vielzahl von Ultraschallsensoren verwendet werden, die an dem vorderen Stoßfänger und/oder an dem hinteren Stoßfänger des Kraftfahrzeugs verteilt angeordnet sein können. Jeder Ultraschallsensor besitzt dann seinen eigenen Erfassungsbereich, und die einzelnen Erfassungsbereiche können nebeneinander – gegebenenfalls auch überlappend – liegen. Die Erfindung ist jedoch nicht auf einen Ultraschallsensor beschränkt. Es können auch andere Sensoren eingesetzt werden, welche von der Kamera unterschiedlich sind. Insbesondere ist der zumindest eine Sensor ein solcher, der nach dem Echolaufzeitverfahren arbeitet, also ein Abstandssensor, bei welchem die Abstände durch Messen der Laufzeit des Sendesignals gemessen werden.
-
Die Erfindung betrifft auch eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Kraftfahrzeug weist eine erfindungsgemäße Fahrerassistenzeinrichtung auf.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Fahrerassistenzeinrichtung sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung eine Draufsicht auf ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung;
-
2 in schematischer Darstellung ein Bild einer Kamera, wobei in dem Bild Erfassungsbereiche von Sensoren dargestellt sind;
-
3 in schematischer Darstellung das Bild gemäß 2, wobei die Erzeugung eines Begrenzungsrechtecks anhand von Sensordaten näher erläutert wird;
-
4 das Bild mit dem Begrenzungsrechteck, welches alleine anhand der Sensordaten erzeugt wird;
-
5 das Bild mit einem Begrenzungsrechteck, welches alleine anhand des Bildes (also der Bilddaten) erzeugt wird;
-
6 das Bild mit den beiden Begrenzungsrechtecken;
-
7 in vergrößerter Darstellung die beiden Begrenzungsrechtecke;
-
8 einen Ausschnitt des Bildes mit einem gemeinsamen Begrenzungsrechteck, welches aus den beiden genannten Begrenzungsrechtecken erzeugt wird; und
-
9 in schematischer Darstellung das Kraftfahrzeug, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung ist ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet eine Fahrerassistenzeinrichtung 2, welche zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs 1 dient. Die Fahrerassistenzeinrichtung 2 weist eine Vielzahl von Ultraschallsensoren 3, 4, 5, 6 auf, die im Ausführungsbeispiel an einem hinteren Stoßfänger des Kraftfahrzeugs 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind insgesamt vier Ultraschallsensoren 3 bis 6 vorgesehen. Die Anzahl sowie die Anordnung der Ultraschallsensoren 3 bis 6 ist im Beispiel gemäß 1 lediglich beispielhaft dargestellt; die Anzahl und die Anordnung der Ultraschallsensoren 3 bis 6 kann je nach Ausführungsbeispiel unterschiedlich sein. So können die Ultraschallsensoren 3 bis 6 auch an einem vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet sein. Auch die Ausgestaltung der Sensoren 3 bis 6 als Ultraschallsensoren ist hier beispielhaft. Es können auch andere Sensoren eingesetzt werden, die Abstände zwischen dem Kraftfahrzeug 1 und den in seiner Umgebung befindlichen Hindernissen messen können. Beispielsweise können auch Radargeräte oder aber optische Abstandssensoren verwendet werden.
-
Jeder Ultraschallsensor 3 bis 6 hat einen Erfassungsbereich 7, 8, 9, 10, in welchem der jeweilige Ultraschallsensor 3 bis 6 die Abstände messen kann. Befindet sich beispielsweise ein fahrzeugexternes Objekt in dem Erfassungsbereich 7 des Ultraschaltsensors 3, so kann der Ultraschallsensor 3 die Entfernung dieses Objekts von dem Kraftfahrzeug 1 erfassen. Die Erfassungsbereiche 7 bis 10 liegen dicht nebeneinander und schließen sich unmittelbar aneinander an. Die Erfassungsbereiche 7 bis 10 decken somit einen relativ großen Umgebungsbereich hinter dem Kraftfahrzeug 1 ab, sodass die einzelnen Erfassungsbereiche 7 bis 10 jeweils ein Teilsegment des Umgebungsbereichs hinter dem Kraftfahrzeug 1 darstellen. Die jeweiligen Erfassungsbereiche 7 bis 10 sind dabei relativ schmale Segmente, die in Fahrzeugquerrichtung nebeneinander liegen und in Fahrzeuglängsrichtung länglich ausgeführt sind.
-
Die Fahrerassistenzeinrichtung 2 hat außerdem eine Kamera 11, welche ähnlich wie die Ultraschallsensoren 3 bis 6 im Heckbereich des Kraftfahrzeugs 1 angeordnet ist und einen Umgebungsbereich 12 hinter dem Kraftfahrzeug 1 abbildet. Der mit der Kamera 11 abgebildete Umgebungsbereich 12 umfasst auch die Erfassungsbereiche 7 bis 10 der Ultraschallsensoren 3 bis 6, sodass die Erfassungsbereiche 7 bis 10 sich innerhalb des abgebildeten Umgebungsbereichs 12 befinden.
-
Die Kamera 11 ist eine Video-Kamera, die eine Vielzahl von Einzelbildern (frames) pro Sekunde bzw. eine zeitliche Sequenz von Bildern liefern kann. Die Kamera 11 hat einen relativ großen Erfassungswinkel bzw. Öffnungswinkel, welcher sogar in einem Wertebereich von 120° bis 190° liegen kann. Dieser Winkel ist in 1 durch zwei Linien 13, 14 begrenzt, nämlich derart, dass der abgebildete Umgebungsbereich 12 hinter dem Kraftfahrzeug 1 ebenfalls durch die Begrenzungslinien 13, 14 begrenzt ist. Die Kamera 11 kann beispielsweise die so genannte Fischaugenkamera sein.
-
Sowohl die Ultraschallsensoren 3 bis 6 als auch die Kamera 11 sind mit einer in den Figuren nicht näher dargestellten elektronischen Recheneinrichtung elektrisch verbunden, welche beispielsweise einen digitalen Signalprozessor und einen Speicher beinhalten kann. Die Recheneinrichtung empfängt also einerseits die Sensordaten der Ultraschallsensoren 3 bis 6 und andererseits auch die Bilder – also die Bilddaten – der Kamera 11.
-
Ein beispielhaftes Bild 15 der Kamera 11, in welchem der Umgebungsbereich 12 abgebildet ist, ist in 2 dargestellt. Weil in der Recheneinrichtung die Koordinaten der Ultraschallsensoren 3 bis 6 und der Kamera 11 im Koordinatensystem des Kraftfahrzeugs 1 bzw. im Koordinatensystem der Kamera 11 bekannt sind, sind auch die Positionen der Erfassungsbereiche 7 bis 10 im Bild 15 bekannt, wie dies schematisch in 2 dargestellt ist. Existiert ein Objekt 16 (hier ein Fußgänger) innerhalb des Erfassungsbereichs 7 bis 10 eines der Ultraschallsensoren 3 bis 6 (in 2 beispielhaft im Erfassungsbereich 8 des Ultraschallsensors 4), kann in dem Bild 15 ein Bereich 17 definiert werden, in welchem sich das abgebildete Objekt 16 im Bild 15 befindet. Dies ist deshalb möglich, weil die Position der Erfassungsbereiche 7 bis 10 im Bild 15 der Kamera 11 in der Recheneinrichtung bekannt ist. Wird also mittels des Ultraschallsensors 4 das Objekt 16 detektiert (wenn dieser Ultraschallsensor 4 einen gemessenen Abstand liefert), kann als sicher angenommen werden, dass sich in dem Erfassungsbereich 8 des Ultraschallsensors 4 das Objekt 16 auch tatsächlich befindet. Der definierte Bereich 17, in welchem sich das Objekt 16 befindet, kann die gleiche Breite im Bild 15 besitzen wie der Erfassungsbereich 8 des Ultraschallsensors 4. Weil mittels des Ultraschallsensors 3 bis 6 die Abstände zum Objekt 16 besonders präzise gemessen werden können, kann anhand des gemessenen Abstands die Position eines unteren Endes 18 des Objekts 16 im Bild 15 ermittelt werden. Im Ausführungsbeispiel gemäß 3 entspricht das untere Ende 18 einem Fuß des Fußgängers. Auf der anderen Seite ist es alleine anhand der Sensordaten der Ultraschallsensoren 3 bis 6 nicht ohne Weiteres möglich, die Breite des Objekts 16 im Bild 15 zu bestimmen. Deshalb wird der Bereich 17 mit einer solchen Breite definiert, welche der Breite des Erfassungsbereichs 8 entspricht.
-
Alleine anhand der Sensordaten der Ultraschallsensoren 3 bis 6 kann also in dem Bild 15 ein erstes Begrenzungsrechteck 19 erzeugt werden, welches in 4 dargestellt ist und dem Bereich 17 gemäß 3 entspricht. Die gedachten Erfassungsbereiche 7 bis 10 der Ultraschallsensoren 3 bis 6 sind in 4 nicht mehr dargestellt. Es steht also ein Bild 15 gemäß 4 zur Verfügung, in welchem das Objekt 16 mittels des Begrenzungsrechtecks 19 umgeben ist. Die Objekterkennung erfolgt hier also alleine anhand der Sensordaten der Ultraschallsensoren 3 bis 6. Um das erste Begrenzungsrechteck 19 zu erzeugen, ist nämlich eine spezielle Bildverarbeitung des Bildes 15 nicht erforderlich.
-
Diese Art der Objekterkennung, welche alleine anhand der Sensordaten der Ultraschallsensoren 3 bis 6 durchgeführt wird, ist beispielsweise dann vorgesehen, wenn aufgrund der geringen Entfernung des Objekts 16 die Recheneinrichtung nicht in der Lage ist, das Objekt 16 in dem Bild 15 alleine anhand der Bildverarbeitung der Bilddaten zu identifizieren. Liefert die optische Objekterkennung keine Ergebnisse, so wird das Objekt 16 im Bild 15 – wie oben gezeigt – alleine anhand der Sensordaten der Ultraschallsensoren 3 bis 6 detektiert. Ein solches Bild 15 gemäß 4 kann dann beispielsweise auf einem Display im Kraftfahrzeug 1 angezeigt oder aber an weitere Assistenzsysteme weitergeleitet werden.
-
Ist hingegen die Detektion des Objekts 16 anhand der Kameradaten möglich, so können auch die aus dem Stand der Technik bekannten Bildverarbeitungsalgorithmen verwendet werden, welche zur Detektion des Objekts 16 im Bild 15 dienen. Auch solche Detektionsalgorithmen liefern ein Begrenzungsrechteck 20 (zweites Begrenzungsrechteck), wie es in 5 näher dargestellt ist. Das Bild 15 gemäß 5 ist also das Ergebnis eines Detektionsalgorithmus, mit welchem das Objekt 16 identifiziert wird. Wie aus 5 hervorgeht, wird die tatsächliche Breite des Objekts 16 mit dem zweiten Begrenzungsrechteck 20 besser als mit dem ersten Begrenzungsrechteck 19 (siehe 4) wiedergegeben. Allerdings besteht ein Nachteil der Objekterkennung anhand der Bilddaten darin, dass die Basis des Objekts 16 – also das untere Ende 18 (hier die Füße) – durch die Recheneinrichtung nicht eindeutig identifiziert werden kann. Dies aus dem Grund, dass in der Regel der so genannte „optische Fluss” (optical flow) als Detektionsalgorithmus verwendet wird, welcher die Ego-Motion-Kompensation beinhaltet. Dieser Algorithmus gibt das Bild 15 mit dem Begrenzungsrechteck 20 aus, wobei die untere Kante des Begrenzungsrechtecks 20 im Bild 15 nicht immer der Position des unteren Endes 18 im Bild 15 entspricht.
-
Ist die Objekterkennung anhand der Sensordaten der Ultraschallsensoren 3 bis 6 nicht möglich, so erfolgt die Detektion des Objekts 16 alleine anhand des Bildes 15, also alleine anhand der Kameradaten. Das Ergebnis dieser Objekterkennung ist in 5 dargestellt.
-
Es kann auch vorkommen, dass das Objekt 16 in dem Bild 15 sowohl anhand der Sensordaten des Ultraschallsensors 3 bis 6 als auch anhand der Bilddaten der Kamera 11 identifiziert werden kann. Wie in 6 dargestellt ist, werden somit zwei Begrenzungsrechtecke 19, 20 erzeugt, nämlich das erste Begrenzungsrechteck 19 anhand der Sensordaten und das zweite Begrenzungsrechteck 20 anhand der Bildverarbeitung. Aus den beiden Begrenzungsrechtecken 19, 20 kann nun ein gemeinsames Begrenzungsrechteck 21 erzeugt werden (siehe 8). Die Erzeugung des gemeinsamen Begrenzungsrechtecks 21 erfolgt derart, dass die Breite des zweiten Begrenzungsrechtecks 20 einerseits und die Position der unteren Kante des ersten Begrenzungsrechtecks 19 andererseits übernommen werden. Bezugnehmend auf 7 wird in der Recheneinrichtung das zweite Begrenzungsrechteck 20 genommen und in seiner Höhe so ausgedehnt, dass eine untere Kante 22 des zweiten Begrenzungsrechtecks 20 mit einer unteren Kante 23 des ersten Begrenzungsrechtecks 19 zusammenfällt. Es wird also die Höhe des zweiten Begrenzungsrechtecks 20 vergrößert, indem die untere Kante 22 im Bild 15 nach unten verschoben wird, bis diese Kante 22 die untere Kante 23 erreicht. Dabei bleibt die obere Kante des Begrenzungsrechtecks 20 unverändert. Ein solches verändertes Begrenzungsrechteck 20 entspricht dann dem gemeinsamen Begrenzungsrechteck 21 gemäß 8, welches auf der Grundlage der beiden Begrenzungsrechtecke 19, 20 erzeugt wurde. Das Begrenzungsrechteck 21 gemäß 8 stellt also das Ergebnis der Objekterkennung sowohl anhand der Bilddaten als auch anhand der Sensordaten dar.
-
Wie bereits ausgeführt, können unterschiedliche Situationen vorkommen:
- – Es kann ausschließlich die Objekterkennung anhand der Sensordaten möglich sein;
- – es kann ausschließlich die Objekterkennung anhand der Bilddaten möglich sein; und
- – es können beide Arten der Objekterkennung möglich sein (gemeinsames Begrenzungsrechteck 21).
-
Dies wird in der Regel davon abhängig sein, in welcher Entfernung sich das Objekt 16 vom Kraftfahrzeug 1 befindet. Bezugnehmend auf 9 können insgesamt drei unterschiedliche Bereiche 24, 25, 26 definiert werden, die sich jeweils in unterschiedlichen Entfernungen vom Fahrzeugheck befinden. Der erste Bereich 24 erstreckt sich dabei beispielsweise bis zu einer Entfernung von 0,5 m vom Kraftfahrzeug 1. Der zweite Bereich 25 erstreckt sich beispielsweise von 0,5 m bis 2,2 m vom Kraftfahrzeug 1. Der dritte Bereich 26 erstreckt sich ab 2,2 m vom Kraftfahrzeug 1. Im ersten Bereich 24 ist grundsätzlich nur eine Objekterkennung anhand der Sensordaten möglich. Im zweiten Bereich 25 hingegen ist die Objekterkennung sowohl anhand der Bilddaten als auch anhand der Sensordaten möglich. Schließlich ist im dritten Bereich 26 ausschließlich eine Erkennung anhand der Kameradaten möglich. Befindet sich also das Objekt 16 im ersten Bereich 24, so kann im Rahmen der Erkennung des Objekts 16 das erste Begrenzungsrechteck 19 erzeugt werden. Befindet sich das Objekt 16 jedoch im Bereich 25, so kann das gemeinsame Begrenzungsrechteck 21 aus den Begrenzungsrechtecken 19, 20 erzeugt werden. Befindet sich das Objekt 16 schließlich im dritten Bereich 26, so wird nur das zweite Begrenzungsrechteck 20 erzeugt.
-
Am Ende steht also ein Bild 15 mit einem Begrenzungsrechteck 19, 20 oder 21 zur Verfügung. Dieses Bild 15 kann nun auf einem Display angezeigt werden. Ergänzend oder alternativ kann dieses Bild 15 auch weiter verarbeitet werden, um weitere Funktionalitäten im Kraftfahrzeug 1 bereitstellen zu können, nämlich beispielsweise die Funktionalität des Warnens des Fahrers.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- GB 2463544 A [0003]
- JP 2011/119917 A [0010]
