DE102011100820A1

DE102011100820A1 - Verfahren zum Detektieren eines Hindernisses in der Umgebung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung und Kraftfahrzeug

Info

Publication number: DE102011100820A1
Application number: DE102011100820A
Authority: DE
Inventors: Patrick McDaid; Ciaran Hughes
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2011-05-07
Filing date: 2011-05-07
Publication date: 2012-11-08

Abstract

Ein erfindungsgemäßes Verfahren dient zum Detektieren eines Hindernisses (7) in der Umgebung (6) ein Kraftfahrzeugs (1), wobei das Hindernis (7) während der Standphase in die Umgebung (6) des Kraftfahrzeugs (1) gelangt und sich dort temporär unbeweglich bezüglich des Kraftfahrzeugs (1) aufhält. Es wird zu einem ersten Zeitpunkt (t1) während der Standphase ein Referenzbild der Umgebung (6) durch eine Kamera (3) des Kraftfahrzeugs (1) aufgenommen, Zu einem späteren zweiten Zeitpunkt (t2) während der Standphase wird ein Vergleichsbild der Umgebung (6) durch die Kamera (3) aufgenommen. Das unbewegliche Hindernis (7) wird anhand eines Vergleichs des Vergleichsbilds mit dem Referenzbild detektiert.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren eines Hindernisses in der Umgebung eines Kraftfahrzeugs, und zwar bei einer ganz speziellen Straßensituation, nämlich während einer Standphase bzw. eines Stillstands des Kraftfahrzeugs: Das Hindernis gelangt in die Umgebung des Kraftfahrzeugs während der Standphase und verbleibt dort temporär unbeweglich bezüglich des Kraftfahrzeugs. Es erfolgt also eine Detektion eines unbeweglichen Hindernisses im Stillstand des Kraftfahrzeugs. Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung, die zum Durchführen eines derartigen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einer solchen Fahrerassistenzeinrichtung.
Es geht vorliegend um ein Kamerasystem, welches zur Detektion eines Hindernisses dient, welches sich in der Umgebung eines Kraftfahrzeugs befindet. Solche Fahrerassistenzeinrichtungen sind bereits Stand der Technik. Beispielsweise beschreibt die Druckschrift US 7 667 581 B2 ein derartiges Kamerasystem, mittels welchem ein neben dem Kraftfahrzeug befindlicher Fußgänger erkannt werden kann. Eine Kamera erfasst eine zeitliche Abfolge bzw. eine zeitliche Sequenz von Einzelbildern (frames), und der Fußgänger wird anhand der zeitlichen Abfolge von Einzelbildern detektiert. Zur Detektion des Fußgängers werden in den Bildern charakteristische Bildpunkte (Pixels) gesucht. Es wird einerseits die Geschwindigkeit einer Bewegung der charakteristischen Bildpunkte in den Bildern ermittelt; andererseits wird auch eine Bewegungsrichtung der charakteristischen Bildpunkte in den Bildern ermittelt. Anhand dieser Informationen wird dann überprüft, ob ein in den Bildern abgebildetes Objekt ein Fußgänger ist oder nicht.
Zum Stand der Technik gehören also solche Kamerasysteme, die in der Lage sind, sich bewegende Objekte bzw. Hindernisse zu detektieren. Im Allgemeinen sind bereits Kamerasysteme bekannt, mittels welcher fahrzeugexterne Hindernisse dann detektiert werden können, wenn sich das Hindernis und/oder das eigene Kraftfahrzeug bewegt. Im Stillstand des Kraftfahrzeugs können sich bewegende Hindernisse beispielsweise mittels der Methode des optischen Flusses (optical flow method) detektiert werden. Bewegt sich hingegen das Kraftfahrzeug, so kann ein stationäres Hindernis mittels einer auf der Entfernung eines Bildhindergrundes basierten Methode (background-removal based method) erkannt werden. Die Detektion eines Hindernisses stellt erst recht dann eine besondere Herausforderung dar, wenn sich weder das Kraftfahrzeug noch das Hindernis bewegt. Folgender Fall ist beispielsweise denkbar:
Das Kraftfahrzeug wird abgestellt – es wird beispielsweise für die Nacht geparkt. Beim Einparken des Kraftfahrzeugs befinden sich in seiner unmittelbaren Umgebung keine Hindernisse, die eine Gefahr darstellen würden. Der Fahrer steigt aus dem Kraftfahrzeug aus und entfernt sich von diesem. Hinter dem Kraftfahrzeug wird nun – während der Standphase bzw. während des Stillstands des Kraftfahrzeugs – ein kleines Motorrad abgestellt. Nach einigen Stunden kommt der Fahrer des Kraftfahrzeugs wieder und steigt in das Kraftfahrzeug ein, ohne dass er das hinter dem Kraftfahrzeug stehende Motorrad sieht. Der Fahrer kann das Motorrad auch nicht in dem Rückspiegel sehen, sodass das Motorrad eine unmittelbare Gefahr für das Kraftfahrzeug darstellt. Würde der Fahrer nun das Kraftfahrzeug rückwärts anfahren, so könnte eine Kollision nicht verhindert werden. Eine ähnliche Situation kann auch im Allgemeinen bei einem Fußgänger passieren, und zwar insbesondere bei einem Kind. So kann es beispielsweise vorkommen, dass sich beim Abstellen des Kraftfahrzeugs kein Fußgänger hinter dem Kraftfahrzeug befindet, wohl aber bei der erneuten Inbetriebnahme des Kraftfahrzeugs. Auch bei einem solchen zeitweise unbeweglichen Fußgänger, der während des Stillstands des Kraftfahrzeugs in den Umgebungsbereich des Kraftfahrzeugs gelangt und sich dort temporär unbeweglich aufhält, ist die Gefahr eines Unfalls gegeben. Dies gilt insbesondere dann, wenn der Fahrer den Fußgänger im Rückspiegel nicht sehen kann. Eine besondere Herausforderung besteht somit darin, Hindernisse zu erkennen, die zwar zu Beginn einer – insbesondere relativ langen – Standphase des Kraftfahrzeugs nicht vorhanden sind, jedoch während der Standphase in den Umgebungsbereich des Kraftfahrzeugs gelangen und sich am Ende der Standphase, also bei erneuter Inbetriebnahme des Kraftfahrzeugs, in der Umgebung des Kraftfahrzeugs befinden, und zwar zeitweise unbeweglich bzw. stationär.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung ein Hindernis besonders zuverlässig detektiert werden kann, das während des Stillstands des Kraftfahrzeugs in den Umgebungsbereich des Kraftfahrzeugs gelangt und sich dort zeitweise unbeweglich aufhält.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 1, wie auch durch eine Fahrerassistenzeinrichtung mit den Merkmalen gemäß Patentanspruch 12 sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß Patentanspruch 13 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Bei einem erfindungsgemäßen Verfahren wird ein zeitweise unbewegtes Hindernis detektiert, das sich in der Umgebung eines Kraftfahrzeugs befindet. Das Hindernis wird während einer Standphase bzw. eines Stillstands des Kraftfahrzeugs detektiert. Das Hindernis gelangt während der Standphase des Kraftfahrzeugs in die Umgebung des Kraftfahrzeugs und steht dort temporär unbeweglich relativ zum Kraftfahrzeug. Es wird zu einem ersten Zeitpunkt während der Standphase ein Referenzbild der Umgebung mittels einer Kamera des Kraftfahrzeugs aufgenommen – zum ersten Zeitpunkt befindet sich das Hindernis insbesondere noch nicht in der Umgebung des Kraftfahrzeugs. Dann wird zu einem späteren zweiten Zeitpunkt während der Standphase – wenn sich das Hindernis bereits in der Umgebung des Kraftfahrzeugs befindet und dort temporär unbeweglich steht – ein Vergleichsbild der Umgebung mittels der Kamera aufgenommen. Das unbewegliche Hindernis wird anhand eines Vergleichs des Vergleichsbilds mit dem Referenzbild detektiert.
Der Erfindung liegen mehrere Erkenntnisse zugrunde: Der Erfindung liegt zunächst die Erkenntnis zugrunde, dass im Stand der Technik eine Vielzahl von Unfällen deshalb passieren, weil in der Umgebung befindliche Hindernisse nicht oder nur mit einem großen Aufwand erkannt werden können, die erst während eines Stillstands des Kraftfahrzeugs in die Umgebung des Kraftfahrzeugs gelangen und sich dort zeitweise unbeweglich aufhalten. Die Erfindung beruht ferner auf der Erkenntnis, dass die Erkennung eines unbeweglichen Hindernisses im Stillstand des Kraftfahrzeugs im Stand der Technik oft deshalb nicht möglich ist, weil die in der Regel angewendeten Algorithmen (beispielsweise AdaBoost) eine Lernphase benötigen und mit diesen Algorithmen somit ausschließlich „eingelernte” Hindernisse erkannt werden können. Die Erfindung basiert schließlich auf der Erkenntnis, dass die Nachteile des Stands der Technik dadurch umgangen werden können, dass in der Standphase des Kraftfahrzeugs zunächst – beispielsweise zu Beginn der Standphase – ein erstes Bild (Referenzbild) und später – beispielsweise am Ende der Standphase – ein weiteres Bild (Vergleichsbild) desselben Umgebungsbereichs des Kraftfahrzeugs aufgenommen und miteinander verglichen werden können. Mit lediglich zwei Bildern wird somit die Erkennung von unbeweglichen Hindernissen im Stillstand des Kraftfahrzeugs ermöglicht. Das erfindungsgemäße Verfahren ermöglicht also eine zuverlässige Detektion eines unbeweglichen Hindernisses, das sich während der Standphase des Kraftfahrzeugs im Umgebungsbereich des Kraftfahrzeugs aufhält. Gelangt ein derartiges Hindernis in die Umgebung des Kraftfahrzeugs in der Zeit zwischen dem ersten und dem zweiten Zeitpunkt, so kann dieses Hindernis besonders zuverlässig bzw. mit hoher Wahrscheinlichkeit anhand des Vergleichs der beiden Bilder detektiert werden, nämlich beispielsweise durch eine Subtraktion eines der Bilder von dem anderen. Anders als im Stand der Technik bedarf somit das erfindungsgemäße Verfahren keiner Lernphase bzw. die Hindernisse müssen nicht „eingelernt” werden. Die unbeweglichen Hindernisse können somit im Stillstand des Kraftfahrzeugs mit einem geringen Rechenaufwand detektiert werden.
Die Kamera kann beispielsweise eine CMOS-Kamera (complementary metal oxide semiconductor) oder aber eine CCD-Kamera (charge coupled device) sein.
Prinzipiell kann die Kamera an beliebigen Stellen des Kraftfahrzeugs montiert sein. Es erweist sich jedoch als besonders vorteilhaft, wenn die Kamera in einem Heckbereich des Kraftfahrzeugs angeordnet ist, etwa an einem hinteren Stoßfänger, einer Heckklappe oder aber an einer Heckscheibe des Kraftfahrzeugs. Die Kamera kann somit einen Umgebungsbereich hinter dem Kraftfahrzeug erfassen. Der Fahrer kann nämlich insbesondere solche Hindernisse nicht sehen, die sich hinter dem Kraftfahrzeug befinden. Dies gilt insbesondere dann, wenn diese Hindernisse relativ klein sind, wie beispielsweise kleine Motorräder, Kinderwägen oder aber hinter dem Kraftfahrzeug stehende Kinder.
Wie bereits ausgeführt, geht es vorliegend um die Detektion eines unbeweglichen Hindernisses im Stillstand des Kraftfahrzeugs. Dies bedeutet, dass sich weder das Kraftfahrzeug noch das Hindernis bewegt. Eine solche Situation kann beispielsweise dann auftreten, wenn zwischen dem ersten und dem zweiten Zeitpunkt – also zwischen der Aufnahme des Referenzbildes und der Aufnahme des Vergleichsbildes – die Kamera deaktiviert und dann wieder aktiviert wird. So kann das Hindernis in die Umgebung des Kraftfahrzeugs gelangen, während die Kamera deaktiviert ist. Dann ist die Detektion des Hindernisses durch die Erkennung seiner Bewegung – wie im Gegenstand gemäß Dokument US 7 687 581 B2 – nicht mehr möglich. Wird nun die Kamera wieder aktiviert, so kann das Vergleichsbild aufgenommen und mit dem Referenzbild verglichen werden.
Bei der Standphase des Kraftfahrzeugs handelt es sich insbesondere um einen längeren Stillstand. Ein Zeitintervall zwischen dem ersten und dem zweiten Zeitpunkt kann größer als 10 Sekunden, insbesondere größer als 1 Minute, noch bevorzugter größer als 1 Stunde, sein. Dies bedeutet, dass ein zeitlicher Abstand zwischen der Aufnahme des Referenzbilds und der Aufnahme des Vergleichsbilds länger als 10 Sekunden, insbesondere länger als 1 Minute, noch bevorzugter länger als 1 Stunde, ist. Es geht somit insbesondere nicht um den Vergleich von zwei Bildern, die unmittelbar nacheinander – eines nach dem anderen – aufgenommen werden. Es geht also nicht um die Erkennung der Bewegung des Hindernisses, sondern um den Vergleich zweier unterschiedlicher Szenarien, des Szenarios ohne das Hindernis einerseits und des Szenarios mit dem unbeweglichen Hindernis andererseits.
Beispielsweise kann das Referenzbild zu Beginn der Standphase aufgenommen werden, während das Vergleichsbild am Ende derselben Standphase des Kraftfahrzeugs aufgenommen werden kann. Es wird somit sichergestellt, dass alle Hindernisse detektiert werden können, die während der gesamten Standphase in die Umgebung des Kraftfahrzeugs gelangen und sich dort zeitweise unbeweglich aufhalten.
So kann das Referenzbild beim Abstellen eines Antriebsmotors des Kraftfahrzeugs aufgenommen werden, und das Vergleichsbild kann bei einem erneuten Anlassen des Antriebsmotors aufgenommen werden. Dem liegt der Gedanke zugrunde, dass beim Abstellen des Antriebsmotors in der Regel auch die Kamera deaktiviert wird. Bei abgestelltem Motor kann somit die Bewegung des Hindernisses, das in die Umgebung des Kraftfahrzeugs gelangt, nicht detektiert werden. Wird nun der Antriebsmotor wieder in Betrieb genommen, so kann das Vergleichsbild erfasst und mit dem Referenzbild verglichen werden, welches beim Abstellen des Antriebsmotors aufgenommen worden ist. Somit kann das Szenario zu Beginn des Stillstands mit dem Szenario am Ende des Stillstands verglichen werden, und die gegebenenfalls vorhandenen unbeweglichen Hindernisse können ohne viel Aufwand detektiert werden.
Nach Erkennen des Hindernisses kann der Fahrer des Kraftfahrzeugs vor der Anwesenheit des Hindernisses in der Umgebung gewarnt werden, nämlich mittels einer Warneinrichtung des Kraftfahrzeugs. Eine solche Warneinrichtung kann beispielsweise eine akustische Ausgabeeinrichtung und/oder eine optische Anzeigeeinrichtung umfassen. Auf diesem Wege gelingt es, den Fahrer über die potentielle Gefahr zuverlässig zu informieren, und es können Unfälle verhindert werden.
Hinsichtlich der Detektion des Hindernisses erweist es sich als vorteilhaft, wenn im Rahmen des Vergleichens des Vergleichsbilds mit dem Referenzbild eines dieser Bilder von dem anderen Bild subtrahiert wird. Dann kann das Hindernis anhand eines durch diese Subtraktion erzeugten Subtraktionsbilds detektiert werden. Eine solche Vorgehensweise ist besonders einfach zu implementieren, sodass das Hindernis mit geringstem Rechenaufwand und besonders rasch detektiert werden kann. Anhand des Subtraktionsbilds erfolgt die Detektion des Hindernisses außerdem besonders zuverlässig. Wird das eine Bild von dem anderen subtrahiert, so verbleibt in dem Subtraktionsbild lediglich die Differenz – es verbleiben lediglich diejenigen Objekte, die in dem späteren Vergleichsbild, nicht jedoch in dem Referenzbild, enthalten sind.
Es kann jedoch vorkommen, dass die Umgebung des Kraftfahrzeugs zu dem ersten und dem zweiten Zeitpunkt unterschiedlich beleuchtet wird. Wird das Kraftfahrzeug beispielsweise für die Nacht geparkt, so ist die Umgebung am Abend (künstliches Licht) möglicherweise anders als am nächsten Tag (durch Sonne) beleuchtet. Die Beleuchtung der Umgebung kann auch in den Tagesstunden innerhalb einer kürzeren Zeit variieren. Würde man die beiden zu unterschiedlichen Zeitpunkten aufgenommenen Bilder voneinander subtrahieren, so könnten sich Unterschiede aufgrund der unterschiedliche Befeuchtung der beiden Bilder ergeben. Um fehlerhafte Detektionen zu verhindern, ist in einer Ausführungsform vorgesehen, dass das Referenzbild und das Vergleichsbild einer Bildsegmentierung und/oder einer Merkmalserkennung hinsichtlich vorbestimmter Merkmale unterzogen werden. Es kann in dem Referenzbild und dem Vergleichsbild nach vorbestimmten Merkmalen gesucht werden, nämlich insbesondere nach Konturen und/oder Ecken und/oder Kanten abgebildeter Objekte. Dann kann das Hindernis anhand eines Vergleichs der Bildsegmente und/oder der erkannten Merkmale des Referenzbilds einerseits und des Vergleichsbilds andererseits detektiert werden. Die Detektion des Hindernisses ist somit unabhängig von der Beleuchtung der Umgebung und somit besonders robust.
Auch hier kann ein Subtraktionsbild erzeugt werden, wenn die Bildsegmente und/oder die charakteristischen Merkmale eines der Bilder von den Segmenten bzw. Merkmalen des anderen Bildes subtrahiert werden. Das Hindernis kann anhand eines Ergebnisses dieser Subtraktion detektiert werden. So können beispielsweise die im Referenzbild detektierten Konturen und/oder Ecken und/oder Kanten abgebildeter Objekte bzw. die Bildsegmente von denen des Vergleichsbilds pixelweise subtrahiert werden, sodass in dem Subtraktionsbild ausschließlich Bildsegmente bzw. Konturen und/oder Ecken und/oder Kanten vorhanden sind, die lediglich in dem Vergleichsbild, nicht jedoch in dem Referenzbild abgebildet sind. Anhand dieses Subtraktionsbilds kann das Hindernis mit großer Robustheit und großer Zuverlässigkeit detektiert werden.
Es kann auch vorkommen, dass während der Standphase des Kraftfahrzeugs zwischen dem ersten und dem zweiten Zeitpunkt die Umgebung des Kraftfahrzeugs Änderungen erfährt, die jedoch nicht auf relevante Hindernisse zurückzuführen sind. In den Erfassungsbereich der Kamera können beispielsweise Objekte gelangen, die keine relevanten Hindernisse für das Kraftfahrzeug selbst darstellen. Es kann sich hier beispielsweise um von Bäumen fallende Blätter oder aber andere irrelevante Gegenstände handeln. Um die Warnung des Fahrers bei solchen irrelevanten Gegenständen zu verhindern, ist in einer Ausführungsform vorgesehen, dass ein in dem Subtraktionsbild abgebildetes Objekt nur unter der Voraussetzung als tatsächliches bzw. relevantes Hindernis gewertet wird, dass eine Abmessung dieses Objekts in vertikaler Richtung einen vorgegebenen Grenzwert überschreitet. Gerade dann kann auf relevante Hindernisse – etwa Fußgänger – zurückgeschlossen werden, und die Warnung des Fahrers erfolgt ausschließlich bei relevanten Hindernissen und wird bei irrelevanten Hindernissen ausgeschlossen. Die Robustheit des Verfahrens kann somit auf ein Maximum gebracht werden.
Es erweist sich ebenfalls als vorteilhaft, wenn der Fahrer lediglich vor solchen Hindernissen gewarnt wird, die sich in unmittelbarer Nähe bzw. in der unmittelbaren Umgebung des Kraftfahrzeugs befinden. Weniger sinnvoll ist hingegen eine Warnung bei Hindernissen, die vom Kraftfahrzeug weiter entfernt sind. So kann ein Warnen des Fahrers nur unter der Voraussetzung erfolgen, dass sich das erkannte Hindernis bis zu einer vorbestimmten Entfernung von dem Kraftfahrzeug befindet, die zum Beispiel in einem Wertebereich von 1 m bis 3 m liegt. Dasselbe Ergebnis wird auch dann erzielt, wenn nach dem Hindernis nur bis zu der genannten vorbestimmten Entfernung von dem Kraftfahrzeug gesucht wird. So kann in den beiden Bildern ausschließlich jeweils derjenige Bildbereich untersucht werden, welcher mit der vorbestimmten Entfernung korrespondiert. Dieser relevante Bereich des Vergleichsbilds kann mit dem korrespondierenden Bereich des Referenzbilds verglichen werden, und das Hindernis kann anhand des Vergleichs dieser beiden Bildbereiche erkannt werden. Diejenigen Hindernisse, die sich jenseits der vorbestimmten Entfernung befinden, bleiben hier unberücksichtigt. Somit wird der Fahrer lediglich vor derartigen Hindernissen gewarnt, die tatsächlich eine Gefahr darstellen, und es können unnötige Warnungen verhindert werden.
Des Ergebnis des Vergleichens des Vergleichsbilds mit dem Referenzbild kann auch anhand von Messwerten anderer Sensoren plausibilisiert werden, nämlich beispielsweise anhand von Messwerten zumindest eines Ultraschallsensors und/oder anhand von Messwerten zumindest eines Radargeräts oder aber eines anderen Abstandssensors. Fehlerhafte Warnungen können beispielsweise dann verhindert werden, wenn die Anwesenheit des Hindernisses anhand der Messwerte zumindest eines der genannten Sensoren bestätigt wird. Es kann somit eine plausible Aussage darüber getroffen werden, ob sich ein Hindernis tatsächlich in der Umgebung des Kraftfahrzeugs befindet oder nicht.
Eine erfindungsgemäße Fahrerassistenzeinrichtung bzw. Fahrerassistenzsystem für ein Kraftfahrzeug kann während einer Standphase des Kraftfahrzeugs ein in der Umgebung des Kraftfahrzeugs befindliches Hindernis detektieren, welches während der Standphase in die Umgebung des Kraftfahrzeugs gelangt und sich dort temporär unbeweglich bezüglich des Kraftfahrzeugs befindet. Eine Kamera der Fahrerassistenzeinrichtung kann ein Referenzbild der Umgebung zu einem ersten Zeitpunkt während der Standphase und ein Vergleichsbild der Umgebung zu einem späteren zweiten Zeitpunkt während der Standphase aufnehmen. Es sind Mittel bereitgestellt, welche das unbewegliche Hindernis anhand eines Vergleichs des Vergleichsbilds mit dem Referenzbild detektieren.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst eine erfindungsgemäße Fahrerassistenzeinrichtung.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Fahrerassistenzeinrichtung sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand einzelner bevorzugter Ausführungsbeispiele, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
1 in schematischer Darstellung eine Draufsicht auf ein Kraftfahrzeug mit einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung; und
2 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung.
Ein in 1 dargestelltes Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung ist ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst eine Fahrerassistenzeinrichtung 2, welche als ein Kamerasystem mit einer Kamera 3 und einer Recheneinrichtung 4 ausgebildet ist. Zur Fahrerassistenzeinrichtung 2 gehört außerdem eine Warneinrichtung 5, welche zum Warnen eines Fahrers des Kraftfahrzeugs 1 dient. Die Warneinrichtung 5 kann beispielsweise einen Lautsprecher und/oder ein Display beinhalten.
Die Recheneinrichtung 4 stellt Mittel zum Detektieren eines Hindernisses dar und kann einen digitalen Signalprozessor, einen Mikrocontroller sowie einen Speicher umfassen. Die Recheneinrichtung 4 empfängt Bilder der Kamera 3 und kann diese Bilder verarbeiten.
Die Kamera 3 ist beispielsweise eine CMOS-Kamera oder aber eine CCD-Kamera. Sie erfasst einen Bereich einer Umgebung 6 hinter dem Kraftfahrzeug 1. Die Kamera 3 kann zum Beispiel an einem hinteren Stoßfänger, an einer Heckklappe oder aber an einer Heckscheibe des Kraftfahrzeugs 1 platziert sein.
Es können optional auch weitere Kameras vorgesehen sein, die beispielsweise auch einen Umgebungsbereich vor dem Kraftfahrzeug 1 und/oder neben dem Kraftfahrzeug 1 erfassen können. Die Erfindung ist dabei nicht auf die Anordnung der Kamera 3 im Heckbereich des Kraftfahrzeugs 1 beschränkt; die Kamera 3 kann im Prinzip an beliebiger Stelle am Kraftfahrzeugs 1 angeordnet sein.
Die Fahrerassistenzeinrichtung 2 dient zum Warnen des Fahrers vor der Anwesenheit eines temporär unbeweglichen Objekts in der Umgebung 6 des Kraftfahrzeugs 1. Und zwar dient die Fahrerassistenzeinrichtung 2 zur Detektion eines unbeweglichen Hindernisses in einer ganz speziellen Straßensituation: Es soll hier ein Hindernis detektiert werden, welches erst während des Stillstands des Kraftfahrzeugs 1 in die Umgebung 6 gelangt und sich dort zeitweise stationär befindet. Es sollen insbesondere Situationen umfasst werden, bei denen das Kraftfahrzeug 1 – etwa für die Nacht – abgestellt und nach einer längeren Zeit wieder in Betrieb genommen wird. Bei derartigen Situationen kann es vorkommen, dass beim Abstellen des Kraftfahrzeugs 1 zwar keine Hindernisse in der Umgebung 6 vorhanden sind, wohl aber bei erneuter Inbetriebnahme des Kraftfahrzeugs 1. In solchen Fällen werden die Hindernisse von dem Fahrer nicht immer wahrgenommen und bleiben oft unberücksichtigt, sodass es zu einem Unfall kommen kann. Gerade bei solchen Straßensituationen zeigt sich die Fahrerassistenzeinrichtung 2 als besonders vorteilhaft. Sie kann nämlich solche zeitweise unbeweglichen Hindernisse detektieren und den Fahrer nach Erkennen eines solchen Hindernisses warnen.
Bezugnehmend nun auf 2 wird ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert, welches zur Detektion eines Hindernisses in der Umgebung 6 des Kraftfahrzeugs 1 ausgelegt ist. In 2 ist dabei ein Flussdiagramm des Verfahrens dargestellt, wobei die Kamera symbolisch dargestellt und mit 3 bezeichnet ist. In einem ersten Schritt S1 erfasst die Kamera 3 ein Referenzbild der Umgebung 6 hinter dem Kraftfahrzeug 1, und zwar zu einem ersten Zeitpunkt t₁. Zu diesem ersten Zeitpunkt t₁ wird das Kraftfahrzeug 1 beispielsweise abgestellt bzw. eingeparkt. Das Referenzbild wird dann in einem weiteren Schritt S2 in dem Speicher der Recheneinrichtung 4 abgespeichert.
Der Fahrer steigt nun beispielsweise aus dem Kraftfahrzeug 1 aus und entfernt sich vom Kraftfahrzeug 1. Hinter dem Kraftfahrzeug 1 wird nun ein kleines Motorrad 7 (siehe 1) eingeparkt. Dieses kleine Motorrad 7 ist relativ unauffällig. Der Fahrer des Kraftfahrzeugs 1 kommt wieder und steigt in das Kraftfahrzeug 1 ein, ohne das kleine Motorrad 7 zu erkennen. Er ist überzeugt, dass die Umgebung 6 hinter dem Kraftfahrzeug 1 frei von Hindernissen ist, wie sie es beim Abstellen des Kraftfahrzeugs 1 bzw. beim Verlassen des Kraftfahrzeugs 1 war. Der Fahrer aktiviert nun das Bordnetz des Kraftfahrzeugs 1; er kann auch den Antriebsmotor anlassen. Durch die Kamera 3 wird nun in einem weiteren Schritt S3 ein Vergleichsbild aufgenommen, und zwar zu einem Zeitpunkt t₂. Der zweite Zeitpunkt t₂ ist also ein gegenüber dem ersten Zeitpunkt t₁ späterer Zeitpunkt. Gleichzeitig wird durch die Recheneinrichtung 4 das Referenzbild aus dem Speicher abgerufen, nämlich in einem weiteren Schritt S4.
Sowohl das Referenzbild als auch das Vergleichsbild werden nun in parallelen Schritten S5 und S6 verarbeitet, und in einem weiteren Schritt S7 wird eines der Bilder von dem anderen Bild subtrahiert und ein Subtraktionsbild erzeugt. Anhand des Subtraktionsbilds wird dann in einem Schritt S8 das Hindernis – das Motorrad 7 – detektiert.
Das Referenzbild kann auch früher verarbeitet werden, beispielsweise bevor es im Speicher abgelegt wird. Das Referenzbild muss also nicht parallel mit dem Vergleichsbild verarbeitet werden bzw. der Schritt S5 kann zeitlich vor dem Schritt S2 liegen.
Die Verarbeitung des Referenzbilds und des Vergleichsbilds in den Schritten S5 respektive S6 kann folgendermaßen aussehen: In den beiden Bildern werden zunächst vorbestimmte geometrische Merkmale gesucht, beispielsweise Konturen und/oder Ecken und/oder Kanten abgebildeter Objekte. Dies bedeutet, dass sowohl das Referenzbild als auch das Vergleichsbild einer Merkmalserkennung hinsichtlich der charakteristischen Merkmale unterzogen werden. Ergebnis sind ein Referenzbild und ein Vergleichsbild, welche beispielsweise ausschließlich aus Konturen und/oder Kanten und/oder Ecken der abgebildeten Objekte bestehen.
Anstatt einer Merkmalserkennung können das Referenzbild und das Vergleichsbild in den Schritten S5 respektive S6 auch einer Segmentierung unterzogen werden. Im Schritt S7 können dann Segmente eines der Bilder von denen des anderen Bildes subtrahiert werden. Auch die Segmentierung sorgt für eine zuverlässige Detektion des Hindernisses bei unterschiedlicher Beleuchtung der Umgebung 6 zu den Zeitpunkten t₁, t₂.
Wie bereits ausgeführt, wird im Schritt S7 eines der Bilder von dem anderen Bild pixelweise subtrahiert, sodass ein Subtraktionsbild entsteht, welches eine Differenz zwischen den geometrischen Merkmalen bzw. den Segmenten des Referenzbilds einerseits und denen des Vergleichsbilds andererseits repräsentiert.
Dieses Subtraktionsbild wird im Schritt S8 einer Analyse unterzogen, ob sich in der Umgebung 6 des Kraftfahrzeugs 1 ein Hindernis befindet oder nicht. Befindet sich in der Umgebung des Kraftfahrzeugs 1 ein Hindernis – etwa das kleine Motorrad 7 –, so ist dieses Hindernis, und genauer gesagt seine geometrischen Merkmale, wie Konturen und/oder Ecken und/oder Kanten, in dem Subtraktionsbild abgebildet. Diese Abbildung wird durch die Recheneinrichtung 4 erkannt und das Hindernis somit detektiert. Es kann hier auch ein Grenzwert für die vertikale Erstreckung des Hindernisses im Subtraktionsbild definiert werden, sodass lediglich solche Hindernisse als relevante Hindernisse gewertet werden, deren Abmessungen in vertikaler Richtung den vorbestimmten Grenzwert überschreiten. Somit können relevante Hindernisse von anderen, irrelevanten Gegenständen unterschieden werden.
Es kann auch eine Entfernung vordefiniert werden, bis zu welcher nach dem Hindernis gesucht wird. Beispielsweise kann lediglich ein mit dieser vorbestimmten Entfernung korrespondierender Bereich des Referenzbilds und des Vergleichsbilds bzw. ein Bereich des Subtraktionsbilds analysiert werden. Somit wird der Fahrer ausschließlich vor solchen Hindernissen gewarnt, die sich in unmittelbarer Nähe des Kraftfahrzeugs 1 befinden. Unnötige und störende Warnungen können somit verhindert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7667581 B2 [0002]
US 7687581 B2 [0010]

Claims

Verfahren zum Detektieren eines Hindernisses (7) in der Umgebung (6) eines Kraftfahrzeugs (1) während einer Standphase des Kraftfahrzeugs (1), wobei das Hindernis (7) während der Standphase in die Umgebung (6) des Kraftfahrzeugs (1) gelangt und sich dort temporär unbeweglich bezüglich des Kraftfahrzeugs (1) aufhält, gekennzeichnet durch – Aufnehmen eines Referenzbilds der Umgebung (6) durch eine Kamera (3) des Kraftfahrzeugs (1) zu einem ersten Zeitpunkt (t₁) während der Standphase, – Aufnehmen eines Vergleichsbilds der Umgebung (6) durch die Kamera (3) zu einem späteren zweiten Zeitpunkt (t₂) während der Standphase und – Detektieren des unbeweglichen Hindernisses (7) anhand eines Vergleichs des Vergleichsbilds mit dem Referenzbild.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zwischen dem ersten Zeitpunkt (t₁) und dem zweiten Zeitpunkt (t₂) die Kamera (3) deaktiviert und wieder aktiviert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Zeitintervall zwischen dem ersten und dem zweiten Zeitpunkt (t₁, t₂) größer als 10 Sekunden, insbesondere größer als 1 Minute, noch bevorzugter größer als 1 Stunde, ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzbild zu Beginn der Standphase und das Vergleichsbild am Ende der Standphase aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzbild beim Abstellen eines Antriebsmotors des Kraftfahrzeugs (1) aufgenommen wird und das Vergleichsbild bei einem erneuten Anlassen des Antriebsmotors aufgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass nach Erkennen des Hindernisses (7) ein Fahrer des Kraftfahrzeugs (1) vor der Anwesenheit des Hindernisses (7) in der Umgebung (6) mittels einer Warneinrichtung (5) des Kraftfahrzeugs (1) gewarnt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Vergleichen des Vergleichsbilds mit dem Referenzbild beinhaltet, dass eines der Bilder von dem anderen Bild subtrahiert wird, wobei das Hindernis (7) anhand eines durch die Subtraktion erzeugten Subtraktionsbilds detektiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenzbild und das Vergleichsbild einer Bildsegmentierung und/oder einer Merkmalserkennung hinsichtlich vorbestimmter Merkmale, insbesondere hinsichtlich Konturen und/oder Ecken und/oder Kanten abgebildeter Objekte, unterzogen werden und das Hindernis (7) anhand eines Vergleichs der Segmente und/oder der erkannten Merkmale des Referenzbilds einerseits und des Vergleichsbilds andererseits detektiert wird.
Verfahren nach Anspruch 7 und 8, dadurch gekennzeichnet, dass die Segmente und/oder die Merkmale eines der Bilder von den Segmenten respektive Merkmalen des anderen Bildes subtrahiert werden und das Hindernis (7) anhand eines Ergebnisses der Subtraktion detektiert wird.
Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass ein in dem Subtraktionsbild abgebildetes Objekt nur unter der Voraussetzung als tatsächliches Hindernis (7) gewertet wird, dass eine Abmessung des Objekts in vertikaler Richtung einen vorgegebenen Grenzwert überschreitet.
Verfahren nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass – nach dem Hindernis (7) nur bis zu einer vorbestimmten Entfernung von dem Kraftfahrzeug gesucht wird, die in einem Wertebereich von 1 m bis 3 m liegt, oder – ein Warnen des Fahrers nur dann erfolgt, wenn sich das erkannte Hindernis (7) bis zu einer vorbestimmten Entfernung von dem Kraftfahrzeug (1) befindet, die in einem Wertebereich von 1 m bis 3 m liegt.
Fahrerassistenzeinrichtung (2) für ein Kraftfahrzeug (1), welche dazu ausgebildet ist, während einer Standphase des Kraftfahrzeugs (1) ein in der Umgebung (6) des Kraftfahrzeugs (1) befindliches Hindernis (7) zu detektieren, welches während der Standphase in die Umgebung (6) des Kraftfahrzeugs (1) gelangt und sich dort temporär unbeweglich bezüglich des Kraftfahrzeugs (1) aufhält, gekennzeichnet durch – eine Kamera (3) zum Aufnehmen eines Referenzbilds der Umgebung (6) zu einem ersten Zeitpunkt (t₁) während der Standphase und zum Aufnehmen eines Vergleichsbilds der Umgebung (6) zu einem späteren zweiten Zeitpunkt (t₂) während der Standphase und – Mittel (4) zum Detektieren des unbeweglichen Hindernisses (7) anhand eines Vergleichs des Vergleichsbilds mit dem Referenzbild.
Kraftfahrzeug (1) mit einer Fahrerassistenzeinrichtung (2) nach Anspruch 12.