-
Die Erfindung betrifft ein Verfahren zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs bereitgestellt werden. Das Zielobjekt wird in dem Umgebungsbereich detektiert und dann mittels einer elektronischen Bildverarbeitungseinrichtung anhand der Bilder verfolgt, nämlich durch Bestimmen von optischen Flussvektoren zu dem Zielobjekt anhand der Sequenz von Bildern während einer Relativbewegung zwischen dem Kraftfahrzeug und dem Zielobjekt. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik in vielfältiger Ausgestaltung bekannt. Ein Kamerasystem beinhaltet bekanntlich eine Kamera, welche an dem Kraftfahrzeug angeordnet ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte Kamera stellt dann eine Sequenz von Bildern des Umgebungsbereichs bereit und erfasst somit eine Vielzahl von Bildern pro Sekunde. Diese Sequenz von Bildern wird dann an eine elektronische Bildverarbeitungseinrichtung übermittelt, welche die Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Das Interesse richtet vorliegend auf die Detektion und Verfolgung von Zielobjekten, die sich in dem abgebildeten Umgebungsbereich befinden. Wird ein solches Zielobjekt in den Bildern detektiert, kann dieses in der Sequenz von Bildern über der Zeit verfolgt werden. Dies bedeutet, dass die aktuelle Position des Zielobjekts relativ zum Kraftfahrzeug fortlaufend anhand der Bilder bestimmt wird. Wird eine Gefahr seitens des Zielobjekts detektiert, kann der Fahrer des Kraftfahrzeugs entsprechend gewarnt werden. Optional können die Bilder auf einem Display angezeigt werden und das detektierte Zielobjekt kann mit der sogenannten „bounding box” versehen werden, um so dem Fahrer zu ermöglichen, das Zielobjekt in den dargestellten Bildern ohne viel Aufwand wahrnehmen und erkennen zu können.
-
Zur Detektion und Verfolgung eines Zielobjekts werden aus den Bildern üblicherweise die sogenannten charakteristischen Merkmale extrahiert. Diese Merkmale können beispielsweise Ecken und/oder Kanten beinhalten. Als charakteristische Merkmale können z. B. die Harris-Punkte detektiert werden, wobei alternativ auch andere Algorithmen angewendet werden können, wie z. B. SIFT, SURF, ORB und dergleichen.
-
Werden aus dem Kamerabild die charakteristischen Merkmale extrahiert, so erfolgt die Detektion von tatsächlichen Zielobjekten beispielsweise anhand dieser charakteristischen Merkmale. Die charakteristischen Merkmale werden im weiteren Schritt in zwei Gruppen unterteilt: Diejenigen Merkmale, die zu dem Boden gehören, werden als Bodenmerkmale klassifiziert, während diejenigen Merkmale, die zu echten Zielobjekten und somit zu Gegenständen mit einer gewissen Höhe über den Boden gehören, als Zielmerkmale klassifiziert werden. Die Zielmerkmale können dann zur Detektion von Zielobjekten verwendet werden. Um eine solche Klassifizierung vorzunehmen, kann insbesondere die Methode des optischen Flusses verwendet werden, in dem anhand von zwei Bildern zu jedem charakteristischen Merkmal der sogenannte optische Flussvektor bestimmt wird. Auf der Basis der Flussvektoren kann dann entschieden werden, ob die jeweiligen charakteristischen Merkmale Zielmerkmale oder aber Bodenmerkmale sind. Diese Klassifizierung kann im Detail beispielsweise derart vorgenommen werden: Zusätzlich zu den Flussvektoren in den Bildern kann auch der aktuelle Bewegungsvektor des Kraftfahrzeugs erfasst werden, der die aktuelle Geschwindigkeit sowie die aktuelle Bewegungsrichtung des Kraftfahrzeugs angibt. Die Flussvektoren können dann mit dem Bewegungsvektor des Kraftfahrzeugs verglichen werden und die Klassifizierung zwischen Bodenmerkmalen und Zielmerkmalen kann abhängig von diesem Vergleich durchgeführt werden. Dabei kann der aktuelle Bewegungsvektor des Kraftfahrzeugs von den optischen Flussvektoren subtrahiert werden, so dass Subtraktionsvektoren bereitgestellt werden. Diese Subtraktionsvektoren können dann mit den zugeordneten Flussvektoren verglichen werden. Wegen der sogenannten Parallaxe unterscheiden sich die Flussvektoren, welche zu den tatsächlichen Zielobjekten gehören, von den zugeordneten Subtraktionsvektoren in der Richtung und/oder in dem Betrag. Demgegenüber sind die Flussvektoren des Erdbodens im Wesentlichen gleich den zugeordneten Subtraktionsvektoren. Somit kann festgestellt werden, welche Flussvektoren zu dem Erdboden oder zu auf dem Boden befindlichen Objekten mit einer Höhe gehören, sowie welche Vektoren zu Zielobjekten gehören, die auf dem Boden stehen und somit potenzielle Hindernisse darstellen.
-
Anhand der optischen Flussvektoren erfolgt üblicherweise auch die Verfolgung des Zielobjekts in dem Umgebungsbereich. Die oben genannte Klassifizierung und Detektion des Zielobjekts anhand der Flussvektoren ist jedoch ausschließlich bei einer Relativbewegung zwischen dem Kraftfahrzeug und dem Zielobjekt möglich. Zielobjekte lassen sich demnach in drei verschiedenen Situationen problemlos verfolgen: Wenn sich ausschließlich das Kraftfahrzeug bewegt und das Zielobjekt (relativ zum Boden) stillsteht; wenn sich ausschließlich das Zielobjekt bewegt und das Kraftfahrzeug (relativ zum Boden) stillsteht; sowie wenn sich sowohl das Kraftfahrzeug als auch das Zielobjekt (relativ zum Boden) bewegt. Kommt es zu einem Stillstand des Kraftfahrzeugs und des Zielobjekts, können keine Flussvektoren zu diesem Zielobjekt berechnet werden, und das Zielobjekt wird „verloren” und kann somit nicht mehr verfolgt werden. Jedoch kann auch ein solches statisches Zielobjekt eine potenzielle Gefahr für das Kraftfahrzeug darstellen.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung das Verfolgen des Zielobjekts präziser und zuverlässiger als im Stand der Technik erfolgen kann, so dass insbesondere der Fahrer des Kraftfahrzeugs zuverlässig vor der Präsenz von Hindernissen in dem Umgebungsbereich des Kraftfahrzeugs gewarnt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer Sequenz von Bildern des Umgebungsbereichs. Die Bilder werden mittels einer Kamera des Kraftfahrzeugs bereitgestellt. Das Zielobjekt wird zunächst detektiert. Das Zielobjekt wird mittels einer elektronischen Bildverarbeitungseinrichtung durch Bestimmen von optischen Flussvektoren anhand der Sequenz von Bildern während einer Relativbewegung zwischen dem Kraftfahrzeug und dem Zielobjekt verfolgt. Es wird ein Stillstandszustand detektiert, bei dem sowohl das Kraftfahrzeug als auch das Zielobjekt zu einem Stillstand (relativ zum Boden und somit relativ zu einer Straße) kommen. Nach dem Detektieren des Stillstandszustands wird die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs abgespeichert. Es wird dann überprüft, ob ein vorbestimmtes Kriterium bezüglich der Relativbewegung zwischen dem Kraftfahrzeug und dem Zielobjekt erfüllt ist. Ist das Kriterium erfüllt, wird das Verfolgen des Zielobjekts ausgehend von der gespeicherten relativen Position wieder aufgenommen.
-
Die Erfindung basiert auf mehreren Erkenntnissen: Sie beruht zunächst auf der Erkenntnis, dass sich Zielobjekte in dem Umgebungsbereich anhand von optischen Flussvektoren in der Sequenz von Bildern verfolgen lassen, diese optischen Flussvektoren jedoch lediglich bei einer Relativbewegung zwischen dem Kraftfahrzeug und dem Zielobjekt bestimmt werden können. Eine weitere Erkenntnis besteht darin, dass in einem Stillstandszustand, in welchem sowohl das Kraftfahrzeug als auch das Zielobjekt stillsteht, einerseits keine Flussvektoren zu diesem Zielobjekt bestimmt werden können und andererseits die charakteristischen Merkmale des Zielobjekts nicht von anderen Bildmerkmalen unterschieden werden können, die zu dem Boden selbst gehören. Im Stand der Technik kann das Zielobjekt somit in dem Stillstandszustand nicht mehr verfolgt werden und wird somit durch den Verfolgungsalgorithmus „gelöscht”. Die Erfindung baut ferner auf der Erkenntnis auf, dass diese Nachteile des Stands der Technik dadurch umgangen werden können, dass nach Detektion des Stillstandszustands das zuvor detektierte und verfolgte Zielobjekt im Gedächtnis der Bildverarbeitungseinrichtung gespeichert wird und kontinuierlich überprüft wird, ob das selbe Zielobjekt weiterhin anhand der optischen Flussvektoren verfolgt werden kann oder nicht. Es wird fortlaufend das vorbestimmte Kriterium bezüglich der Relativbewegung überprüft und nach Erfülltsein dieses Kriteriums erfolgt ein Fortsetzen des Verfolgens desselben Zielobjekts ausgehend von den gespeicherten Informationen. Auch im Stillstandszustand wird das Zielobjekt somit nicht „aus den Augen verloren”, sondern dieses Zielobjekt wird weiterhin daraufhin überwacht, ob es erneut abhängig von den optischen Flussvektoren verfolgt werden kann. Somit kann der Fahrer zuverlässiger als im Stand der Technik vor der Anwesenheit dieses Zielobjekts im Umgebungsbereich gewarnt werden und das Verfolgen des Zielobjekts erfolgt insgesamt präziser und zuverlässiger.
-
Vorzugsweise wird das Verfolgen des Zielobjekts dann ausgehend von den gespeicherten Informationen wiederaufgenommen und fortgesetzt, wenn sich zumindest das Kraftfahrzeug oder das Zielobjekt oder beide bewegen. Gerade dann können zu dem Zielobjekt neue Flussvektoren berechnet werden, welche von den Flussvektoren des Bodens unterschieden und zur erneuten Verfolgung des Zielobjekts verwendet werden können.
-
Ob das Kraftfahrzeug zum Stillstand gekommen ist oder nicht, wird vorzugsweise anhand der aktuellen Geschwindigkeit des Kraftfahrzeugs beurteilt. Den aktuellen Wert der Fahrzeuggeschwindigkeit kann die Bildverarbeitungseinrichtung beispielsweise über einen Kommunikationsbus des Kraftfahrzeugs empfangen, wie beispielsweise über den CAN-Bus. Somit ist es ohne viel Aufwand möglich, zu detektieren, ob das Kraftfahrzeug zum Stillstand kommt oder nicht. Dabei wird die ohnehin in der Regel vorhandene Schnittstelle zum CAN-Bus verwendet, so dass keine zusätzlichen Schnittstellen zwischen der Kamera einerseits und den Fahrzeugkomponenten andererseits erforderlich sind.
-
Es erweist sich als vorteilhaft, wenn der Stillstand des Kraftfahrzeugs dann angenommen wird, wenn der aktuelle Wert der Geschwindigkeit des Kraftfahrzeugs kleiner als ein vorgegebener erster Geschwindigkeitswert (> 0) ist. Eine Bewegung des Kraftfahrzeugs kann hingegen dann angenommen werden, wenn der aktuelle Wert der Fahrzeuggeschwindigkeit größer als ein vorgegebener zweiter Geschwindigkeitsgrenzwert ist. Bevorzugt ist der zweite Geschwindigkeitsgrenzwert dabei unterschiedlich von dem ersten Geschwindigkeitsgrenzwert, wobei der zweite Geschwindigkeitsgrenzwert bevorzugt größer als der erste Geschwindigkeitsgrenzwert ist. Durch eine solche Vorgehensweise wird quasi eine Hysterese bereitgestellt, welche für eine robuste Detektion des Stillstands des Kraftfahrzeugs sorgt. Liegt die aktuelle Fahrzeuggeschwindigkeit zwischen dem ersten und zweiten Geschwindigkeitsgrenzwert, so kann auch vorgesehen sein, dass der aktuelle Bewegungszustand des Kraftfahrzeugs als „unbekannt” eingestuft wird, was bei der Überprüfung des oben genannten Kriteriums auch berücksichtigt werden kann.
-
Vorzugsweise wird dabei der Stillstand des Kraftfahrzeugs erst dann angenommen, wenn der aktuelle Wert der Geschwindigkeit für zumindest ein vorgegebenes erstes Zeitintervall kleiner als der erste Geschwindigkeitsgrenzwert ist. Auch eine Bewegung des Kraftfahrzeugs kann erst dann angenommen werden, wenn der aktuelle Wert der Geschwindigkeit für zumindest ein vorgegebenes zweites Zeitintervall größer als der zweite Geschwindigkeitsgrenzwert ist. Dieses zweite Zeitintervall ist bevorzugt gleich dem ersten Zeitintervall. Dies sorgt für eine zusätzliche Robustheit bei der Bestimmung des aktuellen Bewegungszustands des Kraftfahrzeugs, insbesondere dann, wenn der aktuelle Wert der Fahrzeuggeschwindigkeit über den CAN-Bus empfangen wird. Bei dem CAN-Bus kommt es nämlich üblicherweise zu einer Verzögerung bei der Übermittlung der Geschwindigkeitswerte und diese Werte sind außerdem nicht immer höchstgenau. Durch das Vorsehen des ersten und des zweiten Zeitintervalls kann somit die Bestimmung des aktuellen Bewegungszustands des Kraftfahrzeugs stabiler und zuverlässiger vorgenommen werden.
-
Neben dem aktuellen Bewegungszustand des Kraftfahrzeugs kann auch der aktuelle Bewegungszustand des Zielobjekts bestimmt werden. Dieser Bewegungszustand des Zielobjekts wird bevorzugt in Abhängigkeit von dem aktuellen Bewegungszustand des Kraftfahrzeugs sowie abhängig davon bestimmt, ob das Zielobjekt anhand von aktuellen Bildern der Kamera, insbesondere anhand von optischen Flussvektoren, detektiert werden kann oder nicht. Wird beispielsweise ein Stillstand des Kraftfahrzeugs detektiert und kann das Zielobjekt anhand von optischen Flussvektoren detektiert werden, so deutet dies darauf hin, dass sich das Zielobjekt bewegt. Auch während einer Bewegung des Kraftfahrzeugs kann anhand der aktuellen Flussvektoren des Zielobjekts bestimmt werden, ob sich das Zielobjekt bewegt oder stillsteht. Im Allgemeinen kann der Bewegungszustand des Zielobjekts, also sein Stillstand und/oder eine erneute Bewegung des Zielobjekts, in Abhängigkeit von dem aktuellen Bewegungszustand des Kraftfahrzeugs sowie abhängig von den Bildern der Kamera detektiert werden.
-
Wie oben bereits ausgeführt, kann das Zielobjekt anhand der optischen Flussvektoren dann erneut verfolgt werden, wenn das genannte vorbestimmte Kriterium erfüllt wird, wenn insbesondere sich zumindest das Kraftfahrzeug und/oder das Zielobjekt erneut bewegt. Dies wird im Detail vorzugsweise derart implementiert, dass ein Objektsvalidierungszähler definiert wird, der in Abhängigkeit von einem aktuellen Bewegungszustand des Kraftfahrzeugs und/oder in Abhängigkeit von einem aktuellen Bewegungszustand des Zielobjekts und/oder abhängig davon inkrementiert oder dekrementiert wird, ob das Zielobjekt anhand von aktuellen Bildern der Kamera detektiert werden kann oder nicht. Das Verfolgen des Zielobjekts wird bevorzugt dann wieder aufgenommen, wenn der Objektsvalidierungszähler einen vorgegebenen Zählergrenzwert überschreitet. Abhängig von den jeweiligen Bewegungszuständen kann somit ohne viel Rechenaufwand überprüft werden, ob das genannte Kriterium erfüllt ist oder nicht und somit ob das Zielobjekt wieder anhand der optischen Flussvektoren in der Sequenz von Bildern verfolgt werden kann oder nicht.
-
Das Inkrementieren und das Dekrementieren des Objektsvalidierungszählers kann beispielsweise folgendermaßen vorgenommen werden: Der Objektsvalidierungszähler kann zumindest dann inkrementiert werden, wenn:
- – bei einem detektierten Stillstand des Zielobjekts das Kraftfahrzeug als bewegt interpretiert wird und zusätzlich eine Detektion des Zielobjekts anhand von Flussvektoren der Kamera vorliegt und/oder
- – bei einem detektierten Stillstand des Kraftfahrzeugs eine Bewegung des Zielobjekts detektiert wird und zusätzlich eine Detektion eines Zielobjekts anhand von aktuellen Flussvektoren vorliegt und/oder
- – sowohl das Zielobjekt als auch das Kraftfahrzeug als bewegt interpretiert werden und zusätzlich eine Detektion des Zielobjekts anhand von aktuellen Flussvektoren vorliegt.
-
Gerade in diesen Fällen kann angenommen werden, dass das oben genannte Kriterium erfüllt ist und das Zielobjekt somit wieder anhand von optischen Flussvektoren detektiert und verfolgt werden kann.
-
Demgegenüber erfolgt das Dekrementieren des Objektsvalidierungszählers vorzugsweise zumindest dann, wenn das Zielobjekt und/oder das Kraftfahrzeug als bewegt interpretiert wird und keine Detektion des Zielobjekts anhand von aktuellen Bildern möglich ist. Dies deutet darauf hin, dass sich das Zielobjekt nicht mehr in dem abgebildeten Umgebungsbereich befindet.
-
Es kann auch vorgesehen sein, dass der Objektsvalidierungszähler dann bei dem bisherigen Wert konstant aufrechterhalten wird, wenn bei dem detektierten Stillstand des Kraftfahrzeugs keine Detektion des Zielobjekts anhand von aktuellen Bildern der Kamera vorliegt. Hier wird auch angenommen, dass sich weder das Kraftfahrzeug noch das Zielobjekt bewegt und es wird abgewartet, bis sich dieser Zustand wieder ändert. Die Aufrechterhaltung des bisherigen Werts des Objektsvalidierungszählers bedeutet dabei, dass das Zielobjekt in dem detektierten Stillstandszustand weiterhin im Gedächtnis der Bildverarbeitungseinrichtung verbleibt und nach Erfülltsein des vorbestimmten Kriteriums wieder anhand der aktuellen Flussvektoren verfolgt werden kann.
-
Die Erfindung betrifft auch ein Kamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens. Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung;
-
2a u. 2b ein Zustandsdiagramm zur Erläuterung der Detektion eines aktuellen Bewegungszustands des Kraftfahrzeugs gemäß einem ersten Beispiel;
-
3a u. 3b ein Zustandsdiagramm gemäß einem zweiten Beispiel;
-
4a u. 4b ein Zustandsdiagramm gemäß einem dritten Beispiel und
-
5 ein Zustandsdiagramm zur Erläuterung der Detektion eines aktuellen Bewegungszustands eines Zielobjekts sowie zur Überprüfung, ob ein vorgegebenes Kriterium bezüglich einer Relativbewegung zwischen Kraftfahrzeug und Zielobjekt erfüllt ist.
-
In 1 ist in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs 1 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kraftfahrzeugs 1 ist beispielsweise ein Personenkraftwagen. Es hat ein Kamerasystem 2, welches eine Kamera 3 umfasst, insbesondere eine Mono-Kamera. Das Kraftfahrzeugs 1 befindet sich auf einer Straße 4, welche gleichzeitig auch einen Boden (Erdboden) darstellt. Auf dem Boden 4 befindet sich außerdem ein Zielobjekt 5, d. h. ein Hindernis mit einer gewissen Höhe über dem Boden 4.
-
Das Kamerasystem 2 ist beispielsweise ein Kollisionswarnungssystem und dient zum Warnen des Fahrers des Kraftfahrzeugs 1 vor dem Zielobjekt 5, welches sich in einem Umgebungsbereich 6 des Kraftfahrzeugs 1 befindet. Das Kamerasystem 2 dient insbesondere zur Detektion des Zielobjekts 5, wie auch zur Verfolgung des Zielobjekts 5 in dem Umgebungsbereich 6. Mittels der Kamera 3 werden Bilder des Umgebungsbereichs 6 bereitgestellt, welche anschließend mittels einer nicht dargestellten elektronischen Bildverarbeitungseinrichtung (digitaler Signalprozessor) verarbeitet werden. Die Bildverarbeitungseinrichtung empfängt die Bilder und zusätzlich auch beispielsweise Informationen über die aktuelle Bewegung des Kraftfahrzeugs 1, nämlich insbesondere über den CAN-Bus. Zu diesen Informationen gehört insbesondere die aktuelle Geschwindigkeit des Kraftfahrzeugs 1 und optional auch der aktuelle Lenkwinkel und/oder die aktuelle Bewegungsrichtung des Kraftfahrzeugs 1.
-
Die Kamera 3 weist einen Erfassungswinkel bzw. Öffnungswinkel α auf, der beispielsweise in einem Wertebereich von 90° bis 200° liegen kann. Die Kamera 3 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine andere Bilderfassungseinrichtung sein, welche zur Detektion von Licht im sichtbaren Spektralbereich ausgebildet ist und aus deren Bildern optische Flussvektoren extrahiert werden können.
-
Im Ausführungsbeispiel gemäß 1 ist die Kamera 3 in einem Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt. Die Anordnung der Kamera 3 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise kann die Kamera 3 oder eine andere Kamera auch in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein und den Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen. Es können auch mehrere solche Kameras 3 eingesetzt werden, welche jeweils zur Detektion eines Zielobjekts 5 ausgebildet sind.
-
Die Kamera 3 ist eine Video-Kamera, welche kontinuierlich eine Sequenz von Einzelbildern bereitstellt. Die elektronische Bildverarbeitungseinrichtung verarbeitet dann die Bildsequenz in Echtzeit und kann anhand dieser Bildsequenz das Zielobjekt 5 detektieren und verfolgen. Optional können die aktuellen Bilder auch auf einem Display im Kraftfahrzeug 1 dargestellt werden.
-
Die genannte Bildverarbeitungseinrichtung kann optional in die Kamera 3 integriert sein. Alternativ kann es sich um eine separate Komponente handeln.
-
Die Detektion des Zielobjekts 5 kann folgendermaßen erfolgen: Anhand von jeweils zwei Bildern der Kamera 3 kann die Bildverarbeitungseinrichtung optische Flussvektoren bestimmen und dann diejenigen Flussvektoren detektieren, die zu dem Zielobjekt 5 gehören. Diese Unterscheidung erfolgt z. B. unter Berücksichtigung des aktuellen Bewegungsvektors des Kraftfahrzeugs 1, der aus der aktuellen Geschwindigkeit und der aktuellen Bewegungsrichtung des Kraftfahrzeugs 1 bestimmt wird. Werden Subtraktionsvektoren durch Subtraktion des Bewegungsvektors des Kraftfahrzeugs 1 von den Flussvektoren berechnet, so kann anhand der Subtraktionsvektoren eine Unterscheidung zwischen den Flussvektoren des Zielobjekts 5 einerseits und den Flussvektoren des Bodens 4 andererseits getroffen werden. Eine solche Unterscheidung ist jedoch nur dann möglich, wenn sich zumindest eines der Objekte (Kraftfahrzeug 1 und/oder Zielobjekt 5) bewegt. Befindet sich hingegen sowohl das Kraftfahrzeug 1 als auch das Zielobjekt 5 im Stillstand, ist eine solche Detektion des Zielobjekts 5 alleine anhand der optischen Flussvektoren nicht möglich. Aus diesem Grund wird nun vorgeschlagen, einen solchen Stillstandszustand zu detektieren, bei dem sowohl das Kraftfahrzeug 1 als auch das Zielobjekt 5 zum Stillstand kommen, und das Zielobjekt 5 in diesem Stillstandzustand weiterhin im Gedächtnis beizubehalten. Wird dann detektiert, dass ein vorbestimmtes Kriterium bezüglich der Relativbewegung zwischen dem Kraftfahrzeug 1 und dem Zielobjekt 5 erfüllt ist, so wird das Verfolgen des Zielobjekts 5 anhand der aktuellen optischen Flussvektoren fortgeführt. Der Verfolgungsalgorithmus überprüft also, ob das Verfolgen des Zielobjekts 5 wieder aufgenommen werden kann und setzt die Verfolgung des Zielobjekts 5 wieder fort, wenn das genannte Kriterium erfüllt wird. Dieses Kriterium beinhaltet, dass sich das Kraftfahrzeug 1 und/oder das Zielobjekt 5 wieder bewegt. Ein solches Verfahren gemäß einer Ausführungsform der Erfindung wird nun bezugnehmend auf die 2 bis 5 näher erläutert:
Bezugnehmend auf die 2a und 2b wird zunächst erläutert, wie der aktuelle Bewegungszustand des Kraftfahrzeugs 1 detektiert wird. Die Bildverarbeitungseinrichtung empfängt die aktuellen Werte der Fahrzeuggeschwindigkeit V über einen Kommunikationsbus des Kraftfahrzeugs 1, nämlich insbesondere über den CAN-Bus. In der Bildverarbeitungseinrichtung sind zwei Geschwindigkeitsgrenzwerte V1 und V2 abgelegt, wobei V2 > V1. Es sind drei verschiedene Bewegungszustände des Kraftfahrzeugs 1 möglich: ein Stillstand VS („vehicle standstill”), eine detektierte Bewegung VM („vehicle movement”) sowie ein neutraler Zustand VN („Bewegungszustand unbekannt”). Das Verfahren startet bei dem Zustand VN, wie dies mit einem Initialisierungspfeil 7 angedeutet ist. Dann überprüft die Bildverarbeitungseinrichtung, ob die aktuelle Fahrzeuggeschwindigkeit V kleiner als der erste Geschwindigkeitsgrenzwert V1 oder größer als der zweite Geschwindigkeitsgrenzwert V2 ist oder aber zwischen den beiden Grenzwerten V1 und V2 liegt. Unterschreitet die Geschwindigkeit V den ersten Geschwindigkeitsgrenzwert V1, wird der Stillstand VS angenommen, so dass der Stillstand des Kraftfahrzeugs detektiert wird. Überschreitet die aktuelle Fahrzeuggeschwindigkeit V wieder den ersten Geschwindigkeitsgrenzwert V1, wird wieder der neutrale Zustand VN angenommen, welcher bedeutet, dass der aktuelle Bewegungszustand des Kraftfahrzeugs 1 unbekannt ist. Überschreitet die aktuelle Fahrzeuggeschwindigkeit V den zweiten Geschwindigkeitsgrenzwert V2, so kann eine Bewegung des Kraftfahrzeugs 1 angenommen werden und das Kraftfahrzeug 1 wird als bewegt interpretiert (Zustand VM). Liegt die aktuelle Geschwindigkeit V wieder unterhalb des zweiten Geschwindigkeitsgrenzwerts V2, wird wieder der neutrale Zustand VN angenommen.
-
Diese Detektion des aktuellen Bewegungszustands des Kraftfahrzeugs 1 ist auch anhand einer Funktion in 2b veranschaulicht.
-
In manchen Kraftfahrzeugen kann es jedoch vorkommen, dass eine Verzögerung zwischen den Informationen aus dem CAN-Bus und den Video-Daten der Kamera 3 festgestellt wird. In diesen Fällen kann eine Bewegung des Kraftfahrzeugs 1 anhand der Bildsequenz festgestellt werden, obwohl über den CAN-Bus eine Fahrzeuggeschwindigkeit V mitgeteilt wird, welche kleiner als der Geschwindigkeitsgrenzwert V1 ist oder sogar 0 beträgt. Es kommt also zu Verzögerungen bei der Übermittlung der aktuellen Fahrzeuggeschwindigkeit V über den CAN-Bus. Aus diesem Grund kann bei der Detektion des aktuellen Bewegungszustands des Kraftfahrzeugs 1 zusätzlich auch ein vorbestimmtes Zeitintervall berücksichtigt werden. Ein solches Beispiel ist in den 3a und 3b veranschaulicht. Dieses entspricht im Wesentlichen dem Beispiel gemäß den 2a und 2b, jedoch mit dem Unterschied, dass Zähler C1 und C2 implementiert werden. Unterschreitet die aktuelle Fahrzeuggeschwindigkeit V den ersten Geschwindigkeitsgrenzwert V1, so wird ein erster Zähler C1 inkrementiert. Überschreitet der Zähler C1 ein vorgegebenes erstes Zeitintervall T1, so wird der Stillstand VS angenommen. Ist die aktuelle Fahrzeuggeschwindigkeit V wieder größer als der erste Geschwindigkeitsgrenzwert V1, so wird wieder der neutrale Zustand VN angenommen. Entsprechend wird mit einem zweiten Zähler C2 die Zeitdauer berechnet, für welche die aktuelle Fahrzeuggeschwindigkeit V über dem zweiten Geschwindigkeitsgrenzwert V2 liegt. Wird ein vorgegebenes zweites Zeitintervall T2 überschritten, wird eine Bewegung des Kraftfahrzeugs 1 detektiert (VM). Die beiden Zeitintervalle T1, T2 können auch gleiche Zeitintervalle sein, so dass T1 = T2.
-
Diese Zustandsmaschine ist in einer anderen Darstellung auch in 3b veranschaulicht. Der Verlauf entspricht hier dem Verlauf gemäß 2b, jedoch mit dem Unterschied, dass durch Verzögerungen 8 – bewirkt durch die Zeitintervalle T1, T2 – eine zusätzliche Hysterese bereitgestellt wird. Dies ist in 3b schematisch veranschaulicht.
-
Ein weiteres Beispiel zur Bestimmung des aktuellen Bewegungszustands des Kraftfahrzeugs 1 ist in den 4a und 4b veranschaulicht. Im Vergleich zum Beispiel gemäß den 3a und 3b wird hier eine zusätzliche Verzögerung beim Wechsel von den Zuständen VS und VM zu dem Zustand VN berücksichtigt. Befindet sich die Zustandsmaschine im Zustand VS und überschreitet die aktuelle Fahrzeuggeschwindigkeit V den ersten Geschwindigkeitsgrenzwert V1, so wird mit Hilfe eines Zählers C3 die Zeitdauer gemessen, für welche die Geschwindigkeit V größer als V1 ist. Überschreitet der Zähler C3 ein vorgegebenes drittes Zeitintervall T3, so wird der neutrale Zustand VN angenommen. Und auch in dem Zustand VM wird ein Zähler C4 implementiert, mit welchem die Zeitdauer erfasst wird, für welche die aktuelle Fahrzeuggeschwindigkeit V kleiner als der zweite Geschwindigkeitsgrenzwert V2 ist. Wird ein viertes Zeitintervall T4 überschritten, wird der neutrale Zustand VN angenommen. Somit werden zusätzliche Hysteresen und Verzögerungen hinzugefügt, welche in 4b schematisch mit 9 bezeichnet sind. Es kann folgende Beziehung gelten: T1 = T2 = T3 = T4.
-
Die Bildverarbeitungseinrichtung kennt somit den aktuellen Bewegungszustand des Kraftfahrzeugs 1 und unterscheidet zwischen drei Zuständen VS, VN und VM. Bezugnehmend nun auf 5 wird eine weitere Zustandsmaschine näher erläutert, welche zur Bestimmung des aktuellen Bewegungszustands des Zielobjekts 5 sowie zur Überprüfung dient, ob das oben genannte Kriterium erfüllt ist oder nicht. Wie bereits ausgeführt, beinhaltet dieses Kriterium, dass sich zumindest eines der Objekte 1 und/oder 5 wieder bewegt. Das Kriterium wird so implementiert, dass ein Objektsvalidierungszähler TC definiert wird. Überschreitet dieser Objektsvalidierungszähler TC einen vorgegebenen Grenzwert, so wird angenommen, dass das Kriterium erfüllt ist. In diesem Falle wird das Zielobjekt 5 erneut dem Verfolgungsalgorithmus zugrunde gelegt und die Verfolgung des Zielobjekts 5 wird ausgehend von der abgespeicherten relativen Position fortgesetzt.
-
Gemäß 5 wird zwischen drei verschiedenen Bewegungszuständen des Zielobjekts 5 unterschieden, nämlich zwischen einem Stillstand OS („object stillstand”), einer Bewegung OM des Zielobjekts 5 („object movement”) sowie einem neutralen Zustand ON, in welchem der Bewegungszustand des Zielobjekts 5 als „unbekannt” eingestuft wird. Wie mit einem Pfeil 10 angedeutet, beginnt das Verfahren bei dem neutralen Zustand ON. Hier wird das Zielobjekt 5 beispielsweise anhand von optischen Flussvektoren in den Bildern und/oder mittels eines anderen Sensors detektiert, wie beispielsweise eines Abstandssensors, insbesondere eines Ultraschallsensors. Es liegt also eine positive Detektion D des Zielobjekts 5 vor. Wie bereits ausgeführt, wird ein Objektsvalidierungszähler TC implementiert, welcher zunächst auf einen Standardwert (z. B. 0) eingestellt wird. Ausgehend von dem neutralen Zustand ON sind nun folgende Schritte möglich:
Liegt keine Detektion des Zielobjekts 5 anhand von Flussvektoren (wie dies in 5 mit „–D” bezeichnet ist) und befindet sich das Kraftfahrzeug 1 in dem Zustand VS oder VN, so wird der bisherige Wert des Objektsvalidierungszählers TC konstant aufrechterhalten, so dass TC = TC' (TC bezeichnet hier den bisherigen Wert). Dies bedeutet, dass das einmal detektierte Zielobjekt 5 im Gedächtnis der Bildverarbeitungseinrichtung verbleibt und eine erneute Verfolgung des Zielobjekts 5 möglich ist.
-
Wird im Zustand ON jedoch festgestellt, dass keine Detektion vorliegt (–D) und sich das Kraftfahrzeug 1 bewegt (VM), so wird der Objektsvalidierungszähler TC dekrementiert (TC–). Bewegt sich das Kraftfahrzeug 1, so sollen auch Detektionen des Zielobjekts 5 anhand von Flussvektoren möglich sein. Ist dies nicht der Fall, so wird der Zähler TC dekrementiert.
-
Ein Wechsel von dem Zustand ON zum Zustand OS erfolgt dann, wenn aktuell eine Detektion D vorliegt (+D) und zusätzlich der Zustand VM des Kraftfahrzeugs 1 detektiert wird. Der Objektsvalidierungszähler TC wird inkrementiert. Bewegt sich das Kraftfahrzeug 1, so können nämlich Flussvektoren des Zielobjekts 5 detektiert werden und eine weitere Verfolgung des Zielobjekts ist möglich.
-
Auch ein Wechsel von dem neutralen Zustand ON zum Zustand OM ist möglich. Dieser erfolgt unter der Voraussetzung, dass in dem Zustand ON eine Detektion vorliegt (+D) und der Stillstand VS des Kraftfahrzeugs 1 detektiert wird. Der Objektsvalidierungszähler TC wird inkrementiert (TC+). Wenn nämlich Detektionen anhand von Flussvektoren vorhanden sind und das Kraftfahrzeug 1 stillsteht, so kann das Zielobjekt 5 anhand der Flussvektoren verfolgt werden, so dass der Objektsvalidierungszähler TC inkrementiert werden kann.
-
Befindet sich die Zustandsmaschine im Zustand OS, so sind folgende Schritte möglich:
Wird weiterhin eine Detektion festgestellt (+D) und bewegt sich das Kraftfahrzeug 1 weiter (VM), so verbleibt die Zustandsmaschine im Zustand OS und der Objektsvalidierungszähler TC wird inkrementiert (TC+). Wird jedoch im bewegten Zustand VM des Kraftfahrzeugs 1 festgestellt, dass keine Detektionen vorliegen (–D), so wird der Objektsvalidierungszähler TC dekrementiert (TC–).
-
Ausgehend von dem Zustand OS ist ein Wechsel zum Zustand OM möglich. Dieser Wechsel erfolgt unter der Voraussetzung, dass einerseits eine Detektion des Zielobjekts 5 vorliegt (+D) und andererseits der Stillstand VS des Kraftfahrzeugs 1 detektiert wird. Hier wird der Objektsvalidierungszähler TC inkrementiert (TC+). Ausgehend von dem Zustand OS ist auch ein Wechsel zum Zustand ON möglich, nämlich unter der Voraussetzung, dass keine Detektion des Zielobjekts 5 vorliegt (–D) und sich das Kraftfahrzeug 1 im Zustand VS oder VN befindet. In diesem Falle wird der bisherige Wert des Objektsvalidierungszählers TC aufrechterhalten (TC = TC').
-
Befindet sich die Zustandsmaschine im Zustand OM, so sind folgende Schritte möglich: Liegt keine Detektion vor (–D) und befindet sich das Kraftfahrzeug im bewegten Zustand VM, so verbleibt die Zustandsmaschine im Zustand OM und der Objektsvalidierungszähler TC wird dekrementiert (TC–). Wenn sich das Kraftfahrzeug 1 und das Zielobjekt 5 bewegen, so sollte auch eine Detektion des Zielobjekts 5 anhand von optischen Flussvektoren möglich sein. Ist dies nicht der Fall, so wird der Objektsvalidierungszähler TC dekrementiert. Liegen Detektionen vor (+D), so wird der Objektsvalidierungszähler TC unabhängig davon inkrementiert (TC+), ob sich das Kraftfahrzeug 1 selbst bewegt oder nicht.
-
Von dem Zustand OM geht die Zustandsmaschine in den Zustand ON dann, wenn zum aktuellen Zeitpunkt keine Detektionen vorliegen (–D) und sich das Kraftfahrzeug 1 im Zustand VS oder VN befindet. Hier wird der bisherige Wert des Objektsvalidierungszählers TC konstant gehalten, so dass TC = TC'. Wenn sich das Kraftfahrzeug 1 nicht bewegt und außerdem keine Detektionen vorliegen, so ist der Zustand des Zielobjekts 5 unbekannt und es soll abgewartet werden, bis das Zielobjekt 5 erneut verfolgt werden kann.
-
Wie aus der Darstellung gem. 5 hervorgeht, kann das Zielobjekt 5 anhand der aktuellen Flussvektoren verfolgt werden, solange eine Bewegung des Kraftfahrzeugs 1 und/oder des Zielobjekts 5 vorliegt. Bewegt sich das Kraftfahrzeug 1 nicht und sind keine Detektionen gegeben, so wird der Bewegungszustand des Zielobjekts 5 als unbekannt klassifiziert und es wird abgewartet, bis das Zielobjekt 5 erneut detektiert werden kann oder aber sich das Kraftfahrzeug 1 wieder bewegt.
-
Es kann auch vorkommen, dass sich das Kraftfahrzeug 1 relativ langsam bewegt und zwar mit einer Geschwindigkeit V < V2. Der Bewegungszustand des Kraftfahrzeugs 1 wird hier als VS oder VN klassifiziert, obwohl sich das Kraftfahrzeug 1 in der Tat (auch wenn nur langsam) bewegt. In diesem Falle sind keine Detektionen des Zielobjekts 5 möglich, wenn selbiges Zielobjekt 5 sich im Stillstand befindet. In diesem Falle kann beispielsweise anhand von Positionsdaten eines Navigationssystems (z. B. GPS) und/oder anhand einer Auswertung der CAN-Informationen mittels Odometrie die aktuelle Position des Zielobjekts 5 bezüglich des Kraftfahrzeugs 1 fortlaufend ermittelt werden. Die bei der Detektion des Stillstandzustands abgespeicherte relative Position des Zielobjekts 5 kann somit fortlaufend angepasst werden und zwar selbst dann, wenn die Zustände VS, VN des Kraftfahrzeugs 1 detektiert werden und das Zielobjekt 5 stillsteht. Hier sind zwar keine Detektionen anhand der Flussvektoren möglich, jedoch kann die aktuelle relative Position trotzdem aktualisiert werden.
