DE102012024878A1

DE102012024878A1 - Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug

Info

Publication number: DE102012024878A1
Application number: DE102012024878.4A
Authority: DE
Inventors: Sean Finn; Ciaran Hughes; Scheunert Ullrich; Hadj Hamma Tadjine; Andreas Westhues
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-12-19
Filing date: 2012-12-19
Publication date: 2014-06-26
Also published as: EP2936386B1; EP2936386A1; WO2014096240A1

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts (5a, 5b, 5c) in einem Umgebungsbereich einer Kamera anhand eines mittels der Kamera bereitgestellten Bilds (7) des Umgebungsbereichs durch Bestimmen einer Vielzahl von charakteristischen Merkmalen in dem Bild (7), wobei zwischen Bodenmerkmalen und Zielmerkmalen unterschieden wird; durch Unterteilen zumindest einer Teilregion (12) des Bilds (7) in eine Vielzahl von Bildzellen (13) und zu jeder Bildzelle (13) Überprüfen, ob die Bildzelle (13) ein Bodenmerkmal oder ein Zielmerkmal beinhaltet; durch Klassifizieren derjenigen Bildzellen (13) als Zielzellen (13b), die ein Zielmerkmal beinhalten, und derjenigen Bildzellen (13) als Bodenzellen (13a), die ein Bodenmerkmal beinhalten; und durch Detektieren des Zielobjekts (5a, 5b, 5c) durch Zusammenfassen einer Vielzahl von benachbarten Bildzellen (13) zu einem Zielcluster unter Berücksichtigung sowohl der Zielzellen (13b) als auch der Bodenzellen (13a).

Description

Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts in einem Umgebungsbereich einer Kamera, insbesondere eines Kraftfahrzeugs, anhand eines mittels der Kamera bereitgestellten Bilds des Umgebungsbereiches. Die Erfindung betrifft außerdem eine Kameraeinrichtung, insbesondere für ein Kraftfahrzeug, sowie ein Kraftfahrzeug mit einer Kameraeinrichtung.
Vorzugsweise gilt das Interesse vorliegend einer Fahrzeugkamera. Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik in vielfältiger Ausgestaltung bekannt. Ein solches Kamerasystem beinhaltet bekanntlich eine Kamera, welche an dem Kraftfahrzeug angeordnet ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte Kamera erfasst dann eine Sequenz von Bildern des Umgebungsbereichs und stellt somit eine Vielzahl von Bildern pro Sekunde bereit. Diese Sequenz von Bildern wird dann an eine elektronische Auswerteeinrichtung übermittelt, welche die Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Das Interesse richtet sich vorliegend auf die Detektion von Zielobjekten, die sich in dem abgebildeten Umgebungsbereich befinden. Wird ein solches Zielobjekt in den Bildern detektiert, kann es in der Sequenz von Bildern auch verfolgt werden. Werden die Bilder der Kamera auf einem Display angezeigt, so kann das detektierte Zielobjekt auch mit einer Umrandung – der sogenannten „Bounding Box” – versehen werden, um so dem Fahrer zu ermöglichen, das Zielobjekt in den dargestellten Bildern ohne viel Aufwand wahrnehmen und erkennen zu können. Das Detektieren eines Zielobjekts in den Bildern umfasst somit üblicherweise, dass in den Bildern die genannte „Bounding Box” bestimmt wird, welche das Zielobjekt selbst charakterisieren soll.
Zur Detektion eines Zielobjekts werden aus den Bildern die sogenannten charakteristischen Merkmale extrahiert. Diese Merkmale können beispielsweise Ecken und/oder Kanten beinhalten. Als charakteristische Merkmale können z. B. die Harris-Punkte detektiert werden, wobei alternativ auch andere Algorithmen angewendet werden können, wie z. B. SIFT, SURF, ORB und dergleichen.
Werden aus einem Kamerabild die charakteristischen Merkmale extrahiert, so erfolgt die weitere Detektion von Zielobjekten anhand der charakteristischen Merkmale. Die charakteristischen Merkmale werden im weiteren Schritt in zwei Gruppen unterteilt: Diejenigen Merkmale, die zu dem Boden gehören, werden als Bodenmerkmale klassifiziert; diejenigen Merkmale, die zu echten Zielobjekten und somit zu Gegenständen mit einer gewissen Höhe über dem Boden gehören, werden als Zielmerkmale klassifiziert. Die Zielmerkmale können dann zur Detektion von Zielobjekten verwendet werden. Um eine solche Klassifizierung vorzunehmen, kann beispielsweise die Methode des optischen Flusses verwendet werden, indem anhand von zwei Bildern zu jedem charakteristischen Merkmal der sogenannte optische Flussvektor bestimmt wird. Auf der Basis der Flussvektoren kann dann entschieden werden, ob die jeweiligen charakteristischen Merkmale Zielmerkmale oder aber Bodenmerkmale sind. Hierbei können die berechneten Flussvektoren optional auch mit dem aktuellen Bewegungsvektor des Kraftfahrzeugs korreliert werden.
Wurde die genannte Klassifizierung vorgenommen und liegen somit einerseits die Bodenmerkmale und andererseits die Zielmerkmale vor, so besteht eine weitere Herausforderung darin, die Merkmale so zu gruppieren, dass die zu ein und demselben Zielobjekt gehörigen Merkmale zusammengefasst werden. Diese Gruppierung der Merkmale (Clusterbildung) ist problematisch, weil auch echte Zielobjekte üblicherweise einen Abschnitt aufweisen, der auf oder direkt über dem Boden liegt. Häufig werden die charakteristischen Merkmale dieses Abschnitts (etwa Fußabschnitts) fälschlicherweise als Bodenmerkmale und nicht als Zielmerkmale klassifiziert, was im weiteren Schritt die Gruppierung der Merkmale und somit die Detektion von Zielobjekten schwieriger und unpräziser macht. Werden z. B. ausschließlich benachbarte Zielmerkmale miteinander zusammengefasst und einem bestimmten Zielobjekt zugeordnet, so kann diese Zuordnung unvollständig sein, weil möglicherweise auch Bodenmerkmale vorhanden sind, die tatsächlich zu diesem Zielobjekt gehören.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung das Zielobjekt besonders präzise – insbesondere durch Bestimmung einer „Bounding Box” im Bild – anhand der charakteristischen Merkmale des Bilds detektiert werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Kameraeinrichtung sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Detektieren eines Zielobjekts in einem Umgebungsbereich einer Kamera, insbesondere eines Kraftfahrzeugs. Das Zielobjekt wird anhand eines Bilds des Umgebungsbereiches detektiert, wobei das Bild mittels der Kamera bereitgestellt wird. In dem Bild wird eine Vielzahl von charakteristischen Merkmalen bestimmt, und es wird zwischen Bodenmerkmalen und Zielmerkmalen unterschieden. Als Bodenmerkmale werden diejenigen Merkmale klassifiziert, die als zu einem Boden des Umgebungsbereiches gehörend detektiert werden. Demgegenüber werden als Zielmerkmale diejenigen Merkmale klassifiziert, die als zu einem Zielobjekt gehörend detektiert werden, wobei unter dem Zielobjekt ein Gegenstand verstanden wird, welcher eine gewisse Höhe über dem Boden aufweist und somit von flachen Objekten, die auf dem Boden liegen, oder aber von Zeichen unterschieden wird, die auf dem Boden aufgetragen sind. Zumindest eine Teilregion des Bilds wird in eine Vielzahl von Bildzellen, insbesondere eine Vielzahl von Bildzellen gleicher Größe, unterteilt. Zu jeder Bildzelle wird dann überprüft, ob die Bildzelle ein Bodenmerkmal oder ein Zielmerkmal beinhaltet. Diejenigen Bildzellen, die zumindest ein Zielmerkmal beinhalten, werden als Zielzellen klassifiziert. Diejenigen Bildzellen, die zumindest ein Bodenmerkmal beinhalten, werden als Bodenzellen klassifiziert. Das Zielobjekt wird dann dadurch detektiert, dass eine Vielzahl von benachbarten Bildzellen zu einem Zielcluster zusammengefasst wird, und zwar unter Berücksichtigung sowohl der Zielzellen als auch der Bodenzellen.
Zur Detektion des Zielobjekts wird somit eine Clusterbildung vorgenommen, indem eine Vielzahl von benachbarten Bildzellen zu ein und demselben Zielcluster zusammengefasst wird, der dem Zielobjekt zugeordnet wird. Diese Clusterbildung erfolgt dabei sowohl in Abhängigkeit von den Zielzellen als auch abhängig von den Bodenzellen, insbesondere in Abhängigkeit von einer Verteilung der Zielzellen und der Bodenzellen in der Teilregion des Bilds. Eine solche Vorgehensweise hat den Vorteil, dass das Zielobjekt besonders präzise detektiert werden kann und hierbei beispielsweise eine Umrandung (die so genannte Bounding Box) besonders genau bestimmt werden kann, welche beispielsweise auch zusammen mit dem Bild auf einer Anzeigeeinrichtung angezeigt werden kann. Die Unterteilung der Teilregion in eine Vielzahl von Bildzellen sorgt außerdem für einen verringerten Rechenaufwand und somit eine reduzierte Detektionszeit, so dass die Bestimmung des Zielclusters in Echtzeit anhand des jeweils aktuellen Bilds der Kamera durchgeführt werden kann.
Die Klassifizierung der charakteristischen Merkmale und somit die Unterscheidung zwischen Zielmerkmalen einerseits und Bodenmerkmalen andererseits kann beispielsweise so erfolgen, dass zu jedem charakteristischen Merkmal der zugeordnete optische Flussvektor anhand von zwei Bildern bestimmt wird. Abhängig von dem Flussvektor kann dann entschieden werden, ob das zugehörige Merkmal ein Bodenmerkmal oder ein Zielmerkmal ist. Dabei kann der optische Flussvektor auch mit dem aktuellen Bewegungsvektor des Kraftfahrzeugs korreliert werden, so dass eine Korrektur anhand der aktuellen Bewegung des Kraftfahrzeugs erfolgt. Beispielsweise kann zu jedem Flussvektor jeweils ein Subtraktionsvektor durch Subtraktion des Bewegungsvektors des Kraftfahrzeugs von dem jeweiligen Flussvektor berechnet werden, und abhängig von den Subtraktionsvektoren kann dann die Klassifizierung vorgenommen werden. Dies beruht auf der Erkenntnis, dass wegen der sogenannten Parallaxe diejenigen charakteristischen Merkmale, welche zu den Zielobjekten gehören, Flussvektoren besitzen, die sich von den zugeordneten Subtraktionsvektoren in der Richtung und/oder in dem Betrag deutlich unterscheiden. Demgegenüber sind die Flussvektoren des Erdbodens im Wesentlichen gleich den zugeordneten Subtraktionsvektoren. Somit kann festgestellt werden, welche charakteristischen Merkmale zu dem Erdboden oder zu auf dem Boden befindlichen Objekten mit keiner Höhe gehören, sowie welche charakteristischen Merkmale zu Zielobjekten gehören, die auf dem Boden stehen und somit potentielle Hindernisse darstellen. Wie bereits ausgeführt, hat diese Klassifizierung jedoch auch die Eigenschaft, dass der auf dem Boden liegende Abschnitt eines Zielobjekts (zum Beispiel der Fuß eines Fußgängers) charakteristische Merkmale verursacht, die als Bodenmerkmale klassifiziert werden. Dieser Problematik wird jedoch dadurch begegnet, dass beim Zusammenfassen der benachbarten Bildzellen zu dem genannten Zielcluster sowohl die Zielzellen als auch die Bodenzellen berücksichtigt werden.
Die Größe der Bildzellen kann grundsätzlich beliebig definiert werden, nämlich je nach der benötigten Auflösung einerseits und der Rechenzeit andererseits. Beispielsweise werden dabei Bildzellen definiert, die quadratische Zellen sind, deren Breite der Länge entspricht. Die Größe einer einzelnen Bildzelle kann beispielsweise zwischen 2 × 2 Bildpunkte und 15 × 15 Bildpunkte liegen, kann jedoch grundsätzlich auch 1 × 1 Bildpunkte betragen. Die Größe kann beispielsweise 8 × 8 Bildpunkte betragen.
Zur Extraktion der charakteristischen Merkmale aus dem Bild können verschiedenste Methoden verwendet werden. Beispielsweise können die sogenannten Harris-Ecken detektiert werden. Alternativ ist es auch möglich, andere Methoden, wie beispielsweise SIFT, SURF, ORB und dergleichen anzuwenden.
Es erweist sich als besonders vorteilhaft, wenn das Bestimmen des Zielclusters folgende Schritte umfasst: In der Teilregion des Bilds wird ein Scanfenster definiert, und für eine Vielzahl von unterschiedlichen Positionen des Scanfensters innerhalb der Teilregion wird jeweils die Anzahl der Zielzellen sowie die Anzahl der Bodenzellen innerhalb des Scanfensters bestimmt. Alle Bildzellen innerhalb des Scanfensters in der jeweiligen Position des Scanfensters können dann zu einer interessierenden Region („Region of Interest”, nachfolgend als ROI bezeichnet) zusammengefasst werden, wenn ein vorbestimmtes Kriterium bezüglich der Anzahl der Zielzellen und der Anzahl der Bodenzellen innerhalb des Scanfensters erfüllt wird. Der Zielcluster kann dann anhand der ROIs bestimmt werden. Das Scanfenster kann dabei beispielsweise die Form eines Rechtecks aufweisen. Es kann eine Größe von mehreren Bildzellen haben. Ein derartiges Scannen der Teilregion des Bilds mittels des Scanfensters ermöglicht es, ROIs in der Teilregion des Bilds aufzufinden, welcher eine bestimmte Dichte der Zielzellen relativ zu den Bodenzellen aufweist. Zu einer ROI können somit auch diejenigen Bildzellen gehören, die als Bodenzellen klassifiziert werden, so dass bei der Detektion des Zielobjekts auch sein Abschnitt berücksichtigt werden kann, der unmittelbar über dem Boden liegt und dessen charakteristischen Merkmale als Bodenmerkmale klassifiziert werden. Insgesamt kann somit eine sehr präzise Bestimmung des Zielclusters und somit eine hochgenaue Detektion des Zielobjekts gewährleistet werden.
Die Entscheidung, ob diejenigen Bildzellen, die in einer bestimmten Position des Scanfensters innerhalb dieses Fensters liegen, zu einer ROI zusammengefasst werden sollen oder nicht, kann beispielsweise folgendermaßen getroffen werden: Die Anzahl der Bodenzellen kann mit einem negativen ersten Gewichtungsfaktor multipliziert werden, während die Anzahl der innerhalb des Scanfensters liegenden Zielzellen mit einem positiven zweiten Gewichtungsfaktor multipliziert werden kann. Das vorbestimmte Kriterium kann umfassen, dass die Summe der Multiplikationsergebnisse größer als ein vorgegebener Grenzwert ist. Dies bedeutet, dass alle innerhalb des Scanfensters liegenden Bildzellen eine ROI bilden, falls die Summe der Multiplikationsergebnisse größer als er Grenzwert ist. Zu dieser Entscheidung tragen somit sowohl die Zielzellen als auch die Bodenzellen bei.
Es erweist sich als vorteilhaft, wenn die Position des Scanfensters in der Teilregion des Bilds spaltenweise verändert wird. Dies bedeutet, dass die Teilregion spaltenweise mittels des Scanfensters „gescannt” wird. Vorzugsweise überlappen sich die Spalten gegenseitig. Nach Durchlaufen einer jeden Spalte kann das Scanfenster beispielsweise lediglich um eine einzige Bildzelle nach links oder nach rechts verschoben werden, um das Scannen der nächsten Spalte zu ermöglichen. Dies erhöht insgesamt die Anzahl der möglichen ROIs und somit auch die Auflösung bei der Bestimmung des Zielclusters. Die Schrittweite des Scannfensters kann somit beispielsweise 1 Bildzelle betragen.
Die Veränderung der Position des Scanfensters erfolgt vorzugsweise spaltenweise von unten nach oben und somit ausgehend von einem unteren Rand in Richtung zu einem oberen Rand der Teilregion. Durch eine solche Vorgehensweise kann die Rechenzeit bei der Bestimmung des Zielclusters reduziert werden. Es ist nämlich möglich, nach Detektieren einer ROI innerhalb einer bestimmten Spalte das Scannen dieser Spalte zu unterbrechen und zu der nächsten Spalte zu wechseln.
Also kann in einer Ausführungsform vorgesehen sein, dass, falls in einer Position des Scanfensters innerhalb einer spalte das vorbestimmte Kriterium erfüllt wird und somit eine ROI aufgefunden wird, eine weitere Veränderung der Position des Scanfensters innerhalb derselben Spalte unterbleibt und das Scanfenster in einer weiteren Spalte definiert wird. Dies reduziert die Rechenzeit bei der Detektion des Zielobjekts. Diese Ausführungsform macht sich dabei die Tatsache zunutze, dass hauptsächlich diejenigen Zielobjekte für die Sicherheit des Kraftfahrzeugs relevant sind, die sich dem Kraftfahrzeug am nächsten befinden. Nach Detektion einer ROI im Nahbereich (im unteren Bereich des Bilds) kann somit auf die Detektion einer weiteren ROI im Fernbereich verzichtet werden.
Die ROIs können dann zu Zielclustern zusammengefasst werden. Und zwar werden zumindest zwei benachbarte ROIs vorzugsweise dann zu einem gemeinsamen Zielcluster zusammengefasst, wenn ein Überlappungsbereich zwischen diesen ROIs größer als ein vorgegebener Grenzwert ist. Die Größe des Überlappungsbereiches kann dabei als Anzahl der Bildzellen angegeben werden, welche sowohl zu der einen ROI als auch zu der anderen ROI gehören. Ist der Überlappungsbereich relativ groß, kann davon ausgegangen werden, dass die beiden ROIs zu ein und demselben Zielobjekt gehören, so dass sie auch zu einem gemeinsamen Zielcluster zusammengefasst werden können. Somit werden Fehler bei der Detektion der Zielobjekte verhindert.
Wie bereits ausgeführt, ist die Klassifizierung der charakteristischen Merkmale, die sich relativ nah an dem Boden befinden, relativ problematisch. Es können auch diejenigen Merkmale als Bodenmerkmale klassifiziert werden, die tatsächlich zu einem Zielobjekt gehören. Es handelt sich hier üblicherweise um Merkmale eines Abschnitts des Zielobjekts, der sehr nah am Boden liegt, wie beispielsweise die Füße eines Fußgängers. Somit ist die Bestimmung der unteren Basis des Zielobjekts – des so genannten Fußpunkts – mit einem gewissen Fehler verbunden. Um diesen Fehler zu minimieren, können folgende Schritte durchgeführt werden:
Zu jeder ROI eines bestimmten Zielclusters kann jeweils ein Mittelpunkt einer unteren Basiskante der ROI bestimmt werden. Um diesen Mittelpunkt kann dann ein Suchbereich definiert werden, etwa in Form eines vorgegebenen Rechtecks. Innerhalb des jeweiligen Suchbereiches kann ein charakteristisches Merkmal aufgefunden werden, welches gegenüber den anderen Merkmalen innerhalb des Suchbereiches die größte Stärke aufweist. Werden beispielsweise Harris-Merkmale detektiert, so besitzt jedes Merkmal eine gewisse Stärke. Zwischen dem Merkmal mit größter Stärke einerseits und dem zugeordneten Mittelpunkt andererseits kann dann ein Abweichungsvektor bestimmt werden. Abhängig von den Abweichungsvektoren kann dann die Position des Zielclusters in dem Bild korrigiert werden. Diese Ausführungsform beruht auf der Erkenntnis, dass die stärksten Merkmale üblicherweise an dem Übergang zwischen dem Boden und dem Zielobjekt liegen.
Das Korrigieren der Position des Zielclusters kann umfassen, dass ein Median aller Abweichungsvektoren des Zielclusters bestimmt wird und der Zielcluster um den Median-Vektor verschoben wird. Auf diese Weise wird der Fehler bei der Bestimmung der Position des Zielobjekts im Bild minimiert.
Wie bereits ausgeführt, kann zu dem Zielobjekt eine Umrandung bereitgestellt werden, nämlich insbesondere in Form eines Polygons. Diese Umrandung wird vorzugsweise anhand des Zielclusters bestimmt, so dass zu jedem Zielcluster jeweils eine Umrandung erzeugt wird. Zur Bereitstellung der Umrandung können beispielsweise alle äußeren Ecken des Zielclusters miteinander verbunden werden. Eine solche Umrandung kann dann zusammen mit dem Bild auf einem Display im Kraftfahrzeug dargestellt werden, so dass der Fahrer das Zielobjekt rasch erkennen und wahrnehmen kann. Die Umrandung kann jedoch alternativ auch durch andere Bildverarbeitungsalgorithmen genutzt werden.
Die Erfindung betrifft außerdem eine Kameraeinrichtung, insbesondere für ein Kraftfahrzeug, mit einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereiches, und mit einer elektronischen Auswerteeinrichtung zum Verarbeiten des Bilds. Die Auswerteeinrichtung ist zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst eine erfindungsgemäße Kameraeinrichtung.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Kameraeinrichtung sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung;
2 bis 12 jeweils ein Bild oder einen Bildbereich, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
In 1 ist in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs 1 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Es hat eine Kameraeinrichtung 2, welche eine Kamera 3 umfasst, insbesondere eine Mono-Kamera. Das Kraftfahrzeug 1 befindet sich auf einer Straße 4, welche gleichzeitig auch einen Boden (Erdboden) darstellt. Auf dem Boden 4 befindet sich außerdem ein Zielobjekt 5, d. h. ein Hindernis mit einer gewissen Höhe über dem Boden 4.
Die Kameraeinrichtung 2 ist beispielsweise ein Kollisionswarnungssystem und dient zum Warnen des Fahrers des Kraftfahrzeugs 1 vor dem Zielobjekt 5, welches sich in einem Umgebungsbereich 6 des Kraftfahrzeugs 1 befindet. Die Kameraeinrichtung 2 dient insbesondere zur Detektion des Zielobjekts 5, wie auch zur Verfolgung des Zielobjekts 5. Mittels der Kamera 3 werden Bilder bereitgestellt, welche anschließend mittels einer nicht dargestellten elektronischen Auswerteeinrichtung (digitaler Signalprozessor) verarbeitet werden. Die Auswerteeinrichtung empfängt die aufgenommenen Bilder und zusätzlich beispielsweise auch Informationen über jeweils aktuelle Lenkwinkel des Kraftfahrzeugs 1 und/oder die jeweils aktuelle Geschwindigkeit und/oder über die jeweils aktuelle Bewegungsrichtung des Kraftfahrzeugs 1 und kann in Abhängigkeit von den empfangenen Informationen einen Bewegungsvektor des Kraftfahrzeugs 1 ermitteln. Die genannten Informationen können z. B. an dem CAN-Bus abgegriffen werden. Der Bewegungsvektor des Kraftfahrzeugs 1 gibt die aktuelle Geschwindigkeit sowie die aktuelle Bewegungsrichtung des Kraftfahrzeugs 1 an.
Die Kamera 3 weist einen Erfassungswinkel bzw. Öffnungswinkel α auf, der z. B. in einem Wertebereich von 90° bis 200° liegen kann. Die Kamera 3 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine andere Bilderfassungseinrichtung sein, welche zur Detektion von Licht im sichtbaren Spektralbereich ausgebildet ist.
Im Ausführungsbeispiel gemäß 1 ist die Kamera 3 in einem Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt. Die Anordnung der Kamera 3 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise kann die Kamera 3 oder eine andere Kamera auch in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein und den Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen. Es können auch mehrere solche Kameras 3 eingesetzt werden, welche jeweils zur Detektion eines Zielobjekts ausgebildet sind. Die Erfindung ist auch nicht auf die Installation der Kameraeinrichtung 2 in dem Kraftfahrzeug 1 beschränkt. Auch Anwendungen außerhalb eines Kraftfahrzeugs sind möglich.
Die Kamera 3 ist eine Video-Kamera, welche kontinuierlich eine Sequenz von Einzelbildern bereitstellt. Die elektronische Auswerteeinrichtung verarbeitet dann die Bildsequenz in Echtzeit und kann anhand dieser Bildsequenz das Zielobjekt 5 detektieren und verfolgen. Dies kann so aussehen, dass die aktuellen Bilder der Kamera 3 auf einem Display im Kraftfahrzeug 1 dargestellt werden und das detektierte Zielobjekt 5 mit einer Umrandung versehen wird.
Die genannte Auswerteeinrichtung kann beispielsweise auch in die Kamera 3 integriert sein. Alternativ kann es sich um eine separate Komponente handeln.
Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf die 2 bis 12 näher erläutert. 2 zeigt ein beispielhaftes Bild 7, wie es mittels der Kamera 3 bereitgestellt wird. In dem Bild 7 ist der Umgebungsbereich 6 des Kraftfahrzeugs 1 abgebildet. Wie aus 2 hervorgeht, befinden sich in dem Umgebungsbereich 6 Zielobjekte 5a, 5b, 5c, welche tatsächliche Hindernisse mit einer gewissen Höhe darstellen. Auf dem Boden 4 sind außerdem Straßenmarkierungen 8 aufgetragen, welche keine Höhe aufweisen. Die Straßenmarkierungen 8 sind somit keine Hindernisse. In dem Bild 7 ist des Weiteren ein Bereich eines Stoßfängers 9 des Kraftfahrzeugs 1 abgebildet.
Aus dem Bild 7 werden nun charakteristische Merkmale extrahiert, beispielsweise die Harris-Punkte. Zu den charakteristischen Merkmalen werden dann optische Flussvektoren anhand von zwei aufeinanderfolgenden Bildern 7 der Kamera 3 berechnet. Es wird die Methode des optischen Flusses verwendet. Beispielhafte Flussvektoren sind dabei in 3 schematisch dargestellt. Es wird zwischen Zielvektoren 10, welche zu den Zielobjekten 5 gehören, und Bodenvektoren 11 unterschieden, die zu dem Boden 4 selbst gehören. Für diese Klassifizierung kann auch der oben genannte Bewegungsvektor des Kraftfahrzeugs 1 verwendet werden. Unter Berücksichtigung des aktuellen Bewegungsvektors des Kraftfahrzeugs 1 lassen sich die Zielvektoren 10 von den Bodenvektoren 11 unterscheiden.
Wie aus 3 hervorgeht, werden bei dem Zielobjekt 5a auch Bodenvektoren 11 detektiert, und zwar in dem Übergangsbereich zwischen dem Zielobjekt 5a und dem Boden 4 – etwa bei den Füßen des Fußgängers. Der untere Abschnitt des Zielobjekts 5a liegt nämlich relativ nah an dem Boden 4, so dass diese Vektoren als Bodenvektoren 11 klassifiziert werden.
Nun können auch die charakteristischen Merkmale in zwei Gruppen unterteilt werden: Die Merkmale der Zielvektoren 10 werden als Zielmerkmale klassifiziert, während die Merkmale der Bodenvektoren 11 als Bodenmerkmale klassifiziert werden.
Bezug nehmend nun auf 4 wird in dem Bild 7 eine Teilregion 12 definiert, welche kleiner als das Bild 7 ist. Die Teilregion 12 hat den Vorteil, dass einerseits die Rechenzeit reduziert wird und andererseits eine Fehldetektion des Stoßfängers 9 verhindert wird. Es wird nämlich ausschließlich die Teilregion 12 weiter ausgewertet und verarbeitet.
Die Teilregion 12 wird in eine Vielzahl von gleichen, quadratischen Bildzellen 13 unterteilt. Die Bildzellen 13 können beispielsweise die Größe von 4 × 4 Bildpunkte aufweisen.
Zu jeder Bildzelle 13 wird dann überprüft, ob diese Bildzelle 13 ein Bodenmerkmal oder ein Zielmerkmal beinhaltet. Beinhaltet eine Bildzelle 13 ein Bodenmerkmal, so wird diese Bildzelle 13 als Bodenzelle 13a klassifiziert. Beinhaltet eine Bildzelle 13 hingegen ein Zielmerkmal, so wird diese Bildzelle 13 als Zielzelle 13b klassifiziert. Umfasst eine Bildzelle 13 sowohl ein Zielmerkmal als auch ein Bodenmerkmal, kann diese Bildzelle 13 als Zielzelle 13b klassifiziert werden. Eine solche Situation ist jedoch eher unwahrscheinlich.
Sind die Bildzellen 13 als Bodenzellen 13a, als Zielzellen 13b sowie als neutrale Zellen 13c (weder Bodenzelle noch Zielzelle) klassifiziert, so können interessierende Regionen (ROIs) definiert werden:
Bezug nehmend auf 5 wird in der Teilregion 12 ein Scanfenster 14 definiert, welches die Größe von mehreren Bildzellen 13 aufweist. Im Allgemeinen kann das Scanfenster 14 Abmessungen B × H aufweisen, wobei B die Breite (in x-Richtung) und H die Höhe (in y-Richtung) bezeichnen. Beispielsweise gilt: B = 3 und H = 4. Die Teilregion 12 wird dann mittels des Scanfensters 14 gescannt, wobei das Scannen spaltenweise von unten nach oben erfolgt. Die Schrittweite kann zum Beispiel 1 Bildzelle 13 betragen. Die Startposition des Scanfensters 14 ist in 5 mit y0, x0 bezeichnet. Das Scannen erfolgt somit ausgehend von der unteren linken Ecke der Teilregion 12. Das Scanfenster 14 wird dann um eine Bildzelle 13 nach oben in eine zweite Position bewegt, usw. Die letzte Position innerhalb der ersten Spalte ist in 5 mit y1 gekennzeichnet. Nach dieser Spalte wird das Scanfenster 14 um eine Bildzelle 13 nach rechts bewegt, und es wird die zweite Spalte durchgescannt. Nach dem Scanvorgang der ersten Spalte wird das Scanfenster 14 also um eine Bildzelle 13 nach rechts verschoben, um das Scannen einer weiteren Spalte zu initialisieren. In 5 sind dabei unterschiedliche, beispielhafte Positionen des Scanfensters 14 dargestellt, wobei die letzte Position mit x1, y1 gekennzeichnet ist.
Für jede Position des Scanfensters 14 wird überprüft, ob alle Bildzellen 13 innerhalb des Scanfensters 14 zu einer ROI zusammengefasst werden können oder nicht. Dabei wird allen Bodenzellen 13a ein vorgegebener, negativer erster Gewichtungsfaktor w_– < 0 zugeordnet. Demgegenüber wird den Zielzellen 13b ein positiver zweiter Gewichtungsfaktor w₊ > 0 zugeordnet. Die neutralen Bildzellen 13c werden mit einem neutralen Gewichtungsfaktor versehen, beispielweise 0. In jeder Position des Scanfensters 14 wird eine Gesamtgewichtung berechnet, nämlich gemäß der folgenden Formel:
wobei (N, M) die erste Bildzelle (Startpunkt) in der jeweiligen Position des Scanfensters 14 und W_N _, _M die Gesamtgewichtung der jeweiligen Position des Scanfensters 14 bezeichnen. X_x,y kann dabei entweder w_– oder w₊ oder 0 betragen.
Mit anderen Worten wird in jeder Position des Scanfensters 14 die Summe der Gewichtungsfaktoren innerhalb des Scanfensters 14 bestimmt. Mit noch anderen Worten wird für jede Position des Scanfensters 14 die jeweilige Anzahl der Bodenzellen 13a sowie die jeweilige Anzahl der Zielzellen 13b innerhalb des Scanfensters 14 bestimmt, und die Anzahl der Zielzellen 13b wird mit dem positiven Gewichtungsfaktor w₊ multipliziert, während die Anzahl der Bodenzellen 13a mit dem negativen Gewichtungsfaktor w_– multipliziert wird. Die Summe dieser Multiplikationsergebnisse ergibt dann die Gesamtgewichtung W_N,M.
Überschreitet die Gesamtgewichtung W_N,M einen vorgegebenen Grenzwert, so werden alle Bildzellen 13 innerhalb des Zielfensters 14 in der jeweiligen Position des Fensters 14 zu einer ROI zusammengefasst. Wie in 6 dargestellt, werden in der Teilregion 12 mehrere solche ROIs 15 detektiert. In einem weiteren Schritt werden die ROIs 15 zu Zielclustern zusammengefasst:
Das Zusammenfassen der ROIs 15 zu Zielclustern ist in 7 veranschaulicht. Zwei benachbarte ROIs 15 werden dann zu einem gemeinsamen Zielcluster 16 zusammengefasst, wenn ein Überlappungsbereich 17 zwischen den ROIs 15 größer als ein vorgegebener Grenzwert ist. Es wird also die Anzahl der Bildzellen 13 bestimmt, welche sowohl in der einen ROI 15 als auch in der anderen ROI 15 liegen, und die beiden ROIs 15 werden dann zu einem Zielcluster 16 zusammengefasst, wenn die Anzahl der gemeinsamen Bildzellen 13 größer als der Grenzwert ist. In 7 ist dargestellt, wie aus zwei ROIs 15 einerseits (in 7 links) sowie aus drei ROIs 15 andererseits (in 7 rechts) zwei separate Zielcluster 16 gebildet werden. In 7 ist außerdem dargestellt, dass die Größe eines Überlappungsbereiches 17a zwischen zwei benachbarten ROIs 15 kleiner als der Grenzwert ist. Die gestrichelte ROI 15 gehört somit nicht zu dem rechten Zielcluster 16.
Liegen Zielcluster 16 vor, so wird zu jedem Zielcluster 16 zusätzlich noch die folgende Korrektur vorgenommen: Bezug nehmend auf 8 werden bei allen ROIs 15 des Zielclusters 16 die jeweiligen Mittelpunkte 18 der unteren Basiskanten 19 bestimmt. Um diesen Mittelpunkt 18 wird ein Suchbereich 20 vorgegebener Größe definiert. Der Suchbereich 20 hat beispielsweise die Form eines Rechtecks, dessen Breite geringer als die Breite der zugeordneten ROI 15 ist. In dem jeweiligen Suchbereich 20 wird dann nach einem charakteristischen Merkmal 21 gesucht, welches gegenüber anderen Merkmalen innerhalb des Suchbereiches 20 die größte Stärke aufweist. Diese Merkmale können beispielsweise Harris-Punkte sein. Innerhalb jedes Suchbereiches 20 wird dann ein Abweichungsvektor 22 zwischen dem jeweiligen Mittelpunkt 18 und dem stärksten Merkmal 21 bestimmt. Aus allen Abweichungsvektoren 22 des Zielclusters 16 wird dann ein Median (Median-Vektor) 23 bestimmt, der schematisch in 9 dargestellt ist. Die Position des Zielclusters 16 in der Teilregion 12 wird dann um den Median-Vektor 23 korrigiert. In 9 ist die ursprüngliche Position des Zielclusters 16 mit einer gestrichelten Linie dargestellt, während die neue korrigierte Position mit einer durchgezogenen Linie gezeigt ist.
Zu jedem Zielcluster 16 kann dann eine Umrandung bereitgestellt werden, welche in dem Bild 7 auf dem Display optional eingeblendet werden kann, um das jeweilige Zielobjekt 5 optisch hervorzuheben. Bezug nehmend auf 10 wird eine Umrandung 24 zu einem Zielcluster 16 dadurch gebildet, dass alle Ecken 25 des Zielclusters 16 paarweise jeweils mit einer geraden Linie miteinander verbunden werden. Es entsteht somit ein Polygon als Umrandung 24, wie es in 10 mit einer durchgezogenen Linie abgebildet ist.
Bezug nehmend auf 11 kann optional zusätzlich noch ein Fußpunkt 26 der Umrandung 24 und somit des Zielobjekts 5 bestimmt werden. Die Bestimmung des Fußpunkts 26 hat den Vorteil, dass zusätzliche Informationen hinsichtlich der Verfolgung des Zielobjekts 5 gewonnen werden können und auch die genaue Position des Fußpunkts 26 des Zielobjekts 5 in dem dreidimensionalen Raum bestimmt werden kann. Um den Fußpunkt 26 zu bestimmen, wird zunächst ein geometrischer Schwerpunkt 27 der Umrandung 24 bestimmt. Der Schwerpunkt 27 wird dann vertikal nach unten projiziert, nämlich auf eine Basiskante 28 der Umrandung 24. Die Projektion des Schwerpunkts 27 auf der Basiskante 28 stellt den Fußpunkt 26 dar. Mit anderen Worten wird der Fußpunkt 26 als Schnittpunkt zwischen einer Projektionslinie 29 und der Basiskante 28 definiert.
Schließlich kann ein Bild 7 bereitgestellt werden, in welchem die Zielobjekte 5a, 5b, 5c mit jeweils einer Umrandung 24 versehen sind. Ein solches Bild 7 ist in 12 dargestellt.

Claims

Verfahren zum Detektieren eines Zielobjekts (5) in einem Umgebungsbereich (6) einer Kamera (3), insbesondere eines Kraftfahrzeugs (1), anhand eines mittels der Kamera (3) bereitgestellten Bilds (7) des Umgebungsbereichs (6), mit den Schritten: – Bestimmen einer Vielzahl von charakteristischen Merkmalen in dem Bild (7), wobei zwischen Bodenmerkmalen, die zu einem Boden (4) des Umgebungsbereichs (6) gehören, und Zielmerkmalen unterschieden wird, die zu einem Zielobjekt (5) gehören, – Unterteilen zumindest einer Teilregion (12) des Bilds (7) in eine Vielzahl von Bildzellen (13) und zu jeder Bildzelle (13) Überprüfen, ob die Bildzelle (13) ein Bodenmerkmal oder ein Zielmerkmal beinhaltet, – Klassifizieren derjenigen Bildzellen (13) als Zielzellen (13b), die ein Zielmerkmal beinhalten, und derjenigen Bildzellen (13) als Bodenzellen (13a), die ein Bodenmerkmal beinhalten, und – Detektieren des Zielobjekts (5) durch Zusammenfassen einer Vielzahl von benachbarten Bildzellen (13) zu einem Zielcluster (16) abhängig von den Zielzellen (13b) und den Bodenzellen (13a).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen des Zielclusters (16) umfasst, dass in der Teilregion (12) des Bilds (7) ein Scanfenster (14) definiert wird und für eine Vielzahl von unterschiedlichen Positionen des Scanfensters (14) innerhalb der Teilregion (12) die Anzahl der Zielzellen (13b) und die Anzahl der Bodenzellen (13a) innerhalb des Scanfensters (14) bestimmt wird, wobei die Bildzellen (13) innerhalb des Scanfensters (14) in der jeweiligen Position des Scanfensters (14) dann zu einer interessierenden Region (ROI 15) zusammengefasst werden, wenn ein vorbestimmtes Kriterium bezüglich der Anzahl der Zielzellen (13b) und der Anzahl der Bodenzellen (13a) innerhalb des Scanfensters (14) erfüllt wird, und wobei der Zielcluster (16) anhand der interessierenden Regionen (ROI 15) bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Anzahl der Bodenzellen (13a) mit einem negativen ersten Gewichtungsfaktor (w_–) und die Anzahl der Zielzellen (13b) mit einem positiven zweiten Gewichtungsfaktor (w₊) multipliziert wird und das vorbestimmte Kriterium umfasst, dass die Summe der Multiplikationsergebnisse größer als ein vorgegebener Grenzwert ist.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Position des Scanfensters (14) in der Teilregion (12) spaltenweise verändert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Position des Scanfensters (14) in der Teilregion (12) spaltenweise jeweils von unten in Richtung nach oben verändert wird.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass falls in einer Position des Scanfensters (14) innerhalb einer Spalte das vorbestimmte Kriterium erfüllt wird, eine weitere Veränderung der Position des Scanfensters (14) innerhalb derselben Spalte unterbleibt und das Scanfenster (14) in einer weiteren Spalte definiert wird.
Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass zumindest zwei benachbarte interessierende Regionen (ROI 15) dann zu einem gemeinsamen Zielcluster (16) zusammengefasst werden, wenn ein Überlappungsbereich (17) dieser Regionen (ROI 15) größer als ein vorgegebener Grenzwert ist.
Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass zu jeder interessierenden Region (ROI 15) eines Zielclusters (16) jeweils ein Mittelpunkt (18) einer unteren Basiskante (19) bestimmt wird und um diesen Mittelpunkt (18) ein Suchbereich (20) definiert wird, wobei innerhalb des jeweiligen Suchbereichs (20) ein charakteristisches Merkmal (21) größter Stärke bestimmt wird und zwischen dem jeweiligen Mittelpunkt (18) und dem zugeordneten Merkmal (21) ein Abweichungsvektor (22) bestimmt wird, und wobei abhängig von den Abweichungsvektoren (22) die Position des Zielclusters (16) in dem Bild (7) korrigiert wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Korrigieren umfasst, dass ein Median (23) aller Abweichungsvektoren (22) des Zielclusters (16) bestimmt wird, und der Zielcluster (16) um den Median (23) verschoben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren des Zielobjekts (5) umfasst, dass zu dem Zielobjekt (5) eine Umrandung (24), insbesondere in Form eines Polygons, in dem Bild (7) anhand des Zielclusters (16) bereitgestellt wird.
Kameraeinrichtung (2), insbesondere für ein Kraftfahrzeug (1), mit einer Kamera (3) zum Bereitstellen eines Bilds (7) eines Umgebungsbereichs (6), und mit einer elektronischen Auswerteeinrichtung zum Verarbeiten des Bilds (7), wobei die Auswerteeinrichtung dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (1) mit einer Kameraeinrichtung (2) nach Anspruch 11.