DE112015003988T5

DE112015003988T5 - Freiraumerkennungsvorrichtungsvorrichtung und Freiraumerkennungsverfahren

Info

Publication number: DE112015003988T5
Application number: DE112015003988.0T
Authority: DE
Inventors: Nikola Dojcinovic; Markus Friebe
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-10-13
Filing date: 2015-10-08
Publication date: 2017-06-01
Also published as: JP2017531872A; EP3207523B1; JP6751082B2; EP3009983A1; EP3207523A1; WO2016058893A1; US20170300765A1; US10417507B2

Abstract

Die vorliegende Erfindung betrifft ein(e) Freiraumerkennungsvorrichtung und -verfahren zum Erkennen. Eine Kamera stellt wenigstens erste und zweite Bilddaten bereit, die zu unterschiedlichen Zeitpunkten erfasst werden. Zusätzlich wird ein Bewegungsvektor der Kamera erkannt und den Bilddaten zugewiesen. Die Bilddaten werden bezogen auf eine vorgegebene konfigurierbare Bildebene transformiert, und es erfolgt eine Bewegungskompensation der transformierten Bilddaten. Es werden Differenzbilddaten zwischen den bewegungskompensierten transformierten Bilddaten berechnet, und in den berechneten Differenzbilddaten wird ein Objekt erkannt. Auf diese Weise kann eine effiziente und Speicher sparende Freiraumerkennung realisiert werden. Die Freiraumerkennung ist skalierbar, und somit kann die Freiraumerkennung an alle verfügbaren Rechenressourcen angepasst werden. Die Freiraumerkennung kann auf ein Fahrerassistenzsystem oder jede andere sich bewegende Vorrichtung, die eine Freiraumerkennung erfordert, angewendet werden.

Description

Die vorliegende Erfindung betrifft eine Freiraumerkennungsvorrichtung, ein Freiraumerkennungsverfahren und ein Fahrerassistenzsystem, das eine Freiraumerkennungsvorrichtung umfasst.
In modernen Kraftfahrzeugen ermöglicht eine Mehrzahl von Sensoren und anderen Informationsquellen, dass Fahrerassistenzsysteme (Advanced Driver Assistance Systems – ADAS) einen Fahrer in komplexen Fahrsituationen unterstützen – bis hin zum hoch automatisierten Fahren. Ein kamerabasiertes Rundumsichtsystem stellt eine Komponente eines ADAS dar. Ein derartiges Rundumsichtsystem führt eine Freiraumerkennung durch, um Objekte im Umfeld des Fahrzeugs zu erkennen, und stellt diese Informationen dem ADAS zur Verfügung.
Bei herkömmlichen Rundumsichtsystemen erfolgt die Freiraumerkennung hauptsächlich mit Structure-from-Motion(SFM)-Algorithmen. Diese Algorithmen können nur auf statische Umfeldbereiche angewendet werden. Für die Freiraumerkennung mit SFM-Algorithmen sind wenigstens zwei oder mehr unterstützende Einzelbilder erforderlich, was die Latenz und den Speicherbedarf erhöht. Üblicherweise können SFM-Algorithmen nur auf ein Signal von einer einzigen Kamera angewendet werden.
Dementsprechend besteht Bedarf an einer verbesserten Freiraumerkennung. Insbesondere besteht Bedarf an einer Freiraumerkennung, die auf ein statisches und sich bewegendes Umfeld angewendet werden kann und die einen verringerten Rechenaufwand erfordert.
Offenbarung der Erfindung
Gemäß einem ersten Aspekt stellt die vorliegende Erfindung eine Freiraumerkennungsvorrichtung bereit, die umfasst: eine Kamera, die dazu ausgelegt ist, zu einer ersten Zeit erste Bilddaten und zu einer zweiten Zeit, die sich von der ersten Zeit unterscheidet, zweite Bilddaten bereitzustellen; einen Bewegungsmelder, der dazu ausgelegt ist, Bewegung der Kamera zu erkennen, einen der erkannten Bewegung der Kamera entsprechenden Bewegungsvektor zu bestimmen und den bestimmten Bewegungsvektor den bereitgestellten ersten Bilddaten zuzuweisen; ein Transformationsmittel, das dazu ausgelegt ist, die bereitgestellten ersten und zweiten Bilddaten auf eine konfigurierbare voreingestellte Bildebene zu transformieren und transformierte erste Bilddaten und transformierte zweite Bilddaten auszugeben; ein Bewegungskompensationsmittel, das dazu ausgelegt ist, basierend auf den transformierten ersten Bilddaten, dem den ersten Bilddaten zugewiesenen Bewegungsvektor und einer Zeitdifferenz zwischen der ersten Zeit und der zweiten Zeit bewegungskompensierte transformierte erste Bilddaten zu erzeugen; ein Rechenmittel, das dazu ausgelegt ist, eine Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten zu berechnen; und ein Segmentierungsmittel, das dazu ausgelegt ist, die berechnete Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten zu vergleichen und ein Objekt in den berechneten Differenzbilddaten zu erkennen, wenn die Differenz einen vorgegebenen Schwellwert übersteigt.
Gemäß einem zweiten Aspekt stellt die vorliegende Erfindung ein Freiraumerkennungsverfahren bereit, das folgende Schritte umfasst: Bereitstellen erster Bilddaten zu einer ersten Zeit durch eine Kamera; Bereitstellen zweiter Bilddaten zu einer zweiten Zeit, die sich von der ersten Zeit unterscheidet, durch die Kamera; Erkennen von Bewegung der Kamera und Bestimmen eines der erkannten Bewegung der Kamera entsprechenden Bewegungsvektors; Transformieren der bereitgestellten ersten Bilddaten und der bereitgestellten zweiten Bilddaten auf eine konfigurierbare voreingestellte Bildebene, um transformierte erste Bilddaten und transformierte zweite Bilddaten bereitzustellen; Erzeugen von bewegungskompensierten transformierten ersten Bilddaten basierend auf den transformierten ersten Bilddaten, dem erkannten Bewegungsvektor und einer Zeitdifferenz zwischen der ersten Zeit und der zweiten Zeit; Berechnen einer Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten; und Vergleichen der berechneten Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten und Erkennen eines Objekts in den berechneten Differenzbilddaten, wenn die Differenz einen vorgegebenen Schwellwert übersteigt.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Fahrerassistenzsystem bereit, das eine erfindungsgemäße Freiraumerkennungsvorrichtung umfasst.
Gemäß noch einem weiteren Aspekt stellt die vorliegende Erfindung ein Computerprogrammprodukt bereit, das dazu ausgelegt ist, ein erfindungsgemäßes Freiraumerkennungsverfahren durchzuführen.
Vorteile der Erfindung
Der vorliegenden Erfindung liegt der Gedanke zugrunde, die Bilddaten auf eine vorgegebene Bildebene zu transformieren. Ein derartiges vorgegebenes Bild könnte jede geeignete Bildebene zur Objekterkennung sein. Insbesondere können, in Abhängigkeit von der Umfeldsituation und/oder der Bewegung der Kamera, unterschiedliche Bildebenen für eine Weiterverarbeitung geeignet sein. Die Bildebene, auf welche die Bilddaten transformiert werden sollen, kann parallel zu einer Bodenebene oder bezogen auf die Bodenebene geneigt sein. Die Bildebene kann flach oder gekrümmt sein. Um die Freiraumerkennung an unterschiedliche Umfeldsituationen anzupassen, kann die Bildebene zum Transformieren der Bilddaten einstellbar sein. Da diese Transformation der erfassten Bilddaten auf vorgegebenen Algorithmen und mathematischen Formeln basiert, können alle unerwarteten Elemente, wie etwa Objekte im Umfeld des Fahrzeugs, dazu führen, dass Abweichungen in den transformierten Bilddaten anders sind. Als diese Abweichungen in aufeinander folgenden bewegungskompensierten Bildern können Objekte im Umfeld des Fahrzeugs leicht erkannt werden, indem aufeinander folgende bewegungskompensierte transformierte Bilddaten verglichen werden.
Ein weiterer Gedanke der vorliegenden Erfindung ist es, die Bewegung einer Bildaufnahmevorrichtung zu berücksichtigen und diese erkannte Bewegung einzubeziehen, wenn die Freiraumerkennung unter Verwendung zeitlich aufeinander folgender Bilder, die durch die Bildaufnahmevorrichtung aufgenommen werden, durchgeführt wird. Die Bewegung der Bildaufnahmevorrichtung, beispielsweise einer Kamera, kann entweder durch eine separate Vorrichtung oder basierend auf bereits vorhandenen Informationen erkannt werden. Derartige bereits vorhandene Informationen zum Bestimmen eines Bewegungsvektors können beispielsweise durch Daten erhalten werden, die von einem Fahrerassistenzsystem, einem Navigationssystem oder einer anderen Vorrichtung eines Fahrzeugs bereitgestellt werden. Alle weiteren Mittel zum Erkennen oder Berechnen eines Bewegungsvektors könnten ebenfalls möglich sein.
Die erfindungsgemäße Freiraumerkennung kann auf ein statisches sowie ein sich bewegendes Umfeld angewendet werden. Da für die Freiraumerkennung nur zwei Einzelbilder erforderlich sind, sind die Latenz und der Speicherbedarf gegenüber herkömmlichen Structure-from-Motion-Algorithmen verringert. Ferner kann die erfindungsgemäße Freiraumerkennung leicht an die verfügbare Verarbeitungsleistung angepasst werden, indem die räumliche Genauigkeit skaliert wird. Somit kann die sehr flexible Freiraumerkennung erreicht werden.
Die erfindungsgemäße Freiraumerkennung ist ferner in der Lage, Einzelkamera-Bildsignale zu handhaben sowie Mehrkamera-Bildsignale zu kombinieren. Somit ist die erfindungsgemäße Freiraumerkennung flexibler als ein herkömmlicher SFM-Algorithmus, der nur ein Einzelkamera-Bild bearbeitet.
Gemäß einer weiteren Ausführungsform umfasst die Kamera der Freiraumerkennungsvorrichtung eine Mehrzahl von Bildaufnahmemitteln zum Erfassen von Bilddaten. Die Kamera ist dazu ausgelegt, die erfassten Bilddaten von der Mehrzahl von Bildaufnahmemitteln zu ersten oder zweiten Bilddaten zu kombinieren. Dementsprechend können Mehrkamera-Bildsignale bereitgestellt werden. Dies ermöglicht eine flexiblere und detailliertere Freiraumerkennung.
Gemäß einer weiteren Ausführungsform umfasst die Freiraumerkennungsvorrichtung einen Speicher zum Speichern der durch die Kamera bereitgestellten ersten und zweiten Bilddaten, der transformierten ersten und zweiten Bilddaten, der bewegungskompensierten transformierten zweiten Bilddaten, der Differenzbilddaten und/oder des erkannten Objekts. Auf diese Weise können Eingangsdaten, Zwischenergebnisse sowie die ausgegebenen Ergebnisse gespeichert und für weitere Operationen verwendet werden. Insbesondere können, durch das Speichern der Zwischenergebnisse, wie etwa der transformierten Bilddaten oder der bewegungskompensierten Bilddaten, die entsprechenden Daten wiederverwendet werden, ohne diese Daten erneut zu berechnen. Dementsprechend kann der Rechenaufwand weiter minimiert werden.
Gemäß einer weiteren Ausführungsform wird die konfigurierbare voreingestellte Bildebene in Abhängigkeit von einem Umfeldparameter eingestellt. Auf diese Weise kann die Freiraumerkennung auch dann verbessert sein, wenn die Umfeldsituation sich ändert.
Gemäß einer weiteren Ausführungsform wird die konfigurierbare voreingestellte Bildebene aus einer Mehrzahl vorgegebener Bildebenen ausgewählt. Auf diese Weise kann leicht eine geeignete Bildebene ausgewählt werden.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner einen Schritt zum Einstellen der konfigurierbaren voreingestellten Bildebene.
Gemäß einer weiteren Ausführungsform wird die konfigurierbare voreingestellte Bildebene aus einer Mehrzahl vorgegebener Bildebenen ausgewählt.
Gemäß einer weiteren Ausführungsform umfasst die Mehrzahl vorgegebener Bildebenen wenigstens eine Bodenebene, eine geneigte Ebene und/oder eine parabelförmige Ebene.
Gemäß einer weiteren Ausführungsform umfasst der Schritt zum Einstellen der konfigurierbaren voreingestellten Bildebene einen Schritt zum Erhalten wenigstens eines Umfeldparameters und Einstellen der konfigurierbaren voreingestellten Bildebene basierend auf dem erhaltenen Umfeldparameter.
Gemäß einer weiteren Ausführungsform transformiert der Transformierschritt die ersten Bilddaten und die zweiten Bilddaten, die durch die Kamera bereitgestellt werden, basierend auf einem vorgegebenen Modell. Durch die Verwendung eines vorgegebenen Modells, wie etwa eines mathematischen Modells, eines vorgegebenen Algorithmus usw., kann eine zuverlässige und schnelle Transformation bereitgestellter Bilddaten erreicht werden.
Gemäß einer weiteren Ausführungsform umfasst der Erkennungsschritt einen Schritt zum Vergleichen von Absolutwerten der Differenzbilddaten mit einem vorgegebenen Schwellwert. Durch das Vergleichen der Differenzbilddaten mit einem vorgegebenen Schwellwert kann eine rasche und leichte Erkennung von Abweichungen erreicht werden.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren einen Schritt zum Klassifizieren des erkannten Objekts basierend auf der berechneten Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten. Durch das Klassifizieren des erkannten Objekts können zusätzliche Informationen für die Weiterverarbeitung bereitgestellt werden. Auf diese Weise kann die Zuverlässigkeit der Bilddaten weiter verbessert werden.
Gemäß einer bestimmten Ausführungsform unterscheidet der Klassifizierungsschritt zwischen feststehenden Objekten und sich bewegenden Objekten.
Weitere Vorteile und Ausführungsformen der vorliegenden Erfindung sind der folgenden Beschreibung unter Bezugnahme auf die beigefügten Figuren zu entnehmen.
Kurze Beschreibung der Zeichnungen
1: ein Blockdiagramm einer Freiraumerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
2: ein Fahrzeug mit einer Freiraumerkennungsvorrichtung gemäß einer weiteren Ausführungsform;
3a bis 3d: Beispiele von durch eine Freiraumerkennung gemäß einer Ausführungsform der vorliegenden Erfindung verarbeiteten Bilddaten; und
4: ein Ablaufdiagramm, das ein erfindungsgemäßes Freiraumerkennungsverfahren darstellt.
Beschreibung von Ausführungsformen
1 zeigt ein Blockdiagramm einer Freiraumerkennungsvorrichtung 1. Die Freiraumerkennungsvorrichtung 1 umfasst eine Kamera 10, einen Bewegungsmelder 20, ein Transformationsmittel 30, ein Bewegungskompensationsmittel 40, ein Rechenmittel 50 und ein Segmentierungsmittel 60. Ferner kann die Freiraumerkennungsvorrichtung 1 einen oder mehrere Speicher 70 umfassen. Die Kamera 10 kann ferner eine Mehrzahl von Bildaufnahmemitteln 11-i zum Erfassen von Bilddaten umfassen.
Die Kamera 10 nimmt ein Einzelbild auf und stellt Bilddaten des aufgenommenen Einzelbilds zur Weiterverarbeitung bereit. Vorzugsweise kann die Kamera 10 periodisch Einzelbilder aufnehmen. Dazu nimmt die Kamera 10 Einzelbilder mit einem vorgegebenen Zeitabstand auf. Zusätzlich kann die Kamera 10 jedem aufgenommenen Einzelbild einen Zeitstempel zuweisen. Auf diese Weise kann der Zeitpunkt, zu dem das Einzelbild aufgenommen wurde, während der Weiterverarbeitung der Bilddaten leicht bestimmt werden.
Wenn die Kamera 10 eine Mehrzahl von Bildaufnahmemitteln 11-i umfasst, kann jedes Bildaufnahmemittel 11-i gleichzeitig ein Einzelbild aufnehmen, und die Bilddaten aller gleichzeitig aufgenommenen Einzelbilder können kombiniert werden. Somit können die kombinierten Daten aller gleichzeitig aufgenommenen Einzelbilder als gemeinsame Bilddaten weiterverarbeitet werden.
Um die erfassten Bilddaten an die Verarbeitungsleistung der Freiraumerkennungsvorrichtung 1 anzupassen, kann die Auflösung der erfassten Bilddaten angepasst werden. Dazu können die erfassten Bilddaten abwärtsskaliert werden, um die Bilddatenmenge zu verringern und den Rechenaufwand und den Speicherbedarf für die weiteren Operationen zu verringern. Wenn die Freiraumerkennungsvorrichtung 1 jedoch genügend Rechenleistung und Speicherplatz zum Verarbeiten der Bilddaten mit hoher Auflösung aufweist, kann die Genauigkeit der Verarbeitung verbessert werden.
Ferner wird Bewegung der Kamera 10 erkannt, und den durch die Kamera 10 erfassten Bilddaten wird ein Bewegungsvektor zugewiesen. Dazu kann die Freiraumerkennungsvorrichtung 1 einen Bewegungsmelder 20 zum Erkennen eines Bewegungsvektors der Kamera 10 umfassen. Beispielsweise kann der Bewegungsmelder 20 einen Global-Positioning-System(GPS)-Sensor, ein Gyroskop, einen Beschleunigungssensor usw. umfassen. Ferner können auch Mittel zum Erkennen der Bewegung der Kamera 10 möglich sein.
Alternativ kann die Bewegung der Kamera 10 bereits mittels eines anderen Systems bestimmt sein, und Informationen über die erkannte Bewegung können der Freiraumerkennungsvorrichtung 1 bereitgestellt werden. Beispielsweise können, wenn die Freiraumerkennungsvorrichtung 1 Teil eines Fahrzeugs ist und dieses Fahrzeug bereits ein Mittel zum Erkennen oder Bestimmen der Bewegung des Fahrzeugs umfasst, diese Bewegungsinformationen der Freiraumerkennungsvorrichtung 1 bereitgestellt werden. Beispielsweise kann das Fahrzeug ein Fahrerassistenzsystem (ADAS), ein Navigationssystem usw. umfassen. Wenn bereits Informationen über die Bewegung des Fahrzeugs verfügbar sind, können diese Informationen der Bewegungserkennungsvorrichtung 1 über ein digitales Bussystem, beispielsweise einen CAN-Bus, bereitgestellt werden. Jedes andere Kommunikationssystem zum Bereitstellen von Informationen über die Bewegung an die Freiraumerkennungsvorrichtung 1 ist ebenfalls möglich. Diesbezüglich ist es ferner auch möglich, Bewegung der Kamera 10 basierend auf den durch die Kamera 10 bereitgestellten Bilddaten zu erkennen. Dazu kann jeder Algorithmus zur bildbasierten Bewegungserkennung verwendet werden.
Nachdem die Bewegung der Kamera 10 durch den Bewegungsmelder 20 erkannt wurde oder Bewegungsinformationen von einem anderen Mittel empfangen wurden, wird den durch die Kamera 10 bereitgestellten Bilddaten ein der erkannten Bewegung entsprechender Bewegungsvektor zugewiesen. Wenn der Zeitabstand zum Erkennen von Bewegung der Kamera sich von der Bildrate der Kamera 10 zum Bereitstellen von Bilddaten unterscheidet, kann die Bestimmung des Bewegungsvektors die erkannte Bewegung interpolieren, um den Bewegungsvektor an die Bildrate der Bilddaten anzupassen. Die Bilddaten, der zugewiesene Zeitstempel und der zugewiesene Bewegungsvektor können an das Transformationsmittel 30 weitergeleitet werden. Zusätzlich oder alternativ können die Bilddaten von der Kamera 10, der entsprechende Zeitstempel und Bewegungsvektor in dem Speicher 70 gespeichert werden.
Nun empfängt ein Transformationsmittel 30 die Bilddaten von der Kamera 10 und/oder liest die Bilddaten aus dem Speicher 70. Das Transformationsmittel 30 führt eine Transformation der Bilddaten bezogen auf eine vorgegebene Bildebene durch. Beispielsweise können die Bilddaten auf eine Bildebene, welcher der Bodenebene entspricht, oder eine Bildebene parallel zur Bodenebene transformiert werden. Die vorgegebene Bildebene kann einer Bildebene entsprechen, die bezogen auf die Bodenebene geneigt ist und/oder bezogen auf eine Ebene rechtwinklig zum Bewegungsvektor der Kamera 10 geneigt ist.
Die vorgegebene Bildebene kann eine flache Bildebene sein. Alternativ ist es auch möglich, die Bilddaten auf eine gekrümmte Bildebene zu transformieren. Eine derartige gekrümmte Bildebene kann beispielsweise eine zylindrische oder kugelförmige Bildebene sein. Die gekrümmt Bildebene kann eine konvexe oder eine konkave Bildebene sein. Die gekrümmte Bildebene kann auch eine parabelförmige Bildebene oder jede andere gekrümmte Bildebene umfassen.
Die vorgegebene Bildebene kann eine vorgegebene feststehende Bildebene sein, und diese vorgegebene Bildebene kann für alle Transformationen von Bilddaten verwendet werden. Alternativ kann die Bildebene, auf der die Transformation basiert, angepasst werden. Beispielsweise kann eine geeignete Bildebene aus einem Satz möglicher Bildebenen ausgewählt werden. Beispielsweise kann eine Neigung der Bildebene bezogen auf die Bodenebene angepasst werden. Es kann auch möglich sein, zwischen flachen Bildebenen und gekrümmten Bildebenen zu wählen.
Die Auswahl der vorgegebenen Bildebene zum Transformieren der Bilddaten kann beispielsweise basierend auf Umfeldparametern erfolgen. Die Auswahl der Bildebene kann auf einer Geschwindigkeit der Kamera (oder des Fahrzeugs mit der Kamera), einer Fahrtrichtung, einer Verkehrssituation usw. basieren. Beispielsweise kann eine erste Bildebene verwendet werden, wenn die Geschwindigkeit unterhalb eines vorgegebenen Schwellwerts liegt, und eine zweite Bildebene wird verwendet, wenn die Geschwindigkeit den vorgegebenen Schwellwert übersteigt. Ferner kann eine bestimmte Bildebene gewählt werden, wenn ein bestimmtes, vorgegebenes Merkmal, beispielsweise eine Kreuzung, im Umfeld der Kamera erkannt wird. Zusätzlich oder alternativ kann die Bildebene zum Transformieren von Bilddaten in Abhängigkeit von der Position der Kamera 10 (oder eines die Kamera 10 umfassenden Fahrzeugs) angepasst werden. Beispielsweise kann die Position der Kamera mittels eines Positionsmelders, wie etwa eines GPS oder eines ein Navigationssystem umfassenden ADAS, erkannt werden. Weitere Parameter zum Anpassen der Bildebene für die Bildtransformation oder Wählen einer geeigneten Bildebene können ebenfalls möglich sein.
Um eine derartige Transformation der Bilddaten auf die vorgegebene Bildebene durchzuführen, kann jeder herkömmliche Transformationsalgorithmus auf die Bilddaten angewendet werden. Ein derartiger Bildtransformationsalgorithmus kann auf gut bekannten mathematischen Modellen basieren. Es können jedoch auch neue mathematische Modelle und Transformationsalgorithmen entwickelt werden, um die erfassten Bilddaten zu Draufsicht-Bilddaten zu transformieren. Nachdem das Transformationsmittel 30 die Bilddaten bezogen auf die vorgegebene Bildebene transformiert hat, können die transformierten Bilddaten in dem Speicher 70 gespeichert oder für weitere Operationen weitergeleitet werden.
Um zu unterschiedlichen Zeitpunkten erfasste Bilddaten zu vergleichen, wird Bewegung von Bilddaten durch das Bewegungskompensationsmittel 40 kompensiert. Das Bewegungskompensationsmittel 40 kann die Zeitdifferenz zwischen zwei aufeinander folgenden Bildern beispielsweise basierend auf den den Bilddaten zugewiesenen Zeitstempeln analysieren. Basierend auf dieser Zeitdifferenz kann die Bewegung der Kamera 10 oder eines die Freiraumerkennungsvorrichtung 1 umfassenden Fahrzeugs berechnet werden. Wenn die Bildebene, auf welche die Bilddaten transformiert werden, parallel zur Bodenebene ist, können die transformierten Bilddaten gemäß der berechneten Bewegung in x-Richtung und y-Richtung verschoben werden. Wenn die Bildebene, auf welche die Bilddaten transformiert werden, nicht parallel zur Bodenebene ist und/oder die Bildebene gekrümmt ist, wird beim Durchführen der Bewegungskompensation die Ausrichtung/Konfiguration der Bildebene berücksichtigt. Die bewegungskompensierten transformierten Bilddaten können auch in dem Speicher 70 oder direkt für eine weitere Analyse der Bilddaten gespeichert werden.
Nun berechnet das Rechenmittel 50 eine Differenz zwischen transformierten Bilddaten, die zu verschiedenen Zeitpunkten aufgenommene Einzelbilder betreffen. Dazu werden Differenzen zwischen Pixelelementen transformierter Bilddaten berechnet. Alle zum Berechnen der Differenzbilddaten verwendeten Bilddaten werden bezogen auf den gleichen Zeitpunkt bewegungskompensiert. Beispielsweise müssen, wenn die transformierten zweiten Bilddaten einen bestimmten Zeitpunkt betreffen und zusätzliche erste Bilddaten verwendet werden, die zusätzlichen Bilddaten durch das Bewegungskompensationsmittel 40 bezogen auf den den zweiten Bilddaten zugewiesenen Zeitstempel bewegungskompensiert werden. Zusätzlich können für jedes Pixelelement die Absolutwerte der Differenzen zwischen den transformierten zweiten Bilddaten und den bewegungskompensierten transformierten ersten Bilddaten berechnet werden.
Die berechneten Differenzbilddaten, insbesondere die berechneten absoluten Differenzbilddaten, können in dem Speicher 70 gespeichert werden oder zu dem Segmentierungsmittel 60 weitergeleitet werden.
Das Segmentierungsmittel 60 analysiert die durch das Rechenmittel 50 berechneten Differenzbilddaten, um ein oder mehrere Objekte in den berechneten Differenzbilddaten zu erkennen. Beispielsweise kann das Segmentierungsmittel 60 die Absolutwerte der berechneten Differenzbilddaten mit einem vorgegebenen Schwellwert vergleichen. Wenn in den berechneten Differenzbilddaten Pixelelemente mit einem Wert höher als der vorgegebene Schwellwert vorhanden sind, können diese Elemente als Basis zum Erkennen eines Objekts an der entsprechenden Position in den Bilddaten verwendet werden. Beispielsweise können benachbarte Pixel in den Bilddaten, die eine Differenz höher als ein vorgegebener Wert betreffen, kombiniert und als gemeinsames Element angesehen werden. Diesbezüglich kann ferner jedes/r andere Verfahren oder Algorithmus zur Bildsegmentierung, insbesondere eine auf Differenzialbilddaten basierende Bildsegmentierung, möglich sein.
Zusätzlich kann das Segmentierungsmittel 60 ein erkanntes Objekt in den berechneten Differenzbilddaten klassifizieren. Beispielsweise kann eine derartige Klassifizierung zwischen feststehenden Objekten und sich bewegenden Objekten im Umfeld der Freiraumerkennungsvorrichtung 1 unterscheiden. Die Klassifizierung der erkannten Objekte kann beispielsweise auf den Absolutwerten in den Differenzbilddaten und/oder der Erstreckung eines Bereichs mit Werten höher als ein vorgegebener Schwellwert basieren. Jedes weitere Verfahren zum Erkennen und/oder Klassifizieren eines Objekts in den Differenzbilddaten ist ebenfalls möglich.
Schließlich kann das Segmentierungsmittel 60 Objektdaten ausgeben, die ein oder mehrere in den Differenzialbilddaten erkannte Objekte ausweisen. Beispielsweise kann das Segmentierungsmittel 60 eine Objektliste ausgeben, die eine Position, Größe und/oder Klassifizierung der erkannten Objekte umfasst. Ein Bereitstellen weiterer Informationen über das erkannte Objekt ist ebenfalls möglich. Die Informationen über die erkannten Objekte können in dem Speicher 70 gespeichert werden oder direkt zu einem Weiterverarbeitungsmittel weitergeleitet werden. Beispielsweise können die erkannten Objekte einem Kraftfahrzeugumfeldmodell, beispielsweise einem Dempster-Shafer-Raster, bereitgestellt werden. Die Informationen über die im Umfeld der Freiraumerkennungsvorrichtung 1 erkannten Objekte können beispielsweise auch in einem Fahrerassistenzsystem oder jeder anderen Vorrichtung verwendet werden.
2 zeigt ein Fahrzeug 3, das ein Fahrerassistenzsystem (ADAS) 2 mit einer Freiraumerkennungsvorrichtung 1 umfasst. Die Informationen über ein oder mehrere im Umfeld des Fahrzeugs 3 durch die Freiraumerkennungsvorrichtung 1 erkannte Objekte können durch das ADAS 2 verwendet werden. Beispielsweise können Informationen über erkannte Objekte im Umfeld einem Fahrer des Fahrzeugs zur Kenntnis gegeben werden. Alternativ oder zusätzlich können die Informationen auch in dem ADAS 2 verwendet werden, um die Geschwindigkeit des Fahrzeugs anzupassen, einen Bremsvorgang einzuleiten oder einen anderen Vorgang des ADAS 2 zu beginnen.
Bezüglich einer Freiraumerkennungsvorrichtung 1 in einem Fahrerassistenzsystem 2 eines Fahrzeugs 3 kann die Freiraumerkennungsvorrichtung 1 ferner auch Informationen über Objekte im Umfeld jeder weiteren sich bewegenden Vorrichtung bereitstellen. Beispielsweise kann es sich bei derartigen Vorrichtungen um jede geeignete Vorrichtung im industriellen oder medizinischen Bereich handeln.
3a zeigt ein Bild transformierter Bilddaten von einer Kamera 10 eines Fahrzeugs 3. Um das gesamte Umfeld des Fahrzeugs 3 abzudecken, kann in der Kamera 10 eine Mehrzahl von Bildaufnahmemitteln 11-i verwendet werden. Beispielsweise kann ein erstes Bildaufnahmemittel den vorderen Teil des Fahrzeugs 3 abdecken, ein zweites Bildaufnahmemittel kann den hinteren Teil des Fahrzeugs 3 abdecken, und ein drittes und viertes Bildaufnahmemittel können den linken und den rechten Teil des Fahrzeugs 3 abdecken. Alle anderen Konfigurationen von Bildaufnahmemitteln 11-I zum Abdecken des Umfelds des Fahrzeugs sind ebenfalls möglich.
3b stellt Differenzbilddaten zwischen Bilddaten von zwei zu unterschiedlichen Zeitpunkten abgedeckten Einzelbildern dar, wobei die Bilddaten auf eine vorgegebene Bildebene transformiert werden und die transformierten Bilddaten bewegungskompensiert werden, um Differenzen aufgrund der Bewegung des Fahrzeugs 3 zu kompensieren. Die schattierten Bereiche in 3b stellen Differenzen zwischen aufeinander folgend erfassten bewegungskompensierten transformierten Bilddaten dar.
3c zeigt in den schattierten Bereichen alle Teile der Differenzbilddaten mit einem Absolutwert größer als ein vorgegebener Schwellwert. Basierend auf den erkannten Daten in den Differenzbilddaten mit einem derartigen Wert größer als ein vorgegebener Schwellwert können Objekte in den Bilddaten erkannt werden, wie in 3d dargestellt.
4 stellt ein Ablaufdiagramm eines Freiraumerkennungsverfahrens dar, das einer weiteren Ausführungsform der vorliegenden Erfindung zugrunde liegt.
In einem ersten Schritt S1 werden zu einer ersten Zeit erste Bilddaten durch eine Kamera 10 bereitgestellt. Anschließend stellt die Kamera 10 in Schritt S2 zweite Bilddaten bereit. Vorzugsweise stellt die Kamera 10 Bilddaten in vorgegebenen Zeitabständen bereit, um einen periodischen Bildaufnahmevorgang durchzuführen. Das Erhalten Schritt S1 und S2 kann den Bilddaten ferner einen Zeitstempel zuweisen. Auf diese Weise kann die Bildaufnahmezeit während der Weiterverarbeitung der Bilddaten leicht ermittelt werden.
Zusätzlich erfolgt in einem weiteren Schritt S3 ein Erkennen von Bewegung der Kamera 10. Eine derartige Erkennung von Bewegung kann beispielsweise durch eine separate Vorrichtung durchgeführt werden. Alternativ kann die Erkennung der Kamera 10 auch durch Erkennen der Bewegung einer die Kamera 10 umfassenden Plattform erfolgen. Beispielsweise kann die Kamera 10 in einem Fahrzeug 3 eingebaut sein, und die Bewegung des Fahrzeugs 3 wird durch eine weitere Vorrichtung des Fahrzeugs 3, wie etwa ein Navigationssystem oder ein Fahrerassistenzsystem 2, bestimmt. In diesem Fall kann die der Bewegung der Kamera 10 entsprechende Bewegung des Fahrzeugs 3 durch eine derartige Vorrichtung bereitgestellt werden. Ferner kann Bewegung durch Analysieren der durch die Kamera 10 aufgenommenen Bilddaten erkannt werden. Wenn der Zeitabstand zur Erkennung von Bewegung sich von der Bildrate der Kamera 10 unterscheidet, kann die erkannte Bewegung interpoliert werden, um die Bewegung an die Bildrate der erfassten Bilddaten anzupassen.
Die ersten Bilddaten und die zweiten Bilddaten, die durch die Kamera 10 bereitgestellt werden, werden in Schritt S4 bezogen auf eine vorgegebene Bildebene transformiert. Die vorgegebene Bildebene kann jede Bildebene sein, wie bereits weiter oben umrissen. Die Bildebene zum Transformieren der Bilddaten kann feststehend oder kann konfigurierbar sein. Insbesondere kann die Bildebene eingestellt werden, wie bereits weiter oben umrissen.
In Schritt S5 erfolgt basierend auf dem Bewegungsvektor und einer Zeitdifferenz zwischen dem Zeitpunkt zum Erfassen erster Bilddaten und der zweiten Bilddaten eine Bewegungskompensation der transformierten ersten Bilddaten. Beispielsweise kann eine Zeitdifferenz zwischen dem den ersten Bilddaten zugewiesenen Zeitstempel und dem den zweiten Bilddaten zugewiesenen Zeitstempel berechnet werden. Basierend auf dieser Zeitdifferenz kann die Bewegung der Kamera, insbesondere die Bewegung bezogen auf ein vorgegebenes Koordinatensystem, berechnet werden. Basierend auf dieser Bewegung werden die zweiten Bilddaten entsprechend verschoben, um bewegungskompensierte transformierte zweite Bilddaten zu erhalten.
Nachdem die ersten Bilddaten und die zweiten Bilddaten transformiert sind und die Bewegungskompensation durchgeführt wurde, um zueinander passende Bilddaten zu erhalten, werden in Schritt S6 Differenzbilddaten zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten berechnet. Zusätzlich können Absolutwerte der Differenzbilddaten berechnet werden.
Basierend auf den in Schritt S6 berechneten Differenzbilddaten wird in Schritt S7 ein Objekt erkannt. Beispielsweise können in den Differenzbilddaten Bereiche mit einem Absolutwert größer als ein vorgegebener Schwellwert erkannt werden. Basierend auf einem derartigen Bereich mit Absolutwerten größer als ein vorgegebener Schwellwert kann eine Segmentierung der Differenzbilddaten durchgeführt werden. Die segmentierten Differenzbilddaten können analysiert werden, um einzelne Objekte oder Bereiche, die eine Mehrzahl von Objekten umfassen, zu erkennen.
Zusätzlich können die erkannten Objekte in den Differenzbilddaten klassifiziert werden. Beispielsweise können basierend auf charakteristischen Parametern der Bilddaten, insbesondere der Differenzbilddaten der transformierten Bilder, vorgegebene Eigenschaften der erkannten Objekte bestimmt werden, und eine oder mehrere derartiger Eigenschaften können den erkannten Objekten zugewiesen werden. Beispielsweise kann eine derartige Klassifizierung zwischen feststehenden Objekten im Umfeld und sich bewegenden Objekten unterscheiden.
Das Freiraumerkennungsverfahren kann beispielsweise auf einer Computervorrichtung durchgeführt werden. Dazu kann ein Computerprogrammprodukt bereitgestellt werden, das dazu ausgelegt ist, das vorstehend umrissene Verfahren durchzuführen.
Dementsprechend können der Bewegungsmelder 20, das Transformationsmittel 30, das Bewegungskompensationsmittel 40, das Rechenmittel 50 und/oder das Segmentierungsmittel 60 durch einen Mikroprozessor realisiert sein, der einen Computerprogrammcode ausführt, der dazu geeignet ist, das entsprechende Mittel der Freiraumerkennungsvorrichtung 1 zu realisieren.
Zusammenfassend stellt die vorliegende Erfindung eine verbesserte Freiraumerkennung bereit. Aufeinander folgende Einzelbilder, die zu unterschiedlichen Zeitpunkten aufgenommen werden, werden bezogen auf eine vorgegebene, konfigurierbare Bildebene transformiert. Es wird Bewegung der die Einzelbilder aufnehmenden Vorrichtung bestimmt. Die erfassten Bilddaten werden gemäß der erkannten Bewegung bewegungskompensiert. Basierend auf Differenzen in den transformierten bewegungskompensierten Bilddaten kann eine effiziente und zuverlässige Erkennung von Objekten erreicht werden.

Claims

Freiraumerkennungsvorrichtung (1), umfassend: eine Kamera (10), die dazu ausgelegt ist, zu einer ersten Zeit erste Bilddaten und zu einer zweiten Zeit, die sich von der ersten Zeit unterscheidet, zweite Bilddaten bereitzustellen; einen Bewegungsmelder (20), der dazu ausgelegt ist, Bewegung der Kamera (10) zu erkennen, einen der erkannten Bewegung der Kamera (10) entsprechenden Bewegungsvektor zu bestimmen und den bestimmten Bewegungsvektor den durch die Kamera (10) bereitgestellten ersten Bilddaten zuzuweisen; ein Transformationsmittel (30), das dazu ausgelegt ist, die bereitgestellten ersten und zweiten Bilddaten auf eine konfigurierbare voreingestellte Bildebene zu transformieren und transformierte erste Bilddaten und transformierte zweite Bilddaten auszugeben; ein Bewegungskompensationsmittel (40), das dazu ausgelegt ist, basierend auf den transformierten ersten Bilddaten, dem den ersten Bilddaten zugewiesenen Bewegungsvektor und einer Zeitdifferenz zwischen der ersten Zeit und der zweiten Zeit bewegungskompensierte transformierte erste Bilddaten zu erzeugen; ein Rechenmittel (50), das dazu ausgelegt ist, eine Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten zu berechnen; und ein Segmentierungsmittel (60), das dazu ausgelegt ist, die berechnete Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten zu vergleichen und ein Objekt in den berechneten Differenzbilddaten zu erkennen, wenn die Differenz einen vorgegebenen Schwellwert übersteigt.
Freiraumerkennungsvorrichtung (1), wobei die Kamera (10) eine Mehrzahl von Bildaufnahmemitteln (11-i) zum Erfassen von Bilddaten umfasst und die Kamera (10) dazu ausgelegt ist, die erfassten Bilddaten von der Mehrzahl von Bildaufnahmemitteln (11-i) zu ersten oder zweiten Bilddaten zu kombinieren.
Freiraumerkennungsvorrichtung (1) nach Anspruch 1 oder 2, die ferner einen Speicher (70) umfasst, der dazu ausgelegt ist, die durch die Kamera (10) bereitgestellten ersten und zweiten Bilddaten, die transformierten ersten und zweiten Bilddaten, die bewegungskompensierten transformierten zweiten Bilddaten, die Differenzbilddaten und/oder das erkannte Objekt zu speichern.
Freiraumerkennungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die konfigurierbare voreingestellte Bildebene in Abhängigkeit von einem Umfeldparameter eingestellt wird.
Freiraumerkennungsvorrichtung (1) nach einem der Ansprüche 1 bis 4, wobei die konfigurierbare voreingestellte Bildebene aus einer Mehrzahl vorgegebener Bildebenen ausgewählt wird.
Fahrerassistenzsystem (2), das eine Freiraumerkennungsvorrichtung (1) nach einem der Ansprüche 1 bis 5 umfasst.
Freiraumerkennungsverfahren, das folgende Schritte umfasst: Bereitstellen (S1) erster Bilddaten zu einer ersten Zeit durch eine Kamera (10); Bereitstellen (S2) zweiter Bilddaten zu einer zweiten Zeit, die sich von der ersten Zeit unterscheidet, durch die Kamera (10); Erkennen (S3) von Bewegung der Kamera (10) und Bestimmen eines der erkannten Bewegung der Kamera (10) entsprechenden Bewegungsvektors; Transformieren (S4) der bereitgestellten ersten Bilddaten und der bereitgestellten zweiten Bilddaten auf eine konfigurierbare voreingestellte Bildebene, um transformierte erste Bilddaten und transformierte zweite Bilddaten bereitzustellen; Erzeugen (S5) bewegungskompensierter transformierter erster Bilddaten basierend auf den transformierten ersten Bilddaten, dem erkannten Bewegungsvektor und einer Zeitdifferenz zwischen der ersten Zeit und der zweiten Zeit; Berechnen (S6) einer Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten; und Vergleichen der berechneten Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten und Erkennen (S7) eines Objekts in den berechneten Differenzbilddaten, wenn die Differenz einen vorgegebenen Schwellwert übersteigt.
Verfahren nach Anspruch 7, wobei der Transformierschritt (S4) die bereitgestellten ersten Bilddaten und die bereitgestellten zweiten Bilddaten basierend auf einem vorgegebenen Modell oder Algorithmus transformiert.
Verfahren nach Anspruch 7 oder 8, das ferner einen Schritt zum Einstellen der konfigurierbaren voreingestellten Bildebene umfasst.
Verfahren nach Anspruch 9, wobei die konfigurierbare voreingestellte Bildebene aus einer Mehrzahl vorgegebener Bildebenen ausgewählt wird.
Verfahren nach Anspruch 10, wobei die Mehrzahl vorgegebener Bildebenen wenigstens eine Bodenebene, eine geneigte Ebene und/oder eine parabelförmige Ebene umfasst.
Verfahren nach einem der Ansprüche 9 bis 11, wobei der Schritt zum Einstellen der konfigurierbaren voreingestellten Bildebene einen Schritt zum Erhalten wenigstens eines Umfeldparameters und Einstellen der konfigurierbaren voreingestellten Bildebene basierend auf dem erhaltenen Umfeldparameter umfasst.
Verfahren nach einem der Ansprüche 7 bis 12, das ferner einen Schritt (S8) zum Klassifizieren des erkannten Objekts basierend auf der berechneten Differenz zwischen den bewegungskompensierten transformierten ersten Bilddaten und den transformierten zweiten Bilddaten umfasst.
Verfahren nach Anspruch 13, wobei der Klassifizierungsschritt (S8) zwischen feststehenden Objekten und sich bewegenden Objekten unterscheidet.
Computerprogrammprodukt, das dazu ausgelegt ist, ein Verfahren nach einem der Ansprüche 7 bis 14 durchzuführen.