-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung, auf ein System zum Bereitstellen einer verbesserten Hinderniserkennung, auf ein Verfahren zur Bereitstellung einer verbesserten Hinderniserkennung, sowie auf ein Computerprogrammelement.
-
TECHNISCHER HINTERGRUND
-
Der allgemeine Hintergrund dieser Erfindung ist das Gebiet der Fahrerassistenzsysteme. Ein Fahrerassistenzsystem wird in einem Fahrzeug verwendet, um einen Fahrer bei der Durchführung von Fahrmanövern zu unterstützen, insbesondere bei Parkmanövern. Ein herkömmliches Fahrerassistenzsystem kann ein Umgebungsbildsystem aufweisen, welches Kameras hat, die angepasst sind, um Kamerabilder der Fahrzeugumgebung zu erfassen, um ein Umgebungsbild zu erzeugen. Das erzeugte Umgebungsbild kann während eines Fahrmanövers dem Fahrer auf einem Display angezeigt werden. Mit einem Umgebungsbildsystem kann eine Draufsicht aus mehreren Kamerabildern erzeugt werden. Das Umgebungsbildsystem kann mehrere Kameras umfassen, wobei benachbarte Kameras ein überlappendes Sichtfeld, FOV, aufweisen können. Herkömmliche Umgebungsbildsysteme führen zu einer schlechten Hinderniserkennung von Hindernissen in den Überlappungsbereichen und in Bereichen, welche sich in die Überlappungsbereiche erstrecken. Wenn sich Hindernisse in einem Überlappungsbereich befinden und/oder sich in einen Überlappungsbereich hinein erstrecken, sind diese durch ein Umgebungsbildsystem nur schlecht sichtbar. Dies kann zu unzureichenden Sicherheitsfunktionen des Fahrerassistenzsystems mit der vom Umgebungsbildsystem erzeugten Draufsicht führen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Es wäre vorteilhaft eine verbesserte Vorrichtung zur Hinderniserkennung bereitszustellen.
-
Die Aufgabe der vorliegenden Erfindung wird mit dem Gegenstand der unabhängigen Ansprüche gelöst, wobei weitere Ausführungsformen in den abhängigen Ansprüchen enthalten sind. Es sollte angemerkt werden, dass die folgenden beschriebenen Aspekte und Beispiele der Erfindung auch für die Vorrichtung zum Bereitstellen einer verbesserten Hinderniserkennung, des Systems zum Bereitstellen einer verbesserten Hinderniserkennung, des Verfahrens zum Bereitstellen einer verbesserten Hinderniserkennung und für das Computerprogrammelement gelten.
-
Gemäß einem ersten Aspekt wird eine Vorrichtung bereitgestellt, um eine verbesserte Hinderniserkennung bereitzustellen, aufweisend:
- - eine erste Kamera;
- - eine zweite Kamera; und
- - eine Verarbeitungseinheit.
-
Die erste Kamera ist konfiguriert, um erste Fahrzeugbilddaten zu erfassen, und die erste Kamera ist konfiguriert, um die ersten Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern. Die zweite Kamera ist konfiguriert, um zweite Fahrzeugbilddaten zu erfassen, und die zweite Kamera ist konfiguriert, um die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern. Es existiert ein Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist. Die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten erstrecken sich über eine Grundebene und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt. Die Verarbeitungseinheit ist konfiguriert, um erste Bildmerkmale aus den ersten Fahrzeugbilddaten zu extrahieren und ist konfiguriert, um zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten zu extrahieren. Die Verarbeitungseinheit ist auch konfiguriert, um die ersten Bildmerkmale auf die Grundebene zu projizieren und ist konfiguriert, um die zweiten Bildmerkmale auf die Grundebene zu projizieren. Die Verarbeitungseinheit ist konfiguriert wenigstens ein Umgebungsbild zu erzeugen, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind. Die Erzeugung beruht teilweise auf der Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen.
-
Mit anderen Worten kann ein Überlappungsbereich eines Umgebungsbildes Bilder von einer von zwei Kameras verwenden, die jeweils diesen Überlappungsbereich sehen, unter Berücksichtigung der von jeder Kamera gesehenen Projektionen eines Objektes, welche in den Überlappungsbereich liegen. Dies ermöglicht, dass die Kamerabilder für den Überlappungsbereich ausgewählt werden, welche besser mit den individuellen Kamerabildern von jeder Kamera zusammensetzt werden können, um repräsentative Abbildungen von Hindernissen zu liefern.
-
Anders Ausgedrückt können Bilder, die mehr projizierte Merkmale in einem Bildüberlappungsbereich aufweisen, priorisiert werden.
-
Auf diese Weise werden Objekte und Hindernisse um ein Auto herum sichtbarer gemacht, und zwar in einem Fahrzeugabbildungssystem mit einem Umgebungsbild oder einer Draufsicht.
-
Somit können Merkmale berücksichtigt werden, die innerhalb des Überlappungsbereichs liegen, deren Projektionen im Überlappungsbereich liegen, und Objekte, die sich außerhalb des Überlappungsbereichs befinden, deren Projektionen jedoch im Überlappungsbereich liegen, können ebenfalls berücksichtigt werden.
-
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, um eine Anzahl von ersten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen und ist konfiguriert, um eine Anzahl von zweiten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen. Die Verarbeitungseinheit ist konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, dass wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen. Die Verarbeitungseinheit ist auch konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, dass wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
-
Mit anderen Worten wird das Bild für den Überlappungsbereich danach bestimmt, welches Bild mehr erkennbare Bildmerkmale, dessen Projektionen der Bildmerkmale im Überlappungsbereich liegen, aufweist.
-
In einem Beispiel umfasst die Extraktion der ersten Bildmerkmale eine Bestimmung von binären Daten, und die Extraktion der zweiten Bildmerkmale umfasst eine Bestimmung von binären Daten.
-
Mit anderen Worten führt das Merkmalsextraktionsverfahren zu einem binären Bild, das beispielsweise Einsen haben kann, wo Merkmale detektiert wurden, und Nullen, wo keine Merkmale detektiert wurden. Dies vereinfacht die Bestimmung der Anzahl von Merkmalen, deren Projektionen im Überlappungsbereich liegen, was nur einen Summationsvorgang erfordert.
-
In einem Beispiel werden die ersten Bildmerkmale entlang Vektoren projiziert, die sich von der ersten Kamera durch die ersten Bildmerkmale zu der Grundebene erstrecken, und die zweiten Bildmerkmale werden entlang Vektoren projiziert, die sich von der zweiten Kamera durch die zweiten Bildmerkmale zu der Grundebene erstrecken.
-
In einem Beispiel umfasst das wenigstens eine Umgebungsbild die ersten Fahrzeugbilddaten außerhalb des Überlappungsbereichs und umfasst die zweiten Fahrzeugbilddaten außerhalb des Überlappungsbereichs.
-
Somit verwendet das Umgebungsbild das geeignete Bild für den Überlappungsbereich und die nicht überlappenden Bilder, um ein Umgebungsbild zur verbesserten Hinderniserkennung um ein Fahrzeug herum bereitzustellen.
-
In einem Beispiel basiert die Erzeugung des wenigstens einen Umgebungsbildes teilweise auf ersten Bildmerkmalen, die sich im Überlappungsbereich befinden, und auf zweiten Bildmerkmalen, die sich im Überlappungsbereich befinden.
-
Mit anderen Worten beruhen die für den Überlappungsbereich zu verwendenden geeigneten Bilddaten nicht nur auf Merkmalen, deren Projektionen im Überlappungsbereich liegen, sondern auch auf Merkmalen, deren Weltkoordinaten innerhalb des Überlappungsbereichs liegen. Somit kann ein Merkmal berücksichtigt werden, das außerhalb des Überlappungsbereichs liegt und dessen Projektionen im Überlappungsbereich liegen, ebenso wie ein Merkmal, das im Überlappungsbereich liegt und dessen Projektionen zur Grundebene jedoch außerhalb des Überlappungsbereiches liegen. Auf diese Weise können hohe Objekte an der dem Überlappungsbereichs entfernten Seite in geeigneter Weise berücksichtigt werden, wenn die Bilder zum Darstellen des Überlappungsbereichs ausgewählt werden.
-
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, eine Anzahl von ersten Bildmerkmalen im Überlappungsbereich zu bestimmen und ist konfiguriert, eine Anzahl von zweiten Bildmerkmalen im Überlappungsbereich zu bestimmen. Die Verarbeitungseinheit ist auch konfiguriert, das wenigstens eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der ersten Fahrzeugbilddaten umfasst, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Zahl von ersten Bildmerkmalen in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl von zweiten Bildmerkmalen im Überlappungsbereich hinzugefügt werden. Die Verarbeitungseinheit ist auch konfiguriert, um das wenigstens eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der zweiten Fahrzeugbilddaten umfasst, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Zahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl von ersten Bildmerkmalen im Überlappungsbereich hinzugefügt werden.
-
Gemäß einem zweiten Aspekt wird ein Fahrzeug bereitgestellt, das konfiguriert ist, um eine verbesserten Hinderniserkennung zu schaffen, aufweisend:
- - eine Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung gemäß dem ersten Aspekt; und
- - eine Anzeigeeinheit.
-
Die Anzeigeeinheit ist konfiguriert, um wenigstens ein Umgebungsbild anzuzeigen.
-
Gemäß einem dritten Aspekt wird ein Verfahren zum Bereitstellen einer verbesserten Hinderniserkennung bereitgestellt, aufweisend:
- a) Erfassen erster Fahrzeugbilddaten mit einer ersten Kamera;
- b) Bereitstellen der ersten Fahrzeugbilddaten an eine Verarbeitungseinheit durch die erste Kamera;
- c) Erfassen von zweiten Fahrzeugbilddaten mit einer zweiten Kamera, wobei ein Bereich einer Bildüberlappung existiert, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, und wobei die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten sich über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt;
- d) Bereitstellen der zweiten Fahrzeugbilddaten an die Verarbeitungseinheit durch die zweite Kamera;
- e) Extrahieren der ersten Bildmerkmale aus den ersten Fahrzeugbilddaten durch die Verarbeitungseinheit;
- f) Extrahieren der zweiten Bildmerkmale aus den zweiten Fahrzeugbilddaten durch die Verarbeitungseinheit;
- g) Projizieren der ersten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit;
- h) Projizieren der zweiten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit; und
- i) Erzeugung von wenigstens einem Umgebungsbild durch die Verarbeitungseinheit, entweder aufweisend (i-a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (i-b) wenigstens ein Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die Erzeugung teilweise auf einer Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, beruht.
-
In einem Beispiel umfasst Schritt g) das Bestimmen, durch die Verarbeitungseinheit, einer Anzahl von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen; Und Schritt h) umfasst das Bestimmen, durch die Verarbeitungseinheit, einer Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen; Und Schritt i-a) erfolgt, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen; Und Schritt i-b) erfolgt, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
-
Gemäß einem anderen Aspekt wird eine Computerprogrammelement-Steuerungsvorrichtung, wie zuvor beschrieben, bereitgestellt, in welchem das Computerprogrammelement durch eine Verarbeitungseinheit ausgeführt wird, und das geeignet ist, die zuvor beschriebenen Verfahrensschritte auszuführen.
-
Es ist auch ein computerlesbares Medium vorgesehen, dass das zuvor beschriebene Computerprogrammelement gespeichert hat.
-
Vorteilhafterweise gelten die Vorteile, die durch einen der vorstehenden Aspekte bereitgestellt werden, gleichermaßen für alle anderen Aspekte und umgekehrt.
-
Die obigen Aspekte und Beispiele werden anhand der nachfolgenden Ausführungsbeispiele erläutert.
-
Figurenliste
-
Im Folgenden werden Ausführungsformen unter Bezugnahme auf die folgenden Zeichnungen beschrieben:
- 1 zeigt einen schematischen Aufbau eines Beispiels einer Vorrichtung zur Bereitstellung einer verbesserten Hinderniserkennung;
- 2 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung;
- 3 zeigt ein Verfahren zur Bereitstellung einer verbesserten Hinderniserkennung;
- 4 zeigt die Klassifizierung von Regionen um ein Fahrzeug in verschiedene Sektoren;
- 5 zeigt einen schematischen Aufbau eines Beispiels der Projektionen eines Bildmerkmals auf die Grundebene; und
- 6 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung; und
- 7 zeigt einen schematischen Aufbau eines Beispiels eines Systems zur Bereitstellung einer verbesserten Hinderniserkennung.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
1 zeigt ein Beispiel einer Vorrichtung 10 zur Bereitstellung einer verbesserten Hinderniserkennung. Die Vorrichtung umfasst eine erste Kamera 20, eine zweite Kamera 30 und eine Verarbeitungseinheit 40. Die erste Kamera 20 ist konfiguriert erste Fahrzeugbilddaten zu erfassen, und die erste Kamera 20 ist konfiguriert, die ersten Fahrzeugbilddaten an die Verarbeitungseinheit zu liefern. Die zweite Kamera 30 ist konfiguriert, zweite Fahrzeugbilddaten zu erfassen, und die zweite Kamera 30 ist konfiguriert, die zweiten Fahrzeugbilddaten an die Verarbeitungseinheit 40 zu liefern. Diese Bereitstellung von Bilddaten kann über drahtgebundene oder drahtlose Kommunikation erfolgen. Es existiert ein Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist. Die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten erstrecken sich über eine Grundebene und der Bereich der Bildüberlappung erstreckt sich über einen Überlappungsbereich der Grundebene. Die Verarbeitungseinheit 40 ist konfiguriert, erste Bildmerkmale aus den ersten Fahrzeugbilddaten zu extrahieren und ist konfiguriert, zweite Bildmerkmale aus den zweiten Fahrzeugbilddaten zu extrahieren. Die Verarbeitungseinheit 40 ist auch konfiguriert, die ersten Bildmerkmale auf die Grundebene zu projizieren und ist konfiguriert, die zweiten Bildmerkmale auf die Grundebene zu projizieren. Die Verarbeitungseinheit 40 ist konfiguriert, wenigstens ein Umgebungsbild zu erzeugen, entweder aufweisend (a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind. Die Erzeugung beruht teilweise auf der Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und auf zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen.
-
In einem Beispiel ist die Verarbeitungseinheit konfiguriert, wenigstens ein Umgebungsbild in Echtzeit zu erzeugen.
-
In einem Beispiel sind die erste und zweite Kamera an verschiedenen Seiten eines Chassis eines Fahrzeugs angebracht.
-
In einem Beispiel umfasst die Vorrichtung ferner eine dritte Kamera 50 und eine vierte Kamera 60, die konfiguriert sind, um dritte Fahrzeugbilddaten und vierte Fahrzeugbilddaten zu erfassen. Es existiert ein zweiter Bereich einer Bildüberlappung, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil der dritten Fahrzeugbilddaten aufweist. Es existiert ein dritter Bereich einer Bildüberlappung, der wenigstens einen Teil der zweiten Fahrzeugbilddaten und wenigstens einen Teil der vierten Fahrzeugbilddaten aufweist. Es existiert ein vierter Bereich der Bildüberlappung, der wenigstens einen Teil der dritten Fahrzeugbilddaten und wenigstens einen Teil der vierten Fahrzeugbilddaten aufweist.
-
In einem Beispiel hat jede der Kameras ein Sichtfeld, welches größer als 180 Grad ist.
-
In einem Beispiel wird ein Radarsensor zusammen mit der ersten Kamera verwendet, um die Entfernung von Objekten, die im Sichtfeld der Kamera abgebildet sind, zu bestimmen. In einem Beispiel wird ein Radarsensor zusammen mit der zweiten Kamera verwendet, um die Entfernung von Objekten, die im Sichtfeld der Kamera abgebildet sind, zu bestimmen. In den Beispielen können Lidar- und / oder Ultraschallsensoren alternativ oder zusätzlich zu den Radarsensoren verwendet werden, um die Entfernungen von Objekten zu bestimmen, die im Sichtfeldern der Kameras abgebildet sind.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 40 konfiguriert, eine Anzahl von ersten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen, und ist konfiguriert, eine Anzahl von zweiten Bildmerkmalen zu bestimmen, deren Projektionen im Überlappungsbereich der Grundebene liegen. Die Verarbeitungseinheit 40 ist auch konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, die dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich liegen. Die Verarbeitungseinheit 40 ist auch konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, das wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, die dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
-
In einem Beispiel wird ein Kantenerfassungsalgorithmus verwendet, um erste und zweite Bildmerkmale zu erfassen.
-
Gemäß einem Beispiel weist das Extrahieren zur Bestimmung der ersten Bildmerkmale binären Daten auf, und das Extrahieren zur Bestimmung der zweiten Bildmerkmale weist binären Daten auf.
-
Gemäß einem Beispiel werden die ersten Bildmerkmale entlang Vektoren projiziert, die sich von der ersten Kamera 20 durch die ersten Bildmerkmale zu der Grundebene erstrecken und die zweiten Bildmerkmale werden entlang Vektoren projiziert, die sich von der zweiten Kamera 30 durch die zweiten Bildmerkmale zu der Grundebene erstrecken.
-
Gemäß einem Beispiel umfasst das wenigstens eine Umgebungsbild die ersten Fahrzeugbilddaten außerhalb des Überlappungsbereichs und umfasst die zweiten Fahrzeugbilddaten außerhalb des Überlappungsbereichs.
-
Gemäß einem Beispiel basiert die Erzeugung des wenigstens einen Umgebungsbildes teilweise auf ersten Bildmerkmalen, welche sich im Überlappungsbereich befinden, und auf zweiten Bildmerkmalen, welche sich im Überlappungsbereich befinden.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit konfiguriert, um eine Anzahl von ersten Bildmerkmalen im Überlappungsbereich zu bestimmen und ist konfiguriert, um eine Anzahl von zweiten Bildmerkmalen im Überlappungsbereich zu bestimmen. Die Verarbeitungseinheit ist auch konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, welches wenigstens einen Teil der ersten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden. Die Verarbeitungseinheit ist konfiguriert, wenigstens das eine Umgebungsbild zu erzeugen, welches wenigstens einen Teil der zweiten Fahrzeugbilddaten aufweist, welche dem Überlappungsbereich zugeordnet sind, wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale in dem Überlappungsbereich hinzugefügt werden.
-
2 zeigt ein Beispiel eines Fahrzeugs 100, das konfiguriert ist, eine verbesserte Hinderniserkennung bereitzustellen. Das Fahrzeug 100 weist eine Vorrichtung 10 zum Bereitstellen einer verbesserten Hinderniserkennung auf, wie sie unter Bezugnahme auf 1 beschrieben ist. Das Fahrzeug 100 umfasst auch eine Anzeigeeinheit 110. Die Anzeigeeinheit 110 ist konfiguriert, um das wenigstens eine Umgebungsbild anzuzeigen.
-
3 zeigt ein Verfahren 200 zur Bereitstellung einer verbesserten Hinderniserkennung in seinen grundlegenden Schritten. Das Verfahren 200 weist auf:
- In einem Erfassungsschritt 210, der auch als Schritt a) bezeichnet wird, Erfassen erster Fahrzeugbilddaten mit einer ersten Kamera 20;
- In einem Bereitstellungsschritt 220, der auch als Schritt b) bezeichnet wird, Bereitstellen der ersten Fahrzeugbilddaten an eine Verarbeitungseinheit 40 durch die erste Kamera;
- In einem Erfassungsschritt 230, der auch als Schritt c) bezeichnet wird, Erfassen zweiter Fahrzeugbilddaten mit einer zweiten Kamera 30, wobei ein Bereich einer Bildüberlappung existiert, der wenigstens einen Teil der ersten Fahrzeugbilddaten und wenigstens einen Teil des zweiten Fahrzeugbilddaten aufweist und wobei sich die ersten Fahrzeugbilddaten und die zweiten Fahrzeugbilddaten über eine Grundebene erstrecken und wobei sich der Bereich der Bildüberlappung über einen Überlappungsbereich der Grundebene erstreckt;
- In einem Bereitstellungsschritt 240, der auch als Schritt d) bezeichnet wird, Bereitstellen der zweiten Fahrzeugbilddaten an die Verarbeitungseinheit durch die zweite Kamera;
- In einem Extraktionsschritt 250, der auch als Schritt e) bezeichnet wird, Extrahieren der ersten Bildmerkmale aus den ersten Fahrzeugbilddaten durch die Verarbeitungseinheit;
- In einem Extraktionsschritt 260, der auch als Schritt f) bezeichnet wird, Extrahieren der zweiten Bildmerkmale aus den zweiten Fahrzeugbilddaten durch die Verarbeitungseinheit;
- In einem Projektionsschritt 270, der auch als Schritt g) bezeichnet wird, Projizieren der ersten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit;
- In einem Projektionsschritt 280, der auch als Schritt h) bezeichnet wird, Projizieren der zweiten Bildmerkmale auf die Grundebene durch die Verarbeitungseinheit; und
- In einem Erzeugungsschritt 290, der auch als Schritt i) bezeichnet wird, Erzeugung wenigstens eines Umgebungsbilds durch die Verarbeitungseinheit, entweder aufweisend (i-a) wenigstens einen Teil der ersten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, oder (i-b) wenigstens einen Teil der zweiten Fahrzeugbilddaten, welche dem Überlappungsbereich zugeordnet sind, wobei die Erzeugung teilweise auf einer Bestimmung von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen und zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen, beruht.
-
Gemäß einem Beispiel umfasst Schritt g) das Ermitteln 272 durch die Verarbeitungseinheit eine Anzahl von ersten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen. In diesem Beispiel umfasst Schritt h) das Ermitteln 282 durch die Verarbeitungseinheit eine Anzahl von zweiten Bildmerkmalen, deren Projektionen im Überlappungsbereich der Grundebene liegen. In diesem Beispiel gilt Schritt i-a), wenn die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen. In diesem Beispiel gilt Schritt i-b), wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen.
-
In einem Beispiel umfasst Schritt e) das Bestimmen 252 von binären Daten, und Schritt f) umfasst das Bestimmen 262 von binären Daten.
-
In einem Beispiel umfasst Schritt g) das Projizieren 274 von ersten Bildmerkmalen entlang von Vektoren, die sich von der ersten Kamera 20 durch die ersten Bildmerkmale zu der Grundebene erstrecken. In diesem Beispiel umfasst der Schritt h) das Projizieren 284 von zweiten Bildmerkmalen entlang von Vektoren, die sich von der zweiten Kamera 30 durch die zweiten Bildmerkmale zu der Grundebene erstrecken.
-
In einem Beispiel umfasst Schritt i) das Erzeugen des wenigstens einen Umgebungsbildes teilweise basierend auf den ersten Bildmerkmalen, die sich im Überlappungsbereich befinden, und auf den zweiten Bildmerkmalen, die sich im Überlappungsbereich befinden.
-
In einem Beispiel weist das Verfahren das Bestimmen einer Anzahl von ersten Bildmerkmalen im Überlappungsbereich und das Bestimmen einer Anzahl von zweiten Bildmerkmalen im Überlappungsbereich auf. In diesem Beispiel erfolgt Schritt i-a), wenn die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale im Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der zweiten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale im Überlappungsbereich hinzugefügt werden. In diesem Beispiel erfolgt Schritt i-b), wenn die Anzahl der zweiten Bildmerkmale, deren Projektionen im Überlappungsbereich liegen, zu der Anzahl der zweiten Bildmerkmale im Überlappungsbereich hinzugefügt werden, größer ist als die Anzahl der ersten Bildmerkmale, deren Projektionen in dem Überlappungsbereich liegen, zu der Anzahl der ersten Bildmerkmale im Überlappungsbereich hinzugefügt werden.
-
Beispiele der Vorrichtung, des Systems und des Verfahrens zur Bereitstellung einer verbesserten Hinderniserkennung werden nun in Verbindung mit den 4-7 beschrieben.
-
In einem Umgebungsbildsystem wird die Draufsicht aus mehreren Kamerabildern erzeugt. Aufgrund der überlappenden Bereiche zwischen jedem Paar von Kameras kann die Draufsicht von einer der beiden Kameras in diesen Bereichen zusammengefügt werden, was zu einer Hindernis-Unsichtbarkeit führen kann. Somit kann der derzeitige Stand der Technik in dem kamerabasierten Fahrerassistenzsystem zu unzureichende Sicherheit führen. Die gegenwärtig beschriebene Vorrichtung, das System und das Verfahren zum Bereitstellen einer verbesserten Hinderniserkennung adressiert dieses Problem durch Priorisieren der Bilder von einer der beiden Kameras in Bezug auf den Überlappungsbereich, aus welchem die Draufsicht zusammengefügt wird.
-
Ein detaillierter Arbeitsablauf des Betriebs, des Betriebs der Vorrichtung und des Systems und zur Bereitstellung einer verbesserten Hinderniserkennung wird nun in Verbindung mit den 4-5 beschrieben.
- i. Die Knoten in den fence-Daten sind in Weltkoordinaten dargestellt. Die verschiedenen Bereiche der Draufsicht werden in Sektoren unterteilt, wie in 4 gezeigt ist.
- ii. Jeder Knoten oder jedes Merkmal, wie eine erkannte Kante, in den fence-Daten wird in einen der Sektoren in Bezug auf seine Position in Weltkoordinaten kategorisiert. Mit anderen Worten, Bildmerkmale wie Kanten werden erfasst oder extrahiert und werden in die Regionen, in denen sie sich befinden, klassifiziert.
- iii. Die Knoten in Sektoren - vorne, hinten, rechts und links werden in Bezug auf die vordere, hintere, rechte und linke Kameraposition zu der Grundebene projiziert, wie in 5 gezeigt.
- iv. Die Knoten in den überlappenden Sektoren werden zweimal mit Bezug auf zwei Kameras der überlappenden Bereiche zur Grundebene projiziert. Beispielsweise wird der Knoten in dem vorderen rechten Überlappungsbereich zweimal bezüglich der rechten und der vorderen Kamera auf die Grundebene projiziert. Somit ergibt jeder Knoten im überlappenden Bereich zwei Ausgangspunkte in dem fence-Prozess.
- v. Alle projizierten Punkte werden wiederum in einen der Sektoren bezüglich ihrer Position in Weltkoordinaten kategorisiert (d.h. Schritt ii wird für die projizierten Punkte wiederholt). Dies ist die Ausgabe des fence-Prozesses für adaptive Überlappungsbereiche.
- vi. Also hat jeder überlappende Sektor zwei Sätze von Ausgangsknoten. Die Kamera, die mehr Ausgangsknoten im überlappenden Bereich erzeugt, erhält eine höhere Priorität. Zum Beispiel - Wenn die Ausgabe des fence-Prozesses im vorderen rechten überlappenden Sektor mehr projizierte Knoten von der vorderen Kamera aufweist, werden die vorderen Kamerabilddaten im überlappenden Bereich höher priorisiert.
-
Beispiele für detaillierte Beispiele von Systemen zur Bereitstellung einer verbesserten Hinderniserkennung werden nun mit Bezug auf die 6-7 beschrieben.
-
6 zeigt ein detailliertes Beispiel eines Umgebungsbildsystems 100, wie in 2 beschrieben. Das System 100 umfasst wenigstens ein Kamerapaar, das durch zwei Kameras 20, 30 mit überlappenden Sichtfeldern FOV gebildet wird, die angepasst sind, um Kamerabilder CI mit einem Überlappungsbereich OA zu erzeugen, wie in 6 dargestellt. In diesem Beispiel ist das Kamerapaar nach vorne gerichtet, könnten jedoch mit ihren optischen Achsen rechtwinklig zueinander ausgerichtet sein, wie in 7 gezeigt ist. Das Sichtfeld FOV jeder Kamera 20, 30 kann mehr als 180 Grad betragen. Die Kameras 20, 30 können mit sogenannte Fischaugen-Linsen versehen sein, die an einem Chassis eines Fahrzeugs angebracht sind.
-
Die Kameras 20, 30 sind mit einer Verarbeitungseinheit 40 verbunden, die wenigstens einen Mikroprozessor aufweisen kann. Die Verarbeitungseinheit 40 ist konfiguriert, die Umgebungsbilder einschließlich überlappender Bereiche OAs in Bezug auf jede Kamera zu berechnen. Die Verarbeitungseinheit extrahiert Merkmale aus den Bildern und projiziert diese auf die Grundebene, wie in 5 gezeigt. Je nachdem, ob die von der Kamera 20 gesehene Anzahl von auf die Grundebene projizierten Merkmalen, die sich in einem Überlappungsbereich OA befinden, größer ist als die von der Kamera 30 gesehene Anzahl von auf die Grundebene projizierten Merkmale, die sich im Überlappungsbereich OA befinden, wird beim Zusammenfügen des Umgebungsbildes entweder dem durch Kamera 20 oder 30 aufgenommenen Kamerabild CI Priorität eingeräumt, abhängig davon welches die größere zugeordnete Anzahl von projizierten Merkmalen in der OA aufweist. Die Bilder können vorübergehend in einem Pufferspeicher der Verarbeitungseinheit 40 gespeichert werden. Die Verarbeitungseinheit kann als Teil des Merkmalsextraktionsprozesses ein binäres Bild erzeugen, in dem Merkmale wie Kanten in einem Bild als Einsen dargestellt werden und andere Teile des Bildes als Nullen dargestellt werden.
-
In 6 erzeugt die erste Kamera 20 des Kamerapaares ein erstes Kamerabild CI1 und die zweite Kamera 30 des Kamerapaares ein zweites Kamerabild CI2.
-
Die Verarbeitungseinheit 40 berechnet Bilder einer Draufsicht für die Überlappungsbereiche in Bezug auf jede Kamera. Die Verarbeitungseinheit 40 umfasst einen Kantendetektor oder Merkmalsdetektor, der geeignet ist, Kanten oder Merkmale für alle Bilder zu berechnen, die gegebenenfalls als zwei binäre Bilder BI bereitgestellt werden können. Die Verarbeitungseinheit 40 umfasst einen Projektor, der detektierte oder extrahierte Merkmale aus den Bildern von der Position der Kamera durch das Merkmal auf die Grundebene projiziert, wie in 5 gezeigt. Die Verarbeitungseinheit summiert anschließend die Anzahl der Merkmale, die von jeder Kamera auf die Grundebene projiziert wurden, und verwendet diese Informationen, um die Bilder der jeweiligen Kamera zu priorisieren, welche für das Zusammenfügen des Bildes für den Überlappungsbereich verwendet werden. Die Anzahl der angepassten Kameras zur Erfassung der Kamerabilder CI kann variieren.
-
7 zeigt im Detail ein Fahrzeug mit einem detaillierten Beispiel eines Umgebungsbildsystems 100, wie es in 2 und 6 beschrieben ist. Das Fahrzeug VEH mit dem Umgebungsbildsystem 100, beinhaltet in dem dargestellten Beispiel vier Kameras 20, 30, 50, 60, die an verschiedenen Seiten des Fahrzeugchassis positioniert sind. In dem dargestellten Beispiel umfasst jede Kamera ein Sichtfeld FOV von mehr als 180 Grad. Das dargestellte Fahrzeug VEH kann jede Art von Fahrzeug sein, wie ein Auto, ein Bus oder ein Lastkraftwagen, der ein Fahrmanöver durchführt, welches durch ein Fahrerassistenzsystem unterstützt werden kann, das ein integriertes Umgebungsbildsystem 100 aufweist, wie es in den 2, 6 dargestellt ist. Die vier Fahrzeugkameras 20, 30, 50, 60 sind an verschiedenen Seiten des Fahrzeugchassis montiert, sodass vier verschiedene Überlappungsbereiche OAs für die Fahrzeugkameras sichtbar sind, wie in den 4 und 7 gezeigt. Zum Beispiel, befindet sich in der vorderen linken Ecke des Fahrzeugchassis ein Überlappungsbereich OA12 der Kamerabilder CI, welche die Frontkamera 20 und die linken Kamera 30 des Umgebungsbildsystems 1 des Fahrzeugs VEH aufnehmen. In 7 umfasst der Überlappungsbereich OA12 ein Hindernis. Das Hindernis ist in dem dargestellten Beispiel eine Wand einer Garage, in die der Fahrer des Fahrzeugs VEH das Fahrzeug VEH manövrieren möchte. Die Wand ist innerhalb des Überlappungsbereichs und erstreckt sich aus dem Überlappungsbereich heraus. Die Verarbeitungseinheit, wie oben beschrieben, bestimmt das zu priorisierende Bild, von einer der Kameras 20 oder 30 für das Zusammenfügen des Umgebungsbildes, basierend auf der Anzahl von Merkmalen, die auf die Grundebene projiziert werden, die sich im Überlappungsbereich für jede Kamera befinden. Auf diese Weise wird eine bessere Bildgebung für Objekte bereitgestellt, die innerhalb des Überlappungsbereichs sind und sich in den Überlappungsbereich hinein erstrecken und die Sichtbarkeit von Objekten und Hindernissen für das Umgebungsbild wird verbessert.
-
In einer anderen beispielhaften Ausführungsform ist ein Computerprogramm oder ein Computerprogrammelement vorgesehen, dass dadurch gekennzeichnet ist, dass es konfiguriert ist, die Verfahrensschritte des Verfahrens gemäß einer der vorhergehenden Ausführungsformen auf einem geeigneten System auszuführen.
-
Das Computerprogrammelement kann daher auf einer Rechnereinheit gespeichert sein, die auch Teil einer Ausführungsform sein könnte. Diese Rechnereinheit kann konfiguriert sein, um die Durchführung der Schritte des oben beschriebenen Verfahrens auszuführen oder zu veranlassen. Darüber hinaus kann die Recheneinheit konfiguriert sein, die Komponenten der oben beschriebenen Vorrichtung und / oder des Systems zu steuern. Die Recheneinheit kann konfiguriert sein, dass sie automatisch arbeitet und / oder die Befehle eines Benutzers ausführt. Ein Computerprogramm kann in einen Arbeitsspeicher eines Datenprozessors geladen werden. Der Datenprozessor kann somit ausgestaltet sein, das Verfahren gemäß einer der vorhergehenden Ausführungsformen durchzuführen.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung wird ein computerlesbares Medium, wie beispielsweise eine CD-ROM, bereitgestellt, wobei das computerlesbare Medium ein Computerprogrammelement aufweist, das auf diesem gespeichert ist. Das Computerprogrammelement wurde durch den vorhergehenden Abschnitt beschrieben.
-
Es ist zu beachten, dass Ausführungsformen der Erfindung unter Bezugnahme auf verschiedene Gegenstände beschrieben werden. Insbesondere werden einige Ausführungsformen unter Bezugnahme auf Verfahrensansprüche beschrieben, während andere Ausführungsformen unter Bezugnahme auf Vorrichtungsansprüche beschrieben werden. Der Fachmann wird jedoch aus der vorhergehenden und aus der nachfolgenden Beschreibung entnehmen, dass, außer etwas Anderes ist angegeben, zusätzlich zu einer beliebigen Kombination von Merkmalen eines Gegenstands, auch eine beliebige Kombination von Merkmalen verschiedener Gegenstände durch diese Anmeldung offenbart ist. Es können jedoch durch die Kombination aller Merkmale synergetische Effekte auftreten, die mehr sind als die einfache Summe ihrer Merkmale.
-
Während die Erfindung in den Zeichnungen und der vorgehenden Beschreibung detailliert dargestellt und beschrieben wurde, ist eine solche Darstellung und Beschreibung als veranschaulichend oder beispielhaft und nicht einschränkend zu betrachten. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Variationen der offenbarten Ausführungsformen können von Fachleuten beim Verwenden einer beanspruchten Erfindung aus einem Studium der Zeichnungen, der Offenbarung und der abhängigen Ansprüche verstanden und bewirkt werden.
-
In den Ansprüchen schließt das Wort „aufweisend“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel „ein“ oder „eine“ schließt eine Mehrzahl nicht aus. Ein einzelner Prozessor oder eine andere Einheit kann die Funktionen von mehreren in den Ansprüchen wiedergegebenen Punkten erfüllen. Die bloße Tatsache, dass gewisse Maßnahmen in gegenseitig verschiedenen abhängigen Ansprüchen wiedergegeben werden, zeigt nicht, dass eine Kombination dieser Maßnahmen nicht vorteilhaft genutzt werden kann. Alle Bezugszeichen in den Ansprüchen sollten nicht als den Umfang einschränkend ausgelegt werden.
