DE102022119751A1

DE102022119751A1 - Bestimmen eines Bereichs von Interesse aus Kamerabildern

Info

Publication number: DE102022119751A1
Application number: DE102022119751.4A
Authority: DE
Inventors: Rekha Ramachandra; Jonathan Horgan; Prashanth Viswanath; Ciaran Hughes
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-08-05
Filing date: 2022-08-05
Publication date: 2024-02-08
Also published as: WO2024028242A1

Abstract

Gemäß einem computerimplementierten Verfahren zum Bestimmen eines Bereichs von Interesse (12) aus einer Sequenz von Kamerabildern (6) einer Kamera (5) eines Fahrzeugs (1) wird für jedes Kamerabild (6) der Sequenz ein jeweiliges individuelles Kantenbild durch Anwenden eines Kantenerkennungsalgorithmus erzeugt. Ein gemeinsames Kantenbild wird durch Summieren der individuellen Kantenbilder erzeugt. Eine Kontur (8) wird abhängig von dem gemeinsamen Kantenbild bestimmt und ein konvexes Polygon (7), welches die Kontur (8) approximiert, wird bestimmt, wobei ein Inneres des konvexen Polygons (7) dem Bereich von Interesse (12) entspricht.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse aus einer Sequenz von Kamerabildern gerichtet. Die Erfindung ist des Weiteren auf ein computerimplementiertes Verfahren zur Computer-Vision, auf ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs, auf ein Computer-Vision-System, auf ein elektronisches FahrzeugFührungssystem, auf ein Computerprogramm sowie auf ein computerlesbares Speichermedium gerichtet.
In autonomen oder teilautonomen Fahrzeugen sowie für Fahrerassistenzsysteme, ADAS (englisch: „advanced driver assistance system“) stellen Kamerabilder aus einer oder mehreren Kameras, die an dem Fahrzeug montiert sind, eine wesentliche Grundlage für die Wahrnehmung der Fahrzeugumgebung dar. Die Kamerabilder werden zum Beispiel automatisch verarbeitet oder analysiert und/oder Computer-Vision-Aufgaben, wie etwa Objekterkennung, Tiefenschätzung, semantische Segmentierung, Detektion des optischen Flusses, Stereo-Disparitäts-Abgleich, Objektverfolgung und so weiter, nutzen die Kamerabilder. Basierend auf der Ausgabe der Bildverarbeitung oder der Computer-Vision-Aufgaben, kann das Fahrzeug zumindest teilweise automatisch geführt werden, zum Beispiel durch Unterstützen eines Fahrers mittels eines ADAS und/oder durch automatisches oder teilautomatisiertes Beeinflussen der Quer- und/oder Längssteuerung des Fahrzeugs.
Um eine umfassende Wahrnehmung der Umgebung zu erreichen, werden die Daten mehrerer Kameras des Fahrzeugs und/oder weiterer Sensorsysteme, wie etwa Lidar-Systeme, Radarsysteme, Ultraschallsensorsysteme et cetera, einzeln oder in Kombination miteinander verarbeitet. Je höher darüber hinaus die Pixelauflösung der Kamerabilder ist, umso detailliertere Ergebnisse können daraus gewonnen werden. All dies führt zu einer enormen Menge an Sensordaten, die durch die eingebetteten Recheneinheiten des Fahrzeugs zu verarbeiten sind. Folglich ist es im Allgemeinen ein Ziel, die Rechenlast, insbesondere hinsichtlich der Laufzeit- und/oder Speichererfordernisse, beim Verarbeiten der Sensoreingaben, insbesondere der Kamerabilder, zu reduzieren.
Des Weiteren ist es wünschenswert, ein großes Sichtfeld mittels einer einzigen Kamera zu erfassen. Daher werden gewöhnlich nicht-geradlinige Kameras, insbesondere Fischaugenkameras, zum Beispiel für rückwärtsgerichtete Kameras oder andere Kameras von Rundumsichtsystemen des Fahrzeugs verwendet. Ein Nachteil derartiger Kameras ist es, dass sie relativ große Bereiche der Fahrzeugkarosserie und/oder des Kamerahalterungsgehäuses selbst erfassen können. Diese sind statische Komponenten in der Szene und liefern keine nützlichen Informationen über die zu erfassende und zu analysierende dynamische Szene. Daher führt ein Erfassen und Verarbeiten dieser Komponenten zu einer unnötigen Zunahme der Systemressourcen wie Laufzeit und Speicher, ohne einen tatsächlichen Vorteil zu bieten.
Zusätzlich kann die Fahrzeugkarosserie in dem Kamerabild zu falsch positiven Objekterkennungen führen, zum Beispiel aufgrund von Lichtreflexionseffekten. Dies kann zu Problemen insbesondere für sicherheitskritische Anwendungen, wie etwa automatischem Parken oder Fahren, führen.
Folglich kann man einen Bereich von Interesse für eine spezifische Kamera des Fahrzeugs definieren und Bereiche des Kamerabilds außer Acht lassen, die außerhalb des Bereichs von Interesse liegen. Zum Beispiel könnte man einen rechteckigen Bereich von Interesse auswählen. Insbesondere für nicht-geradlinige Kameras, würde dies jedoch entweder einen wesentlichen Bereich der aktiven Szene ausschließen, oder wesentliche Anteile irrelevanter Komponenten würden in dem Bereich von Interesse enthalten sein. Andererseits könnte man einen komplexeren Bereich von Interesse manuell auswählen, was allerdings fehleranfällig ist und zusätzlichen Aufwand verursacht.
Dokument WO 2019/072911 A1 beschreibt ein Verfahren zum Bestimmen eines Bereichs von Interesse in einem Bild. Dabei wird ein mittlerer Bereich von Interesse, der durch eine Vielzahl von Referenzpunkten gegeben ist, bereitgestellt, und eine Vielzahl von Verschiebungsparametern wird bestimmt, um den mittleren Bereich von Interesse zu verschieben, um einen verbesserten Bereich von Interesse zu erhalten. Dabei werden der mittlere Bereich von Interesse und die Vielzahl von Referenzpunkten in einer Trainingsphase basierend auf manuell annotierten Trainingsbildern erhalten.
Eine Aufgabe der vorliegenden Erfindung ist es, einen Bereich von Interesse für eine Kamera eines Fahrzeugs genauer und zuverlässiger zu bestimmen, insbesondere ohne auf manuelle Annotationen von Trainingsbildern angewiesen zu sein.
Diese Aufgabe wird gelöst durch den Gegenstand des unabhängigen Anspruchs. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf dem Gedanken, individuellen Kantenbilder, die durch Anwenden eines Kantenerkennungsalgorithmus aus einer Sequenz von Kamerabildern erhalten werden, zu summieren und eine Kontur maximaler Länge basierend auf den summierten Kantenbildern zu bestimmen. Der Bereich von Interesse wird als ein Inneres eines konvexen Polygons bestimmt, welches eine konvexe Hülle der Kontur maximaler Länge approximiert.
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse aus einer Sequenz von Kamerabildern einer Kamera eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, bereitgestellt. Für jedes Kamerabild der Sequenz von Kamerabildern wird ein jeweiliges individuelles Kantenbild durch Anwenden eines Kantenerkennungsalgorithmus, insbesondere auf das jeweilige Kamerabild oder auf ein vorverarbeitetes Bild, das von dem jeweiligen Kamerabild abhängt, erzeugt. Ein gemeinsames Kantenbild wird durch Summieren der individuellen Kantenbilder, insbesondere durch Summieren aller individuellen Kantenbilder für die Sequenz von Kamerabildern, erzeugt. Eine Kontur maximaler Länge wird abhängig von dem gemeinsamen Kantenbild und einer konvexen Hülle der Kontur berechnet. Ein konvexes Polygon, das die konvexe Hülle approximiert, wird bestimmt, wobei ein Inneres des konvexen Polygons dem Bereich von Interesse entspricht oder mit anderen Worten wird der Bereich von Interesse als das Innere des konvexen Polygons bestimmt.
Soweit nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens von zumindest einer Recheneinheit, insbesondere des Fahrzeugs, welche auch als ein Datenverarbeitungsgerät bezeichnet werden kann, durchgeführt werden. Insbesondere weist die zumindest eine Recheneinheit zumindest einen Verarbeitungsschaltkreis auf, der dazu eingerichtet oder angepasst ist, die Schritte des computerimplementierten Verfahrens durchzuführen. Zu diesem Zweck kann die zumindest eine Recheneinheit zum Beispiel ein Computerprogramm mit Befehlen speichern, welche, wenn sie von der zumindest einen Recheneinheit, insbesondere dem zumindest einen Verarbeitungsschaltkreis, ausgeführt werden, die zumindest eine Recheneinheit dazu veranlassen, das computerimplementierte Verfahren auszuführen.
Für jede Ausführung des computerimplementierten Verfahrens wird ein entsprechendes Verfahren, welches nicht rein computerimplementiert ist, direkt durch Einbeziehen des Schrittes des Erzeugens der Sequenz von Kamerabildern mittels der Kamera erhalten.
Eine Recheneinheit kann insbesondere als ein Datenverarbeitungsgerät verstanden werden, welches einen Verarbeitungsschaltkreis aufweist. Die Recheneinheit kann somit insbesondere Daten verarbeiten, um Rechenoperationen durchzuführen. Dies kann auch Operationen zum Durchführen indizierter Zugänge zu einer Datenstruktur, beispielsweise einer Look-Up-Tabelle, LUT, umfassen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“), enthalten. Die Recheneinheit kann auch einen oder mehrere Prozessoren, zum Beispiel einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
Bei verschiedenen Ausführungsformen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Die Sequenz von Kamerabildern wird durch die Kamera erzeugt, welche an dem Fahrzeug montiert ist, und von der Kamera erhalten, insbesondere durch die zumindest eine Recheneinheit. Die Sequenz von Kamerabildern kann zum Beispiel als Teil eines Kamerabildstroms, der durch die Kamera erzeugt wird, betrachtet werden. Folglich entsprechen die Kamerabilder der Sequenz einer Vielzahl von aufeinanderfolgenden Einzelbildern des Kamerabildstroms. Die Gesamtanzahl der Kamerabilder der Sequenz kann zwei oder mehr, zum Beispiel fünf oder mehr, vorzugsweise zehn oder mehr sein. Die Sequenz von Kamerabildern wird insbesondere durch die Kamera erzeugt, während das Fahrzeug sich bezüglich seiner Umgebung bewegt.
Der Bereich von Interesse kann als ein Teil der Kamerabilder betrachtet werden, der eine Umgebung des Fahrzeugs und nicht die Komponenten der Kamera oder des Fahrzeugs selbst abbildet.
Für jedes der Kamerabilder wird ein entsprechendes individuelles Kantenbild berechnet. Zu diesem Zweck kann der Kantenerkennungsalgorithmus, welcher ein bekannter Kantenerkennungsalgorithmus, wie etwa ein Canny-Kantendetektor oder ein Laplace-von-Gauß-Filter, auch als Laplace-über-Gauß-Filter oder LoG-Filter bezeichnet, direkt auf das jeweilige Kamerabild angewendet werden. Alternativ kann für jedes der Kamerabilder ein vorverarbeitetes Bild berechnet werden und der Kantenerkennungsalgorithmus kann auf das vorverarbeitete Bild angewendet werden. Folglich ist das individuelle Kantenbild eine Darstellung der Kanten, die in dem jeweiligen Kamerabild oder vorverarbeiteten Bild vorhanden sind.
Eine Kante kann zum Beispiel als eine Abgrenzung oder Abgrenzungslinie zwischen Gebieten unterschiedlicher Tonwert, Helligkeit und/oder Farbe in dem Kamerabild beziehungsweise vorverarbeiteten Bild verstanden werden. Zum Beispiel können die einzelnen Kantenbilder einzelnen Kanalbildern oder mit anderen Worten monochromatischen Bildern entsprechen, wobei die Pixelwerte der individuellen Kantenbilder umso größer sind, je größer der Gradient des Tonwerts oder der Helligkeit oder einer anderen geeigneten Größe ist. Der Kantenerkennungsalgorithmus berechnet den jeweiligen Pixelwert für jedes Pixel des Kamerabilds beziehungsweise vorverarbeiteten Bilds.
Das Summieren der individuellen Kantenbilder zum Erzeugen des gemeinsamen Kantenbilds kann zum Beispiel eine pixelweise Summation der Pixelwerte der individuellen Kantenbilder beinhalten. Mit anderen Worten ist ein Pixelwert des gemeinsamen Kantenbilds dann durch die Summe aller Pixelwerte an der entsprechenden Pixelposition aller der individuellen Kantenbilder gegeben. Bei manchen Ausführungen kann die Summierung auch eine Renormalisierung zu Begrenzung der Pixelwerte des gemeinsamen Kantenbilds auf einen bestimmten Höchstwert beinhalten. Bei anderen Ausführungen entspricht der Pixelwert des gemeinsamen Kantenbilds der Summe der Pixelwerte an der jeweiligen Pixelposition der individuellen Kantenbilder, wenn diese Summe kleiner als ein vordefinierter Höchstwert ist, und andernfalls dem Höchstwert.
Die Kontur maximaler Länge kann eine Kontur maximaler Länge des gemeinsamen Kantenbilds sein. Alternativ kann das gemeinsame Kantenbild verarbeitet werden, zum Beispiel durch Anwenden eines oder mehrerer Filter, und die Kontur kann dann eine Kontur maximaler Länge des verarbeiteten gemeinsamen Kantenbilds sein.
Eine Kontur kann als eine Vielzahl zusammenhängender Pixel verstanden werden, welche dieselben Pixelwerte haben oder deren Pixelwerte um weniger als einen vordefinierten Toleranzbereich abweichen. Zum Beispiel könnte die Kontur in einem Schwarzweißbild einer Vielzahl von zusammenhängenden weißen Pixeln entsprechen. Die Kontur maximaler Länge ist die längste aller solcher Konturen, zum Beispiel des gemeinsamen Kantenbilds beziehungsweise des verarbeiteten gemeinsamen Kantenbilds. Betrachtet man ein Array von Zeilen und Spalten, bei der jedes Pixel eine durch eine Zeile und eine Spalte definierte Pixelposition hat, hat jedes Pixel, mit Ausnahme der Randpixel der ersten oder letzten Zeile und der ersten oder letzten Spalte, acht benachbarte Pixel. Die Randpixel haben nur fünf oder drei Nachbarpixel, je nachdem, ob sie sich in einer Ecke des Arrays befinden oder nicht. Die Nachbarschaft eines Pixels kann jedoch auch anders definiert werden. So können beispielsweise nur die oberen, unteren, rechten und linken Nachbarn berücksichtigt werden, nicht aber die diagonalen Nachbarn et cetera. Zwei Pixel können als miteinander verbunden betrachtet werden, wenn eines davon ein Nachbarpixel des anderen ist.
Zum Beispiel wird das konvexe Polygon durch Fitten eines Polygons mit einer vorbestimmten Anzahl von Ecken oder mit einer Anzahl von Ecken innerhalb eines vorbestimmten Bereichs an die konvexe Hülle bestimmt.
Die konvexe Hülle, welche auch als eine konvexe Einhüllende oder konvexe Umfassung bezeichnet wird, kann so verstanden werden, dass sie die kleinste konvexe Menge darstellt, die alle Pixel der Kontur maximaler Länge beinhaltet. Verschiedene bekannte Algorithmen zum Berechnen der konvexen Hülle können benutzt werden. Zum Beispiel kann zum Berechnen der konvexen Hülle einer Menge diskreter Punkte in zwei Dimensionen der Graham-Scan-Algorithmus oder ein anderer geeigneter Algorithmus verwendet werden.
Da die Kontur maximaler Länge im Allgemeinen eine sehr lange Pixelkette auf einer gekrümmten Kurve ist, kann sie nicht sinnvollerweise zur direkten Definition des Bereichs von Interesse benutzt werden. Die konvexe Hülle kann jedoch als eine geeignete Grundlage zum Definieren des Bereichs von Interesse dienen.
Das konvexe Polygon ist insbesondere ein Polygon mit N Ecken, wobei N vorzugsweise größer als 4 ist. N kann zum Beispiel eine Zahl von 5 bis 50, zum Beispiel von 10 bis 30, sein. Auf diese Weise kann ein vorteilhafter Kompromiss zwischen der Komplexität des konvexen Polygons, und folglich des Bereichs von Interesse, einerseits und der Genauigkeit andererseits erreicht werden.
Das erfindungsgemäße computerimplementierte Verfahren erlaubt eine vollautomatische Erkennung des Bereichs von Interesse für eine Kamera, die an einem Fahrzeug montiert ist. Insbesondere erfordert das computerimplementierte Verfahren nur die Sequenz von Kamerabildern als Eingangsdaten, nicht aber eine vorläufige Version des Bereichs von Interesse, welcher zumindest zum Teil manuell bestimmt werden müsste.
Die Erfindung nutzt die Tatsache aus, dass die Begrenzung in den Kamerabildern, die den Bereich von Interesse definieren, statische Komponenten in den Kamerabildern, insbesondere Komponenten des Fahrzeugs oder der Kamerahalterung selbst, von potenziell dynamischen Objekten in der Umgebung des Fahrzeugs, welche sich relativ zur Kamera bewegen, wenn das Fahrzeug sich bewegt, trennt.
Die Kanten in den individuellen Kantenbildern, die den Bereich von Interesse angeben, verändern ihre Position daher in unterschiedlichen aufeinanderfolgenden Kamerabildern nicht oder nicht wesentlich, während die Kanten in dem aktiven Bereich oder mit anderen Worten in dem Bereich der Kamerabilder, die die Umgebung des Fahrzeugs abbilden, ihre Position potenziell von einem Kamerabild zum nächsten ändern. Durch Summieren der individuellen Kantenbilder zur Erzeugung des gemeinsamen Kantenbilds, werden die Kanten, welche die Kontur definieren, verstärkt, während die Kanten innerhalb des Bereichs von Interesse effektiv verwischt werden. Auf diese Weise wird es möglich, das konvexe Polygon, dessen Inneres den Bereich von Interesse darstellt, abhängig von der konvexen Hülle der Kontur, die basierend auf dem gemeinsamen Kantenbild berechnet wird, zu definieren.
Folglich kann der Bereich von Interesse besonders zuverlässig und vollautomatisch bestimmt werden und kann auf computerlesbare Weise zur weiteren Benutzung gespeichert werden. Zum Beispiel kann eine Bildmaske erzeugt werden und abhängig von dem konvexen Polygon gespeichert werden. Dabei kann die Bildmaske ein Binärbild sein, wobei Pixel innerhalb und außerhalb des Bereichs von Interesse oder mit anderen Worten im Inneren und im Außenbereich des konvexen Polygons unterschiedliche Pixelwerte aufweisen. Zum Beispiel wird jedem Pixel der Bildmaske entweder ein erster vordefinierter Wert, zum Beispiel 0, oder ein zweiter vordefinierter Wert, zum Beispiel 1 oder eine andere ganze Zahl ungleich Null, zugeordnet. Alle Pixel im Inneren des konvexen Polygons haben den zweiten Wert und alle Pixel im Außenbereich des Polygons haben den ersten Wert oder umgekehrt.
Die Bildmaske kann dann zum Beispiel dazu benutzt werden, ein maskiertes weiteres Kamerabild durch Kombinieren eines weiteren Kamerabilds der Kamera mit der Bildmaske in einer bekannten Weise zu erzeugen. Das maskierte weitere Kamerabild kann dann zur Weiterverarbeitung, zum Beispiel zur Ausführung einer Computer-Vision-Aufgabe und/oder zum zumindest teilweise automatischen Führen des Fahrzeugs, benutzt werden.
Gemäß mehreren Ausführungen des computerimplementierten Verfahrens wird ein Binärbild basierend auf dem gemeinsamen Kantenbild durch Schwellwertbildung erzeugt und die Kontur wird abhängig von dem Binärbild bestimmt.
Das gemeinsame Kantenbild ist zwar zum Beispiel ein monochromes Bild, es ist aber nicht notwendigerweise ein Schwarzweiß- oder Binärbild, sondern kann zum Beispiel als ein Graustufenbild oder ähnliches dargestellt sein. Wie oben hinsichtlich der Bildmaske beschrieben, besteht das Binärbild, welches durch Schwellwertbildung für das gemeinsame Kantenbild erhalten wird, aus Pixeln, denen entweder der erste Wert oder der zweite Wert zugeordnet wird. Das Binärbild kann zum Beispiel als Schwarzweißbild dargestellt werden.
Die Schwellwertbildung für das gemeinsame Kantenbild kann es beinhalten, jedem Pixel des gemeinsamen Kantenbilds, dessen Pixelwert größer oder gleich einem vordefinierten Schwellwert ist, den zweiten Wert zuzuweisen, und allen anderen Pixeln den ersten Wert zuzuweisen, oder umgekehrt. Der vordefinierte Schwellwert kann eine feste vordefinierte Zahl sein oder kann automatisch basierend auf dem gemeinsamen Kantenbild, zum Beispiel abhängig von einer Differenz zwischen einem maximalen Pixelwert und einem minimalen Pixelwert aller Pixelwerte des gemeinsamen Kantenbilds bestimmt werden. Mit anderen Worten kann die Schwellwertbildung als Auto-Schwellwertbildung implementiert sein.
Aufgrund der Schwellwertbildung kann die Kontur konsistenter und zuverlässiger bestimmt werden. Insbesondere kann die Kontur als eine Vielzahl zusammenhängender Pixel definiert sein, denen der zweite Wert zugewiesen ist. Folglich gibt es keinen zusätzlichen beteiligten Parameter, der einen Toleranzbereich für Pixelwerte definieren würde, die ähnlich genug sind, um als einer gemeinsamen Kontur zugehörig betrachtet zu werden. Folglich wird die Robustheit und Zuverlässigkeit weiter verbessert.
Gemäß mehreren Ausführungen wird das Binärbild unter Anwenden eines Rauschfilters, zum Beispiel eines Medianfilters, insbesondere auf das Binärbild, gefiltert. Die Kontur wird abhängig von dem gefilterten Binärbild bestimmt. Insbesondere kann die Kontur als Kontur maximaler Länge des gefilterten Binärbilds bestimmt werden.
Der Rauschfilter kann ein bekannter Filter für die Bildverarbeitung sein mit der Aufgabe der Reduzierung von Rauschen, insbesondere von Salz-und-Pfeffer-Rauschen, welches sich aus dem Prozess der Schwellwertbildung ergeben kann, um das Binärbild zu erzeugen. Insbesondere hat sich ein Medianfilter als in der vorliegenden Anwendung besonders geeignet erwiesen. Der Medianfilter kann auch als ein Median-Unschärfefilter bezeichnet werden.
Insbesondere wird die Kontur als eine Vielzahl zusammenhängender Pixel des gefilterten Binärbilds mit dem zweiten Wert bestimmt.
Gemäß mehreren Ausführungen weist der Kantenerkennungsalgorithmus einen Laplace-Filter auf.
Der Laplace-Filter kann zum Beispiel mittels eines Faltungsvorgangs mit einem diskreten Faltungskern, zum Beispiel einem 3x3-Kern angewendet werden. Es kann zum Beispiel der folgende Kern benutzt werden: $(\begin{matrix} 0 & - 1 & 0 \\ - 1 & 4 & - 1 \\ 0 & - 1 & 0 \end{matrix}) .$
Alternativ kann der folgende Kern verwendet werden, der auch für Kanten von 45° besonders empfindlich ist: $(\begin{matrix} - 1 & - 1 & - 1 \\ - 1 & 8 & - 1 \\ - 1 & - 1 & - 1 \end{matrix}) .$
Unter Verwendung eines Laplace-Filters wird effektiv die zweite Ableitung des Tonwerts des gemeinsamen Kantenbilds für die Kantenerkennung berücksichtigt. Dadurch werden die Leistungsfähigkeit und Genauigkeit der Kantenerkennung verbessert.
Gemäß mehreren Ausführungen weist der Kantenerkennungsalgorithmus einen Laplace-von-Gauß-Filter oder LoG-Filter auf. Dabei wird ein Gauß-Filter, auch als Gaußscher Unschärfefilter oder Gaußscher Rauschfilter bezeichnet, vor der Anwendung des Laplace-Filters angewendet. Bei anderen Ausführungen kann ein einziger Faltungskern, der sowohl den Gauß-Filter als auch den Laplace-Filter darstellt, angewendet werden.
Da der Laplace-Filter allein Rauschen unterliegt, kann die Genauigkeit der Kantenerkennung durch Verwendung des LoG-Filters im Vergleich zu einem Laplace-Filter ohne eine Gaußsche Unschärfe verbessert werden.
Gemäß einigen Ausführungen weist der Kantenerkennungsalgorithmus einen Canny-Kantendetektor auf.
Zum Beispiel kann ein Canny-Kantendetektor mit einer Kerngröße von 9x9 verwendet werden. Ein unterer Schwellwert für den Canny-Kantendetektor kann zum Beispiel 50 sein und ein oberer Schwellwert kann zum Beispiel 150 sein. Diese Werte können jedoch auch angepasst werden, um optimale Ergebnisse zu erzielen.
Gemäß mehreren Ausführungen wird der Kantenerkennungsalgorithmus auf jedes Kamerabild der Sequenz angewendet, um die individuellen Kantenbilder zu erzeugen.
Bei alternativen Ausführungen kann, wie oben erwähnt, für jedes der Kamerabilder ein vorverarbeitetes Bild erzeugt werden und der Kantenerkennungsalgorithmus wird auf die vorverarbeiteten Kamerabilder angewendet. Die Vorverarbeitung kann zum Beispiel ein Subtrahieren aufeinanderfolgender Kamerabilder voneinander, insbesondere ein pixelweises Subtrahieren der jeweiligen Pixelwerte voneinander, beinhalten.
Insbesondere wird für jedes Paar aufeinanderfolgender Kamerabilder der Sequenz ein jeweiliges Differenzbild durch Subtrahieren der Kamerabilder des jeweiligen Paars voneinander erzeugt. Der Kantenerkennungsalgorithmus wird auf jedes der Differenzbilder angewendet, um die individuellen Kantenbilder zu erzeugen.
Dabei weist jedes Paar aufeinanderfolgender Bilder ein erstes und ein zweites Kamerabild auf und das erste Kamerabild wird von dem zweiten subtrahiert oder umgekehrt, wobei das zweite Kamerabild direkt auf das erste Kamerabild folgt. Falls die Kamerabilder Mehrkanalbilder sind, zum Beispiel mehr als einen Farbkanal haben, wird die Subtraktion zum Beispiel für jeden Kanal getrennt ausgeführt.
Die Gesamtanzahl von Paaren aufeinanderfolgender Kamerabilder der Sequenz ist gleich N-1. Zum Beispiel kann für jedes Kamerabild der Sequenz außer einem initialen Kamerabild der Sequenz das jeweilige Kamerabild von seinem vorhergehenden Kamerabild der Sequenz subtrahiert werden oder umgekehrt. Des Weiteren kann das initiale Kamerabild von einem zusätzlichen Kamerabild subtrahiert werden, welches der Sequenz vorangeht, oder umgekehrt. Auf diese Weise wird ein zusätzliches Differenzbild derart erzeugt, dass die Gesamtanzahl von Differenzbildern, und folglich die Gesamtanzahl individueller Kantenbilder, gleich N ist. Alternativ kann ein Referenzbild von dem initialen Kamerabild subtrahiert werden oder umgekehrt. Das Referenzbild kann zum Beispiel ein Bild sein, dessen Pixelwerte alle konstant sind.
Da die Umgebung, die innerhalb des potenziellen Bereichs von Interesse abgebildet ist, sich allgemein von einem Kamerabild zum anderen ändert, während die statischen Komponenten außerhalb des Bereichs von Interesse in der gleichen Position bleiben, ergibt bereits die Subtraktion aufeinanderfolgender Kamerabilder voneinander eine Hervorhebung des Bereichs von Interesse. Es kann zwar sein, dass die resultierenden Differenzbilder eine zuverlässige und konsistente direkte Extraktion des Bereichs von Interesse nicht zulassen, jedoch kann die Genauigkeit und Zuverlässigkeit des bestimmten Bereichs von Interesse weiter verbessert werden, indem die Differenzbilder als Grundlage für den Kantenerkennungsalgorithmus und weitere Verarbeitung wie oben beschrieben verwendet wird.
Gemäß einigen Ausführungen wird für jedes weitere Kamerabild einer weiteren Sequenz von Kamerabildern der Kamera ein jeweiliges individuelles Kantenbild durch Anwenden des Kantenerkennungsalgorithmus erzeugt. Ein weiteres gemeinsames Kantenbild wird durch Summieren der weiteren individuellen Kantenbilder erzeugt. Zumindest eine weitere Kontur maximaler Länge wird abhängig von dem weiteren gemeinsamen Kantenbild bestimmt. Eine weitere konvexe Hülle der weiteren Kontur wird berechnet und ein weiteres konvexes Polygon, welches die weitere konvexe Hülle approximiert, wird bestimmt. Eine Validierungsnachricht wird abhängig von einem Ergebnis des Vergleichs erzeugt.
Mit anderen Worten werden die beschriebenen Schritte zum Bestimmen des konvexen Polygons basierend auf der Sequenz von Kamerabildern für die weitere Sequenz von Kamerabildern wiederholt, welche insbesondere erzeugt wird, nachdem die Sequenz von Kamerabildern erzeugt wird. Folglich können alle obigen Erläuterungen hinsichtlich der Sequenz von Kamerabildern auch analog auf die Erzeugung des Weiteren konvexen Polygons basierend auf der weiteren Sequenz von Kamerabildern übertragen werden.
Im Prinzip wird die Kamera in einer festen Position des Kraftfahrzeugs montiert. Folglich sollte sich das konvexe Polygon abgesehen von gewissen Toleranzen nicht mit der Zeit ändern oder mit anderen Worten sollte das weitere konvexe Polygon annähernd identisch zu dem konvexen Polygon sein. Ist dies jedoch nicht der Fall, so kann das ein Anzeichen für eine Veränderung bei der Montageposition der Kamera hinsichtlich des Fahrzeugs sein, zum Beispiel aufgrund eines Unfalls oder einer Alterung mechanischer Komponenten et cetera. In manchen Fällen ist die Kamera derart montiert, dass sie zwischen zwei oder mehr unterschiedlichen Positionen hinsichtlich des Fahrzeugs bewegt werden kann, zum Beispiel in einem Seitenspiegel des Fahrzeugs. In diesem Fall könnte eine Abweichung zwischen dem konvexen Polygon und dem weiteren konvexen Polygon auch ein Anzeichen für einen Positionswechsel der Kamera aus diesem Grund sein.
Die Validierungsnachricht kann zum Beispiel die Information enthalten, dass das konvexe Polygon bis auf die vordefinierten Toleranzen mit dem weiteren konvexen Polygon übereinstimmt, oder die Information, dass es nicht mit dem weiteren konvexen Polygon übereinstimmt. Basierend auf dieser Information kann ein anschließender Vorgang, zum Beispiel ein Computer-Vision-Algorithmus oder ein anderer Vorgang zum zumindest teilweise automatischen oder automatischen Führen des Fahrzeugs, entscheiden, die Kamerabilder, die von der bestimmten Kamera erzeugt werden, nicht zu berücksichtigen oder diesen Kamerabildern eine reduzierte Konfidenz zuzuweisen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Computer-Vision bereitgestellt, welches das Ausführen eines erfindungsgemäßen computerimplementierten Verfahrens zum Bestimmen eines Bereichs von Interesse beinhaltet. Ein weiteres Kamerabild, insbesondere ein zweites weiteres Kamerabild, wird von der Kamera erhalten und das weitere Kamerabild, insbesondere das zweite weitere Kamerabild, wird abhängig von dem Bereich von Interesse, insbesondere abhängig von der Bildmaske, maskiert. Eine Computer-Vision-Aufgabe wird basierend auf dem maskierten weiteren Kamerabild ausgeführt.
Zum Beispiel kann die Computer-Vision-Aufgabe Informationen, die in dem maskierten weiteren Kamerabild außerhalb des Bereichs von Interesse enthalten sind, außer Acht lassen.
Eine Computer-Vision-Aufgabe, die auch als eine visuelle Wahrnehmungsaufgabe bezeichnet werden kann, kann zum Beispiel als eine Aufgabe zum Extrahieren visuell wahrnehmbarer Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe im Prinzip durch einen Menschen ausgeführt werden, der dazu imstande ist, ein den Bilddaten entsprechendes Bild visuell wahrzunehmen. In dem vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben jedoch automatisch durchgeführt, ohne dass die Unterstützung durch einen Menschen erforderlich wäre. Typische visuelle Wahrnehmungsaufgaben schließen Objekterkennungsaufgaben, die Erkennung von Begrenzungsboxen für Objekte, semantische Segmentierungsaufgaben, Größenregression von Objekten, Höhenregression von Objekten et cetera ein.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse ausgeführt, insbesondere von zumindest einer Recheneinheit des Fahrzeugs. Ein weiteres Kamerabild, insbesondere ein zweites weiteres Kamerabild wird von der Kamera empfangen und das weitere Kamerabild, insbesondere das zweite weitere Kamerabild, wird abhängig von dem Bereich von Interesse, insbesondere abhängig von der Bildmaske, maskiert. Zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Fahrzeugs wird abhängig von dem maskierten weiteren Kamerabild, insbesondere von der zumindest einen Recheneinheit, erzeugt.
Zum Beispiel kann die zumindest eine Recheneinheit ein erfindungsgemäßes computerimplementiertes Verfahren zur Computer-Vision ausführen und das zumindest eine Steuersignal wird abhängig von einem Ergebnis der Computer-Vision-Aufgabe erzeugt.
Das zumindest eine Steuersignal kann von einem elektronischen Fahrzeugführungssystem zur Unterstützung eines Fahrers des Fahrzeugs und/oder zum Ausführen einer anderen Funktion zum zumindest teilweise automatischen Führen des Fahrzeugs benutzt werden. Zum Beispiel kann das zumindest eine Steuersignal an einen oder mehrere Aktuatoren des Fahrzeugs, welche eine Quer- und/oder Längssteuerung des Fahrzeugs abhängig von dem zumindest einen Steuersignal beeinflussen, übermittelt werden.
Für Anwendungsfälle oder Anwendungssituationen, welche sich bei dem Verfahren ergeben können und welche hier nicht explizit beschrieben sind, kann es vorgesehen sein, dass gemäß dem Verfahren eine Fehlernachricht und/oder eine Aufforderung zur Rückmeldung an den Benutzer ausgegeben wird und/oder eine Voreinstellung und/oder ein vorbestimmter Ausgangszustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computer-Vision-System mit zumindest einer Recheneinheit bereitgestellt. Die zumindest eine Recheneinheit ist dazu eingerichtet, ein erfindungsgemäßes computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse und/oder ein erfindungsgemäßes computerimplementiertes Verfahren zur Computer-Vision bereitzustellen.
Gemäß einigen Ausführungen des Computer-Vision-Systems weist das Computer-Vision-System des Weiteren die Kamera auf, welche dazu eingerichtet ist, die Sequenz von Kamerabildern zu erzeugen.
Zum Beispiel ist die Kamera eine nicht-geradlinige Kamera. Eine nicht-gnomonische oder nicht-geradlinige Kamera kann als eine Kamera mit einer nicht-gnomonischen oder nicht-geradlinigen Objektiveinheit verstanden werden. Eine nicht-gnomonische oder nicht-geradlinige Objektiveinheit kann als eine Objektiveinheit, also eine oder mehrere Linsen, verstanden werden, die eine nicht-gnomonische, also nicht-geradlinige, Abbildungsfunktion, auch als kurvilineare Abbildungsfunktion bezeichnet, hat. Insbesondere stellen Fischaugenkameras nicht-gnomonische oder nicht-geradlinige Kameras dar.
Die Abbildungsfunktion der Objektiveinheit kann als eine Funktion r(θ) verstanden werden, die einen Winkel θ von der Mittelachse radialer Verzerrung der Objektiveinheit bis zu einem radialen Abstand r aus der Bildmitte abbildet. Die Funktion hängt parametrisch von der Brennweite f der Objektiveinheit ab. Zum Beispiel hat eine gnomonische oder geradlinige Objektiveinheit eine gnomonische Abbildungsfunktion, insbesondere r(θ) = f * tan(θ). Mit anderen Worten bildet eine geradlinige Objektiveinheit gerade Linien in der realen Welt auf gerade Linien in dem Bild ab, zumindest bis auf Linsenungenauigkeiten.
Eine nicht-geradlinige oder krummlinige Objektiveinheit bildet im Allgemeinen gerade Linien nicht auf gerade Linien im Bild ab. Insbesondere kann die Abbildungsfunktion einer nicht-geradlinigen Kamera stereographisch, äquidistant, raumwinkelgleich oder orthographisch sein. Abbildungsfunktionen nicht-geradliniger Objektiveinheiten können auch, zumindest annähernd, durch Polynomfunktionen vorliegen.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem bereitgestellt, welches ein erfindungsgemäßes Computer-Vision-System aufweist. Die zumindest eine Recheneinheit ist dazu eingerichtet, ein weiteres Kamerabild zu empfangen und das weitere Kamerabild abhängig von dem Bereich von Interesse zu maskieren und das zumindest eine Steuerungssignal zum zumindest teilweise automatischen Führen des Fahrzeugs abhängig von dem maskierten weiteren Kamerabild zu erzeugen.
Ein elektronisches Fahrzeugführungssystem kann als ein elektronisches System verstanden werden, welches dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom und insbesondere, ohne dass ein manuelles Eingreifen oder Steuern durch einen Fahrer oder Benutzer des Fahrzeugs notwendig wäre, zu führen. Das Fahrzeug führt erforderliche Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver und so weiter automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifikation implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einem Fahrer beim teilautomatischen oder teilautonomen Fahren assistiert. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016 Klassifikation implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den entsprechenden Standard mit Datum vom Juni 2018.
Ein wenigstens teilweise automatisches Führen des Fahrzeugs kann daher als Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 der SAE J3016 Klassifikation beinhalten. Ein wenigstens teilweise automatisches Führen des Fahrzeugs kann auch als Führen des Fahrzeugs gemäß einem teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der SAE J3016 Klassifikation beinhalten.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm bereitgestellt, welches erste Befehle beinhaltet. Wenn die ersten Befehle von der zumindest einen Recheneinheit, zum Beispiel von der zumindest einen Recheneinheit eines erfindungsgemäßen Computer-Vision-Systems, ausgeführt werden, veranlassen die ersten Befehle die zumindest eine Recheneinheit dazu, ein erfindungsgemäßes computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse und/oder ein erfindungsgemäßes computerimplementiertes Verfahren zur Computer-Vision auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm bereitgestellt, welches zweite Befehlen beinhaltet. Wenn die zweiten Befehle von einem erfindungsgemäßen elektronischen Fahrzeugführungssystem, insbesondere von der zumindest einen Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die zweiten Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, welches ein erstes und/oder zweites erfindungsgemäßes Computerprogramm speichert, bereitgestellt.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar. Insbesondere können auch Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle der Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Darüber hinaus können Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder davon abweichen.
Im Folgenden wird die Erfindung im Einzelnen mit Bezug auf spezifische beispielhafte Ausführungen und jeweilige schematische Zeichnungen erläutert. In den Zeichnungen können identische und funktionsgleiche Elemente mit denselben Bezugszeichen bezeichnet sein. Die Beschreibung identischer oder funktionsgleicher Elemente wird mit Bezug auf andere Figuren nicht notwendigerweise wiederholt.
In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems;
2 schematisch ein Kamerabild;
3 schematisch das Kamerabild von 2 mit einem rechteckigen Bereich von Interesse;
4 schematisch das Kamerabild von 2 mit einem weiteren rechteckigen Bereich von Interesse;
5 schematisch eine Kontur maximaler Länge, die im Verlauf einer beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Bestimmen eines Bereichs von Interesse erzeugt wird; und
6 schematisch eine Bildmaske mit einem Bereich von Interesse, der mittels einer weiteren beispielhaften Ausführung eines computerimplementierten Verfahrens zum Bestimmen eines Bereichs von Interesse bestimmt wird.

1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems 3. Das elektronische Fahrzeugführungssystem 3 weist eine beispielhafte Ausführung eines erfindungsgemäßen Computer-Vision-Systems 2 auf.
Das Computer-Vision-System 2 weist eine Recheneinheit 4 und eine Kamera 5 auf, zum Beispiel eine Fischaugenkamera oder eine andere nicht-geradlinige Kamera, die an dem Fahrzeug 1 montiert ist. Die Recheneinheit 4 kann in manchen Ausführungen auch zwei oder mehr Recheneinheiten, wie etwa elektronische Steuereinheiten, ECUs (englisch: „electronic computing unit“) des Fahrzeugs 1 aufweisen. Das Computer-Vision-System 2 oder das Fahrzeug 1 können optional weitere Kameras 5 aufweisen.
Das elektronische Fahrzeugführungssystem 3 kann eine beispielhafte Ausführung eines erfindungsgemäßen Verfahrens zum zumindest teilweise automatischen Führen des Fahrzeugs 1 ausführen. Hierfür ist die Recheneinheit 4 dazu eingerichtet, ein erfindungsgemäßes computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse 12 (siehe 6) aus einer Sequenz von Kamerabildern 6 (siehe 2) der Kamera 5 auszuführen. Dies hat zur Folge, dass die Recheneinheit 4 den Bereich von Interesse 12 als einen inneren Bereich eines konvexen Polygons 7, wie in 6 gezeigt, bestimmen kann. 6 zeigt eine Bildmaske 11, welche aus weißen oder transparenten Pixeln innerhalb des Bereichs von Interesse 12 und schwarzen Pixeln außerhalb des Bereichs von Interesse 12 besteht. Es können jedoch auch andere Konventionen verwendet werden. Die Recheneinheit 4 kann die Bildmaske 12 abhängig von dem konvexen Polygon 7 erzeugen und sie auf ein Speichergerät (nicht gezeigt) der Recheneinheit 4 oder des Computer-Vision-Systems 2 oder des Fahrzeugs 1 speichern.
Die Recheneinheit 4 kann ein weiteres Kamerabild von der Kamera 5 empfangen und die Bildmaske 12 benutzen, um ein maskiertes Kamerabild zu erzeugen. Die Recheneinheit 4 kann dann eine Computer-Vision-Aufgabe, zum Beispiel, jedoch nicht beschränkt auf, eine Objekterkennungsaufgabe oder eine semantische Segmentierungsaufgabe, basierend auf dem maskierten Kamerabild ausführen. Die Recheneinheit 4 kann eines oder mehrere Steuersignale für einen oder mehrere Aktuatoren (nicht gezeigt) des Fahrzeugs 1, zum Beispiel Lenkaktuatoren, Antriebsaktuatoren und/oder Bremsaktuatoren, erzeugen. Die Aktuatoren beeinflussen eine Längs- und/oder Quersteuerung des Fahrzeugs 1 abhängig von den Steuersignalen.
Um das computerimplementierte Verfahren zum Bestimmen des Bereichs von Interesse 12 auszuführen, erzeugt die Kamera 5 eine Sequenz von Kamerabildern 6, zum Beispiel als Einzelbilder eines Kamerabildstroms, insbesondere während das Fahrzeug 1 fährt. Im Allgemeinen bilden die Kamerabilder 6 zum Beispiel eine Umgebung 13 des Fahrzeugs 1 sowie Komponenten 14 des Fahrzeugs 1 selbst oder eine Kamerahalterung der Kamera 5 ab. Während die abgebildete Umgebung 13 sich potenziell zwischen den aufeinanderfolgenden Kamerabildern 6 ändert, bleiben die Komponenten 14 statisch.
Für jedes Kamerabild 6 erzeugt die Recheneinheit 4 ein jeweiliges individuelles Kantenbild, indem ein Kantenerkennungsalgorithmus, zum Beispiel direkt auf das jeweilige Kamerabild 6 oder auf ein verarbeitetes Bild angewendet wird, welches von dem jeweiligen Kamerabild 6 abhängt. Die Recheneinheit 4 erzeugt ein gemeinsames Kantenbild durch pixelweises Summieren aller individuellen Kantenbilder. Dabei kann eine geeignete Normalisierung verwendet werden.
Die individuellen Kantenbilder werden positive Werte hauptsächlich in der Umgebung 13 aufweisen. Wenn die individuellen Kantenbilder über die Einzelbilder hinweg addiert werden, können die Pixelwerte, die der Umgebung 13 entsprechen, ein Puffermaximum erreichen, während die Komponenten 14 relativ dunkel bleiben. Dies schafft eine klare Abgrenzung zwischen der Umgebung 13 und den Komponenten 14.
Die Recheneinheit 4 bestimmt eine Kontur 8 maximaler Länge, wie schematisch in 5 gezeigt, abhängig von dem gemeinsamen Kantenbild. Hierfür kann die Recheneinheit 4 zum Beispiel ein Binärbild durch Schwellwertbildung für das gemeinsame Kantenbild erzeugen. Die Recheneinheit 4 kann des Weiteren das Binärbild durch Anwenden eines Rauschfilters, insbesondere eines Medianfilters, auf das Binärbild filtern. Die Recheneinheit 4 kann dann die Kontur 8 abhängig von dem gefilterten Binärbild, insbesondere als die längste Kette zusammenhängender weißer Pixel in dem gefilterten Binärbild, bestimmen.
Die Recheneinheit 4 kann eine konvexe Hülle der Kontur 8 berechnen und das konvexe Polygon 7 bestimmen, um die konvexe Hülle zu approximieren. Lediglich der Einfachheit halber sind in 6 die Ecken des konvexen Polygons 7 mit Kreuzen markiert.
Der Kantenerkennungsalgorithmus kann zum Beispiel ein LoG-Filter sein. Es kann zum Beispiel ein 3x3 diskreter Laplace-Filterkern, insbesondere $(\begin{matrix} - 1 & - 1 & - 1 \\ - 1 & 8 & - 1 \\ - 1 & - 1 & - 1 \end{matrix}) .$
verwendet werden. Da das Laplace-Verfahren zweite Ableitungswerte verwendet, ist es empfindlich gegenüber Rauschen. Eine Gaußsche Unschärfe wird daher als ein Rauschentfernungsmechanismus eingesetzt. Die Gaußsche Unschärfe wird zum Beispiel auf das jeweilige Kamerabild 6 angewendet, dann wird der Laplace-Filterkern angewendet, um das jeweilige individuelle Kantenbild zu erhalten. Die aus der Kantenerkennung erhaltenen Werte werden addiert und normalisiert, um das gemeinsame Kantenbild zu erhalten. Für das gemeinsame Kantenbild kann dann eine Auto-Schwellwert durchgeführt werden, um das Binärbild zum Beispiel als ein Schwarzweißbild zu erhalten. Eine derartige Schwellwertbildung kann für Salz-und-Pfeffer-Rauschen anfällig sein. Daher kann eine Median-Unschärfefilterung durchgeführt werden, um das Rauschen in dem gefilterten Binärbild zu beseitigen. Das gefilterte Binärbild wird dann zum Beispiel als eine Eingabe in einen Algorithmus zur Kantenerkennung und zum Anpassen der konvexen Hülle weitergegeben, um das konvexe Polygon 7 hervorzubringen. Als Alternative zu dem LoG-Filter kann zum Beispiel ein Canny-Kantendetektor mit einer Kerngröße 9 x 9 mit dem unteren Schwellwert von 50 und dem oberen Schwellwert von 150 verwendet werden.
In den 3 und 4 ist das Kamerabild 6 gezeigt und einfache Rechtecke 7', 7" sind als potenzielle Bereiche von Interesse gezeigt, welche nicht erfindungsgemäß erzeugt wurden. Das Rechteck 7' von 3 schließt die Komponenten 14 aber auch wesentliche Teile der Umgebung 13 aus. Andererseits schließt das Rechteck 7" von 4 die Umgebung 13 aber auch wesentliche Teile der Komponenten 14 ein. Derartig ungünstige Kompromisse werden durch das konvexe Polygon 7 von 6 vermieden.
Wie insbesondere mit Bezug auf die Figuren beschrieben, erlaubt es die Erfindung, einen passenden Bereich von Interesse für eine Fahrzeugkamera auf zuverlässige und genaue Weise vollautomatisch zu erzeugen.
Falscherkennungen, Fehler und Artefakte bei Computer-Vision-Aufgaben, wie etwa semantische Segmentierung, können durch Berücksichtigen des Bereichs von Interesse vermieden werden, was bei sicherheitskritischen Anwendungen, wie etwa automatischem Fahren oder Parken, besonders wichtig ist.
Die Erfindung ergibt einen polygonalen Bereich von Interesse, welcher die Karosserie des Fahrzeugs und das Kameragehäuse ausschließen kann. Der Bereich von Interesse kann dann von verschiedenen Computer-Vision-Algorithmen gelesen werden und so Anwendungen von unnötiger Verarbeitung befreien und in die Lage versetzen, genaue Erkennungen zu liefern, die für sicherheitskritische Anwendungen wichtig sind.
Bei manchen Ausführungen ermöglicht es die Erfindung auch, bestimmte nicht-funktionale Zustände, zum Beispiel aufgrund einer unbeabsichtigten Kamerabewegung, insbesondere verursacht durch einen Unfall, oder eines eingeklappten Zustands eines Seitenspiegels, der die Kamera trägt, festzustellen. Derartige Zustände können erkannt werden, wenn der Bereich von Interesse sich während der Laufzeit der Kamera wesentlich ändert, und können dadurch dazu verwendet werden, dem System eine Rückmeldung zu liefern, um die Konfidenz von Ausgaben der betroffenen Kamera herabzusetzen. Auch unter normalen Fahrbedingungen kann es, obwohl die Kameraposition fest sein kann, zu leichten Bewegungen aufgrund von Lenkung, Gewicht oder anderen äußeren Faktoren oder Beeinträchtigungen kommen. Die Erfindung lässt es auch zu, derartige Schwankungen zu berücksichtigen und bei der Definition des polygonalen Bereichs von Interesse bei manchen Ausführungen in Betracht zu ziehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2019/072911 A1 [0007]

Claims

Computerimplementiertes Verfahren zum Bestimmen eines Bereichs von Interesse (12) aus einer Sequenz von Kamerabildern (6) einer Kamera (5) eines Fahrzeugs (1), dadurch gekennzeichnet, dass - für jedes Kamerabild (6) der Sequenz ein jeweiliges individuelles Kantenbild durch Anwenden eines Kantenerkennungsalgorithmus erzeugt wird; - ein gemeinsames Kantenbild durch Summieren der individuellen Kantenbilder erzeugt wird; - eine Kontur (8) maximaler Länge abhängig von dem gemeinsamen Kantenbild bestimmt wird; - eine konvexe Hülle der Kontur (8) berechnet wird und ein konvexes Polygon (7), das die konvexe Hülle approximiert, bestimmt wird, wobei ein Inneres des konvexen Polygons (7) dem Bereich von Interesse (12) entspricht.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - ein Binärbild basierend auf dem gemeinsamen Kantenbild durch Schwellwertbildung erzeugt wird; und - die Kontur (8) abhängig von dem Binärbild bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass - das Binärbild durch Anwenden eines Rauschfilters gefiltert wird; und - die Kontur (8) abhängig von dem gefilterten Binärbild bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass jedem Pixel des gefilterten Binärbilds entweder ein erster Wert oder ein zweiter Wert zugeordnet ist und die Kontur (8) als eine Vielzahl von zusammenhängenden Pixeln mit dem zweiten Wert bestimmt wird.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - der Kantenerkennungsalgorithmus einen Laplace-Filter aufweist; oder - der Kantenerkennungsalgorithmus einen Laplace-von-Gauß-Filter aufweist; oder - der Kantenerkennungsalgorithmus einen Canny-Kantendetektor aufweist.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kantenerkennungsalgorithmus auf jedes Kamerabild (6) der Sequenz angewendet wird, um die individuellen Kantenbilder zu erzeugen.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass - für jedes Paar aufeinanderfolgender Kamerabilder (6) der Sequenz ein jeweiliges Differenzbild durch Subtrahieren der Kamerabilder (6) des jeweiligen Paars voneinander erzeugt wird; - der Kantenerkennungsalgorithmus auf jedes der Differenzbilder angewendet wird, um die individuellen Kantenbilder zu erzeugen.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - für jedes weitere Kamerabild (6) einer weiteren Sequenz von Kamerabildern (6) der Kamera (5) ein jeweiliges weiteres individuelles Kantenbild durch Anwenden des Kantenerkennungsalgorithmus erzeugt wird; - ein weiteres gemeinsames Kantenbild durch Summieren der weiteren individuellen Kantenbilder erzeugt wird; - zumindest eine weitere Kontur (8) maximaler Länge abhängig von dem weiteren gemeinsamen Kantenbild bestimmt wird; - eine weitere konvexe Hülle der weiteren Kontur (8) berechnet wird und ein weiteres konvexes Polygon (7), das die weitere konvexe Hülle approximiert, bestimmt wird; und - eine Validierungsnachricht abhängig von einem Ergebnis des Vergleichs erzeugt wird.
Computerimplementiertes Verfahren zur Computer-Vision, dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche durchgeführt wird; und - ein weiteres Kamerabild erhalten wird und das weitere Kamerabild abhängig von dem Bereich von Interesse (12) maskiert wird; - eine Computer-Vision-Aufgabe basierend auf dem maskierten weiteren Kamerabild ausgeführt wird.
Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs (1), dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 8 durchgeführt wird; - ein weiteres Kamerabild von der Kamera (5) erhalten wird und das weitere Kamerabild abhängig von dem Bereich von Interesse (12) maskiert wird; - zumindest ein Steuerungssignal zum zumindest teilweise automatischen Führen des Fahrzeugs (1) abhängig von dem maskierten weiteren Kamerabild erzeugt wird.
Computer-Vision-System (2), welches zumindest eine Recheneinheit (4) aufweist, die dazu eingerichtet ist, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
Computer-Vision-System (2) nach Anspruch 11, welches des Weiteren die Kamera (5) aufweist, die dazu eingerichtet ist, die Sequenz von Kamerabildern (6) zu erzeugen, wobei die Kamera (5) eine nicht-geradlinige Kamera ist.
Elektronisches Fahrzeugführungssystem (3), welches ein Computer-Vision-System (2) nach einem der Ansprüche 11 oder 12 aufweist, wobei die zumindest eine Recheneinheit (4) dazu eingerichtet ist, - ein weiteres Kamerabild (6) zu erhalten und das weitere Kamerabild (6) abhängig von dem Bereich von Interesse (12) zu maskieren; und - zumindest ein Steuerungssignal zum zumindest teilweise automatischen Führen des Fahrzeugs (1) abhängig von dem maskierten weiteren Kamerabild (6) zu erzeugen.
Computerprogramm, welches Befehle enthält, die - wenn sie von zumindest einer Recheneinheit (4) ausgeführt werden, die zumindest eine Recheneinheit (4) dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 9 auszuführen; oder - wenn sie von einem elektronischen Fahrzeugführungssystem (3) nach Anspruch 13 ausgeführt werden, das elektronische Fahrzeugführungssystem (3) dazu veranlassen, ein Verfahren nach Anspruch 11 auszuführen.
Computerlesbares Speichermedium, welches ein Computerprogramm nach Anspruch 14 speichert.