DE102021115253A1

DE102021115253A1 - Reduzierung von Effekten der radialen Verzeichnung nicht-geradliniger Kameras

Info

Publication number: DE102021115253A1
Application number: DE102021115253.4A
Authority: DE
Inventors: Huanqing Guo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-06-14
Filing date: 2021-06-14
Publication date: 2022-12-15

Abstract

Gemäß einem Verfahren zur Reduzierung von Effekten der radialen Verzeichnung werden initiale Bilddaten, die initiale Pixel beinhalten, von einer nicht-geradlinigen Kamera (3a) erzeugt. Ein Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera (3a) wird abhängig von einer vordefinierten Abbildungsfunktion der nicht-geradlinigen Kamera (3a) bestimmt. Ein erster Winkel des Satzes von abzutastenden Winkeln wird so bestimmt, dass er sich von einem vordefinierten initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist. Für jeden der abzutastenden Winkel wird abhängig von der Abbildungsfunktion ein entsprechendes abgetastetes Pixel aus der Vielzahl von initialen Pixeln bestimmt. Es wird ein verbessertes Bild erzeugt, wobei das Erzeugen des verbesserten Bildes ein Projizieren der abgetasteten Pixel auf eine vordefinierte Betrachtungsoberfläche (14) beinhaltet.

Description

Die vorliegende Erfindung ist gerichtet auf ein Verfahren zur Reduzierung von Effekten radialer Verzeichnung einer nicht-geradlinigen Kamera, wobei initiale Bilddaten mittels der nicht-geradlinigen Kamera erzeugt werden, wobei die initialen Bilddaten jeweilige Pixelwerte für eine Vielzahl von initialen Pixeln beinhalten, die einem Sichtfeld der nicht-geradlinigen Kamera entsprechen. Die Erfindung betrifft ferner ein Verfahren zur Assistenz des Fahrers eines Fahrzeugs, ein Fahrerassistenzsystem, ein Fahrzeug und ein Computerprogrammprodukt.
Im Rahmen des automatisierten oder teilautomatisierten Fahrens oder der Fahrerassistenzfunktionen können Kamerasysteme an einem Fahrzeug angebracht sein, um Bilder der physischen Umgebung des Fahrzeugs zu erfassen. Nach entsprechender Verarbeitung, beispielsweise nach der Zusammenführung von Bildern mehrerer Kameras und/oder der Projektion in eine Draufsicht, können solche Bilder dem Fahrer präsentiert werden.
Um einen ausreichend großen Teil der Umgebung darstellen zu können, können Kameras mit besonders großen Sichtfeldern, insbesondere nicht-geradlinige Kameras, zum Beispiel Fischaugenkameras, eingesetzt werden. Nicht-geradlinige Kameras können jedoch unter einer erheblichen Verzeichnung leiden, die der Abweichung von einer perfekten geradlinigen Projektion der realen Welt auf die Bildebene entspricht. Eine besonders relevante Art der Verzeichnung ist die sogenannte radiale Verzeichnung, die in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der jeweiligen nicht-geradlinigen Kamera annähernd radialsymmetrisch ist. Die Mittelachse der radialen Verzeichnung kann der optischen Achse der Kamera entsprechen, kann aber auch von der optischen Achse abweichen und insbesondere parallel zur optischen Achse verlaufen.
Eine Auswirkung der radialen Verzeichnung ist, dass die relativen Größen verschiedener Objekte in der Umgebung in einer unnatürlichen Weise dargestellt werden, zum Beispiel so, dass der menschliche Beobachter nicht in der Lage ist, die relativen Größen oder Abstände zwischen Objekten in der Umgebung oder zwischen dem Fahrzeug und Objekten in der Umgebung angemessen einzuschätzen. Dies beeinträchtigt die Nützlichkeit der entsprechenden Fahrerassistenzfunktion und kann folglich auch die Sicherheit negativ beeinflussen.
Es ist eine Aufgabe der vorliegenden Erfindung, Auswirkungen der radialen Verzeichnung von nicht-geradlinigen Kameras, insbesondere Auswirkungen auf die relativen Größen von Objekten, die mittels der nicht-geradlinigen Kamera abgebildet werden, zu reduzieren, insbesondere für Fahrerassistenzsysteme eines Fahrzeugs.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Ausführungsformen und bevorzugte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Der Erfindung liegt die Idee zugrunde, eine Teilmenge von Pixeln der nicht-geradlinigen Kamera isometrisch abzutasten, indem die jeweiligen Winkel bezüglich der Mittelachse der radialen Verzeichnung derart abgetastet werden, dass die Differenz zwischen zwei aufeinanderfolgend abgetasteten Winkeln von der Abbildungsfunktion der nicht-geradlinigen Kamera abhängig ist. Auf diese Weise können Effekte der radialen Verzeichnung, die effektiv durch die Abbildungsfunktion kodiert sind, zumindest teilweise kompensiert werden.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Reduzierung von Effekten der radialen Verzeichnung einer nicht-geradlinigen Kamera bereitgestellt. Dabei werden mittels der nicht-geradlinigen Kamera, insbesondere mittels eines Imager-Chips der nicht-geradlinigen Kamera, initiale Bilddaten erzeugt, wobei die initialen Bilddaten jeweils Pixelwerte für eine Vielzahl von Pixeln beinhalten, die einem Sichtfeld der nicht-geradlinigen Kamera entsprechen. Ein Satz von Winkeln, die abzutasten sind, wird mittels der Recheneinheit abhängig von einer vordefinierten Abbildungsfunktion der nicht-geradlinigen Kamera bestimmt, wobei der Satz von Winkeln, die abzutasten sind, einen vordefinierten initialen Winkel beinhaltet. Dabei entsprechen die abzutastenden Winkel den Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera. Ein erster Winkel des Satzes von Winkeln, die abgetastet werden sollen, wird mittels der mindestens einen Recheneinheit so bestimmt, dass er sich von dem initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die zum Beispiel von der Abbildungsfunktion abhängig ist. Für jeden der abzutastenden Winkel des Satzes von Winkeln wird von der mindestens einen Recheneinheit mittels der Abbildungsfunktion ein entsprechendes abgetastetes Pixel der Vielzahl von initialen Pixeln bestimmt. Mittels der mindestens einen Recheneinheit wird ein verbessertes Bild erzeugt, wobei das Erzeugen des verbesserten Bildes das Projizieren der abgetasteten Pixel, insbesondere aller abgetasteten Pixel, die dem Satz abzutastender Winkeln entsprechen, auf eine vordefinierte Betrachtungsoberfläche beinhaltet.
Insbesondere kann die nicht-geradlinige Kamera an einem Fahrzeug, insbesondere einem Kraftfahrzeug, angebracht sein, so dass das Sichtfeld der nicht-geradlinigen Kamera zumindest teilweise einer Umgebung des Fahrzeugs entspricht. Die mindestens eine Recheneinheit kann Teil des Fahrzeugs sein.
Unter Verzeichnung einer Kamera können im Allgemeinen Effekte auf das von der Kamera erzeugte Bild verstanden werden, die durch eine Abweichung der Abbildungsfunktion der jeweiligen Kamera von der Abbildungsfunktion einer geradlinigen Kamera entstehen.
Im Allgemeinen ist die Verzeichnung nicht notwendigerweise exakt symmetrisch. Ein besonders relevanter Teil der Verzeichnung ist jedoch tatsächlich radialsymmetrisch in Bezug auf eine bestimmte Richtung oder Achse, die hier und im Folgenden als Mittelachse der radialen Verzeichnung bezeichnet wird.
Eine nicht-gnomonische oder nicht-geradlinige Kamera kann als eine Kamera mit einer nicht-gnomonischen oder nicht-geradlinigen Linseneinheit verstanden werden. Eine nicht-gnomonische oder nicht-geradlinige Linseneinheit kann als eine Linseneinheit, das heißt eine oder mehrere Linsen, mit einer nicht-gnomonischen, also nicht-geradlinigen oder kurvilinearen, Abbildungsfunktion verstanden werden. Insbesondere stellen Fischaugenkameras nicht-gnomonische oder nicht-geradlinige Kameras dar.
Die Abbildungsfunktion der Linseneinheit kann als eine Funktion r(θ) verstanden werden, die einen Winkel θ von der Mittelachse der radialen Verzeichnung der Linseneinheit auf eine radiale Verschiebung r aus dem Bildzentrum abbildet. Die Funktion hängt parametrisch von der Brennweite f der Linseneinheit ab.
Zum Beispiel weist eine gnomonische oder geradlinige Linseneinheit eine gnomonische Abbildungsfunktion auf, insbesondere r(θ) = f tan(θ). Mit anderen Worten bildet eine gnomonische oder geradlinige Linseneinheit gerade Linien in der realen Welt auf gerade Linien im Bild ab, zumindest bis auf Linsenungenauigkeiten.
Eine nicht-gnomonische, nicht-geradlinige oder kurvilineare Linseneinheit bildet im Allgemeinen gerade Linien nicht auf gerade Linien ab. Insbesondere kann die Abbildungsfunktion einer nicht-gnomonischen oder nicht-geradlinigen Kamera stereographisch, äquidistant, raumwinkelgleich oder orthographisch sein.
Abbildungsfunktionen von nicht-geradlinigen Linseneinheiten können auch, zumindest näherungsweise, durch Polynomfunktionen gegeben sein.
Hier und im Folgenden wird davon ausgegangen, dass die Abbildungsfunktion der nicht-geradlinigen Kamera nur eine Funktion des Winkels θ in Bezug auf die Mittelachse der radialen Verzeichnung ist. Mit anderen Worten, es wird angenommen, dass die Verzeichnung der nicht-geradlinigen Kamera eine rein radiale Verzeichnung ist.
Jedes der initialen Pixel kann einem einzelnen optischen Detektor des Imager-Chips der nicht-geradlinigen Kamera entsprechen. Prinzipiell können die optischen Detektoren des Imager-Chips beliebig angeordnet sein. Üblicherweise werden die optischen Detektoren jedoch innerhalb einer Ebene, nämlich der Bildebene, nach einem rechteckigen Raster angeordnet. Dies wird hier und im Folgenden auch für den Imager-Chip der nicht-geradlinigen Kamera angenommen.
Insbesondere kann die Mittelachse der radialen Verzeichnung durch den Mittelpunkt der radialen Verzeichnung der nicht-geradlinigen Kamera verlaufen und insbesondere senkrecht auf der Bildebene stehen. Die Mittelachse der radialen Verzeichnung kann gleich einer optischen Achse der nicht-geradlinigen Kamera sein, kann aber auch von der optischen Achse abweichen und insbesondere parallel zur optischen Achse verlaufen.
Die Betrachtungsoberfläche kann als eine virtuelle Oberfläche betrachtet werden, auf der das verbesserte Bild gerendert wird. In einem einfachen Beispiel kann die Betrachtungsoberfläche einer Ebene entsprechen, insbesondere einer Ebene, die senkrecht zur optischen Achse und/oder zur Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera liegt. Es können jedoch auch von der Ebene abweichende Formen, zum Beispiel Schalen, Parabelformen usw., verwendet werden.
Das verbesserte Bild kann auf einer Anzeigevorrichtung, insbesondere des Fahrzeugs, angezeigt werden. Insbesondere kann die mindestens eine Recheneinheit die Anzeigevorrichtung ansteuern, um das verbesserte Bild anzuzeigen.
Insbesondere werden zur Erzeugung des verbesserten Bildes nur Pixel, die den Winkeln des Satzes von Winkeln entsprechen, die abgetastet werden sollen, auf die Betrachtungsoberfläche projiziert. Für einen gegebenen Winkel, der abgetastet werden soll, kann jedoch mehr als nur ein Pixel abgetastet werden. Beispielsweise kann mit Hilfe der Abbildungsfunktion ein abzutastender Winkel auf genau ein Pixel abgebildet werden.
Dieses Pixel und, in einigen Ausführungsformen, eines oder mehrere benachbarte Pixel dieses Pixels, können abgetastet und entsprechend auf die Betrachtungsoberfläche projiziert werden.
Mit dem erfindungsgemäßen Verfahren wird die Tatsache ausgenutzt, dass moderne Kameras für Automobilanwendungen Imager-Chips mit einer großen Anzahl von Pixeln beinhalten, die möglicherweise nicht alle zur Erzeugung eines Bildes benötigt werden, das einem Benutzer angezeigt werden soll. Daher kann eine Teilmenge der Pixel abgetastet werden. Anstatt jedoch die Pixel und die den Pixeln zugeordneten Winkel gemäß der Abbildungsfunktion einheitlich abzutasten, wird der Abstand zwischen den abgetasteten Winkeln abhängig von der Abbildungsfunktion gewählt, insbesondere von der ersten Ableitung der Abbildungsfunktion. Auf diese Weise trägt der Abstand zwischen den abgetasteten Winkeln und dementsprechend der Abstand zwischen den abgetasteten Pixeln eine Information über die Abbildungsfunktion und kann daher so gewählt werden, dass unerwünschte Effekte der Verzeichnung, die darauf zurückzuführen sind, dass die Abbildungsfunktion nicht-geradlinig ist, zumindest teilweise kompensiert werden können.
Infolgedessen kann eine natürlichere Ansicht des verbesserten Bildes erreicht werden, und insbesondere werden die relativen Größen von Objekten in der Umgebung der nicht-geradlinigen Kamera, die durch die initialen Bilddaten dargestellt werden, zumindest teilweise korrigiert.
Gemäß mehreren Implementierungen des Verfahrens ist die initiale Winkeldifferenz abhängig von einer Inversen der ersten Ableitung der Abbildungsfunktion, die beim initialen Winkel ausgewertet wird.
Mit anderen Worten, zur Bestimmung der initialen Winkeldifferenz wird die erste Ableitung der Abbildungsfunktion nach dem Winkel im initialen Winkel ausgewertet und der resultierende Funktionswert der ersten Ableitung invertiert.
Gemäß mehreren Implementierungen wird ein zweiter Winkel des Satzes von Winkeln, die abzutasten sind, so bestimmt, dass er sich von dem ersten Winkel um eine erste Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist. Insbesondere hängt die erste Winkeldifferenz von einer Inversen der ersten Ableitung der Abbildungsfunktion ab, die bei dem ersten Winkel ausgewertet wird.
Insbesondere kann zumindest ein Teil des Satzes von abzutastenden Winkeln, der aus einer Reihe von aufeinanderfolgenden abzutastenden Winkeln einschließlich des ersten Winkels und des zweiten Winkels besteht, auf analoge Weise bestimmt werden, wie dies in Bezug auf den ersten Winkel und den zweiten Winkel beschrieben wurde. Mit anderen Worten: Die Differenz eines bestimmten abzutastenden Winkels zum vorhergehenden abzutastenden Winkel ist abhängig von der Abbildungsfunktion, insbesondere von der Inversen der ersten Ableitung der Abbildungsfunktion, die beim vorhergehenden Winkel ausgewertet wurde. Auf diese Weise kann, ausgehend vom vordefinierten initialen Winkel, der Satz von Winkeln, die abzutasten sind, iterativ nacheinander aufgebaut werden.
Gemäß mehreren Ausführungsformen wird der erste Winkel gemäß der Beziehung bestimmt: $θ_{1} = θ_{0} + (K / {\frac{dF}{d θ} |}_{θ_{0}}),$
wobei der erste Winkel mit θ₁ bezeichnet wird, der initiale Winkel mit θ₀ bezeichnet wird, K eine vordefinierte Konstante ist und F die Abbildungsfunktion bezeichnet.
Insbesondere wird der zweite Winkel gemäß der Beziehung bestimmt: $θ_{2} = θ_{1} + (K / {\frac{dF}{d θ} |}_{θ_{0}}),$
wobei der zweite Winkel mit θ₂ bezeichnet wird.
Es wird darauf hingewiesen, dass dieselbe Konstante K für die Bestimmung des ersten Winkels beziehungsweise des zweiten Winkels verwendet werden kann. Dies kann für einen Teil der aufeinanderfolgenden Winkel des Satzes von abzutastenden Winkeln oder für alle Winkel des Satzes von abzutastenden Winkeln der Fall sein. Im ersten Fall kann die Konstante K angepasst werden, beispielsweise für steigende Werte von θ.
Beispielsweise kann der Satz von abzutastenden Winkeln oder ein Teil des Satzes von abzutastenden Winkeln gemäß der Beziehung bestimmt werden: $θ_{n + 1} = θ_{n} + (K / f (θ_{n})),$
wobei θ_n und θ_n+1 ein Paar aufeinanderfolgender abzutastender Winkel ist.
Gemäß mehreren Ausführungsformen ist die erste Ableitung der Abbildungsfunktion gegeben durch: $\frac{dF}{d θ} (θ) = \sum_{j = 0}^{P} a_{j} θ^{j},$
wobei P eine vordefinierte ganze Zahl ist, die gleich oder größer als 2 ist, beispielsweise gleich 3.
Mit anderen Worten, die Abbildungsfunktion ist durch ein Polynom gegeben oder angenähert, das während einer Kalibrierung der nicht-geradlinigen Kamera bestimmt werden kann. Auf diese Weise kann eine schnelle und dennoch genaue Auswertung der Abbildungsfunktion beziehungsweise der ersten Ableitung der Abbildungsfunktion erreicht werden.
Gemäß mehreren Implementierungen werden weitere initiale Bilddaten mittels einer weiteren nicht-geradlinigen Kamera, insbesondere des Fahrzeugs, erzeugt, wobei die weiteren initialen Bilddaten jeweils Pixelwerte für eine Vielzahl von weiteren initialen Pixeln beinhalten. Ein weiterer Satz von abzutastenden Winkeln in Bezug auf eine vorgegebene Mittelachse der radialen Verzeichnung der weiteren nicht-geradlinigen Kamera wird von der mindestens einen Recheneinheit abhängig von einer vorgegebenen weiteren Abbildungsfunktion der weiteren nicht-geradlinigen Kamera ermittelt, wobei der weitere Satz von abzutastenden Winkeln einen vorgegebenen weiteren initialen Winkel beinhaltet. Ein weiterer erster Winkel des weiteren Satzes von abzutastenden Winkeln wird mittels der mindestens einen Recheneinheit so bestimmt, dass er sich von dem weiteren initialen Winkel um eine weitere initiale Winkeldifferenz unterscheidet, die zum Beispiel von der weiteren Abbildungsfunktion abhängig ist. Für jeden Winkel des weiteren Satzes von abzutastenden Winkeln wird mittels der mindestens einen Recheneinheit abhängig von der weiteren Abbildungsfunktion ein entsprechendes abgetastetes Pixel der Vielzahl von weiteren initialen Pixeln bestimmt. Das Erzeugen des verbesserten Bildes beinhaltet das Projizieren der abgetasteten Pixel, insbesondere aller abgetasteten Pixel, der weiteren initialen Pixel auf die vordefinierte Betrachtungsoberfläche.
Dabei entsprechen die weiteren initialen Pixel insbesondere einem weiteren Sichtfeld der weiteren nicht-geradlinigen Kamera, das sich von dem Sichtfeld der nicht-geradlinigen Kamera unterscheidet, aber beispielsweise mit dem Sichtfeld der nicht-geradlinigen Kamera überlappen kann.
Durch die Projektion der abgetasteten Pixel sowie der weiteren abgetasteten Pixel auf die gemeinsame Betrachtungsoberfläche kann das durch das verbesserte Bild dargestellte Gesamtgesichtsfeld vergrößert werden. Auf diese Weise kann beispielsweise eine Rundumsicht des Fahrzeugs erreicht werden.
Insbesondere kann das Fahrzeug zusätzlich zu der nicht-geradlinigen Kamera und der weiteren nicht-geradlinigen Kamera eine oder mehrere zusätzliche nicht-geradlinige Kameras beinhalten, beispielsweise zwei zusätzliche nicht-geradlinige Kameras. Die Erklärungen bezüglich der nicht-geradlinigen Kamera und der weiteren nicht-geradlinigen Kamera können auch analog auf die zusätzlichen nicht-geradlinigen Kameras übertragen werden.
Gemäß mehreren Implementierungen überlappt sich das Sichtfeld der nicht-geradlinigen Kamera mit dem weiteren Sichtfeld der weiteren nicht-geradlinigen Kamera in einem Überlappungsbereich. Das Erzeugen des verbesserten Bildes beinhaltet das Überblenden der abgetasteten Pixel der initialen Pixel und der abgetasteten Pixel der weiteren initialen Pixel in einem Teil der Betrachtungsoberfläche, der dem Überlappungsbereich entspricht.
Dabei beinhaltet das Überblenden das Kombinieren der jeweiligen Pixelwerte gemäß einer vordefinierten Regel, beispielsweise durch Berechnen einer gewichteten Summe der Pixelwerte. Auf diese Weise kann das verbesserte Bild als ein gemischtes Bild mit einem nahtlosen Übergang zwischen den verschiedenen Sichtfeldern erzeugt werden.
Gemäß mehreren Ausführungsformen werden Umfeldsensordaten, die ein Objekt im Sichtfeld der nicht-geradlinigen Kamera darstellen, durch ein Umfeldsensorsystem, insbesondere des Fahrzeugs, erzeugt. Ein Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera wird mittels der mindestens einen Recheneinheit abhängig von den Umfeldsensordaten ermittelt und die Betrachtungsoberfläche wird mittels der mindestens einen Recheneinheit abhängig von dem Abstand berechnet.
Ein Umfeldsensorsystem kann hier und im Folgenden als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung des Umfeldsensorsystems beziehungsweise des Fahrzeugs abbilden, darstellen oder wiedergeben. Insbesondere ist die Fähigkeit, elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu erachten.
Das Umfeldsensorsystem beinhaltet insbesondere ein Lidarsystem und/oder ein Radarsystem und/oder ein Ultraschallsensorsystem.
Durch die Bestimmung des Abstands zwischen dem Objekt und der nicht-geradlinigen Kamera kann eine genauere oder natürlichere Form der Betrachtungsoberfläche bestimmt werden, was eine realistischere und intuitivere Darstellung des verbesserten Bildes durch die Anzeigevorrichtung ermöglicht.
Insbesondere kann durch die Bestimmung des Abstands zwischen einer Vielzahl von Objekten auf die beschriebene Weise ein komplexes und genaues Umgebungsmodell der physischen Umgebung mittels der mindestens einen Recheneinheit abhängig von den Abständen erzeugt werden und die Betrachtungsoberfläche kann abhängig von dem Modell berechnet werden.
Gemäß mehreren Ausführungsformen wird von der mindestens einen Recheneinheit ein Algorithmus zur automatischen visuellen Wahrnehmung auf die initialen Bilddaten oder auf Eingabedaten abhängig von den initialen Bilddaten angewendet. Die Betrachtungsoberfläche wird mittels der mindestens einen Recheneinheit abhängig von einem Ergebnis des Algorithmus zur automatischen visuellen Wahrnehmung errechnet.
Computer-Vision-Algorithmen, die auch als Machine-Vision-Algorithmen oder Algorithmen zur automatischen visuellen Wahrnehmung bezeichnet werden können, können als Computeralgorithmen zur automatischen Durchführung einer visuellen Wahrnehmungsaufgabe betrachtet werden.
Eine visuelle Wahrnehmungsaufgabe, die auch als Computer-Vision-Aufgabe bezeichnet wird, kann beispielsweise als eine Aufgabe zur Extraktion von Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe prinzipiell von einem Menschen ausgeführt werden, der in der Lage ist, ein den Bilddaten entsprechendes Bild visuell wahrzunehmen. Im vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben jedoch auch automatisch durchgeführt, ohne dass die Unterstützung eines Menschen erforderlich ist.
Unter einem Computer-Vision-Algorithmus kann beispielsweise ein Bildverarbeitungsalgorithmus oder ein Algorithmus zur Bildanalyse verstanden werden, der durch maschinelles Lernen trainiert wird und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netz, basieren kann.
Der Computer-Vision-Algorithmus kann beispielsweise einen Objekterkennungsalgorithmus, einen Hinderniserkennungsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifikationsalgorithmus und/oder einen Segmentierungsalgorithmus umfassen.
Das Ergebnis des Algorithmus zur automatischen visuellen Wahrnehmung kann insbesondere eine Begrenzungsbox für das Objekt beinhalten, deren Abstand abhängig von den Umfeldsensordaten ermittelt wird, sowie eine Objektklasse für das Objekt.
Auf diese Weise können die Eigenschaften des Objekts im Modell zum Beispiel so verfeinert werden, dass die Betrachtungsoberfläche noch genauer berechnet werden kann.
Gemäß mehreren Ausführungsformen wird mittels der mindestens einen Recheneinheit eine Positionsinformation bezüglich einer geografischen Position der nicht-geradlinigen Kamera erhalten und die Betrachtungsoberfläche wird von der mindestens einen Recheneinheit abhängig von der Positionsinformation berechnet.
Die Positionsinformation kann beispielsweise über eine Empfangseinheit, insbesondere des Fahrzeugs, für ein globales Navigationssatellitensystem, GNSS, wie zum Beispiel GPS, GLONASS, Galileo oder Beidou, erhalten werden.
Die geografische Position kann mittels der mindestens einen Recheneinheit mit Karteninformationen verglichen werden, beispielsweise einer hochauflösenden Karte der Umgebung des Fahrzeugs, die in einer Speichereinheit des Fahrzeugs oder der mindestens einen Recheneinheit oder in einem Cloud-Speichergerät gespeichert ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Assistenz eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, bereitgestellt. Hierzu wird eine Ausführungsform des Verfahrens zur Reduzierung von Effekten einer radialen Verzeichnung einer nicht-geradlinigen Kamera gemäß der Erfindung durchgeführt, wobei die nicht-geradlinige Kamera an dem Fahrzeug angebracht ist und insbesondere eine Umgebung des Fahrzeugs darstellt. Das Fahrzeug beinhaltet die mindestens eine Recheneinheit. Das verbesserte Bild wird auf einer Anzeigevorrichtung des Fahrzeugs angezeigt.
Durch die Anzeige des verbesserten Bildes auf der Anzeigevorrichtung wird der Fahrer unterstützt, da der Fahrer in der durch das verbesserte Bild dargestellten Umgebung des Fahrzeugs Objekte erkennen kann, die in der realen Umgebung vom Fahrer nicht oder nicht zuverlässig gesehen werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrerassistenzsystem für ein Fahrzeug bereitgestellt. Das Fahrerassistenzsystem weist eine nicht-geradlinige Kamera auf, die dazu eingerichtet ist, initiale Bilddaten zu erzeugen, die jeweils Pixelwerte für jedes aus einer Vielzahl von initialen Pixeln beinhalten, die einem Sichtfeld der nicht-geradlinigen Kamera entsprechen. Das Fahrerassistenzsystem beinhaltet mindestens eine Recheneinheit, die dazu eingerichtet ist, einen Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera abhängig von einer vordefinierten Abbildungsfunktion der nicht-geradlinigen Kamera zu bestimmen, wobei der Satz von abzutastenden Winkeln einen vordefinierten initialen Winkel beinhaltet. Die mindestens eine Recheneinheit ist dazu eingerichtet, einen ersten Winkel des Satzes von abzutastenden Winkeln so zu bestimmen, dass er sich von dem initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist. Die mindestens eine Recheneinheit ist dazu eingerichtet, für jeden der abzutastenden Winkel ein entsprechendes abgetastetes Pixel der Vielzahl von initialen Pixeln abhängig von der Abbildungsfunktion zu bestimmen und die abgetasteten Pixel auf eine vordefinierte Betrachtungsoberfläche zu projizieren, um ein verbessertes Bild zu erzeugen.
Gemäß mehreren Ausführungsformen beinhaltet das Fahrerassistenzsystem eine Anzeigevorrichtung. Die Anzeigevorrichtung ist dazu eingerichtet, das verbesserte Bild anzuzeigen, insbesondere gesteuert durch die mindestens eine Recheneinheit.
Gemäß mehreren Ausführungsformen weist das Fahrerassistenzsystem eine weitere nicht-geradlinige Kamera auf, die dazu eingerichtet ist, weitere initiale Bilddaten zu erzeugen, die jeweilige Pixelwerte für jedes einer Vielzahl von weiteren initialen Pixeln beinhalten. Die mindestens eine Recheneinheit ist dazu eingerichtet, einen weiteren Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der weiteren nicht-geradlinigen Kamera abhängig von einer vordefinierten weiteren Abbildungsfunktion der weiteren nicht-geradlinigen Kamera zu bestimmen, wobei der weitere Satz von abzutastenden Winkeln einen vordefinierten weiteren initialen Winkel beinhaltet. Die mindestens eine Recheneinheit ist dazu eingerichtet, einen weiteren ersten Winkel des weiteren Satzes von abzutastenden Winkeln so zu bestimmen, dass er sich von dem weiteren initialen Winkel um eine weitere initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist. Die mindestens eine Recheneinheit ist dazu eingerichtet, für jeden Winkel des weiteren Satzes von abzutastenden Winkeln ein entsprechendes abgetastetes Pixel der Vielzahl von weiteren initialen Pixeln abhängig von der weiteren Abbildungsfunktion zu bestimmen und die abgetasteten Pixel der weiteren initialen Pixel auf die vordefinierte Betrachtungsoberfläche zu projizieren, um das verbesserte Bild zu erzeugen.
Gemäß mehreren Ausführungsformen beinhaltet das Fahrerassistenzsystem ein Umfeldsensorsystem, insbesondere zur Anbringung am Fahrzeug, das dazu eingerichtet ist, Umfeldsensordaten zu erzeugen, die ein Objekt im Sichtfeld der nicht-geradlinigen Kamera darstellen. Die mindestens eine Recheneinheit ist dazu eingerichtet, einen Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera abhängig von den Umfeldsensordaten zu bestimmen und die Betrachtungsoberfläche abhängig von dem Abstand zu berechnen.
Weitere Ausführungsformen des Fahrerassistenzsystems ergeben sich unmittelbar aus den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens zur Reduzierung von Effekten der radialen Verzeichnung einer nicht-geradlinigen Kamera bzw. aus den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens zur Assistenz eines Fahrers eines Fahrzeugs und umgekehrt. Insbesondere kann ein erfindungsgemäßes Fahrerassistenzsystem dazu eingerichtet sein, ein erfindungsgemäßes Verfahren auszuführen oder es führt ein solches Verfahren aus.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug, insbesondere ein Kraftfahrzeug, bereitgestellt, das ein erfindungsgemäßes Fahrerassistenzsystem beinhaltet.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm bereitgestellt, das Anweisungen beinhaltet. Bei Ausführung der Anweisungen durch ein erfindungsgemäßes Fahrerassistenzsystem, insbesondere durch die mindestens eine Recheneinheit des Fahrerassistenzsystems, bewirken die Anweisungen, dass das Fahrerassistenzsystem ein erfindungsgemäßes Verfahren zur Reduzierung von Effekten einer radialen Verzeichnung einer nicht-geradlinigen Kamera oder ein erfindungsgemäßes Verfahren zur Assistenz eines Fahrers eines Fahrzeugs durchführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium bereitgestellt, das ein erfindungsgemäßes Computerprogramm speichert.
Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte betrachtet werden, die die Anweisungen beinhalten.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrer feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Fahrerassistenzsystems, insbesondere die wenigstens eine Recheneinheit des Fahrerassistenzsystems, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
In den Figuren zeigen:

1 eine schematische Darstellung einer beispielhaften Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems;
2 ein Flussdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Reduktion von Effekten der radialen Verzerrung einer nicht-rechtwinkligen Kamera;
3 Aspekte einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens;
4 weitere Aspekte und Teilschritte einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens;
5 einen inkrementellen Radius als Funktion eines Winkels in Bezug auf die Mittelachse der radialen Verzeichnung einer Kamera;
6 schematisch eine Kamera und eine beispielhafte Betrachtungsoberfläche;
7 eine beispielhafte Darstellung von abgetasteten Winkeln; und
8 eine weitere beispielhafte Ausführungsform von Punkten auf einer Betrachtungsoberfläche, die abgetasteten Winkeln entsprechen.

1 zeigt schematisch ein Fahrzeug 1 mit einer beispielhaften Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems 2.
Das Fahrerassistenzsystem 2 beinhaltet eine nicht-geradlinige Kamera 3a und optional eine oder mehrere weitere nicht-geradlinige Kameras 3b, 3c, 3d. Im Beispiel von 1 sind vier nicht-geradlinige Kameras 3a, 3b, 3c, 3d dargestellt. Dies schränkt jedoch die Anzahl der Kameras für ein erfindungsgemäßes Fahrerassistenzsystem 2 nicht ein.
Auch wenn die nicht-geradlinigen Kameras 3a, 3b, 3c, 3d in der schematischen Darstellung von 1 nach vorne gerichtet dargestellt sind, sind die Ausrichtungen der Kameras 3a, 3b, 3c, 3d zueinander und zum Fahrzeug 1 im Allgemeinen unterschiedlich. Beispielsweise können die Kameras 3a, 3b, 3c, 3d eine nach vorne gerichtete Kamera, eine nach links gerichtete Kamera, eine nach hinten gerichtete Kamera und eine nach rechts gerichtete Kamera umfassen. Es sind aber auch andere Ausrichtungen möglich. Beispielsweise können die jeweiligen Sichtfelder der Kameras 3a, 3b, 3c, 3d teilweise überlappen. Beispielsweise kann sich das Sichtfeld der nach vorne gerichteten Kamera mit den jeweiligen Sichtfeldern der nach links und rechts gerichteten Kameras überlappen und die nach hinten gerichtete Kamera kann sich ebenfalls mit den jeweiligen Sichtfeldern der nach links und rechts gerichteten Kameras überlappen.
Das Fahrerassistenzsystem 2 beinhaltet ferner eine Recheneinheit 4, die beispielsweise als elektronisches Steuergerät, ECU, des Fahrzeugs 1 implementiert sein kann oder Teil einer ECU sein kann. Die Recheneinheit 4 ist mit jeder der Kameras 3a, 3b, 3c, 3d verbunden und kann entsprechende initiale Bilder oder Rohbilder von den Kameras 3a, 3b, 3c, 3d erhalten.
Das Fahrerassistenzsystem 2 beinhaltet auch eine Anzeigevorrichtung 5 zur Anzeige der Ausgangsbilder der Kameras 3a, 3b, 3c, 3d und/oder verarbeiteter Versionen der Ausgangsbilder, beispielsweise eines durch Zusammenfügen der Ausgangsbilder erhaltenen zusammengesetzten Bildes oder vorverarbeiteter Versionen der Ausgangsbilder.
Erfindungsgemäß erzeugt die nicht-geradlinige Kamera 3a initiale Bilddaten und die Recheneinheit 4 generiert ein verbessertes Bild in Abhängigkeit von den initialen Bilddaten und steuert die Anzeigeeinrichtung 5 zur Anzeige des verbesserten Bildes für einen Fahrer des Fahrzeugs 1. Auf diese Weise kann der Fahrer beim Manövrieren des Fahrzeugs 1 unterstützt werden, beispielsweise bei Einparksituationen.
Zur Erzeugung des verbesserten Bildes ermittelt die Recheneinheit 4 einen Satz von abzutastenden Winkeln bezüglich einer vorgegebenen Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera 3a abhängig von einer vorgegebenen Abbildungsfunktion der nicht-geradlinigen Kamera 3a. Der Satz von abzutastenden Winkeln beinhaltet einen vordefinierten initialen Winkel und ein erster Winkel des Satzes von Winkeln wird von der Recheneinheit 4 so bestimmt, dass er sich von dem initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist. Analog dazu kann die Recheneinheit 4 alle weiteren Winkel des Satzes von abzutastenden Winkeln ermitteln und für jeden der abzutastenden Winkel ein entsprechendes abgetastetes Pixel oder eine Vielzahl von entsprechenden abgetasteten Pixeln der Vielzahl von initialen Pixeln abhängig von der Abbildungsfunktion ermitteln. Die Recheneinheit 4 projiziert die abgetasteten Pixel auf eine vordefinierte Betrachtungsoberfläche 14, um das verbesserte Bild zu erzeugen.
In 6 ist die Betrachtungsoberfläche 14 in einem einfachen Beispiel als eine Ebene senkrecht zur Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera 3a in einem Abstand d dargestellt. In 6 bezeichnet θ den Winkel bezüglich der Mittelachse der radialen Verzeichnung und x und y bezeichnen die jeweiligen Koordinaten eines entsprechenden Punktes auf der Betrachtungsoberfläche 14, der dem Winkel θ entspricht. Ferner gilt ρ = (x2 + y2)1/2.
Insbesondere ist das Fahrerassistenzsystem 2 dazu eingerichtet, ein erfindungsgemäßes Verfahren zur Reduzierung von Effekten der radialen Verzeichnung einer nicht-geradlinigen Kamera 3a auszuführen. Ein beispielhaftes Flussdiagramm einer Ausführungsform eines solchen Verfahrens ist in 2 dargestellt. Das Verfahren umfasst die Verfahrensschritte S1 bis S6.
Die Größe oder Entfernung eines abgebildeten Objekts ist davon abhängig, wie viele Pixel es auf dem Imager-Chip (nicht abgebildet) der nicht-geradlinigen Kamera 3a belegt. Eine kleinere Pixelfläche lässt ein Objekt kleiner erscheinen. Unter der Annahme eines Lochkamera-Modells sind die Pixelflächen abhängig vom Einfallswinkel von einem Punkt auf dem Objekt. Die nicht-geradlinige Kamera 3a kann beispielsweise kalibriert werden und somit kann ihre Verzeichnung quantifiziert werden. Entsprechende intrinsische Kalibrierungsparameter 9 der nicht-geradlinigen Kamera 3a können Objektivparameter 9a, Imager-Chip-Parameter 9b und/oder Parameter der Abbildungskonfiguration 9c umfassen, wie in 3 schematisch dargestellt. Weiterhin können extrinsische Kalibrierungsdaten 10 der nicht-geradlinigen Kamera 3a ermittelt werden, die die Montageposition 10a der nicht-geradlinigen Kamera 3a am Fahrzeug 1 und die Montageorientierung 10b der nicht-geradlinigen Kamera 3a umfassen.
Im Allgemeinen kann die nicht-geradlinige Kamera 3a ein relativ großes Sichtfeld haben, beispielsweise mit einem Blickwinkel von mehr als 180 Grad. Dies kann zu relativ starken Verzeichnungen führen. Darüber hinaus ist die aktive Fläche eines Imager-Chips, beispielsweise eines CMOS- oder CCD-Sensorchips, in der Regel eine Ebene, was ebenfalls zu einer falschen Darstellung der Größe eines Objekts führen kann, selbst für das ideale Lochkamera-Modell.
Der folgende Ausdruck modelliert die Abbildungsfunktion F beziehungsweise den radialen Abstand R eines Pixels vom Zentrum der radialen Verzeichnung auf dem Imager entsprechend einem Lichtstrahl mit einem jeweiligen Einfallswinkel θ als Polynom vierter Ordnung: $R = F (θ) = a' θ^{4} + b' θ^{3} + c' θ^{2} + d' θ+ e' .$
Die Ableitung berechnet sich zu $dR = f (θ) d θ = (a θ^{3} + b θ^{2} + c θ + d) d θ .$
Diese Gleichung beschreibt die inkrementelle Änderung von R entsprechend einer Vergrößerung des Winkels θ. Ein Beispiel ist in 5 dargestellt. Die Kurve in 5 kann erklären, dass ein Objekt, das sich nahe der Mitte der Betrachtungsoberfläche 14 befindet, potenziell kleiner dargestellt wird als ein Objekt gleicher Größe, das sich weit von der Mitte entfernt befindet, da die Pixelabbildung eine andere Dichte aufweist.
Um eine gleichmäßige Abbildung zu erreichen, kann man f(θ)dθ = K fordern, wobei K eine vordefinierte Konstante ist. Dies kann gleiche Bildgrößen für den gleichen Raumwinkel sicherstellen. Um eine gleichmäßig skalierte Verteilung auf der Bildebene zu erhalten, kann eine Abtastfunktion angewendet werden. Mit anderen Worten, die Abtastdichte wird verändert, um die gegenwärtigen Pixelflächen auf der Bildebene zu verändern, so dass Objekte mit gleicher Größe auch im Bild gleich oder annähernd gleich groß abgebildet werden. Insbesondere erhält man aus dem oben Gesagten die folgende Iterationsformel: $θ_{n + 1} = θ_{n} (K / f (θ_{n})) = θ_{n} + (K / a θ^{3} + b θ^{2} + c θ + d)) .$
wobei n eine positive ganze Zahl oder Null ist. Aus dieser Formel lässt sich ein Array von Abtastpunkten aus einem ursprünglichen Winkelwert herausarbeiten. Insbesondere bei der Abbildung von der physischen Welt auf das ursprüngliche Kamerabild sind diese Stützstellen optimal, da sie isometrische Raummaße ergeben.
7 zeigt die abzutastenden Winkel in rad als Funktion von n für das Beispiel einer ebenen Betrachtungsoberfläche 14 wie in 6 dargestellt. Es wird darauf hingewiesen, dass in einer realistischen Anwendung die Anzahl der abzutastenden Winkel wesentlich größer sein kann als in 7 dargestellt. Die Anzahl der Abtastpunkte kann von der Pixelauflösung der Ausgabe abhängen. Moderne Grafikprozessoren, GPU, können einen Re-Sampling Algorithmus auf niedriger Ebene implementieren, der eine Eingabe von der High-Level-Abtastung übernimmt. Ein Verfahren zur Polynom-Anpassung zweiter Ordnung kann eine Null-Rest-Anpassung für diese Kurve erzielen.
8 zeigt die Abtastung in Längenkoordinaten in Metern. In der endgültigen Ausgabe nehmen Punkte, die weiter vom Zentrum der Betrachtungsoberfläche 14 entfernt sind, nach dem Pixel-Mapping weniger Pixel ein. Erweitert man die dargestellte Linie der Punkte auf die gesamte Ebene, können entsprechende Kreise gezeichnet werden, so dass die Winkelvergrößerung die gleiche Vergrößerung des Radius ergibt.
In Schritt S1 werden die initialen Bilddaten der nicht-geradlinigen Kamera 3a erhalten und in Schritt S2 kann der initiale Winkel θ₀ festgelegt werden. In Schritt S3 kann die oben vorgestellte Iterationsformel angewendet werden, um alle erforderlichen Abtastwinkel zu erzeugen.
In Schritt S4 können, abhängig von einem vordefinierten Design 6 der Betrachtungsoberfläche 14, alle entsprechenden Betrachtungspunkte abhängig von der Abbildungsfunktion und den abgebildeten Winkeln berechnet werden. Alternativ kann auch ein physikalisches Ansichtsmodell 7 der physischen Umgebung bereitgestellt werden.
Zu diesem Zweck können, wie in 4 schematisch dargestellt, zusätzliche Sensordaten, beispielsweise Ultraschallsensordaten 11a oder Lidarsensordaten 11b, erhalten und in entsprechenden Verfahrensschritten S7, S8 durch geeignete Algorithmen verarbeitet werden. Zusätzlich oder alternativ können weitere externe Eingaben, zum Beispiel GPS-Daten 12 oder Informationen aus einer Internet-Datenbank 13, erhalten und in entsprechenden Schritten S9, S10 durch Anwendung geeigneter Algorithmen verarbeitet werden. Unter Berücksichtigung aller weiteren Sensordaten 11a, 11b und weiterer externer Informationen 12, 13 wird das physikalische Ansichtsmodell 7 erstellt.
In Schritt S5 können Parameter 8 einer virtuellen Kamera, beispielsweise Standort- und Orientierungs- sowie Konfigurationsparameter der virtuellen Kamera, dazu verwendet werden, die Pixel der Kamera 3a auf die virtuelle Kamera abzubilden. In Schritt S6 kann das resultierende verbesserte Bild auf dem Anzeigegerät 5 angezeigt werden.
Wie insbesondere mit Bezug auf die Figuren beschrieben, ermöglicht die Erfindung die Reduzierung von Effekten der radialen Verzeichnung von nicht-geradlinigen Kameras, insbesondere im Zusammenhang mit Fahrerassistenzsystemen für Fahrzeuge. Auf diese Weise können die relativen Größen mehrerer abzubildender Objekte genauer dargestellt werden, ohne die typischerweise begrenzte Bildschirmgröße wesentlich zu vergrößern.
Es wird weiterhin erwähnt, dass die Form der Betrachtungsoberfläche nicht statisch sein muss, sondern dynamisch sein kann und sich von Zeit zu Zeit ändern kann, um unterschiedlichen Anforderungen oder Umgebungen gerecht zu werden, insbesondere um die isometrische Abbildung beizubehalten. Zu diesem Zweck können auch Objekterkennungsalgorithmen verwendet werden.
Die Erfindung kann nicht nur in Echtzeit-Vision-Systemen eingesetzt werden, sondern kann auch auf Offline-Aufnahmen angewendet werden.
Die Erfindung verbessert die Authentizität von Kamerabildern, die mittels der nicht-geradlinigen Kameras erzeugt werden. Effektiv wird die gegenwärtige menschliche Wahrnehmung der realen Welt angenähert und Abstände zwischen Objekten werden ähnlich dargestellt, wie sie tatsächlich sind.
Außerdem kann die Geschwindigkeit des Ego-Fahrzeugs in der realen Welt und/oder die Geschwindigkeit von Objekten in der Umgebung, die sich relativ zum Fahrzeug bewegen, berücksichtigt werden.

Claims

Verfahren zum Reduzieren von Effekten der radialen Verzeichnung einer nicht-geradlinigen Kamera (3a), wobei initiale Bilddaten mittels der nicht-geradlinigen Kamera (3a) erzeugt werden, wobei die initialen Bilddaten jeweilige Pixelwerte für jedes einer Vielzahl von initialen Pixeln beinhalten, die einem Sichtfeld der nicht-geradlinigen Kamera (3a) entsprechen, dadurch gekennzeichnet, dass, mittels mindestens einer Recheneinheit (4) - ein Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der nicht-geradlinigen Kamera (3a) abhängig von einer vordefinierten Abbildungsfunktion der nicht-geradlinigen Kamera (3a) bestimmt wird, wobei der Satz von abzutastenden Winkeln einen vordefinierten initialen Winkel beinhaltet; - ein erster Winkel des Satzes von abzutastenden Winkeln derart bestimmt wird, dass er sich von dem initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängig ist; - für jeden der abzutastenden Winkel ein entsprechendes abgetastetes Pixel der Vielzahl von initialen Pixeln abhängig von der Abbildungsfunktion bestimmt wird; und - ein verbessertes Bild erzeugt wird, wobei das Erzeugen des verbesserten Bildes das Projizieren der abgetasteten Pixel auf eine vordefinierte Betrachtungsoberfläche (14) beinhaltet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die initiale Winkeldifferenz von einer Inversen der ersten Ableitung der Abbildungsfunktion ausgewertet bei dem initialen Winkel abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zweiter Winkel des Satzes von abzutastenden Winkeln derart bestimmt wird, dass er sich von dem ersten Winkel um eine erste Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängt und insbesondere die erste Winkeldifferenz von einer Inversen der ersten Ableitung der bei dem ersten Winkel ausgewerteten Abbildungsfunktion abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste Winkel gemäß der Beziehung: $θ_{1} = θ_{0} + (K / {\frac{dF}{d θ} |}_{θ_{0}}),$
bestimmt wird, wobei der erste Winkel mit θ₁ bezeichnet wird, der initiale Winkel mit θ_k bezeichnet wird, K eine vordefinierte Konstante ist und F die Abbildungsfunktion bezeichnet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Ableitung der Abbildungsfunktion gegeben ist durch: $\frac{dF}{d θ} (θ) = \sum_{j = 0}^{p} a_{j} θ^{j},$
wobei P eine vordefinierte Ganzzahl ist, die größer oder gleich 2 ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - mittels einer weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) weitere initiale Bilddaten erzeugt werden, wobei die weiteren initialen Bilddaten jeweilige Pixelwerte für jedes einer Vielzahl von weiteren initialen Pixeln beinhalten; - ein weiterer Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) durch die mindestens eine Recheneinheit (4) abhängig von einer vordefinierten weiteren Abbildungsfunktion der weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) bestimmt wird, wobei der weitere Satz von abzutastenden Winkeln einen vordefinierten weiteren initialen Winkel beinhaltet; - ein weiterer erster Winkel des weiteren Satzes von abzutastenden Winkeln mittels der mindestens einen Recheneinheit (4) derart bestimmt wird, dass er sich von dem weiteren initialen Winkel um eine weitere initiale Winkeldifferenz unterscheidet, die von der weiteren Abbildungsfunktion abhängt; - für jeden Winkel des weiteren Satzes von abzutastenden Winkeln mittels der mindestens einen Recheneinheit (4) abhängig von der weiteren Abbildungsfunktion ein entsprechendes abgetastetes Pixel der Vielzahl von weiteren initialen Pixeln bestimmt wird; und - das Erzeugen des verbesserten Bildes das Projizieren der abgetasteten Pixel der weiteren Anfangspixel auf die vordefinierte Betrachtungsoberfläche (14) beinhaltet.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass - das Sichtfeld der nicht-geradlinigen Kamera (3a) sich mit einem weiteren Sichtfeld der weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) in einem Überlappungsbereich überlappt; - das Erzeugen des verbesserten Bildes das Überblenden der abgetasteten Pixel der initialen Pixel und der abgetasteten Pixel der weiteren initialen Pixel in einem Teil der Betrachtungsoberfläche (14) beinhaltet, der dem Überlappungsbereich entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - Umfeldsensordaten (11a, 11b), die ein Objekt im Sichtfeld der nicht-geradlinigen Kamera (3a) darstellen, von einem Umfeldsensorsystem erzeugt werden; und - ein Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera (3a) von der mindestens einen Recheneinheit (4) abhängig von den Umfeldsensordaten (11a, 11b) bestimmt wird; und - die Betrachtungsoberfläche (14) mittels der mindestens einen Recheneinheit (4) abhängig von dem Abstand berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - mittels der mindestens einen Recheneinheit (4) ein Algorithmus zur automatischen visuellen Wahrnehmung auf die initialen Bilddaten oder auf von den initialen Bilddaten abhängige Eingabedaten angewendet wird; und - die Betrachtungsoberfläche (14) mittels der mindestens einen Recheneinheit (4) abhängig von einem Ergebnis des Algorithmus zur automatischen visuellen Wahrnehmung berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das verbesserte Bild auf einer Anzeigevorrichtung (5) angezeigt wird.
Verfahren zur Assistenz eines Fahrers eines Fahrzeugs (1), dadurch gekennzeichnet, dass - ein Verfahren zur Reduzierung von Effekten radialer Verzeichnung einer nicht-geradlinigen Kamera (3a) nach einem der Ansprüche 1 bis 9 durchgeführt wird, wobei die nicht-geradlinige Kamera (3a) an dem Fahrzeug (1) angebracht ist und das Fahrzeug (1) die mindestens eine Recheneinheit (4) beinhaltet; und - das verbesserte Bild auf einer Anzeigevorrichtung (5) des Fahrzeugs (1) angezeigt wird.
Fahrerassistenzsystem (2) für ein Fahrzeug (1), wobei das Fahrerassistenzsystem (2) eine nicht-geradlinige Kamera (3a) beinhaltet, die dazu eingerichtet ist, initiale Bilddaten zu erzeugen, die jeweils Pixelwerte für jedes einer Vielzahl von initialen Pixeln entsprechend einem Sichtfeld der nicht-geradlinigen Kamera (3a) beinhalten, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (2) mindestens eine Recheneinheit (4) beinhaltet, die dazu eingerichtet ist - einen Satz von abzutastenden Winkeln in Bezug auf eine vordefinierte Mittelachse einer radialen Verzeichnung der nicht-geradlinigen Kamera (3a) abhängig von einer vordefinierten Abbildungsfunktion der nicht-geradlinigen Kamera (3a) zu bestimmen, wobei der Satz von abzutastenden Winkeln einen vordefinierten initialen Winkel beinhaltet; - einen ersten Winkel des Satzes von abzutastenden Winkeln derart zu bestimmen, dass er sich von dem initialen Winkel um eine initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängt; - für jeden der abzutastenden Winkel ein entsprechendes abgetastetes Pixel der Vielzahl von initialen Pixeln abhängig von der Abbildungsfunktion zu bestimmen; und - die abgetasteten Pixel auf eine vordefinierte Betrachtungsoberfläche (14) zu projizieren, um ein verbessertes Bild zu erzeugen.
Fahrerassistenzsystem (2) nach Anspruch 12, dadurch gekennzeichnet, dass - das Fahrerassistenzsystem (2) eine weitere nicht-geradlinige Kamera (3b, 3c, 3d) aufweist, die dazu eingerichtet ist, weitere initiale Bilddaten zu erzeugen, die jeweils Pixelwerte für eine Vielzahl von weiteren initialen Pixeln beinhalten; - die mindestens eine Recheneinheit (4) ist dazu eingerichtet - einen weiteren Satz von abzutasten Winkeln in Bezug auf eine vordefinierte Mittelachse der radialen Verzeichnung der weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) abhängig von einer vordefinierten weiteren Abbildungsfunktion der weiteren nicht-geradlinigen Kamera (3b, 3c, 3d) zu bestimmen, wobei der weitere Satz von abzutastenden Winkeln einen vordefinierten weiteren initialen Winkel beinhaltet; - einen weiteren ersten Winkel des weiteren Satzes von abzutastenden Winkeln derart zu bestimmen, dass er sich von dem weiteren initialen Winkel um eine weitere initiale Winkeldifferenz unterscheidet, die von der Abbildungsfunktion abhängt; - für jeden Winkel des weiteren Satzes von abzutastenden Winkeln ein entsprechendes abgetastetes Pixel der Vielzahl der weiteren initialen Pixel abhängig von der weiteren Abbildungsfunktion zu bestimmen; und - die abgetasteten Pixel der weiteren initialen Pixel auf die vordefinierte Betrachtungsoberfläche (14) zu projizieren, um das verbesserte Bild zu erzeugen.
Fahrerassistenzsystem (2) nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass - das Fahrerassistenzsystem (2) ein Umfeldsensorsystem beinhaltet, das dazu eingerichtet ist, Umfeldsensordaten (11a, 11b) zu erzeugen, die ein Objekt im Sichtfeld der nicht-geradlinigen Kamera (3a) darstellen; und - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, einen Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera (3a) abhängig von den Umfeldsensordaten (11a, 11b) zu bestimmen und die Betrachtungsoberfläche (14) abhängig von dem Abstand zu berechnen.
Computerprogrammprodukt, das Anweisungen beinhaltet, die bei Ausführung durch ein Fahrerassistenzsystem (2) nach einem der Ansprüche 12 bis 14 das Fahrerassistenzsystem (2) veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.