DE102016226041A1

DE102016226041A1 - Bildverarbeitungsverfahren und Bildsystem für Verkehrsmittel

Info

Publication number: DE102016226041A1
Application number: DE102016226041.3A
Authority: DE
Inventors: Sheng-Wei Chan; Che-Tsung Lin
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2016-11-29
Filing date: 2016-12-22
Publication date: 2018-05-30
Also published as: TW201820258A; TWI599989B; US10192287B2; CN108124095A; US20180150939A1; CN108124095B

Abstract

Ein Bildverarbeitungsverfahren ist in der Lage, von mindestens zwei Kameras in einem Bildsystem aufgenommene Bilder zu verarbeiten. Bei einem Ausführungsbeispiel weist das Verfahren die folgenden Schritte auf: Abgleichen zweier jeweiliger entsprechender Merkmalspunkte für zwei Bilder zur Bildung eines Merkmalspunktpaars; Wählen von mindestens fünf geeignetsten Merkmalspunktpaare unter Verwendung eines iterativen Algorithmus; Berechnen einer geeignetsten Radialverzeichnungshomographie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare; und Fusionieren der von den beiden Kameras aufgenommenen Bilder in zeitlicher Abfolge unter Verwendung der geeignetsten Radialverzeichnungshomographie.

Description

Technisches Gebiet
Die Erfindung betrifft ein Bildverarbeitungsverfahren und ein Bildsystem für Verkehrsmittel.
Hintergrund
Mit dem in der heutigen Zeit zunehmendem Wohlstand der Menschen werden Kraftfahrzeuge (wie Automobile und Elektrofahrzeuge) zunehmend beliebter. Neben der kontinuierlichen Verbesserung der Fahrzeugleistung steigen auch die Anforderungen an die Fahrzeugsicherheit. Im Allgemeinen erkennen Fahrer andere Objekte hinter dem Fahrzeug unter Verwendung von Rückspiegeln. Jedoch können Fahrer nicht durch die Säulen zwischen den vorderen und den hinteren Türen (B-Säulen), die Säulen zwischen den hinteren Türen und der Heckscheibe (C-Säulen), den Kofferraum und die Fahrzeugkarosserie selbst hindurchsehen, wodurch tote Zonen oder tote Winkel gebildet werden. Dies kann die Fahrsicherheit beeinträchtigen. Zur Verbesserung der Verkehrssicherheit und zur Vermeidung von Verkehrsgefahren sind in Fahrzeugen, die auf dem Markt erhältlich sind, Systeme zur Überwachung der Rückseite (d.h. des rückwärtigen Bereichs hinter dem Fahrzeug) des Fahrzeugs installiert. Beispielweise ist ein System zur Überwachung des rückwärtigen Bereichs eines Fahrzeugs üblicherweise am Heck des Fahrzeugs oder in dem Fahrzeug angebracht. Das System zur Überwachung des rückwärtigen Bereichs des Fahrzeugs nimmt Bilder des rückwärtigen Bereichs hinter dem Fahrzeug auf und zeigt Bilder des rückwärtigen Bereichs auf Bildschirmen. Dies macht die Fahrer darauf aufmerksam, einen sicheren Abstand von anderen Fahrzeugen oder von Hindernissen einzuhalten. Jedoch können sich die Blickwinkel des Systems zur Überwachung des rückwärtigen Bereichs des Fahrzeugs von dem jeweiligen Blickwinkel des Fahrers unterscheiden. Es existieren tote Zonen oder tote Winkel, welche durch die B/C-Säulen, den Kofferraum und die Fahrzeugkarosserie selbst hervorgerufen werden. Dies kann zu Fahrzeugunfällen aufgrund einer falschen Einschätzung rückwärtiger Distanzen durch einen jeweiligen Fahrer führen. Daher ist eine Verbesserung des existierenden Systems zur Überwachung des rückwärtigen Bereichs des Fahrzeugs erforderlich.
Überblick
Die vorliegende Erfindung schafft ein Bildverarbeitungsverfahren für Verkehrsmittel. Das Bildverarbeitungsverfahren ist in der Lage, von mindestens zwei Kameras aufgenommene Bilder in einem Bildsystem zu verarbeiten. Das Bildverarbeitungsverfahren weist die folgenden Schritte auf: Abgleichen zweier jeweiliger entsprechender Merkmalspunkte für zwei Bilder zur Erzeugung eines Merkmalspunktpaars; Wählen von mindestens fünf geeignetsten Merkmalspunktpaare unter Verwendung eines iterativen Algorithmus; Berechnen einer geeignetsten Radialverzeichnungshomographie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare; und Fusionieren der von den beiden Kameras aufgenommenen Bilder in zeitlicher Abfolge unter Verwendung der geeignetsten Radialverzeichnungshomographie.
Die vorliegende Erfindung schafft ein Bildsystem für Verkehrsmittel. Das Bildsystem weist auf: mindestens zwei Kameras, die zum Aufnehmen von Bildern ausgebildet sind; einen mit den mindestens zwei Kameras gekoppelten Prozessor, wobei der Prozessor dazu ausgebildet ist, Verzeichnungen der mindestens zwei Kameras zu eliminieren, um fusionierte Bilder ohne Verzeichnungen zu erhalten; und einen mit dem Prozessor gekoppelten Monitor, wobei der Monitor dazu ausgebildet ist, die fusionierten Bilder ohne Verzeichnung anzuzeigen.
Figurenliste

1 ist ein Diagramm zur Darstellung eines Bildsystems für Verkehrsmittel nach einem Ausführungsbeispiel der vorliegenden Erfindung.
2 ist ein Flussdiagramm zur Darstellung eines Bildverarbeitungsverfahrens für Verkehrsmittel nach einem Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein Flussdiagramm zur Darstellung von Unterschritten eines Schritts in dem Bildverarbeitungsverfahren nach einem Ausführungsbeispiel der vorliegenden Erfindung.
4 ist ein Flussdiagramm zur Darstellung von Unterschritten eines anderen Schritts in dem Bildverarbeitungsverfahren nach einem Ausführungsbeispiel der vorliegenden Erfindung.
5 ist ein schematisches Diagramm zur Darstellung von Bildern vor/nach der Bildverarbeitung nach einem Ausführungsbeispiel der vorliegenden Erfindung.
6 ist ein Diagramm zur Darstellung schematischer Ansichten vor und nach der Bildverarbeitung nach einem Ausführungsbeispiel der vorliegenden Erfindung.

Detaillierte Beschreibung offenbarter Ausführungsbeispiele
Die vorliegende Erfindung löst die Probleme der toten Zonen, die Fahrer in Rückspiegeln nicht einsehen können. Die vorliegende Erfindung löst ferner die Probleme der unterschiedlichen Blickwinkel von Systemen zur Überwachung des rückwärtigen Bereichs eines Fahrzeugs und Fahrern. Die toten Zonen und Blickwinkelunterschiede führen dazu, dass Fahrer bei der Beurteilung der rückwärtigen Straßenzustände oder bei der Vermeidung von Kollisionen mit Fahrzeugen oder Fußgängern nicht effektiv unterstützt werden können. Insbesondere entfernt die vorliegende Erfindung tote Zonen oder Winkel, die in Rückspiegeln durch B/C-Säulen, den Kofferraum oder die Fahrzeugkarosserie selbst verursacht werden, um so Verkehrssicherheitsprobleme zu vermeiden. Die vorliegende Erfindung schafft ein Bildverarbeitungsverfahren und das entsprechende Bildsystem zum Aneinander fügen (dem sog. Stitchen) und Fusionieren von verzeichneten Bildern, wobei gleichzeitig Bildverzeichnungen entfernt werden. Unter Verwendung von Radialverzeichnungshomographien können Verzeichnungen zwischen verschiedenen Kameras eliminiert werden. Die Bilder verschiedener Kameras werden einander gut überlagert. Daher ist die vorliegende Erfindung in der Lage, tote Zonen zu eliminieren und eine perspektivische Sicht auf den rückwärtigen Bereich und insbesondere den Bereich hinter dem Fahrzeug zu erzeugen.
1 ist ein Diagramm zur Darstellung eines Bildsystems für Verkehrsmittel nach einem Ausführungsbeispiel der vorliegenden Erfindung. Ein Bildsystem 200 für Verkehrsmittel ist in einem Fahrzeug 100 eingebaut. Das Bildsystem 200 weist einen Monitor 110, einen Prozessor 120, eine Kamera 130 und eine Kamera 140 auf. Der Monitor 110 befindet sich in der Sichtlinie eines jeweiligen Fahrers; beispielsweise befindet sich der Monitor 110 an der Position eines Rückspiegels zwischen dem Fahrersitz und dem Beifahrersitz. Bei einem Ausführungsbeispiel befindet sich der Monitor 110 an der Position einer zentralen Steuertafel. Der Monitor 110 kann ein beliebiger geeigneter Bildschirm sein, wie beispielsweise ein Flüssigkristallbildschirm (LCD) oder in Bildschirm mit organischen Leuchtdioden (OLED) und dergleichen. Der Monitor 110 ist zur Wiedergabe verarbeiteter Bilder des rückwärtigen Bereichs ausgebildet.
Die Kamera 130 befindet sich im Inneren des Fahrzeugs 100. Insbesondere befindet sich die Kamera 130 oberhalb und zwischen dem Fahrersitz und dem Beifahrersitz. Das Kameraobjektiv der Kamera 130 ist zur Rückseite bzw. auf den rückwärtigen Bereich des Fahrzeugs 100 gerichtet. Die Kamera 140 befindet sich am Heck des Fahrzeugs 100. Ein Kameraobjektiv der Kamera 140 ist ebenfalls zur Rückseite des Fahrzeugs 100 gerichtet. Die Kamera 130 und die Kamera 140 sind zum Erfassen von Bildern ausgebildet. Die Kamera 130 und die Kamera 140 können beliebige geeignete Bildsensoren sein, wie beispielsweise ladungsgekoppelte Vorrichtungen (CCD), komplementäre Metalloxid-Halbleiter-Bildsensoren (CMOS) oder Infrarot-Bilderfassungsvorrichtungen und dergleichen. Bei einem Ausführungsbeispiel handelt es sich bei der Kamera 130 und der Kamera 140 um denselben Bildsensortyp. Bei einem anderen Ausführungsbeispiel handelt es sich bei der Kamera 130 und der Kamera 140 um zwei beliebige der genannten Bildsensortypen.
Der Prozessor 120 ist mit der Kamera 130, der Kamera 140 und dem Monitor 110 verbunden. Von der Kamera 130 und der Kamera 140 erfasste Bilder werden an den Prozessor 120 übertragen. Der Prozessor 120 ist dazu ausgebildet, Bildverzeichnungen in Randbereichen oder in Weitwinkelbereichen der Kamera 130 und der Kamera 140 zu eliminieren. Nach dem Fusionieren der Bilder der Kamera 130 und der Kamera 140 sind in keinem Bild-Stitchingbereich BildVerzeichnungen vorhanden. Der Prozessor 120 erzeugt fusionierte Bilder ohne Verzeichnungen. Der Prozessor 120 erzeugt ferner perspektivische Ansichten der hinteren Hälfte einer Fahrzeugkarosserie, welche für den Fahrer tote Bereiche eliminieren. Der Prozessor 120 kann programmierbare integrierte Schaltungen wie Mikrocontrollereinheiten oder feldprogrammierbare Gate-Arrays (FPGA) aufweisen. Diese Schaltungen können mittels Hardwarebeschreibungssprache (HDL) entworfen sein.
2 ist ein Flussdiagramm zur Darstellung eines Bildverarbeitungsverfahrens 300 für Verkehrsmittel nach einem Ausführungsbeispiel der vorliegenden Erfindung. Die Schritte in 2 beziehen sich auf die Signalverarbeitung in dem Prozessor 120. In einem Schritt 302 beginnt der Prozessor 120 mit der Verarbeitung von Bildsignalen. Der Prozessor 120 empfängt Bildsignale von der Kamera 130 und der Kamera 140.
In einem Schritt 310 verwendet der Prozessor 120 eine Radialverzeichnungshomografie zur Umwandlung von durch die Kamera 130 und die Kamera 140 erfassten Bildern. Die Radialverzeichnungshomografie wird durch Kalibrierung erhalten. Durch Verwendung der Radialverzeichnungshomografie werden die Bilder der Kamera 130 und der Kamera 140 miteinander fusioniert und einander gut überlagert. Die Ableitung der Radialverzeichnungshomografie wird im Folgenden beschrieben. Angenommen die Bilder der Kamera 130 und der Kamera 140 werden ohne Verwendung der Radialverzeichnungshomografie einfach übereinandergelegt, so finden sich Bildverzeichnungen in Randbereichen oder Weitwinkelbereichen. Der Grund dafür ist, dass die Kamera 130 und die Kamera 140 Weitwinkelobjektive aufweisen, welche weitere Blickwinkel bewirken. Es existieren Bildverzeichnungsbereiche an Rändern von Bildern der Kamera 130 und der Kamera 140. Beispielsweise finden sich an den Rändern der Bilder tonnenförmige Verzeichnungen oder kissenförmige Verzeichnungen. Wenn die Bildverzeichnungsbereiche unbeachtet bleiben und anschließend ein Stitchen der Bilder erfolgt, ergeben sich erhebliche Bildaberrationen der überlagerten Bilder. Bei einem Ausführungsbeispiel ist der Prozessor 120 dazu ausgebildet, durch die Verwendung einer geeignetsten Radialverzeichnungshomografie Verzeichnungen in den Randbereichen oder Weitwinkelrändern von mittels der Kamera 130 und der Kamera 140 aufgenommenen Bildern zu eliminieren. In den Bild-Stitchingbereichen liegen keine Bildverzeichnungen vor. Die von der Kamera 130 und der Kamera 140 in der jeweiligen Zeitfolge aufgenommenen Bilder werden gut fusioniert oder überlagert, um fusionierte Bilder ohne Verzeichnungen zu erhalten.
In einem Schritt 320 ist der Prozessor 120 dazu ausgebildet, umgewandelte Bilder zu fusionierten Bildern zu fusionieren. Als transformierte Bilder werden die von der Kamera 130 und der Kamera 140 erfassten Bilder bezeichnet, welche mittels der geeignetsten Radialverzeichnungshomografie weiter transformiert wurden. Unter Verwendung der geeignetsten Radialverzeichnungshomografie transformiert der Prozessor 120 jeweils die von der Kamera 130 und der Kamera 140 in der jeweiligen Zeitfolge aufgenommenen Bilder.
Ferner fusioniert der Prozessor transformierte Bilder der Kamera 130 und der Kamera 140 in der jeweiligen Zeitfolge zu fusionierten Bildern.
In einem Schritt 330 fusioniert der Prozessor 120, nachdem der Prozessor 120 transformierte Bilder des Inneren des Fahrzeugs 100 zu perspektivischen Ansichten umgewandelt hat, die perspektivischen Ansichten zu fusionierten Bildern. Als transformierte Bilder werden die von der Kamera 130 und der Kamera 140 erfassten Bilder bezeichnet, welche mittels der geeignetsten Radialverzeichnungshomografie weiter transformiert wurden. In Bezug auf den Blickwinkel der Kamera 130 erfasst die Kamera 130 Bilder innerhalb des Fahrzeugs 100 und die hintere Fahrzeugkarosserie. Die Bilder innerhalb des Fahrzeugs 100 können Rücksitze, den Kofferraum, die B/C-Säulen und die hintere Hälfte der Fahrzeugkarosserie umfassen. Anders ausgedrückt ist der Prozessor 120 dazu ausgebildet, die Gewichtung der Bilder der Kamera 130 und der Kamera 140 anzupassen. Beispielsweise verringert der Prozessor 120 die Gewichtung eines Bildes der Kamera 130. Dies führt dazu, dass die Bilder des Inneren des Fahrzeugs 100 verblasst dargestellt oder zu transparenten oder verschwommenen Ansichten verarbeitet werden. Im Folgenden ist eine Formel zur Anpassung der Bildgewichtungen dargestellt. $P_{total} = P_{innen} * W_{innen} + P_{außen} * W_{außen} {; W}_{innen} + W_{außen} = 1$
P_total gibt eine Summierung von Pixelwerten an. P_innen gibt Pixelwerte an, die Bildern des Inneren des Fahrzeugs 100 entsprechen. W_innen gibt Bildgewichtungen von Pixeln an, die Bildern des Inneren des Fahrzeugs 100 entsprechen. P_außen gibt Pixelwerte an, die Bildern außerhalb des Fahrzeugs 100 entsprechen. W_außen gibt Bildgewichtungen von Pixeln an, die Bildern außerhalb des Fahrzeugs 100 entsprechen. Bei einem Ausführungsbeispiel beträgt der Wert von W_innen 0,5. Der Wert von W_außen beträgt 0,5. Bei einem anderen Ausführungsbeispiel beträgt der Wert von W_innen 0,1. Der Wert von W_außen beträgt 0,9, wobei die Bilder des Inneren des Fahrzeugs 100 transparenter werden.
In einem Schritt 340 beendet der Prozessor 120 sämtliche Bildverarbeitungsprozesse. Falls einige Bildprozesse noch nicht abgeschlossen sind, geht der Ablauf des Bildverfahrens 300 zu einem Schritt 350 über, in welchem abgewartet wird, bis der Prozessor 120 sämtliche Bilddaten berechnet hat. Wenn sämtliche Bildprozesse abgeschlossen sind, geht der Ablauf des Bildverarbeitungsverfahrens 300 zu einem Schritt 360 über. Der Prozessor 120 beendet den Ablauf des Bildverarbeitungsverfahrens 300.
3 ist ein Flussdiagramm zur Darstellung des Schritts 310 des Bildverarbeitungsverfahrens 300 nach einem Ausführungsbeispiel der vorliegenden Erfindung. 3 zeigt die Einzelheiten des Schritts 310. Der Schritt weist die Schritte 410, 420, 430 und 440 auf. In der Gesamtheit des Schritts 310 wendet der Prozessor 120 die durch Kalibrierung erhaltene geeignetste Radialverzeichnungshomografie an, um von der Kamera 130 und der Kamera 140 erfasste Bilder zu transformieren. Die Bilder werden sodann fusioniert und einander überlagert. Bevor das Bildsystem 200 normal arbeitet, muss das Bildsystem 200 vorab kalibriert werden. Der Schritt 310 kann als Kalibrierungsschritt eingeordnet werden, wobei die Unterschritte ebenfalls als Kalibrierungsvorgänge klassifiziert werden. Die Unterschritte werden im Folgenden beschrieben.
In dem Schritt 410 erkennt der Prozessor 120 mehrere Merkmalspunkte zweier Bilder der Kamera 130 und der Kamera 140. Die beiden Bilder werden als jeweils von der Kamera 130 und der Kamera 140 zum selben Zeitpunkt aufgenommene Bilder bezeichnet. Das Merkmalspunkterkennungsverfahren kann ein beliebiges geeignetes Verfahren sein, wie beispielsweise skaleninvariante Merkmalstransformation (SIFT), „Speeded-up Robust Features“ (SURF) und dergleichen. Durch das Verwenden von SIFT oder SURF werden robust-invariante Merkmalspunkte aus den beiden Bildern der Kamera 130 und der Kamera 140 gewonnen. Bei einem Ausführungsbeispiel umfassen die Hauptschritte des SIFT-Verfahrens: (A) Detektion der Skalenraumextrema; (B) Optimierung für Positionen von Merkmalspunkten; (C) Berechnung der Direktionalität von Merkmalspunkten; und (D) Beschreibung für Merkmalspunkte. Unter Verwendung von SIFT können spezifische Schlüsselpunkte identifiziert werden, wobei die Schlüsselpunkte nicht durch externe Faktoren wie Bewegungen, Drehungen, Skalierung, Affintransformationen und Helligkeit beeinflusst sind. Bei einem Ausführungsbeispiel basieren die Konzepte und Schritte des SURF-Verfahrens auf dem SIFT-Verfahren, jedoch sind einige Detailschritte davon verschieden. Das SURF-Verfahren weist im Wesentlichen die folgenden drei Schritte auf: (A) Detektion von Merkmalspunkten; (B) Beschreibung für Merkmalsnähe; und (C) Abgleichen nach Deskriptoren. Das SURF-Verfahren verwendet Determinantenwerte der Hesse-Matrix für die Merkmalspunkterkennung und beschleunigt die Operationen durch die Verwendung von Integralgraphen. Die Deskriptoren des SURF-Verfahrens basieren auf zweidimensionalen diskreten Wavelet-Transformationsantworten (DWT) und verwenden effektiv die Integralgraphen. Bei einem Ausführungsbeispiel des Schritts 410 kann ein Schachbrettmuster oder ein Kalibrierungshintergrund mit reicher Struktur in der Sichtlinie der Kamera 130 und der Kamera 140 angeordnet werden. Die Kalibrierungshintergründe weisen Skalen auf, so dass im Vordergrund befindliche Objekte in den von der Kamera 130 und der Kamera 140 aufgenommenen Bildern wahrgenommen werden können.
In einem Schritt 420 gleicht der Prozessor 120 entsprechende Merkmalspunkte zweier Bilder der Kamera 130 bzw. der Kamera 140 ab, um daraus ein Merkmalspunktpaar zu bilden. Durch die Verwendung von Abgleichverfahren zum Abgleichen mehrerer Merkmalspunkte der beiden Bilder werden entsprechende Merkmalspunkte der beiden Bilder definiert. Die Abgleichverfahren können geeignete Verfahren wie die Verwendung des Euklidischen Abstands sein. Bei der Verwendung des Euklidischen Abstands werden die Abstände zwischen Merkmalspunkten verwendet, um festzustellen, ob es sich um einander entsprechende Merkmalspunkte handelt oder nicht.
In einem Schritt 430 wählt der Prozessor 120 durch Verwenden eines iterativen Algorithmus (wie beispielsweise Random Sample Consensus, RANSAC) mindestens fünf geeignetste Merkmalspunktpaare für jede Iteration aus. Ferner berechnet der Prozessor 120 die geeignetste oder eine beste Radialverzeichnungshomografie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare. Der Prozessor 120 berechnet Verzeichnungsparameter einer optimalen Lösung. Bei einem Ausführungsbeispiel kann es sich bei dem iterativen Algorithmus um Random Sample Consensus (RANSAC) handeln. Die Schritte des RANSAC weisen auf: (A) mehrere Merkmalspunkte werden zufällig aus Daten ausgewählt und die gewählten mehreren Merkmalspunkte werden als eine innere Gruppe gesetzt; (B) ein geeignetes Modell für die innere Gruppe wird berechnet und erstellt; (C) andere, nicht ausgewählte Merkmalspunkte werden in die erstellten Modelle eingesetzt, um zu berechnen, ob die nicht gewählten Merkmalspunkte der inneren Gruppe angehören oder nicht; (D) die Anzahl der Merkmalspunkte in der inneren Gruppe wird aufgezeichnet; (E) die genannten Schritte werden wiederholt; und (F) mehrere Anzahlen von Merkmalspunkten von mehreren inneren Gruppen werden untereinander verglichen und die innere Gruppe mit der größten Anzahl von Merkmalspunkten wird ausgewählt, wobei das für die gewählte innere Gruppe berechnete und erstellte Modell eine optimale Lösung darstellt.
In einem Schritt 440 speichert der Prozessor 120 nach dem Berechnen des iterativen Algorithmus die geeignetste oder die beste Radialverzeichnungshomografie. Die Kalibrierung des Bildsystems 200 und die Vorgänge zur Berechnung der Radialverzeichnungshomografie werden abgeschlossen. Die gespeicherte Radialverzeichnungshomografie ist zur Verwendung bereit, wenn das Bildsystem 200 in Betrieb ist.
4 ist ein Flussdiagramm zur Darstellung des Schritts 430 des Bildverarbeitungsverfahrens 300 nach einem Ausführungsbeispiel der vorliegenden Erfindung. Der Schritt 430 weist die Unterschritte 510, 520, 530, 540 und 550 auf. In der Gesamtheit des Schritts 430 wählt der Prozessor 120 unter Verwendung eines iterativen Algorithmus mindestens fünf geeignetste Merkmalspunktpaare für jede Iteration aus. Der Prozessor 120 berechnet ferner eine geeignetste Radialverzeichnungshomografie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare. Die Unterschritte des Schritts 430 werden im Folgenden beschrieben.
Im Unterschritt 510 wählt der Prozessor 120 zufällig eine Anzahl k von Sätzen von Merkmalspunktpaaren $(\hat{x_{i}}, {\hat{x_{i}}}^{'})$
unter mehreren Merkmalspunktpaaren der beiden Bilder aus. Der Wert von k ist größer als 5 und i = 0, 1, 2,..., k. Die Merkmalspunktpaare $(\hat{x_{i}}, {\hat{x_{i}}}^{'})$
geben jeweils auch zwei nicht verzeichnete Merkmalspunkte in den beiden Bildern an. Beispielsweise gibt die Bezeichnungen $\hat{x_{i}}$
einen nicht verzeichneten Merkmalspunkt im Bild der Kamera 130 an. Die Bezeichnung $\hat{x_{i}}$
gibt ebenfalls eine nicht verzeichnete Koordinate an, die als $\hat{x_{i}} = {[\hat{x_{i}}, \hat{y_{i}}, 1]}^{t}$
wiedergegeben ist. Die Bezeichnungen $\hat{x_{i}}$
und $\hat{y_{i}}$
geben Koordinatenpositionen an. Eine Bezeichnung t bezeichnet die Transponierte einer Matrix. Die Bezeichnung ${\hat{x_{i}}}^{'}$
gibt einen nicht verzeichneten Merkmalspunkt im Bild der Kamera 140 an. Die Bezeichnung ${\hat{x_{i}}}^{'}$
gibt ferner eine nicht verzeichnete Koordinate an, die als x̂_i‘ = [x̂_i‘,ŷ_i‘,1]^t wiedergegeben ist. Die Bezeichnungen $\hat{x_{i}}'$
und $\hat{y_{i}}'$
geben Koordinatenpositionen an. Die Bezeichnung t bezeichnet die Transponierte einer Matrix.
In dem Unterschritt 520 berechnet der Prozessor 120 die Radialverzeichnungshomografie entsprechend den k Sätzen von Merkmalspunktpaaren $(\hat{x_{i}}, {\hat{x_{i}}}^{'}),$
die zufällig gewählt werden. Insbesondere wählt der Prozessor 120 k Sätze von Merkmalspunktpaaren $(\hat{x_{i}}, {\hat{x_{i}}}^{'})$
oder mindestens fünf Merkmalspunktpaare für jede Iteration aus. Diese gewählten Merkmalspunktpaare werden wiederholt in eine Formel für die Beziehung zwischen den Merkmalspunktpaaren und den Radialverzeichnungshomografien eingesetzt. Mehrere Radialverzeichnungshomografien H werden unter Verwendung des iterativen Algorithmus berechnet. Die Formel der Beziehung zwischen den Merkmalspunktpaaren und den Radialverzeichnungshomografien ist im Folgenden dargestellt. $\begin{matrix} f_{u} ({\hat{x_{i}}}^{'}, λ^{^{'}}) = {Hf}_{u} (\hat{x_{i}}, λ) \\ \to {[f_{u} ({\hat{x_{i}}}^{'}, λ^{^{'}})]}_{x} {Hf}_{u} (\hat{x_{i}}, λ) = 0 \end{matrix}$
Eine Bezeichnung ${[f_{u} ({\hat{x_{i}}}^{'}, λ^{^{'}})]}_{x}$
gibt eine schiefsymmetrische Matrix an. Die Bezeichnung H gibt Radialverzeichnungshomografien an. Danach wird die Beziehungsformel wie folgt erweitert. $\to [\begin{matrix} 0 & - {\hat{w}}_{i}^{'} & {\hat{y}}_{i}^{'} \\ {\hat{w}}_{i}^{'} & 0 & - {\hat{x}}_{i}^{'} \\ - {\hat{y}}_{i}^{'} & {\hat{x}}_{i}^{'} & 0 \end{matrix}] [\begin{matrix} h_{11} & h_{12} & h_{13} \\ h_{21} & h_{22} & h_{23} \\ h_{31} & h_{32} & h_{33} \end{matrix}] [\begin{matrix} {\hat{x}}_{i} \\ {\hat{y}}_{i} \\ {\hat{w}}_{i} \end{matrix}] = 0$
Die Parameter in der Beziehungsformel weisen die folgenden Beziehungen auf. $\hat{w_{i}} = 1 + λ ({\hat{x_{i}}}^{2} + {\hat{y_{i}}}^{2}), {\hat{w_{i}}}^{'} = 1 + λ^{'} ({\hat{x_{i}}}^{'^{2}} + {\hat{y_{i}}}^{'^{2}})$
$f_{u} (\hat{x_{i}}, λ) = {[\hat{x_{i}}, \hat{y_{i}}, \hat{w_{i}}]}^{t} = {[\hat{x_{i}}, \hat{y_{i}},1 + λ ({\hat{x_{i}}}^{2} + {\hat{y_{i}}}^{2})]}^{t}$
$f_{u} ({\hat{x_{i}}}^{'}, λ^{^{'}}) = {[{\hat{x_{i}}}^{'}, {\hat{y_{i}}}^{'}, {\hat{w_{i}}}^{'}]}^{t} = {[{\hat{x_{i}}}^{'}, {\hat{y_{i}}}^{'},1 + λ' ({\hat{x_{i}}}^{'^{2}} + {\hat{y_{i}}}^{'^{2}})]}^{t}$
Durch das Verwenden der Formel für die Beziehung zwischen den Merkmalspunktpaaren und den Radialverzeichnungshomografien H werden Radialverzeichnungshomografien H zwischen zwei Bildern berechnet. Das heißt, dass die Werte der Elemente h11, h12, h13, h21, h22, h 23, h31, h32, und h33 von H werden berechnet und erhalten. Ferner werden die Verzeichnungsparameter λ und λ‘ zwischen zwei Bildern berechnet und erhalten.
In dem Unterschritt 530 quantisiert der Prozessor 120 durch eine quantitative Bewertung Effekte der Radialverzeichnungshomografien H und der Parameter λ und λ‘ zwischen zwei Bildern. Anders ausgedrückt führt der Prozessor 120 eine quantitative Bewertung der mehreren Radialverzeichnungshomografien H und der Verzeichnungsparameter λ und λ‘ durch. Zuerst definiert oder markiert der Prozessor 120 Ground-Truth-Punktpaare (GT_ptS) zwischen zwei Bildern. Die Ground-Truth-Punktpaare können automatisch verarbeitet werden oder von Benutzern markiert werden. Die Ground-Truth-Punktpaare zeigen eindeutig die Positionsbeziehung zwischen der Position eines jeden Punkts oder Pixels in einem Bild und einer entsprechenden Koordinate, die in einem anderen Bild erscheint. Nachdem eine Radialverzeichnungshomografie H geschätzt und erhalten wurde, transformiert der Prozessor 120 für jede Iteration die Ground-Truth-Punktpaare (GT_ptS) jeweils in Transferpunktpaare (T_ptS) entsprechend der Radialverzeichnungshomografie H. Der Prozessor 120 berechnet die Abstandsdifferenzwerte zwischen den Transferpunktpaaren und den Ground-Truth-Punktpaaren. Danach summiert der Prozessor 120 die Abstandsdifferenzwerte und ermittelt einen Durchschnittswert der Abstandsdifferenzwerte. Auf diese Weise wird der Durchschnittswert der Abstandsdifferenzwerte für die verwendete Radialverzeichnungshomografie H erhalten. Bei einem Ausführungsbeispiel stoppt die Iteration, wenn ein Abstandsdifferenzwert für eine Iteration in einen vorbestimmten Rahmen fällt oder geringer als ein Grenzwert ist. Die verwendete Radialverzeichnungshomografie H wird gespeichert und als eine geeignetste Radialverzeichnungshomografie H angesehen. Bei einem Ausführungsbeispiel wird die Iteration im Schritt 430 gestoppt, nachdem eine Gesamtzahl von Iterationen durchgeführt wurde. Eine geeignetste Radialverzeichnungshomografie H wird gewählt und gespeichert.
Im Unterschritt 540 beurteilt der Prozessor 120, ob das Bewertungsergebnis den Anforderungen entspricht oder nicht. Wenn die Anforderungen nicht erfüllt werden, werden k Sätze von Merkmalspunktpaaren $(\hat{x_{i}}, {\hat{x_{i}}}^{'})$
neu gewählt und in die genannte Beziehungsformel eingesetzt. Es wird eine neuerliche Iteration zur Bewertung durchgeführt. Wenn die Anforderungen erfüllt werden, geht der Ablauf zum Unterschritt 550 über. Im Unterschritt 550 werden die iterativen Berechnungen der Radialverzeichnungshomografien H und der Verzeichnungsparameter λ und λ‘ zwischen zwei Bildern abgeschlossen. Nach den genannten Schritten 510-550 (äquivalent zu dem Abschluss des Schritts 430) führt der Prozessor 120 eine geeignetste oder eine beste Radialverzeichnungshomografie H und deren Verzeichnungsparameter λ und λ‘ unter Verwendung eines iterativen Algorithmus durch. Erneut Bezug nehmend auf den Schritt 430 (3), speichert der Prozessor 120 die geeignetste oder die beste Radialverzeichnungshomografie H und die Verzeichnungsparameter λ und λ‘, die im Schritt 320 verwendet werden. Erneut Bezug nehmend auf den Schritt 320 (2), transformiert der Prozessor 120 unter Verwendung der geeignetsten Radialverzeichnungshomografie H und der Verzeichnungsparameter λ und λ‘ jeweils Bilder der Kamera 130 und der Kamera 140 in der jeweiligen Zeitfolge. Ferner fusioniert der Prozessor 120 transformierte Bilder der Kamera 130 und der Kamera 140 zu fusionierten Bildern in der jeweiligen Zeitfolge. Nach den genannten Schritten ist der Prozessor 120 in der Lage, Verzerrungen in Randbereichen oder Weitwinkelrändern von Bildern der Kamera 130 und der Kamera 140 zu eliminieren. Es finden sich keine Bildverzeichnungen in Bild-Stitchingbereichen. Die Bilder der Kamera 130 und der Kamera 140 in der jeweiligen Zeitfolge werden gut fusioniert oder einander überlagert, um fusionierte Bilder ohne Verzeichnungen zu erhalten.
Bei einem an ein Verkehrsmittel angepassten Ausführungsbeispiel weist das Bildsystem 200 auf: mindestens zwei Kameras (die Kamera 130 und die Kamera 140), die zum Erfassen von Bildern ausgebildet sind; einen Prozessor 120, der mit den mindestens zwei Kameras (die Kamera 130 und die Kamera 140) gekoppelt ist, wobei der Prozessor 120 dazu ausgebildet ist, Verzeichnungen der mindestens zwei Kameras (die Kamera 130 und die Kamera 140) zu eliminieren, um so fusionierte Bilder ohne Verzeichnungen zu erhalten; und einen mit dem Prozessor 120 gekoppelten Monitor 110, wobei der Monitor 110 zum Anzeigen der fusionierten Bilder ohne Verzeichnungen ausgebildet ist.
5 ist ein schematisches Diagramm zur Darstellung von Bildern vor/nach der Bildverarbeitung nach einem Ausführungsbeispiel der vorliegenden Erfindung. Ein Bild 615 wird von der Kamera 130 aufgenommen. Ein Bild 616 wird von der Kamera 140 aufgenommen. Ein fusioniertes Bild 617 wird von dem Monitor 110 angezeigt. Die Kamera 130 ist bei dem Bild 615 über und zwischen dem Fahrersitz und dem Beifahrersitz angeordnet. Daher ist der Blickwinkel der Kamera 130 dem Rückblickwinkel des Fahrers ähnlich. Das Bild 615 der Kamera 130 zeigt die Heckscheiben 620, 621 und 622, die Rücksitze 610, die B-Säulen 623, die C-Säulen 624, Fahrzeuge 625 und 626 und einen Baum 627. Da die Blickwinkel des Fahrers und der Kamera 130 ähnlich sind, ist der Rückblickwinkel des Fahrers durch die Rücksitze 610, die B-Säulen 623 und die C-Säulen 624 versperrt. Situationen im rückwärtigen Bereich des Fahrzeugs 100 sind nur durch die Heckscheiben 620, 621 und 622 erkennbar, woraus sich zahlreiche tote Zonen oder tote Winkel ergeben. Es sind lediglich Teile der Fahrzeuge 625 und 626 und des Baums 627 sichtbar.
Das Bild 616 wird von der Kamera 140 aufgenommen, wobei die Kamera 140 am Heck des Fahrzeugs 100 angeordnet ist. Der Blickwinkel der Kamera 140 liegt nahe dem Boden und unterscheidet sich von dem Blickwinkel der Kamera 130. Das Bild 616 der Kamera 140 zeigt die Fahrzeuge 625 und 626, einen Baum 627, einen Leitungsmast 628, ein Verkehrszeichen 629, einen Fußgänger 630 und ein Hindernis 631. Im Vergleich erfasst der Blickwinkel der Kamera 130 nicht den Baum 627, den Leitungsmast 628, das Verkehrszeichen 629, den Fußgänger 630 und das Hindernis 631. Wenn die Kamera 130 oder ein Rückspiegel allein verwendet werden, ist der Fahrer möglicherweise in Unkenntnis über die um das Fahrzeug 100 herum befindlichen Straßenhindernisse oder Fußgänger, woraus sich eine Verkehrsgefährdung ergibt.
Bei einem Ausführungsbeispiel werden die Bilder 615 und 616 unter Verwendung des Bildverarbeitungsverfahrens 300 mittels einer geeignetsten Radialverzeichnungshomografie transformiert und sodann übereinander gelegt. Danach wird eines der Bilder 615 und 616 ausgeblendet oder zu einer perspektivischen Ansicht verarbeitet. Nach der genannten Verarbeitung werden die Bilder 615 und 616 zu einem fusionierten Bild 617 fusioniert. Teilschritte des Bildverarbeitungsverfahrens 300 werden im Folgenden beschrieben. Gemäß den Schritten 410 und 420 erkennt der Prozessor 120 mehrere Merkmalspunkte der Bilder 615 und 616. Die Merkmalspunkte der Bilder 615 und 616 werden jeweils zu Merkmalspunktpaaren abgeglichen. Die Merkmalspunktpaare sind beispielhaft mit den Zahlen 1-5 in beiden Bildern 615 und 616 bezeichnet. Tatsächlich ist die Anzahl der Merkmalspunktpaare groß und nur ein Teil der Merkmalspunktpaare ist hierin dargestellt. Gemäß den Schritten 430 und 440 wählt der Prozessor 120 unter Verwendung eines iterativen Algorithmus mindestens fünf oder mehr Merkmalspunktpaare für jede Iteration. Ferner werden diese Merkmalspunktpaare wiederholt in die Formel für die Beziehung zwischen den Merkmalspunktpaaren und den Radialverzeichnungshomografien eingesetzt. Der Prozessor 120 schätzt eine geeignetste oder eine beste Radialverzeichnungshomografie H für die Bilder 615 und 616 und Verzeichnungsparameter λ und λ‘ unter Verwendung des iterativen Algorithmus. Der Prozessor 120 speichert die geeignetste Radialverzeichnungshomografie H. Gemäß Schritt 320 führt der Prozessor 120 eine Radialverzeichnungstransformation an jedem Pixel der Bilder 615 und 616 durch, indem er die geeignetste Radialverzeichnungshomografie H verwendet. Ferner überlagert der Prozessor 120 transformierte Bilder zu einem fusionierten Bild 617. Nach den genannten Schritten ist der Prozessor 120 in der Lage, durch Weitwinkelobjektive verursachte Bildverzeichnungen zu eliminieren, um das fusionierte Bild 617 ohne Verzeichnungen zu erhalten. Bei einem Ausführungsbeispiel blendet der Prozessor 120 gemäß dem Schritt 320 (Transparenzschritt) Sichthindernisse wie die Rücksitze 610, die B-Säulen 623 und die C-Säulen 624 aus oder erstellt eine perspektivische Ansicht. Das heißt, dass der Prozessor 120 an Bildern einer der mindestens zwei Kameras einen Transparenzschritt durchführt. Gemäß den Schritten 320 und 330 fusioniert der Prozessor 120 die perspektivischen Ansichten und die transformierten Bilder zu einem fusionierten Bild 617. Das von dem Prozessor 120 erzeugte fusionierte Bild 617 ermöglicht dem Fahrer, mehrere Bilder gleichzeitig zu sehen und einen weiteren Blickwinkel zur Verfügung zu haben. Der Fahrer ist in der Lage, eine Vielzahl unterschiedlicher Hindernisse, Fußgänger und andere Fahrzeuge hinter oder um das Fahrzeug 100 herum zu erkennen. Darüber hinaus finden sich keine Bildverzeichnungen in Bild-Stitchingbereichen des fusionierten Bildes 617. Daher sind durch die Rücksitze 610, die B-Säulen 623 und die C-Säulen 624 verursachte tote Bereiche oder tote Winkel eliminiert.
6 ist ein Diagramm zur Darstellung schematischer Ansichten vor und nach der Bildverarbeitung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei einem Ausführungsbeispiel sind drei Kameras am Heck eines Fahrzeugs 100 angebracht. Die drei Kameras erfassen die Bilder 710, 711 bzw. 712. Das Bild 710 enthält ein Verkehrszeichen 720, ein Hindernis 721 und ein Fahrzeug 722. Das Bild 711 enthält das Fahrzeug 722, ein Hindernis 723, einen Leitungsmast 724 und einen Baum 725. Das Bild 712 enthält den Baum 725, eine Wand 726 und einen Fußgänger 727. Die Bilder 710, 711 und 712 weisen jeweils unterschiedliche Blickwinkel auf. Unter Verwendung des Bildverarbeitungsverfahrens 300 führt der Prozessor 120 eine Radialverzeichnungshomografie durch und überlagert die Bilder 710, 711 und 712. Das Ausführungsbeispiel in 6 unterscheidet sich von demjenigen in 5. Bei dem Ausführungsbeispiel in 6 entfällt der Schritt 300 (Transparenzschritt), da keine B/C-Säulen in den Bildern 710, 711 und 712 vorhanden sind. Einige Schritte des Ausführungsbeispiels in 6 werden im Folgenden beschrieben. Gemäß den Schritten 430 und 440 wählt der Prozessor 120 unter Verwendung eines iterativen Algorithmus mindestens fünf oder mehr Merkmalspunktpaare für jede Iteration. Ferner werden diese Merkmalspunktpaare wiederholt in die Formel der Beziehung zwischen den Merkmalspunktpaaren und den Radialverzeichnungshomografien eingesetzt. Der Prozessor 120 berechnet eine geeignetste oder die beste Radialverzeichnungshomografie H und deren Verzeichnungsparameter λ und λ‘ für die Bilder 710, 711 und 712. Der Prozessor 120 speichert die geeignetste Radialverzeichnungshomografie H für die Bilder 710, 711 und 712. Gemäß dem Schritt 320 führt der Prozessor 120 eine Radialverzeichnungstransformation an jedem Pixel der Bilder 710, 711 und 712 durch, indem er die geeignetste Radialverzeichnungshomografie H verwendet. Pixel an Rändern oder in Bild-Stitchingbereichen der Bilder 710, 711 und 712 werden gut in Überdeckung gebracht. Nach den genannten Schritten ist der Prozessor 120 in der Lage, durch Weitwinkelobjektive verursachte Bildverzeichnungen zu eliminieren, um ein fusioniertes Bild 713 ohne Verzeichnungen zu erhalten.
Nach einem Ausführungsbeispiel ist das Bildverarbeitungsverfahren 300 auf andere Transportfahrzeuge, beispielsweise auf Schiffe, anwendbar. Die Tonnage eines Schiffs ist groß, so dass ein Lotse sich auf mehrere Kameras verlassen muss, um die Positionen von Anlegestellen zu beobachten. Das Bildverarbeitungsverfahren 300 transformiert jedes Pixel von Bildern der Kameras mittels einer Radialverzeichnungshomografie. Pixel an Rändern oder in Bild-Stitchingbereichen der Kamerabilder werden gut in Deckung miteinander gebracht. Es sind in den Bild-Stitchingbereichen keine Bildverzeichnungen zu erkennen. Die durch Weitwinkelobjektive verursachten Bildverzeichnungen werden eliminiert, so dass zu jeder Zeit fusionierte Bilder ohne Verzeichnungen erhalten werden. Daher werden tote Bereiche oder tote Winkel des Schiffs entfernt.
Bei einem Ausführungsbeispiel der vorliegenden Erfindung entfernt der Transparenzschritt (der Schritt 330) des Bildverarbeitungsverfahrens 300 tote Zonen oder tote Winkel, die von B/C-Säulen, dem Kofferraum und der hinteren Hälfte der Fahrzeugkarosserie in Rückspiegeln erzeugt werden. Anders ausgedrückt können Fahrer mittels des Bildsystems 200 durch die B/C-Säulen, den Kofferraum und die hintere Hälfte der Fahrzeugkarosserie hindurch sehen, um Verkehrsgefahren zu vermeiden. Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird das Bildverarbeitungsverfahren 300 verwendet, um mehrere Bilder durch Radialverzeichnungshomografien zu transformieren. Die transformierten Bilder werden zu einem fusionierten Bild ohne Verzeichnungen zusammengefügt. Darüber hinaus werden perspektivische Ansichten in dem Fahrzeug bereitgestellt, um es dem Fahrer zu ermöglichen, relative Abstände zwischen dem Fahrzeug des Fahrers und Hindernissen visuell und leichter zu erkennen. Bei einem Ausführungsbeispiel der vorliegenden Erfindung kann das Bildverarbeitungsverfahren 300 als Fusionsverfahren für Weitwinkelbilder mehrerer Kameras angesehen werden. Unter Verwendung mehrerer Merkmalspunktpaare in zwei Bildern wird eine geeignetste Radialverzeichnungshomografie geschätzt. Unter Verwendung der geeignetsten Radialverzeichnungshomografie und deren Verzeichnungsparameter werden mehrere von den Kameras in der jeweiligen Zeitfolge aufgenommene Bilder fusioniert. Auf diese Weise kann ein erzeugtes einzelnes fusioniertes Bild gleichzeitig mehrere von den Kameras aufgenommene Bilder umfassen. Es liegt keine Bildverzeichnung in Bild-Stitchingbereichen der mehreren Bilder vor. Das Bildverarbeitungsverfahren 300 verringert ebenfalls das Auftreten von Geisterbildern und verbessert die Bildqualität nach der Bildfusionierung.
Gemäß einem Ausführungsbeispiel ist ein Bildverarbeitungsverfahren geeignet, von mindestens zwei Kameras in einem Bildsystem aufgenommene Bilder zu verarbeiten. Das Bildverarbeitungsverfahren weist die folgenden Schritte auf: Abgleichen zweier entsprechender Merkmalspunkte für zwei Bilder zur Bildung eines Merkmalspunktpaars; Wählen von mindestens fünf geeignetsten Merkmalspunktpaaren unter Verwendung eines iterativen Algorithmus; Berechnen einer geeignetsten Radialverzeichnungshomografie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare; und Fusionieren der der von den beiden Kameras aufgenommenen Bilder in der jeweiligen zeitlichen Abfolge unter Verwendung der geeignetsten Radialverzeichnungshomographie.
Es ist für den Fachmann ersichtlich, dass zahlreiche Modifizierungen und Abwandlungen an den offenbarten Ausführungsbeispielen vorgenommen werden können. Es ist beabsichtigt, dass die Beschreibung und die Beispiele lediglich als exemplarische Ausführungsbeispiele gelten, wobei der Offenbarungsrahmen durch die nachfolgenden Ansprüche und deren Äquivalente definiert ist.

100: Fahrzeug
110: Monitor
120: Prozessor
130: Kamera
140: Kamera
200: Bildsystem
300: Bildverarbeitungsverfahren
302, 310, 320, 330, 340, 350, 360: Verfahrensschritte
410, 420, 430, 440: Verfahrensschritte
510, 520, 530, 540, 550: Unterschritte des Verfahrens
610: Rücksitze
615: Bild
616: Bild
617: Bild
620: Heckscheibe
621: Heckscheibe
622: Heckscheibe
623: B-Säule
624: C-Säule
625: Fahrzeug
626: Fahrzeug
627: Baum
628: Leitungsmast
629: Verkehrszeichen
630: Fußgänger
631: Hindernis
710: Bild
711: Bild
712: Bild
713: Bild
720: Verkehrszeichen
721: Hindernis
722: Fahrzeug
723: Hindernis
724: Leitungsmast
725: Baum
726: Wand
727: Fußgänger
H: Radialverzeichnungshomografie
λ - λ‘: Verzeichnungsparameter
P_total: Gesamtpixelwert
P_innen: Pixelwert innen
P_außen: Pixelwert außen
W_innen: Gewichtung innen
W_außen: Gewichtung außen

Claims

Bildverarbeitungsverfahren für Verkehrsmittel, das in der Lage ist, von mindestens zwei Kameras in einem Bildsystem aufgenommene Bilder zu verarbeiten, wobei das Verfahren die folgenden Schritte aufweist: Abgleichen zweier jeweiliger entsprechender Merkmalspunkte für zwei Bilder zur Erzeugung eines Merkmalspunktpaars; Wählen von mindestens fünf geeignetsten Merkmalspunktpaare unter Verwendung eines iterativen Algorithmus; Berechnen einer geeignetsten Radialverzeichnungshomographie zwischen den beiden Bildern anhand der mindestens fünf geeignetsten Merkmalspunktpaare; und Fusionieren der von den beiden Kameras aufgenommenen Bilder in zeitlicher Abfolge unter Verwendung der geeignetsten Radialverzeichnungshomographie.
Bilderarbeitungsverfahren nach Anspruch 1, bei welchem das Bildverarbeitungsverfahren vor dem Schritt des Abgleichens der beiden jeweiligen entsprechenden Merkmalpunkte der beiden Bilder zur Erzeugung des Merkmalspunktpaars ferner den folgenden Schritt aufweist: Erfassen mehrerer Merkmalspunkte der beiden Bilder.
Bildverarbeitungsverfahren nach Anspruch 1, bei welchem das Bildverarbeitungsverfahren nach dem Schritt des unter Verwendung der geeignetsten Radialverzeichnungshomografie erfolgenden Fusionierens der von den mindestens zwei Kameras aufgenommenen Bilder in der jeweiligen zeitlichen Abfolge ferner den folgenden Schritt aufweist: Speichern der geeignetsten Radialverzeichnungshomografie.
Bildverarbeitungsverfahren nach Anspruch 1, ferner mit den folgenden Schritten: zufälliges Wählen von mindestens fünf Merkmalspunktpaaren vor dem Wählen der mindestens fünf geeignetsten Merkmalspunktpaare; iteratives Berechnen mehrerer Radialverzeichnungshomografien vor dem Berechnen der geeignetsten Radialverzeichnungshomografie zwischen den beiden Bildern; und quantitatives Bewerten der mehreren Radialverzeichnungshomografien.
Bildverarbeitungsverfahren nach Anspruch 4, bei welchem das Bildverarbeitungsverfahren nach dem Schritt des iterativen Berechnens jeder der mehreren Radialverzeichnungshomografien für jede Iteration ferner die folgenden Schritte aufweist: Markieren eines Ground-Truth-Punktpaars zwischen den Bildern; und Transformieren des Ground-Truth-Punktpaars zu einem jeweiligen Transferpunktpaar entsprechend jeder der mehreren Radialverzeichnungshomografien; und Berechnen eines Abstandsdifferenzwerts zwischen dem Transferpunktpaar und dem Ground-Truth-Punktpaar.
Bildverarbeitungsverfahren nach Anspruch 1, ferner mit den folgenden Schritten: Durchführung eines Transparenzschritts an Bildern einer der mindestens zwei Kameras; und Fusionieren der durch den Transparenzschritt erzeugten Bilder in zeitlicher Abfolge.
Bildsystem für Verkehrsmittel, wobei das Bildsystem aufweist: mindestens zwei Kameras, die zum Erfassen von Bildern ausgebildet sind; einen Prozessor, der mit den mindestens zwei Kameras gekoppelt ist, wobei der Prozessor dazu ausgebildet ist, Verzeichnungen der mindestens zwei Kameras zu eliminieren, um so fusionierte Bilder ohne Verzeichnungen zu erhalten; und einen mit dem Prozessor gekoppelten Monitor, wobei der Monitor zum Anzeigen der fusionierten Bilder ohne Verzeichnungen ausgebildet ist.
Bildsystem nach Anspruch 7, bei welchem der Prozessor dazu ausgebildet ist, eine geeignetste Radialverzeichnungshomografie unter Verwendung eines iterativen Algorithmus zu berechnen.
Bildsystem nach Anspruch 8, bei welchem der Prozessor dazu ausgebildet ist, die Bilder der mindestens zwei Kameras unter Verwendung der geeignetsten Radialverzeichnungshomografie zu fusionieren.
Bildsystem nach Anspruch 9, bei welchem der Prozessor dazu ausgebildet ist, Sichthindernisse in den von den mindestens zwei Kameras aufgenommenen Bildern zu eliminieren.