DE102008031784B4

DE102008031784B4 - Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems

Info

Publication number: DE102008031784B4
Application number: DE102008031784.5A
Authority: DE
Inventors: Yun Luo; Chris St. John; John Prainito
Original assignee: TRW Automotive US LLC
Current assignee: ZF Active Safety and Electronics US LLC
Priority date: 2007-07-16
Filing date: 2008-07-04
Publication date: 2016-05-12
Anticipated expiration: 2028-07-05
Also published as: JP4695167B2; JP2009044730A; US20090021609A1; DE102008031784A1; US8233045B2

Abstract

Ein Bildverbesserungssystem (12) für ein Fahrzeug, das Folgendes aufweist: eine Anzeigeeinheit (14) für das Anzeigen modifizierter Bilder, die durch das Bildverbesserungssystem verbessert wurden; eine Abbildungseinrichtung (20) zum Empfangen erfasster Bilder, die durch das Bildverbesserungssystem verbessert wurden; ein Bildverbesserungsmodul (26) in Kommunikation mit der Anzeigeeinheit (14) und der Abbildungseinrichtung (20), so dass Pixel, die in den erfassten Bildern gelegen sind, verbessert werden durch Repositionieren der Pixel von einer ersten Position zu einer zweiten Position über eine Transferoperation, um die modifizierten Bilder zu bilden, wobei die erste Position ausgedrückt wird durch (Xa, Ya) und die zweite Position ausgedrückt wird durch (Xc, Yc), und wobei die Transferoperation ausgeführt wird gemäß den Formeln: Xc = s·cosφ·Xa·(1 + k1ρ2 + k2ρ4) und Yc = (s·sinφ·Xa + cosφ·Ya)(1 + k1ρ2 + k2ρ4).wobei s das Seitenverhältnis der Pixel, φ der Berichtigungswinkel der Transferoperation und k1 und k2 die Objektivverzerrungskoeffizienten sind und wobei

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems.
Hintergrund der Erfindung
Ein Motorfahrzeug im Rückwärtsgang zu betreiben kann eine frustrierende und schwierige Aufgabe sein. Diese Frustrationen resultieren großenteils aus einem Unvermögen des Fahrers, während des Rückwärtsfahrens Objekte hinter dem Fahrzeug zu sehen, trotz der Rückblickspiegel und Fenster. Die Bereiche, die vor der Sicht eines Fahrers versperrt sind, sind die Folge der Fahrzeugstruktur, da Bereiche im toten Winkel bei einem Blick in die Fahrzeugspiegel verborgen sind (als blinde Flecke bezeichnet) und aus anderen Gründen.
Das zunehmend populäre Sportnutzfahrzeug bzw. Komfort-Geländefahrzeug („SUV” = sport utility vehicle) leidet im Vergleich zu einem Personenkraftwagen an einem sogar noch höheren Grad an Sichtschwierigkeit während eines Versuchs im Rückwärtsgang zu fahren. Um einem Fahrer dabei zu helfen, mehr von der Umgebung hinter dem SUV wahrzunehmen, sind Rückblickkamerasysteme vorgeschlagen worden. Derartige Kamerasysteme liefern eine Anzeige des Heckkamera- bzw. Rückblickkamerabildes an den Fahrer. Derartige Kamerasysteme verwenden Weitwinkellinsen, die das Rückblickbild verzerren.
JP2006-050451A bezieht sich auf ein dynamisches Konturmodell zur Identifikation von Objekten über einen Korrelationsprozess. Im Einzelnen sind dabei Berechnungsmittel vorgesehen, welche den Korrelationswert berechnen, wobei ferner Vergleichsmittel vorgesehen sind. Dabei können die Vergleichsmittel den Korrelationswert und eine zweite Schwelle des Beleuchtungswertes bestimmen, wobei schließlich Extraktionsmittel vorgesehen sein können, um ein dynamisches Konturmodell zu schaffen. Auf das Bild zur Identifikation eines interessierenden Gebietes wird aber keine Art von Clustering angewandt.
US2002/0118292A bezieht sich auf eine Digitalkamera mit einem Bildsensor, der eine digitale Repräsentation eines auf einen Abbildteil des Bildsensors projezierten Bildes liefert. Diese Vorrichtung verwendet eine selektive Vergrößerung von Teilen des Bildes, um Verzerrungen zu entfernen.
Die DE 100 83 445 B4 bezieht sich auf eine Fahrzeug-Rückwärtsüberwachungsvorrichtung zum Anzeigen eines durch die Kamera aufgenommenen Bildes eines rückwärtigen Bereichs es Fahrzeugs an einem Monitorbildschirm am Fahrersitz, um eine höhere Sicherheit während des Rückwärtsfahrens zu erlangen.
Die vorliegende Erfindung sieht eine weitere Verbesserung der genannten Systeme und Verfahren vor.
Gemäß der Erfindung wird ein Bildverbesserungssystem für ein Fahrzeug gemäß Anspruch 1, ein Verfahren zum Verbessern eines Bildes in einem Fahrzeugabbildsystem nach Anspruch 12, ein Bildverbesserungssystem nach Anspruch 17 und ein Rückblickbildverbesserungssystem nach Anspruch 21 vorgesehen. Bevorzugte Ausführungen der Erfindung ergeben sich aus den Unteransprüchen.
Kurze Beschreibung der Zeichnungen
Die vorangegangen und andere Merkmale und Vorteile der vorliegenden Erfindung werden den Fachleuten des Gebietes, auf das sich die vorliegende Erfindung bezieht, beim Lesen der folgenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen offensichtlich werden, wobei in den Zeichnungen zeigt:
1 eine schematische Grafik, welche ein Fahrzeug mit einem Rückblickverzerrungskorrektur- und Bildverbesserungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht;
2A eine Grafik, die die Anbringung einer Abbildungseinrichtung an einem Personenkraftwagen zeigt, der mit einem Rückblickverbesserungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ausgestattet ist;.
2B eine Grafik, die die Anbringung einer Abbildungseinrichtung an einem Transport- oder Lastkraftwagen zeigt, der mit einem Rückblickverzerrungskorrektur- und Bildverbesserungssystem gemäß der vorliegenden Erfindung ausgestattet ist;
3 ein Flussdiagramm, welches einen Steuerprozess zur Steuerung eines Rückblickverzerrungskorrektur- und Bildverbesserungssystems gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung darstellt;
4A eine schematische Grafik eines verzerrten Bildes, welches durch eine Abbildungseinrichtung erfasst wurde;
4B eine schematische Grafik eines erfassten Bildes, das von dem Rückblickverzerrungskorrektur- und Bildverbesserungssystems gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung verarbeitet wurde;
5 eine grafische Darstellung eines erfassten Bildes, welches durch ein Bildverbesserungsmodul der vorliegenden Erfindung optisch verbessert und umgeordnet bzw. „remapped” wurde;
6A ist eine grafische Darstellung eines verzerrten Bildes, welches durch eine Abbildungseinrichtung erfasst wurde;
6B ist eine grafische Darstellung eines erfassten Bildes, welches durch ein Bildverbesserungsmodul der vorliegenden Erfindung optisch verbessert und neu abgebildet bzw. remapped wurde;
6C ist eine grafische Darstellung einer dreidimensionalen Rekonstruktion einer Anzeigeeinheit, die sowohl das verzerrte Bild der 6A als auch das optisch verbesserte und umgeordnete bzw. neu aufgezeichnete Bild der 6B projiziert;
7 ist eine grafische Darstellung eines erfassten Bildes, welches optisch verarbeitet wird, um eine neuartige Sichtprojektion durch ein Bildverzerrungskorrektur- und Bildverbesserungsmodul der vorliegenden Erfindung zu erzeugen; und
8 ist eine grafische Darstellung einer perspektivischen Seitenansicht eines beispielhaften Ausführungsbeispiels einer hinteren Abbildungseinrichtung auf einem Lastkraftwagen, der mit einem Rückblickverbesserungssystem ausgestattet ist, welches gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung konstruiert ist.
Detaillierte Beschreibung der Erfindung
Mit Bezug auf 1. weist ein Fahrzeug 10 ein Rückblickverzerrungskorrektur- und Bildverbesserungssystem „DCIE” (DCIE = Distorsion correcting and image enhancing system) 12 gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung auf, eine Anzeigeeinheit 14, die in der Fahrzeugkabine bzw. dem Fahrzeuginnenraum 16 zum Betrachten bzw. zur Ansicht durch den Fahrzeugbediener 18 vorgesehen ist. Das Rückblick-DCIE-System 12 liefert Echtzeit-Weitwinkelvideobilder an den Bediener 18 des Bereiches hinter dem Fahrzeug 10 durch die Abbildungseinrichtung 20. Die Abbildungseinrichtung 20 weist beispielsweise eine Kamera auf, die eine Sensortechnologie mit einer ladungsgekoppelte Einrichtung („CCD” = Charge-Coupled Device) oder einem komplementären Metall-Oxid-Halbleiter („CMOS” = Complementary Metal Oxide Semiconductor) zum Erfassen von kontinuierlichen Echtzeit-Bildern verwendet, dargestellt als Sichtfeld bzw. Field-of-View („FOV”) der Abbildungseinrichtung 20.
Während 1 das Rückblick-DCIE-System 12 darstellt, das an ein Fahrzeug der Sportnutzfahrzeugbauart bzw. SUV-Bauart angepasst ist, zeigen die 2A und 2B, dass das System ebenso an einen Personenkraftwagen 22, ein Transportfahrzeug 24 oder irgendeine andere Bauart eines beweglichen Fahrzeugs oder Gerätes, wie einen Gabelstapler und/oder Sattelschlepper angepasst werden könnte. Kurz gesagt sollen zukünftige Bezugnahmen auf das Fahrzeug 10 alle oben erwähnten Fahrzeugbauarten und/oder Geräte abdecken, wenn es nicht speziell angegeben ist.
Das von einer Abbildungseinrichtung 10 erfasste FOV bzw. Sichtfeld wird durch ein Bildverbesserungsmodul 26, das mit dem Rückblickverbesserungssystem 12 assoziiert ist, gemäß dem in 3 dargestellten Steuerprozess verarbeitet und verbessert. Das Abbildungsverbesserungsmodul 26 verwendet einen Teil des Fahrzeugs als eine Referenz (z. B. einen Teil der Fahrzeugstoßstange oder eine Heckklappe bzw. einen Heckteil 28), wenn es die kontinuierlichen Bilder modifiziert, die als Videodaten an die Anzeigeeinheit 14 übertragen werden. Die Anzeigeeinheit 14 könnte ein Monitor, eine Flüssigkristallanzeige bzw. ein LCD (LCD = liquid crystal display), ein Navigationsbildschirm oder andere bekannte Videoanzeigeeinrichtungen sein, die es in der vorliegenden Erfindung dem Bediener 18 gestatten, den Bereich hinter dem Fahrzeug 10 mit einer verbesserten unverzerrten Sicht über das Bildverbesserungsmodul 26 zu sehen, wobei im Wesentlichen blinde Flecken und Bereiche im toten Winkel eliminiert werden.
Das Bildverbesserungsmodul 26 ist in dem Fahrzeug 10 angeordnet und weist Verarbeitungskapazitäten auf, die durch eine Berechnungseinheit 30 durchgeführt werden, wie beispielsweise einen Digitalsignalprozessor bzw. DSP, ein feldprogrammierbares Gate-Array bzw. FPGA (FPGA = field programmable gate array), Mikroprozessoren oder anwendungsspezifische Schaltkreise bzw. ASICs (ASIC = application specific integrated circuit) oder eine Kombination davon, die Programmierfähigkeiten aufweisen, beispielsweise durch ein computerlesbares Medium wie beispielsweise Software oder Firmware, die in einem Mikroprozessor aufgenommen ist, einschließlich ROM (ROM = Read Only Memory), oder wie eine binäre Bilddatei, die von einem Anwender programmiert werden kann. Das Bildverbesserungsmodul 26 kann integral mit der Abbildungseinrichtung 20 oder der Anzeigeeinheit 14 ausgebildet sein oder kann entfernt in Kommunikation (drahtgebunden oder drahtlos) mit sowohl der Abbildungseinrichtung als auch der Anzeigeeinheit angeordnet sein.
Die Initiierung bzw. Inbetriebnahme des Rückblickverbesserungssystems 12 der 3 tritt auf, wenn der Bediener 18 selektiv einen Rückwärtsfahrbetrieb für das Fahrzeug einschaltet. Dies wird typischerweise dadurch erreicht, dass das Fahrzeug 10 in einen Rückwärtsgang 32 gebracht wird. Mindestens eine Abbildungseinrichtung 20 erfasst in Schritt 34 kontinuierliche Bilder 36 vom Heck des Fahrzeugs 10 und übermittelt die kontinuierlichen Bilder 36 an das Bildverbesserungsmodul 26. Das Bildverbesserungsmodul 26 modifiziert die kontinuierlichen Bilder 36 und überträgt die verbesserten Bilder 38 über Videodaten an die Anzeigeeinheit 14, um dem Fahrer zu helfen.
Optische Verzerrungskorrektur
Eine optische Verzerrungskorrektur in Schritt 40 ist eine verbessernde Funktion, die auf die kontinuierlichen Bilder 36 durch das Bildverbesserungsmodul 26 angewandt wird. Die optische Verzerrungskorrektur 40 erleichtert das Entfernen eines perspektivischen Effektes und einer visuellen Verzerrung, die durch eine Weitwinkellinse verursacht wird, die in der Abbildungseinrichtung 20 verwendet wird. Die optische Verzerrungskorrektur 40 verwendet ein mathematisches Modell der Verzerrung, um die richtige Position der Pixel zu bestimmen, die in den kontinuierlichen Bildern 36 erfasst wurden. Das mathematische Modell korrigiert auch die Pixelposition der kontinuierlichen Bilder 36 als ein Ergebnis der Differenzen zwischen der Breite und Höhe einer Pixeleinheit aufgrund des Aspekt- bzw. Seitenverhältnisses, das durch eine Weitwinkellinse erzeugt wird.
Die optische Verzerrungskorrektur in Schritt 40 verwendet ein mathematisches Modell, das durch die folgenden Gleichungen dargestellt wird, in denen die tatsächlichen Pixelpositionen, die durch die kontinuierlichen Bilder 36 erfasst werden, als ein einzelner Bildpunkt X_a, Y_a dargestellt werden und dann an eine entsprechende korrigierte Position X_c, Y_c übertragen werden, wobei gilt X_c = s·cosφ·X_a·(1 + k₁ρ² + k₂ρ⁴) Gleichung 1 Y_c = (s·sinφ·X_a + cosφ·Y_a)(1 + k₁ρ² + k₂ρ⁴) Gleichung 2
In den obigen Gleichungen ist s das Seitenverhältnis der Pixeleinheit und φ der Berichtigungswinkel. Die Objektivverzerrungskoeffizienten sind k₁ und k₂ und es gilt ρ = ((s·cosφ·X_a)² + (s·sinφ·X_a + cosφ·Y_a)²)^1/2 Gleichung 3
Für bestimmte Linsen, die von der Abbildungseinrichtung 20 verwendet werden, können die Verzerrungskoeffizientenwerte k₁ und k₂ vorbestimmt sein, um dabei zu helfen, die Tonnenverzeichnung bzw. -verzerrung zu eliminieren, die durch die Verwendung einer Weitwinkellinse erzeugt wird. Die Verzerrungskoeffizientenwerte werden für eine Echtzeit-Korrektur der kontinuierlichen Bilder 36 verwendet, z. B. für Gleitkommaberechnungen. Der Fachmann wird auch erkennen, dass diese Werte auch Offline-Nachschautabellen erzeugen können.
Die Verzerrungskoeffizientenwerte k₁ und k₂ können weiter eingestellt bzw. abgestimmt werden durch Verwendung eines Bildes, das in den kontinuierlichen Bildern 36 erfasst ist, das bekannte gerade Linien aufweist, beispielsweise ein Verzerrungszentrum 42, das in 4A dargestellt ist, welches ein erfasstes kontinuierliches Bild 36 abbildet. Gemäß diesem Aspekt der vorliegenden Erfindung wird das Verzerrungszentrum 42 erfasst durch Analysieren des erfassten kontinuierlichen Bildes 36 auf der Suche nach den geradesten horizontalen und vertikalen Linien, wobei das Zentrum dort gelegen ist, wo sich die zwei Linien schneiden. Das erfasste Bild kann dann mit verschiedenen oder fein abgestimmten Verzerrungskoeffizientenwerten k₁ und k₂ in einem Trial- and -Error- bzw. Versuch- und -Fehler-Verfahren korrigiert werden. Wenn beispielsweise die Linien auf einer Seite des Bildes „tonnenförmig verzerrt” („barreled”) sind und Linien auf der anderen Seite des Bildes „kissenförmig verzerrt” („pin-cushioned”) sind, dann muss sich der Mittenversatz in Richtung der kissenverzeichneten Seite bewegen. Wenn ein Wert gefunden wurde, der die Verzerrung ausreichend korrigiert, dann können die Werte für das Verzerrungszentrum 42 und die Verzerrungskoeffizientenwerte k₁ und k₂ in dem mathematischen Modell der optischen Verzerrungskorrektur 40 verwendet werden. Auf eine andere Weise ausgedrückt, tritt ein Kalibrierungsverfahren auf durch Verwenden der geradesten horizontalen und vertikalen Linien in einem erfassten Bildmuster. Die geradesten horizontalen und vertikalen Linien unterstützen die Bestimmung der Werte der Verzerrungskoeffizienten k₁ und k₂, welche für das Kalibrieren der obigen optischen Verzerrungsgleichungen 1 und 2 verwendet werden.
Mit Bezug auf 4 wird ein Bild, das von den kontinuierlichen Bildern 36 erfasst wird, vor einer Bildverbesserung durch die optische Verzerrungskorrektur 40 gezeigt. 4A stellt sowohl das Verzerrungszentrum 42 als auch die tatsächlichen Pixelpositionen dar, die durch den einzelnen Bildpunkt X_a, Y_a dargestellt werden. 4B stellt ein erfasstes verbessertes Bild dar, das den Transfer von Bildpunkt X_a, Y_a zu seiner entsprechenden korrigierten Position X_c, Y_c abbildet, die durch die Einstell- bzw. Feinabstimmungstechniken erreicht wird, die während der Verwendung des mathematischen Modells in der optischen Verzerrungskorrektur 40 besprochen wurden. Das Gitter auf den Bildern der 4A und 4B ist für veranschaulichende Zwecke und Qualitätssicherungszwecke gezeigt und bildet die Transformation ab, die dem gesamten Bild, das von der optischen Verzerrungskorrektur 40 verbessert wird, widerfährt. Insbesondere sind nun die Linien des Gitters der 4B im Wesentlichen gerade und der ursprüngliche Umriss des verzerrten Bildes in 4A ist überlagert.
Inverse Perspektivprojektion
Eine inverse Perspektivprojektion 44 ist eine Verbesserungsfunktion, die auf die kontinuierlichen Bilder 36 durch das Bildverbesserungsmodul 26 angewandt wird. Der Blickwinkel, der durch eine Abbildungseinrichtung 20 eingenommen wird und die Distanz der Objekte davon erzeugt mindestens zwei Abbildungsprobleme. Erstens trägt der Blickwinkel dazu bei, unterschiedlichen Informationsgehalt mit jedem erfassten Pixel zu verbinden und zweitens gibt es den perspektivischen Effekt, der durch Weitwinkellinsen erzeugt wird. Um diese Probleme zu lösen, wendet die inverse Perspektivprojektion 44 eine geometrische Transformation oder eine inverse Perspektivabbildungstransformation bzw. IPM-Transformation (IPM = inverse perspective mapping) 46 an, um den perspektivischen Effekt von dem erfassten Bild zu entfernen, wobei es in eine neue zweidimensionale Domäne oder neu abgebildete Domäne 48 neu abgebildet wird.
5 stellt einen erfassten Bildpunkt P dar, der durch das Bildverbesserungsmodul 26 verbessert wird und zwar durch die Anwendung der inversen Perspektivprojektion 44. Die Koordinaten von Punkt P werden durch X, Y und Z der 5 dargestellt, wobei Z die optische Achse der Abbildungseinrichtung 20 ist. Der erfasste Bildpunkt P ist, wie er auf eine Pixelsensoranordnung projiziert ist, mit den Perspektiveffektproblemen und den oben beschriebenen Problemen nicht korrekten Informationsgehalts belastet. Um solche Probleme zu eliminieren, verwendet die inverse Perspektivprojektion die IPM-Transformation 46, um den Punkt P und das Bild (durch erneutes Abbilden aller Pixel in dem erfassten Bild) in die neu abgebildete Domäne 48 neu abzubilden. Die IPM-Transformation wird durch die folgenden Gleichungen dargestellt: x_p = f X / Z Gleichung 4 und y_p = f Y / Z Gleichung 5 wobei x_p und y_p die neu abgebildeten Koordinaten sind, die in die neu abgebildete Domäne 48 projiziert werden, und der Parameter f die Distanz von der neu abgebildeten Domäne 48 zum Ursprung „O” entlang der Z-Achse oder optischen Achse der Abbildungseinrichtung 20 ist.
Eine Projektion aller Pixel von dem verzerrten Bild auf die neu abgebildete Domäne 48 über eine IPM-Transformation 46 erzeugt eine verbesserte Bildebene 50. Der Pixelinformationsgehalt in der verbesserten Bildebene 50 ist homogen über alle Pixel verteilt. Die verbesserte Bildebene 50 stellt eine von mehreren verbesserten Bildebenen dar, die die kontinuierlichen verbesserten Bilder 38 bilden, die an die Anzeigeeinheit des Fahrzeugs 10 gesendet werden. Die inverse Perspektivprojektion 44, die die IPM-Transformation 46 verwendet, kann auf den erfassten kontinuierlichen Bildern 36 durchgeführt werden, und zwar isoliert oder nachdem die optische Verzerrungskorrektur 40 auf den Bildern durchgeführt wurde, wie in 3 dargestellt.
Die Anwendung der IPM-Transformation 46 benötigt Information bezüglich der spezifischen Aufnahmebedingungen (z. B. Abbildungseinrichtungsposition, Ausrichtung, Optiken) und benötigt mehrere Annahmen (a-priori-Annahmen) über die Szene, die von dem Bild dargestellt wird. Als solches kann die IPM-Transformation 46 in strukturierten Umgebungen verwendet werden, in denen beispielsweise die Abbildungseinrichtung 20 in einer festen Position angebracht ist oder in Situationen, in denen die Kalibrierung des Systems und der umliegenden Umgebung über andere Arten von Sensoren wahrgenommen werden kann.
8 stellt ein Beispiel eines Rückblickabbildungssystems 80 für ein Fahrzeug 82 gemäß einem Aspekt der vorliegenden Erfindung dar, das eine Transformation von Bilddaten von einer zweidimensionalen Abbildungsebene 84 auf ein dreidimensionales Weltkoordinatensystem 86 verwendet, das den Raum hinter dem Fahrzeug 82 als eine horizontale Z-Achse, die entlang der Längsachse des Fahrerzeugs ausgerichtet ist, als eine vertikal ausgerichtete Y-Achse, und eine horizontale X-Achse, die senkrecht zur Y-Achse und zur Z-Achse ausgerichtet ist, darstellt. Durch die Verwendung dieser Transformation kann die Distanz der Objekte, die in der Bildebene 84 von dem Fahrzeug gesehen werden, bestimmt werden, insbesondere entlang der Z-Achse. Dazu wird eine Kamera 88, die an oder in dem Fahrzeug angebracht ist, konfiguriert, um einen Raum hinter dem Fahrzeug abzubilden. In dem dargestellten Beispiel ist die Kamera abwärts um einen vorbestimmten Neigungswinkel 6 in Richtung einer Bodenebene 90 abgewinkelt.
Das Bild, das von der Kamera erfasst wird, wird analysiert, um die Distanz der Objekte vom Fahrzeug innerhalb des Bildes zu bestimmen. Dazu wird die zweidimensionale Bildebene in ein dreidimensionales Kamerakoordinatensystem 92 übertragen, wobei die x-Achse und y-Achse des Kamerakoordinatensystems 92 vertikale bzw. horizontale Achsen innerhalb der Bildebene 84 darstellen. Eine z-Achse erstreckt sich entlang eines Sichtfeldes der Kamera, und zwar senkrecht zur Bildebene 84. Aufgrund der Neigung der Kamera und ihrer Anordnung innerhalb des Fahrzeugs wird das Kamerakoordinatensystem 92 geringfügig um die X-Achse gedreht bzw. rotiert und vertikal um eine Distanz gleich der vertikalen Höhe H der Kamera vom Erdboden relativ zum Weltkoordinatensystem 86 übertragen.
Um die Transformation des Bildes in die Kamerakoordinaten zu erleichtern, ist es hilfreich anzunehmen, dass die Bodenebene 90 eine flache Oberfläche ist. Für eine Kamera 88, die Pixel mit der Breite w_u, Höhe w_v und eine Brennweite von f aufweist, kann die Beziehung zwischen Kamerakoordinaten (x, y, z) und Bildkoordinaten (u, v) ausgedrückt werden als:
wobei (u₀, v₀) einen Mittelpunkt der Bildebene darstellt.
Eine Horizontlinie v_h innerhalb der Bildebene kann von den Charakteristika der Kamera wie oben beschrieben und dem bekannten Neigungswinkel θ der Kamera bestimmt werden als:
Aus der obigen Gleichung 7 kann Gleichung 8 umgeschrieben werden als:
Da das Kamerakoordinatensystem 92 das Weltkoordinatensystem 86 darstellt und zwar mit einer Rotation um die X-Achse gleich dem Neigungswinkel θ und einer Übertragung entlang der Y-Achse gleich der Kamerahöhe H, kann die Übertragung zwischen den Kamerakoordinaten und den Weltkoordinaten dargestellten werden als X = x, Y = y[cos(θ)] – H und Z = z[cos(θ)]. Entsprechend kann, aus der obigen Gleichung 9, die Distanz d zwischen einem gegebenen Punkt auf der Bodenebene (X, Y = 0, Z = d) und dem Fahrzeug ausgedrückt werden als:
In der Praxis kann, um die Distanz zu einem gegebenen Objekt in dem Bild zu bestimmen, der Schnittpunkt des Objekts mit der Bodenebene bestimmt werden, und die vertikale Lage des Schnittpunktes innerhalb des Bildes kann verwendet werden, um die Distanz d zu dem Objekt zu berechnen. Entsprechend kann die Distanz von verschiedenen Objekten innerhalb des Sichtfeldes der Kamera bestimmt werden ohne die Verwendung zusätzlicher Sensoren, was die Kosten des Systems 80 signifikant reduziert.
Für das Rückblickverbesserungssystem 12 der vorliegenden Erfindung sind die intrinsischen und extrinsischen Parameter von früheren Kalibrierungen bekannt, einschließlich der Anbringungsposition und der Quer- und Längsneigungswinkel der Abbildungseinrichtung 20. Vom Erdboden in der Nähe des Fahrzeugs 10 wird angenommen, dass er eben ist und der Einsatz und die ursprünglich erfassten kontinuierlichen Bilder 36, die in 6A dargestellt sind, werden durch die IPM-Transformation 46 in dem Bildverbesserungsmodul 26 modifiziert, um das verbesserte Bild 38 zu erzeugen. Das verbesserte Bild 38 sieht eine Sicht aus Vogelperspektive des Bereichs hinter dem Fahrzeug vor und wird für den Bediener 18 des Fahrzeugs 10 auf die Anzeigeeinheit 14 projiziert.
6C ist ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung, in dem die Anzeigeeinheit 14 eine dreidimensionale(3D-)Rekonstruktion einer Kombination des ursprünglich erfassten kontinuierlichen Bildes 36 und des verbesserten Bildes 38 vorsieht.
Neuansichtprojektion
Eine Neuansichtprojektion 54 ist eine weitere verbessernde Funktion, die auf die kontinuierlichen Bilder 36 durch das Bildverbesserungsmodul 26 angewandt wird. Der perspektivische Effekt, der durch Weitwinkellinsen verursacht wird, erzeugt Verzerrungen in der Größe der abgebildeten Objekte. Solche Verzerrungsprobleme werden von herkömmlichen Abbildungssensoren nicht eliminiert oder auch nur angesprochen.
Der Einsatz des Bildverbesserungsmoduls der Neuansichtprojektionsfunktion 54 eliminiert derartige Verzerrungsprobleme. Die Neuansichtprojektion 54 erzeugt neue Bilder von einer Draufsicht und Seitenansicht, so dass die Distanz vom Rückteil bzw. Heckteil des Fahrzeugs 10 zu irgendeinem Objekt oder Hindernis 56 linear proportional ist ohne Verzerrung, wie in 7 dargestellt. Das Bildverbesserungsmodul 26 verwendet einen Referenzpunkt, wie beispielsweise die Fahrzeugstoßstange oder die Heckklappe 28, beim Erzeugen der Neuansichtprojektion 54 und kann mehr als eine Abbildungseinrichtung 20 verwenden. Die Neuansichtprojektion 54 wird für den Bediener 18 des Fahrzeugs 10 auf die Anzeigeeinheit 14 gebracht und kann eine Skala 58 für den Bediener als eine weitere Referenz auf die Distanz aufweisen.
Die Neuansichtprojektion 54 kann auf das erfasste kontinuierliche Bild 36 isoliert oder in Kombination mit den anderen Funktionen, die vom Bildverbesserungsmodul 26 ausgeführt werden, angewandt werden, einschließlich der inversen Perspektivprojektion 44 und der optischen Verzerrungskorrektur 40 oder beidem.
Bildclusterbildung und Nicht-Boden-Segmentierung
Bildclusterbildung 60 und Nicht-Boden-Segmentierung 62 sind zwei zusätzliche Verbesserungsfunktionen, die vom Bildverbesserungsmodul 26 auf die kontinuierlichen Bilder 36 angewandt werden. Die Bildclusterbildungsfunktion 60 und die Nicht-Boden-Segmentierungsfunktion 62 verwenden mehrere Bildhinweise, einschließlich der Farbe, Beschaffenheit und Pixelintensität um Pixelregionen, Blobs bzw. Farbpunkte oder Cluster zu finden, die ähnliche Charakteristika teilen, die markiert oder gekennzeichnet werden. Von jeder Pixelregion/jedem Blob/Cluster werden Merkmale gewonnen, um einen Bereich von Interesse zu erhalten. Die Detektion und Erkennung werden basierend auf den gewonnenen Merkmalen ausgeführt unter Verwendung von Techniken wie beispielsweise Matching bzw. Einpassung, Modellierung, Mustererkennung und Ähnlichen.
Das Rückblickverbesserungssystem 12 und insbesondere das Bildverbesserungsmodul 26 verwendet die oben genannten Techniken bei der Bildclusterbildung 60 und der Nicht-Boden-Segmentierung 62, um Boden- und Nicht-Bodenregionen zu trennen und zu erkennen, um Bereiche von Interesse zu erhalten.
Die Identität der Bodenregion kann abgebildet werden unter der Annahme, dass alle Pixel der Bodenregion auf die Bodenebene passen. Die Identität der Nicht-Boden-Segmentierungsbereiche 62 kann weiter gebündelt bzw. geclustered werden und es kann erkannt werden, dass es sich um bestimmte Objekte handelt, beispielsweise könnten die Objekte Hindernisse aufweisen, Fußgänger und so weiter. Diese als Nicht-Boden erkannten Objekte können auf der Anzeigeeinheit 14 auftreten (pop-up), ähnlich dem Hindernis 56, das in 7 dargestellt ist. Jedes Objekt, dass sich vertikal von der Bodenebene erstreckt, kann als ein Nicht-Boden-Objekt erkannt werden. Auf diese Weise können erkannte Nicht-Boden-Objekte anhand ihrer Position relativ zur Bodenebene lokalisiert werden. Die erkannten Nicht-Boden-Objekte können dann verwendet werden, um das synthetisierte Bild zu erzeugen, das weiter unten mit Bezug auf 7 beschrieben wird.
Von den Nicht-Boden-Regionen wird angenommen, dass sie eine ebene Oberfläche sind, die neu abgebildet werden kann und zwar nach dem Durchführen der IPM-Transformation 46 an dem erfassten kontinuierlichen Bild 36. Andere Nicht-Boden-Regionen werden ebenfalls von dem Bildverbesserungsmodul 26 analysiert und zwar unter Verwendung von Bildclusterbildung 60 und Nicht-Boden-Segmentierung 62, wie beispielsweise eine Fußgänger- und Hindernisdetektion 64, eine projizierte Rückfahr-Kurven-Detektion 66 und eine Parkstreifen-/Garagenwanddetektion 68, die verwendet wird, um Parkstreifenmarkierungen auf dem Boden oder Parkwände für Parkplätze, die beispielsweise in einer Parkgarage gelegen sind, zu detektieren. Die Bildverbesserung gestattet Objekten, Linien und Wänden von der ebenen Oberfläche hervorzutreten, was sie leichter detektierbar und erkennbar für den Bediener 18 macht.
Informationszusammenführung
Unter Verwendung von bekannten Informationen, die durch den Lenk- bzw. Steuerwinkel 67 des Fahrzeugs 10 vorgesehen werden, kann ein Rückfahrpfad 70 von der Berechnungseinheit 30 vorhergesagt und an die Anzeigeeinheit 14 geliefert werden. Diese Information wird in einem Kollisionswarnmodul 72 verwendet, welches eine weitere Funktion ist, die vom Bildverbesserungsmodul 26 ausgeführt wird. Die beschriebene Fußgänger- und Hindernisdetektion 64, projizierte Rückfahrkurvendetektion 66 und Parkstreifen-/Garagenwanddetektion 68, die durch die Bildclusterbildungstechnik 60 und die Nicht-Boden-Segmentierungstechnik 62 ermöglicht werden, werden auch vom Kollisionswarnmodul 72 verwendet. Die Berechnungseinheit 30 kann die Möglichkeit einer Kollision vorhersagen und die Hindernisse oder Fußgänger hervorheben, die im Rückwärtsfahrpfad 70 erkannt werden, wodurch der Bediener 18 auf der Anzeigeeinheit 14 gewarnt wird.
Ähnlich dem Kollisionswarnmodul 72 sieht das Rückblickverbesserungssystem 12 ein Parkassistenzmodul 74 vor. Die beschriebene Fußgänger- und Hindernisdetektion 64, die projizierte Rückfahrkurvendetektion 66 und eine Parkstreifen-/Garagenwanddetektion 68, die durch die Bildclusterbildungstechnik 60 und die Nicht-Boden-Segmentierungstechnik 62 ermöglicht werden, werden vom Parkassistenzmodul 74 verwendet. Das Parkassistenzmodul 74 kann das Rückwärtsfahren in eine Parklücke oder paralleles Parken in einem manuellen oder automatischen Betriebszustand des Fahrzeugs 10 erleichtern.
Szenenrekonstruktion und Bildsynthese
7 sieht ein weiteres Ausführungsbeispiel einer letzten konstruierten Szene vor, die von dem Bediener 18 auf der Anzeigeeinheit 14 betrachtet wird. Eine nicht fotorealistische Abbildung in Draufsicht wird erzeugt, einschließlich Abstands- bzw. Distanzinformation in Form einer Skala 58, wobei das Hindernis 56 als ein Pop-Up-Objekt wirkt und Fußgänger hervorgehoben werden. Der Rückwärtsfahrpfad 70 wird mit einer Grenzlinie gezeichnet und wird in Echtzeit angepasst mit dem Lenkwinkel 67 des Fahrzeugs 10. Die nicht fotorealistische Darstellung der 7, die auf der Anzeigeeinheit 14 angesehen wird, ist für den Bediener viel leichter verständlich und hilfreich, während das Fahrzeug 10 rückwärts gefahren wird. Zu der gleichen Zeit, zu der 7 auf der Anzeigeeinheit 14 gezeigt ist, wird das ursprüngliche Bild mit detaillierter Information auf der Anzeigeeinheit 14 als visuelle Unterstützung angezeigt. Die ursprünglichen Bildpixel können in der Draufsichtperspektive überlagert werden, um eine echte Szene aus der Draufsicht, die in 6B gezeigt ist, zu synthetisieren.
Aus der obigen Beschreibung der Erfindung wird der Fachmann Verbesserungen, Änderungen und Modifikationen erkennen. Solche Verbesserungen, Änderungen und Modifikationen innerhalb des Fachgebietes sollen von den angehängten Ansprüchen abgedeckt werden.

Claims

Ein Bildverbesserungssystem (12) für ein Fahrzeug, das Folgendes aufweist: eine Anzeigeeinheit (14) für das Anzeigen modifizierter Bilder, die durch das Bildverbesserungssystem verbessert wurden; eine Abbildungseinrichtung (20) zum Empfangen erfasster Bilder, die durch das Bildverbesserungssystem verbessert wurden; ein Bildverbesserungsmodul (26) in Kommunikation mit der Anzeigeeinheit (14) und der Abbildungseinrichtung (20), so dass Pixel, die in den erfassten Bildern gelegen sind, verbessert werden durch Repositionieren der Pixel von einer ersten Position zu einer zweiten Position über eine Transferoperation, um die modifizierten Bilder zu bilden, wobei die erste Position ausgedrückt wird durch (X_a, Y_a) und die zweite Position ausgedrückt wird durch (X_c, Y_c), und wobei die Transferoperation ausgeführt wird gemäß den Formeln: X_c = s·cosφ·X_a·(1 + k₁ρ² + k₂ρ⁴) und Y_c = (s·sinφ·X_a + cosφ·Y_a)(1 + k₁ρ² + k₂ρ⁴). wobei s das Seitenverhältnis der Pixel, φ der Berichtigungswinkel der Transferoperation und k₁ und k₂ die Objektivverzerrungskoeffizienten sind und wobei
Bildverbesserungssystem nach Anspruch 1, wobei die Transferoperation mindestens einen Koeffizienten aufweist, der durch Analysieren der erfassten Bilder eingestellt wird.
Bildverbesserungssystem nach Anspruch 2, wobei das Analysieren der erfassten Bilder einen Kalibrierungsprozess aufweist, wobei die Koeffizienten der Transferoperation bestimmt werden durch Lokalisieren von im Wesentlichen horizontalen und/oder vertikalen Linien in den erfassten Bildern.
Bildverbesserungssystem nach Anspruch 3, wobei die im Wesentlichen vertikalen und/oder horizontalen Linien Linien aufweisen, die ein Verzerrungszentrum über das gesamte Bild der erfassten Bilder bilden.
Bildverbesserungssystem nach Anspruch 1, wobei die Transferoperation weiter eine inverse Perpektivabbildungstransformation aufweist.
Bildverbesserungssystem nach Anspruch 1, wobei die zweite Position ausgedrückt wird als (X_p, Y_p) und die Transferoperation ausgeführt wird gemäß den Formeln, wobei „Z” der Tiefenparameter der inversen Perspektivprojektion ist, f der Abstand einer Bildebene zum Ursprung ist und (X_c, Y_c) die aus der Transferopertaion gemäß Anspruch 1 erhaltenen Koordinaten sind: X_p = fX_c/Z und Y_p = fY_c/Z
Bildverbesserungssystem nach Anspruch 1, wobei die erfassten Bilder kontinuierliche Echtzeit-Bilder sind, die durch die Abbildungseinrichtung empfangen werden.
Bildverbesserungssystem nach Anspruch 1, wobei die Abbildungsvorrichtung mindestens eine CMOS- oder CCD-Sensor-basierte Kamera aufweist.
Bildverbesserungssystem nach Anspruch 1, wobei das Bildverbesserungsmodul modifizierte Bilder erzeugt, die eine Draufsicht und eine Seitenansicht relativ zu dem Fahrzeug auf der Anzeigeeinheit erzeugen, so dass die Distanz von einer hinteren Stelle des Fahrzeugs zu einem Objekt, dass bei irgendeiner Distanz im Abbildungsvorrichtungssichtfeld gelegen ist, in den modifizierten Bildern linear proportional ist.
Bildverbesserungssystem nach Anspruch 1, wobei die Transferoperation weiter das neue Abbilden von Boden- und Nicht-Boden-Bildern aufweist, um die modifizierten Bilder zu bilden.
Bildverbesserungsvorrichtung nach Anspruch 1, wobei die Transferoperation weiter das Analysieren von Fahrzeuglenkwinkelinformation für das Berechnen des Rückfahrpfades aufweist, der in den modifizierten Bildern dargestellt ist.
Ein Verfahren zum Verbessern eines Bildes in einem Fahrzeugabbildungssystem, das die folgenden Schritte aufweist: Empfangen von erfassten Bildern durch mindestens eine Abbildungsvorrichtung, die auf dem Fahrzeug gelegen ist; Kommunizieren der erfassten Bilder an ein Bildverbesserungsmodul; Verbessern der erfassten Bilder, so dass Pixel angeordnet in den erfassten Bildern geclustert und segmentiert werden, um mindestens eine interessierende Fläche zu bilden, und zwar durch Bezugnahme auf die Pixel von einer Grundebene in den erfassten Bildern und Pixel, die in den erfassten Bildern gelegen sind, von einer ersten Position zu einer zweiten Position durch eine Transferoperation repositioniert werden, um modifizierte Bilder zu bilden; wobei die erste Position ausgedrückt wird durch (X_a, Y_a) und die zweite Position ausgedrückt wird durch (X_c, Y_c), und wobei die Transferoperation ausgeführt wird gemäß den Formeln: X_c = s·cosφ·X_a·(1 + k₁ρ² + k₂ρ⁴) und Y_c = (s·sinφ·X_a + cosφ·Y_a)(1 + k₁ρ² + k₂ρ⁴). wobei s das Seitenverhältnis der Pixel, φ der Berichtigungswinkel der Transferoperation und k₁ und k₂ die Objektivverzerrungskoeffizienten sind und wobei
Kommunizieren der modifizierten Bilder vom Verbesserungsmodul an die Anzeigeeinheit, die in dem Fahrzeug gelegen ist.
Verfahren nach Anspruch 12, das weiter den folgenden Schritt aufweist: Anpassen bzw. Einstellen von mindestens einem Koeffizienten in der Transferoperation durch Analysieren der erfassten Bilder.
Verfahren nach Anspruch 13, wobei der Schritt des Analysierens der erfassten Bilder weiter einen Kalibrierungsschritt aufweist, wobei Koeffizienten in der Transferoperation durch Lokalisieren von im Wesentlichen horizontalen und/oder im Wesentlichen vertikalen Linien in den erfassten Bildern definiert werden.
Verfahren nach Anspruch 12, wobei der Schritt des Durchführens einer Transferoperation, um modifizierte Bilder zu bilden, weiter erreicht wird durch Ausführen einer inversen Perpektivtransformation.
Verfahren nach Anspruch 13, wobei der Schritt des Durchführens einer Transferoperation, um modifizierte Bilder zu bilden, weiter erreicht wird durch Ausführen einer inversen Perpektivtransformation.
Bildverbesserungssystem zum Vorsehen von Bildern, die von einer Abbildungseinrichtung empfangen werden, die auf einem Fahrzeug gelegen ist, wobei das Bildverbesserungssystem Folgendes aufweist: mindestens eine Kamera, die auf dem Fahrzeug gelegen ist, wobei die Kamera eine Pixelanordnung zum Empfangen von erfassten Echtzeit-Bildern innerhalb des Kamerasichtfeldes aufweist; eine Berechnungseinheit, die ein Bildverbesserungsmodul in Kommunikation mit mindestens einer dieser Kameras aufweist zum Verbessern der erfassten Bilder durch Repositionieren von Pixeln in den erfassten Bildern von einer ersten Position, repräsentiert durch Koordinaten (x, y und z) zu einer zweiten Position, innerhalb einer neu abgebildeten Domäne, gemäß einer Transferoperation, die durch das Bildverbesserungsmodul durchgeführt wird, so dass das Repositionieren der Pixel verbesserte Bilder bildet; wobei die zweite Position ausgedrückt wird durch x_p, y_p und die Transformation gemäß folgenden Gleichungen ausgeführt wird: x_p = fx/z und y_p = fy/z wobei der Parameter f die Distanz von der neu abgebildeten Domäne zu einem Ursprung entlang einer optischen Achse der Abbildungseinrichtung ist; und eine Anzeigeeinheit in Kommunikation mit der Berechnungseinheit, die innerhalb des Fahrzeugs gelegen ist, zum Anzeigen der verbesserten Bilder.
Bildverbesserungssystem nach Anspruch 17, wobei mindestens ein Koeffizient in der Transferoperation angepasst bzw. eingestellt wird durch Analysieren der erfassten Bilder.
Bildverbesserungssystem nach Anspruch 18, wobei die erste Position ausgedrückt wird durch (X_a, Y_a) und die zweite Position ausgedrückt wird als (X_c, Y_c) und wobei die Transferoperation durchgeführt wird gemäß folgenden Formeln: X_c = s·cosφ·X_a·(1 + k₁ρ² + k₂ρ⁴) und Y_c = (s·sinφ·X_a + cosφ·Y_a)(1 + k₁ρ² + k₂ρ⁴).
Bildverbesserungsvorrichtung nach Anspruch 17, wobei die Transferoperation weiter eine inverse Perspektivabbildungstransformation aufweist.
Rückblickbildverbesserungssystem für ein Fahrzeug, das Folgendes aufweist: eine Anzeigeeinheit für das Anzeigen modifizierter Bilder, die durch ein Bildverbesserungssystem verbessert wurden; eine Abbildungseinrichtung für das Empfangen erfasster Bilder, die durch das Bildverbesserungssystem verbessert wurden; ein Bildverbesserungsmodul in Kommunikation mit der Anzeigeeinheit und der Abbildungseinrichtung, so dass Pixel, die in den erfassten Bildern gelegen sind, geclustert und segmentiert werden, um mindestens einen Bereich von Interesse zu bilden und zwar durch Referenzieren der Pixel von einer Bodenebene in den erfassten Bildern, um die modifizierten Bilder zu bilden, wobei die geclusterten und segmentierten Pixel verwendet werden, um Boden- und Nicht-Boden-Regionen zu trennen, um Bereiche von Interesse zu erhalten.
Rückblickbildverbesserungssystem nach Anspruch 21, wobei die geclusterten und segmentierten Pixel in dem erfassten Bild in Hinblick auf ähnliche Bildhinweise evaluiert werden.
Rückblickbildverbesserungssystem nach Anspruch 22, wobei die einzelnen Bildhinweise ähnliche Farbbeschaffenheit und/oder Pixelintensität aufweisen.
Rückblickbildverbesserungssystem nach Anspruch 21, wobei der/die Bereich/e von Interesse Pop-Up-Objekte in den modifizierten Bildern, die auf der Anzeigeeinheit angezeigt werden, bilden.
Rückblickbildverbesserungssystem nach Anspruch 24, wobei die Pop-Up-Objekte in den modifizierten Bildern relativ zu der Bodenebene gelegen sind.
Rückblickbildverbesserungssystem nach Anspruch 24, das weiter Folgendes aufweist: eine Berechnungseinheit, die dazu in fähig ist, eine Kollision mit den Pop-Up-Objekten vorherzusagen basierend auf dem Lenkwinkel des Fahrzeugs und der Lage der Pop-Up-Objekte im modifizierten Bild.
Rückblickbildverbesserungssystem nach Anspruch 26, wobei das modifizierte Bild eine Skala zum Anzeigen der Distanz zwischen den Pop-Up-Objekten und dem Fahrzeug enthält.