-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein Bilderfassungssystem, ein in einem Bilderfassungssystem betreibbares Verfahren zum Liefern eines korrigierten Bilds und ein Computerprogrammprodukt.
-
Stand der Technik
-
Fahrzeugsysteme, wie etwa automatische Notbrems- und autonome Park- oder Fahrsysteme hängen von Bilderfassungssystemen ab, um Unterstützung für den Betrieb des Fahrzeugs zu liefern. Derartige Bilderfassungssysteme umfassen typischerweise ein oder mehrere Kameramodule, die um ein Fahrzeug herum angeordnet sind und die eingerichtet sind zum Aufnehmen von Bildern der Umgebung des Fahrzeugs, bevor derartige Bilder zur Analyse an eine Auswertungseinheit geliefert werden. Typischerweise umfassen derartige Kameramodule ein oder mehrere optische Elemente, beispielsweise Linsen, Spiegel, Prismen oder Filter, die von dem Bildsensor entlang einer optischen Achse beabstandet sind. Wo derartige Bilderfassungssysteme an einer oder gegen eine Oberfläche des Fahrzeugs montiert sind, um einen Teil einer äußeren Umgebung mit Hinblick auf Detektieren von Objekten, wie etwa anderen Fahrzeugen, Menschen oder Verkehrssteuerungsvorrichtungen, in der Nähe des Fahrzeugs abzubilden, umfassen diese typischerweise Kameramodule mit einem weiten Blickfeld (Wide Field Of View - WFOV), beispielsweise 150° oder größer.
-
Wo Bilderfassungssysteme ein Kameramodul umfassen, das ein Weit-/Ultraweitwinkel-Optiksystem beinhaltet, können diese Optiksysteme eine große Verzerrung in die aufgenommenen Bilder einführen, so dass aufgenommene Objekte in derartigen Bildern verdreht oder transformiert erscheinen. Es ist bekannt, derartige Bilder vor Weiterverarbeitung oder Anzeige unter Verwendung eines Satzes von Verzerrungskorrekturparametern zu korrigieren.
-
Kameramodule sind Temperaturänderungen von deren Betriebsumgebung ausgesetzt und Wärmeausdehnung/-schrumpfung von deren Komponenten kann beispielsweise dazu führen, dass die Bildebene für eine gegebene Linsenaktuatoreinstellung von der Sensoroberfläche abweicht, wodurch eine Verschlechterung der Bildqualität verursacht wird. Dies kann die Fähigkeit eines Bilderfassungssystems beeinträchtigen, Objekte in der Nähe des Fahrzeugs zu detektieren, und somit die Zuverlässigkeit des Systems, die von diesen Informationen abhängt.
-
DE 102008047277 stellt eine Vorrichtung bereit, die eine Trägeranordnung aufweist, die ein Objektiv zum Ändern einer Fokusebene relativ zu einem Bildsensor hält. Das Objektiv ist in einer Sektion eines Kompensationskörpers angeordnet, der sich entlang einer optischen Achse erstreckt. Der Kompensationskörper beinhaltet ein Material mit einem derartigen Wärmeausdehnungskoeffizienten, dass eine temperaturabhängige Änderung der Anordnung der Fokusebene an der optischen Komponente ausgeglichen wird, um eine temperaturabhängige Verzerrung von Bildern zu vermeiden.
-
Gleichermaßen wirkt
US 2015/0326765 den Einflüssen von Temperaturänderungen durch die Materialien, Gestalten und/oder relativen Positionen der Komponenten des Linsenobjektivs entgegen.
-
Eine Aufgabe der vorliegenden Erfindung besteht im Verbessern der Robustheit von Bilderfassungssystemen gegenüber Temperaturänderungen in deren Betriebsumgebung.
-
Kurzdarstellung
-
Dementsprechend stellt die Erfindung in einem ersten Aspekt der Anmeldung ein Verfahren bereit, das in einem Bilderfassungssystem betreibbar ist, zum Liefern eines korrigierten Bilds, wie in Anspruch 1 dargelegt ist.
-
In einem zweiten Aspekt ist ein Bilderfassungssystem bereitgestellt, wie in Anspruch 12 dargelegt ist.
-
In noch einem weiteren Aspekt ist ein Computerprogrammprodukt bereitgestellt, das, wenn es auf einer Rechenvorrichtung ausgeführt wird, eingerichtet ist zum Durchführen des Verfahrens von Anspruch 1.
-
Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.
-
Ausführungsformen der vorliegenden Erfindung können temperaturabhängige Verzerrung von Bildern durch ein Bilderfassungssystem korrigieren, ohne von einer expliziten Messung der Betriebstemperatur abzuhängen.
-
Insbesondere können Ausführungsformen der vorliegenden Erfindung laterale Ausdehnung/Schrumpfung eines Bildsensors aufgrund von Betriebstemperaturänderungen kompensieren.
-
Figurenliste
-
Eine Ausführungsform der Erfindung wird nun beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, in denen Folgendes gilt:
- 1 veranschaulicht schematisch ein Fahrzeug, das ein Kameramodul umfasst, welches mit einer Verarbeitungseinrichtung verbunden ist, gemäß einer Ausführungsform der Erfindung;
- 2 veranschaulicht schematisch ein Kameramodul, das einen Bildsensor und eine Linse umfasst, die ein darauf markiertes Verzerrungskorrekturmuster aufweist, gemäß einer Ausführungsform der Erfindung.
- 3 veranschaulicht ein Bild einer Szene, die mehrere nicht rechteckige interessierende Bereiche beinhaltet, die sich von einem Verzerrungszentrum erstrecken, gemäß einer Ausführungsform der Erfindung;
- 4 veranschaulicht ein innerhalb eines Kameramoduls eingesetztes Verzerrungskorrekturmuster, gemäß einer Ausführungsform der Erfindung;
- 5 veranschaulicht ein Testbild eines Kalibrierungsretikels, das ein Bild eines dem Muster von 4 ähnlichen Verzerrungskorrekturmusters beinhaltet; und
- 6 ist ein Flussdiagramm, das einen Kalibrier- und Bildkorrekturprozess für ein Bilderfassungssystem veranschaulicht, gemäß einer Ausführungsform der Erfindung.
-
Ausführliche Beschreibung der Zeichnungen
-
Nehmen wir nun Bezug auf 1, wo ein schematisches Fahrzeug 300 mit einem Bilderfassungssystem gezeigt ist, das ein Kameramodul 100 und einen Prozessor 400 beinhaltet, gemäß einer Ausführungsform der Erfindung. Bei dieser Ausführungsform ist das Kameramodul 100 an der Front des Fahrzeugs 300 angeordnet, so dass Bilder von zumindest einem Teil einer sich an der Front des Fahrzeugs 300 befindenden Umgebung von dem Kameramodul 100 aufgenommen und an den Prozessor 400 geliefert werden können, mit Hinblick auf Korrigieren der erfassten Bilder.
-
Es versteht sich, dass zusätzlich oder alternativ Kameramodule an den Seiten oder dem Heck des Fahrzeugs 300 angeordnet werden könnten und beispielsweise zum Erschaffen einer Ansicht einer Umgebung des Fahrzeugs aus der Vogelperspektive verwendet werden können. Der Prozessor 400 kann sich irgendwo in dem Fahrzeug 300 befinden und der Prozessor 400 kann in das Kameramodul 100 integriert sein oder kann als eine separate Einheit und/oder als mehrere Komponenteneinheiten ausgebildet sein.
-
Es wird Bezug genommen auf 2, wo ein Schema des Kameramoduls 100 gezeigt ist, das einen Bildsensor 140 und eine Linse 150 als Komponente eines Optiksystems, die ein darauf markiertes Verzerrungskorrekturmuster 130 aufweist, umfasst.
-
Es sei angemerkt, dass das Kameramodul 100 in der vorliegenden Anmeldung eine beliebige Art von Bildsensor 140 umfassen kann, beispielsweise eine Charge Coupled Device (CCD) oder dergleichen. Es versteht sich, dass der Bildsensor in der Lage ist zum Aufnehmen eines Bilds im sichtbaren und/oder nicht sichtbaren Spektrum und dass das Bilderfassungssystem eine beliebige Kombination von bereitgestellten Farb- (z. B. RGB) oder Intensitätsbildebeneninformationen (z. B. YCC, YUV oder LAB) verwenden kann. Bildinformationen können entweder in einem Rohzustand geliefert werden und/oder diese können transformiert werden, um beispielsweise eine Histogramm-von-Gradienten-Karte bzw. HOG-Karte, DCT-Koeffizienten, eine Hough-Transformation usw. für spätere Verarbeitung zu liefern.
-
Bei dieser Ausführungsform ist das die Linse 150 des Kameramoduls 100 beinhaltende Optiksystem ein Weitwinkeloptiksystem, wie etwa ein Fischaugenobjektiv, das ein Winkelblickfeld (angular Field of View - angular FOV) aufweist, das dafür designt ist, einen Bereich von mindestens über 150° und potentiell bis zu 190° einzuschließen. Bei dieser Ausführungsform ist dieser Winkel mit Bezug auf die Horizontalebene angegeben und das Vertikal-FOV kann anders sein, typischerweise kleiner als das Horizontal-FOV. Es versteht sich, dass andere unterschiedliche/zusätzliche Linsen oder Linsensätze, Filter, refraktive oder diffraktive Elemente, oder reflektierende Elemente, wie etwa Spiegel, als die Linse 150 innerhalb des Optiksystems des Kameramoduls angeordnet sein können, um Licht auf den Bildsensor 140 zu richten.
-
Die Elemente des Optiksystems sind von dem Bildsensor 140 entlang einer optischen Achse beabstandet und weisen eine nominelle Raum- und Ausrichtungsbeziehung zum Bildsensor 140 auf, obgleich es sich versteht, dass es in Abhängigkeit von der Qualität des Herstellungs- und Zusammenbauprozesses einige Variationen zwischen jedem Exemplar des Optiksystems geben kann, was individuelle Kalibrierung von zusammengebauten Kameramodulen erfordert, was im Folgenden ausführlicher beschrieben wird.
-
Die Komponenten des Optiksystems 100 bestimmen die Verzerrung innerhalb der erfassten Bilder, wobei eine Verzerrung mit kleinerem FOV typischerweise kleiner ist. 3 veranschaulicht ein Bild 200 einer mit einem typischen WFOV-Optiksystem aufgenommenen Szene. Die Umrisse 220 veranschaulichen allgemein den größten Anteil des erfassten Bilds, der extrahiert werden kann, um ein unverzerrtes oder abgeflachtes rechteckiges Bild der Szene zu erstellen, wobei potentielle Fehlausrichtung der optischen Elemente innerhalb des Optiksystems oder tatsächliche Fehlausrichtung des Optikmoduls berücksichtigt wird, wenn es in einem Fahrzeug installiert wird.
-
Es versteht sich daher, dass, falls ein oder mehrere optische Elemente der Optikbaugruppe 100 nicht zentriert oder orthogonal zur optischen Achse ausgerichtet sind, ein Verzerrungszentrum des erfassten Bilds möglicherweise nicht mit einem Zentrum des Bildsensors 140 fluchtet. Von daher kann sich ein Umriss der Pixel, der einen interessierenden Bereich (Region Of Interest - ROI) innerhalb des Blickfelds der Kamera, welcher in ein abgeflachtes rechteckiges Bild der Szene transformiert werden kann, umfasst, relativ zu dem Zentrum des Bildsensors nach oben, nach unten, nach rechts oder links verschieben.
-
Falls insbesondere ein Bildmodul nicht unter einer Nennausrichtung innerhalb eines Fahrzeugs installiert ist, kann es nötig sein, den ROI nach oben, unten, nach links oder rechts anzupassen, um den ROI innerhalb des FOV anzupassen.
-
Allerdings wird dies nicht notwendigerweise den Ort des Verzerrungszentrums des Bilds auf dem Bildsensor 140 beeinflussen.
-
Weiterhin versteht sich, dass Variationen der Betriebstemperatur des Kameramoduls 100 seitliche Verzerrung des Bildsensors 140 relativ zur optischen Achse sowie axiale Verzerrung der Optikbaugruppe verursachen können, trotz des Kompensationsmechanismus, wie im Stand der Technik beschrieben ist. Ebenso wie nicht radiale Verzerrung kann dies auch Skalierungsfolgen mit erfassten Bildern verursachen. WFOV-Optiksysteme können insbesondere in dem Maße für diese Skalierungsverzerrung empfänglich sein, dass Messungen und/oder Berechnungen auf der Grundlage von durch solche Optiksysteme erfassten Bilder unzuverlässig sein könnten, wenn diese temperaturbezogene Skalierungsverzerrung nicht berücksichtigt wird. Somit können beispielsweise manche Auswertungssysteme anthropometrische Informationen oder andere Kenntnisse der realen Objektgröße verwenden, um eine Distanz eines Objekts zu einem Kameramodul auf der Grundlage einer abgebildeten Größe des Objekts zu bestimmen. Falls diese Größe aufgrund der temperaturbezogenen Verzerrung des Kameramoduls variiert, einschließlich lateraler Verzerrung des Bildsensors 140, dann könnten sich solche Messungen als unzuverlässig erweisen und die Sicherheit des Fahrzeugs gefährden.
-
Von daher kann es nicht nur wünschenswert sein, die Position eines ROI innerhalb eines FOV eines Bildsensors 140 anzupassen, um Ausrichtungsschwierigkeiten mit dem Kameramodul zu berücksichtigen, sondern auch die Größe und möglicherweise die Gestalt des ROI anzupassen, um Änderungen an für verschiedene Betriebstemperaturen des Kameramoduls 140 erforderlicher Verzerrungskorrektur zu berücksichtigen.
-
Obgleich es möglich sein kann, eine Temperaturmessung für das Kameramodul vorzunehmen, um das Ausmaß der temperaturbezogenen Verzerrung des Kameramoduls während des Betriebs zu bestimmen, versteht sich, dass die Einbeziehung eines Temperatursensors innerhalb eines Kameramoduls zu den Herstellungskosten eines solchen Moduls beiträgt.
-
Andererseits kann man sehen, dass, selbst wenn jegliches Exemplar eines Kameramoduls in einer nominell korrekten Position zusammengebaut und jedes Kameramodul in einer nominell korrekten Ausrichtung installiert werden könnte, aufgrund der durch das Optiksystem verursachten Verzerrung beispielsweise einige Anteile, wie durch die Ziffern 230 der erfassten Bildinformationen gekennzeichnet sind, niemals zu einem endgültig korrigierten Bild beitragen werden.
-
Zurück zu 2, wo in Ausführungsformen der vorliegenden Erfindung ein Anzeiger, in diesem Falle ein Verzerrungskorrekturmuster 130, auf einem peripheren Anteil der Linse 150 ausgebildet ist, so dass es sich innerhalb des FOV des Optiksystems aber außerhalb jeglichen ROI auf dem Bildsensor 140, was für nachfolgende Bildkorrektur erforderlich sein könnte, befindet. Somit verändert das Bild des Anzeigers 130 nicht den Anteil des innerhalb des ROI aufgenommenen Bilds. Es sei angemerkt, dass der Anzeiger in Varianten der Ausführungsform auf eine beliebige Weise auf oder in einer Komponente des Optiksystems ausgebildet sein könnte, so dass er außerhalb des ROI auf dem Bildsensor 140 abgebildet wird.
-
Somit kann das Muster 130 physisch markiert, aufgemalt, eingraviert oder anderweitig auf der Linse 150 ausgebildet werden. Der Anzeiger kann im sichtbaren oder nicht sichtbaren Spektrum liegen. Beispielsweise kann die Linse 150 unter Verwendung eines Farbstoffs ausgebildet sein, der nur im nicht sichtbaren Lichtspektrum detektierbar ist.
-
Auf jeden Fall ist das Muster 130 dafür designt, sich von Bildinformationen, die aus einer normalen Betriebsumgebung erfasst werden, oder von einem Hindernis bzw. Hindernissen für durch die Linse 150 hindurchgehendes Licht, wie etwa Schmutz, Regen, Sand oder dergleichen, zu unterscheiden, so dass es sofort und unzweideutig innerhalb eines erfassten Bilds identifiziert werden kann. Dementsprechend ist das Muster 130 in der Ausführungsform als ein 4-farbiges rechteckiges Muster designt, wobei jede der 4 verschiedenen Farben einen jeweiligen Quadranten des Musters ausfüllt. Ein in dieser Ausführungsform verwendetes Beispielmuster 130 ist in 4 gezeigt, wobei die Farben durch unterschiedliche Schattierungen angezeigt werden.
-
Es versteht sich, dass in Varianten der Ausführungsform mehr als ein optisches Element des Optiksystems einen Anzeiger darauf aufweisen kann.
-
Obgleich, wie oben erwähnt, Elemente des Optiksystems eine nominelle Raum- und Ausrichtungsbeziehung aufweisen, kann jegliche leichte Raum- und Ausrichtungsvariation, wie etwa variation der Linsenausrichtung entlang der optischen Achse und/oder quer zur optischen Achse zu einem Ort eines Verzerrungszentrums führen, der sich von einem erwarteten Ort, typischerweise im Zentrum des Bildsensors 140, unterscheidet. Der Ort des Verzerrungszentrums kann sich somit unter Exemplaren des Kameramoduls unterscheiden.
-
Es ist daher bekannt, die Kameramodule 100 durch Platzieren eines zusammengebauten Moduls in einer Haltevorrichtung mit einem sich innerhalb des Blickfelds des Kameramoduls befindlichen Kalibrierungsretikel zu kalibrieren, wobei sich das Kalibrierungsretikel in einem bekannten Abstand und/oder einer bekannten Ausrichtung zur Haltevorrichtung befindet.
-
5 veranschaulicht ein typisches Bild 200 eines solchen Kalibrierungsretikels, das mit dem Kameramodul 100 der 2 während der Kalibrierung erfasst wurde und ein Bild des Verzerrungskorrekturmusters 130 beinhaltet. Das abgebildete Kalibrierungsretikel erstreckt sich um ein Verzerrungszentrum 210 herum, so dass typischerweise, wie in 6 veranschaulicht ist, individuelle Kameramodule durch Erfassen eines Bilds eines solchen Kalibrierungsretikels kalibriert werden können, Schritt 10, und in Kenntnis der Geometrie und des relativen Orts bzw. der relativen Ausrichtung des Retikels zum Kameramodul, kann ein Kalibrierungsprozessor dann bestimmen, wo sich das Verzerrungszentrum 210 auf dem Bildsensor 140 befindet, Schritt 12, und diese Informationen mit dem Kameramodul speichern.
-
Somit kann bei Verwendung des Kameramoduls die Position des ROI, wie in 3 angegeben, in Übereinstimmung mit dem Verzerrungszentrum 210, angepasst werden, beispielsweise kann die Position des ROI zumindest anfänglich zur Bildkorrektur während Verwendung des Kameramoduls 140 um das Verzerrungszentrum 210 herum zentriert werden. (Wie oben erwähnt wurde, kann der ROI nachfolgend angepasst werden, um die Ausrichtung des Kameramoduls 140 innerhalb eines Fahrzeugs zu berücksichtigen, wobei dies allerdings nicht das Verzerrungszentrum beeinflusst.)
-
Obgleich das Verzerrungskorrekturmuster 130 nicht notwendigerweise erforderlich ist, wenn der Kalibrierungsprozess 1 für ein individuelles Kameramodul 140 bei der Herstellung durchgeführt wird, so kann er für eine Charakterisierung von Kameramodulen einer gegebenen Art und zur Erstellung eines oder mehrerer Sätze von Verzerrungskorrekturparametern verwendet werden, welche dann während der Verwendung eines Kameramoduls 140 dieser Art zum Korrigieren, beispielsweise zum Abflachen, erfasster Bilder eingesetzt werden sollen.
-
Wiederum unter Bezugnahme auf 6 wird während eines Charakterisierungsprozesses 2 eine Betriebstemperatur für die Umgebung, in welcher eine Charakterisierung durchgeführt wird, eingestellt, Schritt 20. Diese Umgebung kann typischerweise dieselbe Umgebung und dieselbe Haltevorrichtung, die für den Kalibrierungsprozess 1 verwendet wurde, sein. Von daher kann es wünschenswert sein, in der Lage zu sein, die Umgebung in einer Kammer einzuschließen, deren Temperatur geregelt werden kann. Die Betriebstemperatur des in der Kammer platzierten Kameramoduls kann beispielsweise durch Folgendes bestimmt werden: passives Abbilden des Kameramoduls unter Verwendung einer Infrarotkamera; Überwachen der Temperatur der Kammer, so dass die Temperatur des Kameramoduls von der Temperatur der Kammer abgeleitet werden kann; zeitweiliges Anbringen eines Temperatursensors an dem Hauptteil eines Kameramoduls; oder eine beliebige Kombination von diesen oder durch andere Temperaturmesstechniken. Auf jeden Fall kann dies auf eine Reihe von Wegen vorgenommen werden, ohne dass es erforderlich wird, dass ein Temperatursensor innerhalb eines Kameramoduls 140 integriert werden muss.
-
Ein Bild des Kalibrierungsretikels und Einbeziehen des Verzerrungskorrekturmusters 130 wird dann erfasst, Schritt 22. Unter Verwendung derselben Techniken wie für Schritt 12 kann dann ein Verzerrungszentrum für das Kalibrierungsmodul bestimmt werden, 24. Es sei angemerkt, dass die beschrieben Ausführungsform auf einer Annahme basiert, dass das Verzerrungszentrum für ein beliebiges gegebenes Exemplar eines Kameramoduls 100 über einen Betriebstemperaturbereich hinweg konstant ist, oder dass sich dies mit sich ändernder Temperatur zumindest weniger ändert als die abgebildete Position des Verzerrungskorrekturmusters 130. Nichtdestotrotz versteht es sich, dass unter Verwendung von Schritt 24 eine Ortsvariation des Verzerrungszentrums mit der Temperatur bestimmt und danach verwendet werden könnte.
-
Man wird sehen, dass die Schritte 22 und 24 den Schritten 10 und 12 entsprechen, und somit ist es nicht nötig, den Kalibrierungsprozess 1 für jedwedes Kameramodul zu wiederholen, das für den Charakterisierungsprozess 2 ausgewählt wurde.
-
In Schritt 26 bestimmt ein Prozessor die Verzerrungskorrekturparameter, die zum Abflachen des durch das Kameramodul in Schritt 22 erfassten Bilds nötig sind. In Schritt 28 können diese Parameter nun mit einer Distanz zwischen dem Ort des Verzerrungskorrekturmusters 130 in dem in Schritt 22 erfassten Bild und dem für das Kameramodul in Schritt 24 bestimmten Verzerrungszentrum verknüpft werden. Falls dieselben Informationen von anderen Testkameramodulen erfasst wurden, können diese beispielsweise unter Verwendung einer Regressionsanalyse auf der Grundlage der zusätzlichen von einem aktuellen Kameramodul erfassten Informationen angepasst werden. Sobald sie abgeschlossen ist, kann die Prozedur entweder durch Wechseln des Kameramoduls, Schritt 30, und Wiederholen der Schritte 22-28 bei einer gegebenen Betriebstemperatur; oder Ändern der Betriebstemperatur, Schritt 20, für das gegebene Kameramodul weitergeführt werden, um Charakterisierungsinformationen für eine Charge aufzubauen. Somit versteht sich, dass, falls es einfacher ist, ein Kameramodul innerhalb der Haltevorrichtung zu wechseln als die Temperatur zu ändern, eine Reihe von Kameramodulen zuerst bei einer festen Temperatur getestet werden kann, bevor die Temperatur geändert wird und die Kameramodule neu getestet werden.
-
Auf jeden Fall wird, sobald eine Gruppe von Testkameramodulen über einen Bereich von Temperaturen hinweg getestet wurde, ein Satz von Verzerrungskorrekturparametern erzeugt worden sein, die jeweils mit einer Distanz zwischen einem Ort des Verzerrungskorrekturmusters 130 und dem Verzerrungszentrum für eine jeweilige Temperatur verknüpft sind. Auf dieselbe Weise wie das tatsächliche Verzerrungszentrum können diese getrennten Sätze von Verzerrungskorrekturparametern zusammen mit deren verknüpften Distanzen im Zusammenhang mit einem gegebenen Kameramodul für nachfolgende Verwendung während Normalbetriebs des Kameramoduls 140 gespeichert werden.
-
Es versteht sich, dass die Schritte 20-30 für jedes zu kalibrierende Kameramodul ausgeführt werden könnten, wobei dies allerdings erheblich zeitaufwändiger sein würde als einfach ein gegebenes Kameramodul unter Verwendung der Schritte 10-12 zu kalibrieren. Aus diesem Grunde wird der Charakterisierungsprozess 2 bevorzugt nur für eine begrenzte Anzahl repräsentativer Kameramodule aus einer Charge ausgeführt, wohingegen der die Schritte 10-12 umfassende Kalibrierungsprozess 1 für die verbliebenen Kameramodule einer Charge ausgeführt wird.
-
Die Distanz von dem Bild des Musters 130 zu dem Verzerrungszentrum 210 für jedes aus einer Vielzahl von Kameramodulen, verfügbar aus Schritt 24, kann verarbeitet werden, um beispielsweise einen Mittelwert, einen Medianwert oder einen korrelierten Distanzwert zu bestimmen, der für die Vielzahl von Distanzwerten der Charge von Kameramodulen für jede Betriebstemperatur repräsentativ ist; und diese Distanz wird mit einem verknüpften Satz von Verzerrungskorrekturcharakteristika gespeichert.
-
Es versteht sich, dass die Verzerrungskorrekturparameter neben dem Ort des Verzerrungszentrums, welches für jedes kalibrierte Kameramodul spezifisch ist, nicht nur die herkömmlichen zum Abflachen von WFOV-Bildern verwendeten Parameter umfassen können, sondern möglicherweise Skalierungsparameter, die seitliche Verzerrung des Bildsensor hinsichtlich der Temperatur berücksichtigen können.
-
Es versteht sich, dass, sobald die Verzerrungskorrekturparameter für zwei oder mehr getrennte Temperaturen bestimmt wurden, wie mit Bezug auf die Schritte 20-30 beschrieben wurde, eine Reihe von verschiedenen Optionen zum Einsetzen von diesen verwendet werden kann.
-
Somit kann dann, falls ersichtlich ist, dass die Verzerrungskorrekturparameter eine lineare Beziehung zur Temperatur aufweisen, die Distanz von dem Bild des Musters 130 zu dem Verzerrungszentrum 210 für jegliches erfasste Bild in eine Funktion zum Bestimmen der verschiedenen zum Korrigieren eines Bilds erforderlichen Verzerrungskorrekturparameter eingegeben werden.
-
Andernfalls können verschiedene diskrete Sätze von Verzerrungskorrekturparametern im Zusammenhang mit jedem Kameramodul gespeichert werden, ähnlich dem Ort des Verzerrungszentrums 210, und diese können, wie nachfolgend beschrieben, zum Bestimmen der zum Korrigieren jeglichen erfassten Bilds zu verwendenden Verzerrungskorrekturparameter verwendet werden.
-
Nehmen wir Bezug auf 6, wo ein Bildkorrekturprozess 3 für ein Bilderfassungssystem gezeigt ist, sobald es in einem betriebsbereiten Fahrzeug installiert ist. Somit ist das Kameramodul 100 kalibriert worden, um einen Ort für ein Verzerrungszentrum 210 der Optikbaugruppe auf dem Bildsensor bereitzustellen, Schritte 10-12, und ist mit den erforderlichen Verzerrungskorrekturparameterinformationen über einen Bereich von Betriebstemperaturen aus den Schritten 20-30 hinweg versehen worden. Bei Schritt 32 erfasst das System ein Bild von dem Kameramodul 100, das ein Bild des Musters 130 umfasst, das sich außerhalb des ROI befindet. Das System macht bei Schritt 34 mit Bestimmen einer Distanz von dem Bild des Musters 230 zu dem für das Kameramodul kalibrierten Verzerrungszentrum 210 weiter.
-
Bei Schritt 36 verwendet das System die bestimmte Distanz zum Bestimmen eines Satzes von Verzerrungskorrekturparametern, der zum Korrigieren des erfassten Bilds verwendet werden soll. Bei dieser Ausführungsform bestimmt das System einen Satz von Verzerrungskorrekturparametern aus einer Vielzahl von Sätzen von Verzerrungskorrekturparametern unter Verwendung der bestimmten Distanz. Wenn beispielsweise jeder aus der Vielzahl von Sätzen von Verzerrungskorrekturparametern mit einem jeweiligen Distanzwert verknüpft ist, kann unter Verwendung eines Distanzwerts, der mit der gespeicherten bestimmten Distanz übereinstimmt, eine Auswahl durchgeführt werden. Dies kann mit der Hilfe einer Nachschlagetabelle durchgeführt werden.
-
Alternativ oder zusätzlich kann eine Interpolation zwischen oder eine Extrapolation von Sätzen von mit jeweiligen Distanzwerten gemäß der bestimmten Distanz verknüpften Verzerrungskorrekturparametern durchgeführt werden. Dies kann einen optimalen Satz von Verzerrungskorrekturparametern liefern. Alternativ kann eine Berechnung des Satzes von Verzerrungskorrekturparametern als eine Funktion der bestimmten Distanz durchgeführt werden, beispielsweise unter Verwendung einer mathematischen Formel.
-
Bei Schritt 38 korrigiert das System zumindest einen Teil des ROI unter Verwendung des bestimmten Satzes von Verzerrungskorrekturparametern, um das korrigierte Bild zu liefern. Weitere Verarbeitung des korrigierten Bilds kann somit durchgeführt werden.
-
Es versteht sich, dass der ausgewählte ROI irgendeine beliebige Gestalt aufweisen kann, wobei sich die Gestalt des ROI von der Gestalt des korrigierten Bilds unterscheiden kann und dass Bildkorrektur Abbilden der Gestalt des ROI auf die unterschiedliche Gestalt des korrigierten Bilds unter Verwendung der auf der Grundlage der Distanz zwischen dem Ort des abgebildeten Verzerrungskorrekturmusters 130 und dem Verzerrungszentrum für das Kameramodul 140 bestimmten Verzerrungskorrekturparameter umfasst.
-
Auch versteht sich, dass sich das Verzerrungszentrum in verschiedenen Exemplaren des Kameramoduls 140 relativ zu einem Ursprung im Zentrum des Bildsensors in einem anderen Quadranten befinden kann, wohingegen das Bild des Verzerrungskorrekturmusters wahrscheinlich immer in demselben Quadranten auftreten wird. Von daher muss der Ort des Verzerrungszentrums möglicherweise in denselben Quadranten wie das Bild des Verzerrungskorrekturmusters transformiert werden, bevor die Distanz zwischen den beiden, welche in Schritt 36 verwendet wird, bestimmt wird.
-
Es sei angemerkt, dass in dieser Ausführungsform, zwecks Erleichterung der Beschreibung, ein einziger ROI beschrieben ist. Allerdings können innerhalb eines gegebenen erfassten Bilds mehrere ROI definiert sein und entsprechend korrigiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008047277 [0005]
- US 2015/0326765 [0006]
