DE102006036933A1

DE102006036933A1 - Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern

Info

Publication number: DE102006036933A1
Application number: DE102006036933A
Authority: DE
Inventors: Renaud Dr. Debon
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2006-08-08
Filing date: 2006-08-08
Publication date: 2008-02-14
Anticipated expiration: 2026-08-09
Also published as: DE102006036933B4

Abstract

Bei einem Verfahren zur Erzeugung eines Gesamtbilds aus zumindest zwei überlappenden Einzelbildern, wobei die Einzelbilder durch an einem Kraftfahrzeug angeordnete Kameras erfasst und durch eine Bildverarbeitungseinrichtung zu dem Gesamtbild zusammengefügt werden und das Gesamtbild durch eine Anzeigeeinheit an den Fahrer des Kraftfahrzeugs ausgegeben wird, basiert die Bildverarbeitung durch die Bildverarbeitungseinrichtung auf den Schritten - geometrische Grobtransformation der Einzelbilder auf Basis von Parametern eines kameraspezifischen geometrischen Kalibrierungsmodells - geometrische Feinanpassung der Einzelbilder im Überlappungsbereich auf Basis von durch ein kameraunabhängiges Matching-Verfahren gewonnenen Parametern, - photometrische Anpassung der Einzelbilder zumindest im Überlappungsbereich auf Basis von durch einen im Wesentlichen im Überlappungsbereich vorgenommenen Helligkeitsvergleich der Einzelbilder gewonnenen Parametern.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Gesamtbilds aus zumindest zwei überlappenden Einzelbildern, wobei die Einzelbilder durch an einem Kraftfahrzeug angeordnete Kameras erfasst und durch eine Bildverarbeitungseinrichtung zu dem Gesamtbild zusammengefügt werden und das Gesamtbild durch eine Anzeigeeinheit an den Fahrer des Kraftfahrzeugs ausgegeben wird.
Ein solches Verfahren ist beispielsweise aus der WO 03/051671 A1 bekannt. Allerdings bietet die WO 03/051671 A1 keine zufriedenstellende Lösung für einen nahtlosen Übergang zwischen den Einzelbildern im Gesamtbild. Für den Betrachter des Gesamtbild ist es jedoch sehr störend und unter Umständen verwirrend, wenn der Gesamteindruck des Gesamtbilds durch sichtbare Nahtstellen zwischen den Einzelbildern beeinträchtigt wird.
Aus dem Stand der Technik sind grundsätzlich verschiedene Bildverarbeitungsmethoden bekannt, die ein nahtloses Zusammenfügen von Einzelbildern zu einem Gesamtbild erlauben würden. Allerdings sind die bekannten Verfahren nicht ohne Weiteres übertragbar auf den Anwendungsfall von Kameras an einem Kraftfahrzeug, deren Bilder beispielsweise zu einer Rundumsicht oder zu einem photorealistischen Bild des Kraftfahrzeugs inklusive seiner Umgebung aus einer Vogelperspektive zusammengefügt werden sollen. Beispielsweise steht in einem Kraftfahrzeug typischerweise nur eine verhältnismäßig geringe Rechenleistung zur Verfügung. Zudem ist nur ein sehr geringer Zeitversatz zwischen Bilderfassung und Fertigstellung des Gesamtbilds akzeptabel. Auch sind in unterschiedlichen Bereichen des Gesamtbilds unterschiedliche Genauigkeitsanforderungen zu stellen.
Aufgabe der Erfindung ist es, ein einfaches für automotive Anwendungen geeignetes Verfahren zu schaffen, durch welches Beeinträchtigungen des Gesamtbilds durch sichtbare Bildübergänge reduziert werden können.
Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Durch das erfindungsgemäße Verfahren kann ein Gesamtbild mit unsichtbaren bzw. kaum sichtbaren Übergängen zwischen den Einzelbildern erzeugt werden. Die zur Laufzeit im Kraftfahrzeug erforderliche Rechenleistung ist verhältnismäßig gering, da wesentliche Arbeitsschritte bereits vorab offline, insbesondere lediglich einmalig werksseitig, durchführbar sind. Dies gilt insbesondere für die Bestimmung der geometrischen Parameter, d.h. der Parameter der geometrischen Grobtransformation sowie der geometrischen Feinanpassung. Außerdem sind an die erfindungsgemäß zunächst stattfindende geometrische Grobtransformation nur geringe Genauigkeitsanforderungen zu stellen. Die anschließende geometrische Feinanpassung korrigiert Ungenauigkeiten der Grobtransformation in ausreichendem Maße, ist dabei jedoch auf einzelne Bildbereiche beschränkbar, was abermals den erforderlichen Rechenaufwand verringert. Auch die photometrische Anpassung kann ressourcensparend auf einzelne Bildbereiche beschränkt werden.
Die Erzeugung der Parameter der geometrischen Grobtransformation sowie der geometrischen Feinanpassung muss zwingend nacheinander erfolgen, da die geometrische Feinanpassung dazu dient, unvermeidliche und/oder bewusst in Kauf genommene Ungenauigkeiten der geometrischen Grobtransformation zu kompensieren. Das bei der Grobtransformation verwendete kameraspezifische Kalibrierungsmodell kann dadurch sehr einfach gehalten werden. Die nacheinander bestimmten Parameter der geometrischen Grobtransformation sowie der geometrischen Feinanpassung können jedoch nach oder sogar noch während ihrer Bestimmung auch zu einem gemeinsamen Parametersatz zusammengefasst werden, der dann zur gesamthaften geometrischen Transformation zur Laufzeit dient.
Alternativ kann auch zur Laufzeit zunächst eine Grobtransformation jedes Einzelbilds und erst dann eine Feintransformation der Überlappungsbereiche erfolgen. Je nach Ausführungsform des erfindungsgemäßen Verfahrens und je nach Ausführungsform der verwendeten Bildverarbeitungseinrichtung kann dies die gesamte anfallende Rechenleistung und/oder das Volumen des erforderlichen Datenaustauschs zwischen den einzelnen Verarbeitungsschritten bzw. -komponenten verringern.
Wesentlicher Punkt der Erfindung ist die Tatsache, dass die geometrische Feinanpassung auf Basis von Parametern erfolgt, die durch ein kameraunabhängiges, insbesondere vom verwendeten Kameramodell unabhängiges, Matching-Verfahren gewonnen werden. Unter einem Matching-Verfahren ist dabei jedes Verfahren zu verstehen, welches geeignet ist, Einzelbilder so zu transformieren, dass einander zugeordnete Bildpunkte der Einzelbilder vollständig oder annähernd zur Überlagerung gebracht werden. Geeignet sind hierzu insbesondere schrittweise Lern- bzw. Annäherungsverfahren. Bekannte Matching-Verfahren basieren häufig auf der Methode der kleinsten Quadrate. Geeignet sind auch so genannte Morphing-Verfahren.
Weiterer wesentlicher Punkt der Erfindung ist die Tatsache, dass durch eine lediglich lokal im Überlappungsbereich stattfindende und somit in ihrem Aufwand begrenzte Feinanpassung ein insgesamt – zumindest aus der subjektiven Sicht des Betrachters – geometrisch korrektes Bild erreicht wird.
Die geometrische Feinanpassung kann sich auf beide überlappenden Einzelbilder beziehen. Alternativ kann auch nur eines von zwei überlappenden Bildern so angepasst werden, dass es nahtlos durch das andere Einzelbild fortgesetzt werden kann. Durch die Feinanpassung nur eines Einzelbildes kann der erforderliche Rechenaufwand reduziert werden.
Bei geeigneter Gestaltung des Verfahrens der geometrischen Bildanpassung zur Laufzeit kann der zusätzlich anfallende Rechenaufwand zur Anpassung beider Einzelbilder gering gehalten werden oder sogar ganz entfallen. Es fällt in einem solchen Fall lediglich zusätzlicher Rechenaufwand bei der Bestimmung der Parameter für die geometrische Feinanpassung an. Diese wird vorzugsweise jedoch nur einmalig vorab durchgeführt.
Eine Feinanpassung nur eines Einzelbildes kann insbesondere dann vorteilhaft sein, wenn bei der Erstellung des Gesamtbilds im Überlappungsbereich ohnehin nur das jeweilige feinangepasste Einzelbild Verwendung findet. Für einen hohen subjektiven Qualitätseindruck eines Betrachters des Gesamtbilds sind dann hohe Anforderungen an die Übereinstimmung des feinangepassten Einzelbildes mit dem anderen (nicht feinangepassten) Einzelbild an dem Rand des Überlappungsbereichs zu stellen, der dem nicht überlappenden Bereich des anderen (nicht feinangepassten) Einzelbilds zugewandt ist. Hingegen kann es vorteilhaft sein, nur geringfügige Anpassungen vorzunehmen an dem Rand des Überlappungsbereichs, der dem nicht überlappenden Bereich des feinangepassten Einzelbilds zugewandt ist.
Insbesondere dann, wenn – anders als im vorhergehenden Absatz beschrieben – beide Einzelbilder im Überlappungsbereich feinangepasst werden, kann bei der Erstellung des Gesamtbilds im Überlappungsbereich eine Überblendung von einem feinangepassten Einzelbild zum anderen feinangepassten Einzelbild vorgenommen werden. Diese Variante bietet den Vorteil, dass geringere Anforderungen an die geometrische Übereinstimmung der feinangepassten Einzelbilder an den dem jeweils anderen Einzelbild zugewandten Rändern des Überlappungsbereichs zu stellen sind, da durch die Überblendung am Übergang vom nichtüberlappenden Bereich eines Einzelbilds zum Überlappungsbereich das jeweils andere feinangepasste Einzelbild kaum bzw. gar nicht sichtbar ist.
Der Ansatz der Überblendung zwischen den beiden überlappenden Einzelbildern im Überlappungsbereich kann selbstverständlich – in gegebenenfalls sinngemäß veränderter Art und Weise – auch dann Verwendung finden, wenn nur eines der beiden Einzelbilder feinangepasst wird.
Die Bestimmung der Parameter der photometrischen Anpassung erfolgt typischerweise mit höherer Wiederholrate als die der geometrischen Parameter. Dadurch kann den typischerweise stark wechselnden Helligkeitsbedingungen im Umfeld des Kraftfahrzeugs Rechnung getragen werden. Vorzugweise werden die Parameter der photometrischen Anpassung schritthaltend zur Laufzeit bestimmt.
Die tatsächliche geometrische und photometrische Anpassung des Bildes erfolgt auf Basis der jeweiligen Parameter, welche – wie oben beschrieben – unter Umständen mit unterschiedlicher Wiederholrate gewonnen werden, vorzugsweise für jedes einzelne Bild und somit mit derselben Wiederholrate.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung erfolgt die photometrische Anpassung der Einzelbilder im Überlappungsbereich auf Basis einer Helligkeitskarte. Unter einer Helligkeitskarte ist dabei insbesondere die Zuordnung eines Helligkeitsfaktors zu jedem Bildpunkt eines Bilds oder Bildbereichs zu verstehen. Der Bestimmung der Helligkeitskarte muss dabei aus Effizienzgründen nicht zwingend eine Analyse der photometrischen Merkmale, insbesondere der Helligkeit, jedes einzelnen Bildpunkts zugrunde liegen. Ebenso kann die Analyse der photometrischen Merkmale nur für ausgewählte Bildpunkte durchgeführt werden, während den dazwischen liegenden Bildpunkten Werte auf Basis einer Interpolation zugeordnet werden. Die Analyse kann sich beispielsweise auch auf gefilterte Werte, insbesondere Mittelwerte, der photometrischen Merkmale ganzer Bildbereiche beziehen.
Die Verwendung einer Helligkeitskarte ist erforderlich, da unter anderem bedingt durch unterschiedliche Aufnahmewinkel und unter Umständen sogar unterschiedliche Aufnahmezeiten einander entsprechende Bildinhalte in unterschiedlichen Einzelbildern stark qualitativ voneinander abweichende Helligkeitsverläufe haben können. Daher ist eine zufriedenstellende photometrische Anpassung etwa durch die Verwendung eines einzelnen Helligkeitsfaktors je Einzelbild in der Regel nicht möglich.
Vorzugsweise wird die photometrische Anpassung auf Basis der bereits geometrisch angepassten Einzelbilder vorgenommen. Bei nur geringen lokalen Schwankungen der Helligkeitsanpassung und/oder nur geringfügigen Auswirkungen der geometrischen Anpassung führt es jedoch fallweise zu nur geringen Qualitätseinbußen, wenn die Parameter der photometrischen Anpassung auf Basis der noch nicht oder nur teilweise geometrisch angepassten Einzelbilder vorgenommen wird. Ein solches Vorgehen kann wieder zu einer Verringerung des erforderlichen Rechenaufwands und/oder des erforderlichen Datenaustauschs führen.
Auch die photometrische Anpassung kann sich auf beide überlappenden Einzelbilder in einem Überlappungsbereich beziehen. Alternativ kann aber auch bei der photometrischen Anpassung nur eines von zwei überlappenden Bildern so angepasst werden, dass es hinsichtlich der photometrischen Eigenschaften nahtlos durch das andere Einzelbild fortgesetzt werden kann.
Wie bei der geometrischen Anpassung kann auch eine photometrische Anpassung nur eines Einzelbildes insbesondere dann vorteilhaft sein, wenn bei der Erstellung des Gesamtbilds im Überlappungsbereich ohnehin nur das jeweilige photometrisch angepasste Einzelbild Verwendung findet. Für einen hohen subjektiven Qualitätseindruck eines Betrachters des Gesamtbilds sind dann wieder hohe Anforderungen an die Übereinstimmung des photometrisch angepassten Einzelbildes mit dem anderen (nicht photometrisch angepassten) Einzelbild an dem Rand des Überlappungsbereichs zu stellen, der dem nicht überlappenden Bereich des anderen (nicht photometrisch angepassten) Einzelbilds zugewandt ist. Hingegen kann es vorteilhaft sein, nur geringfügige photometrische Anpassungen vorzunehmen an dem Rand des Überlappungsbereichs, der dem nicht überlappenden Bereich des photometrisch angepassten Einzelbilds zugewandt ist.
Ebenfalls wie bei der geometrischen Anpassung kann insbesondere dann, wenn beide Einzelbilder im Überlappungsbereich photometrisch angepasst werden, bei der Erstellung des Gesamtbilds im Überlappungsbereich eine Überblendung von einem photometrisch angepassten Einzelbild zum anderen photometrisch angepassten Einzelbild vorgenommen werden. Diese Variante bietet den Vorteil, dass geringere Anforderungen an die photometrische Übereinstimmung der photometrisch angepassten Einzelbilder an den dem jeweils anderen Einzelbild zugewandten Rändern des Überlappungsbereichs zu stellen sind.
Für einen hochqualitativen Gesamteindruck des Gesamtbildes kann es vorteilhaft sein, die photometrischen Merkmale der Einzelbilder auch außerhalb des Überlappungsbereichs anzupassen. Eine erste einfache Möglichkeit besteht darin, die photometrischen Anpassungen, insbesondere Helligkeitsanpassungen, die im Rahmen der erfindungsgemäßen photometrischen Anpassung am Rand des Überlappungsbereichs vorgenommen werden, auf den nicht überlappenden Bereich der Einzelbilder anzuwenden. Alternativ kann die photometrische Anpassung von Bildpunkten eines Einzelbilds außerhalb eines Überlappungsbereichs in Abhängigkeit von der Entfernung der Bildpunkte von dem Überlappungsbereich erfolgen. Insbesondere kann der Grad der Anpassung mit zunehmendem Abstand abnehmen.
Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung. Im Einzelnen zeigen
1 ein aus zwei Einzelbildern erzeugtes Gesamtbild nach ausschließlich geometrischer Grobanpassung der Einzelbilder,
2 ein aus zwei Einzelbildern erzeugtes Gesamtbild nach zusätzlicher geometrischer Feinanpassung im Überlappungsbereich der Einzelbilder und
3 ein aus zwei Einzelbildern erzeugtes Gesamtbild nach zusätzlicher photometrischer Anpassung.
Für ein Einparkhilfe-System in einem Kraftfahrzeug soll ein photorealistisches Bild (Gesamtbild) des Kraftfahrzeugs mitsamt seiner Umgebung aus einer Vogelperspektive erzeugt werden. Das Gesamtbild, das dem Fahrer des Kraftfahrzeugs im Fahrzeuginneren auf einem Monitor angezeigt wird, soll aus den Bildern von insgesamt drei an verschiedenen Stellen des Kraftfahrzeugs angeordneten Kameras erzeugt werden. Zwei Kameras sind seitlich am Kraftfahrzeug angeordnet, eine an der Fahrzeugfront.
Zunächst wird eine geometrische Grobtransformation der Kamerabilder vorgenommen. Dabei wird jedes Kamerabild einzeln anhand eines kameraspezifischen geometrischen Kalibrierungsmodells transformiert. Im vorliegenden Fall werden dabei einfache geometrische Modelle zugrunde gelegt. Die näherungsweise Korrektur von Linsenverzerrungen erfolgt auf Basis eines einfachen Lochkameramodells. Eine näherungsweise perspektivische Korrektur zur Simulation einer virtuellen Kameraposition oberhalb des Kraftfahrzeugs (Vogelperspektive) anstelle der tatsächlichen Kameraposition erfolgt anhand eines im vorliegenden Beispiel lediglich neun Parameter umfassenden geometrischen Modells. Schließlich werden die erzeugten Bilder so an den Rändern zugeschnitten, dass rechteckige Bilder für die weitere Verarbeitung zur Verfügung stehen. Aufgrund der Einfachheit der verwendeten geometrischen Modelle bleibt die erforderliche Rechenzeit für die beschriebene geometrische Grobtransformation verhältnismäßig gering. Allerdings ergeben sich Abweichungen zwischen den grobtransformierten Einzelbildern im Überlappungsbereich. 1 zeigt ein aus zwei Einzelbildern erzeugtes Gesamtbild nach ausschließlich geometrischer Grobanpassung der Einzelbilder.
Die Aufnahmebereiche der beiden seitlichen Kameras sind disjunkt. Jede der beiden seitlichen Kameras besitzt jedoch einen gemeinsamen Aufnahmebereich mit der Frontkamera (Überlappungsbereich). In 1 ist im jeweiligen Überlappungsbereich ausschließlich das Bild der Frontkamera angezeigt. An den Übergängen zu den nicht überlappenden Bildbereichen der Seitenkameras ergeben sich Sprünge 1a, 2a in der Darstellung der Parkmarkierungen 1, 2. Zudem ergibt sich ein sichtbarer abrupter Helligkeitsübergang 3.
Um geometrisch bedingten Bildstörungen, beispielsweise den Sprüngen 1a, 2a in 1 abzuhelfen, wird zusätzlich zur geometrischen Grobtransformation nun eine geometrische Feinanpassung der Einzelbilder im Überlappungsbereich vorgenommen. Zur Gewinnung geeigneter Parameter für diese geometrische Feinanpassung dient ein kameraunabhängiges Matching-Verfahren. Das Matching-Verfahren wird bereits werksseitig unter streng definierten Bedingungen durchgeführt. Dabei wird in der Umgebung des Kraftfahrzeugs ein Muster erzeugt bzw. bereitgestellt, welches durch die Bildverarbeitungseinrichtung in den grobtransformierten Einzelbildern wiedererkennbar ist. Die Erzeugung bzw. Bereitstellung des Musters kann beispielsweise durch eine Projektion von Hilfslinien auf den Boden in der Fahrzeugumgebung erfolgen. Alternativ können Hilfslinien auf den Boden aufgezeichnet und das Fahrzeug geeignet bezüglich dieser Hilfslinien positioniert werden. Das Muster ist so geartet, dass es zumindest teilweise im Überlappungsbereich der Einzelbilder liegt. Dasselbe Muster kann also in beiden überlappenden bereits grobtransformierten Einzelbildern erkannt werden. Somit können anhand des Musters korrespondierende Punkte in den Einzelbildern bestimmt werden. Daraufhin kann durch eine schrittweise geometrische Feinanpassung eines der Einzelbilder oder sogar beide Einzelbilder so verzerrt werden, dass die Abbildungen des Musters in den beiden Einzelbildern möglichst gut in Übereinstimmung gebracht werden. Die Verzerrung erfolgt im vorliegenden Fall unter Verwendung von Spline-Modellen zwischen den jeweils korrespondierenden Punkten der Einzelbilder.
Im vorliegenden Fall wird im Gesamtbild in den Überlappungsbereichen lediglich das Bild der Frontkamera verwendet. Daher ist bei der geometrischen Feinanpassung darauf zu achten, dass sich eine gute geometrische Übereinstimmung insbesondere am Übergang vom Überlappungsbereich zum nicht überlappenden Bereich der Einzelbilder der Seitenkameras ergibt. 2 zeigt das Ergebnis der Feinanpassung. Dabei ist zu erkennen, dass die durch Geometriefehler bedingten Sprünge 1a, 2a aus 1 nunmehr eliminiert sind. Es verbleibt lediglich ein sichtbarer abrupter Helligkeitsübergang 3.
Zum Eliminieren des abrupten Helligkeitsübergangs 3 wird eine photometrische Anpassung vorgenommen. Dabei wird zunächst eine Helligkeitskarte für den Überlappungsbereich erstellt. Die Helligkeitskarte enthält für jeden Bildpunkt einen Wert, der den zwischen den beiden überlappenden – bereits geometrisch angepassten – Einzelbildern im jeweiligen Bildpunkt bestehenden Helligkeitsfaktor kennzeichnet. Aus Effizienzgründen wird die zugrunde liegende Analyse jedoch nicht tatsächlich für jeden Bildpunkt des Überlappungsbereichs durchgeführt.
Stattdessen wird der Überlappungsbereich in Analysebereiche einer Größe von jeweils 16×16 (alternativ 32×32) Pixeln unterteilt, für die jeweils eine Abschätzung vorgenommen wird. Diese Abschätzung kann beispielsweise auf Basis einer Abtastung einzelner Bildpunkte und/oder einer Filterung, insbesondere Mittelwertbildung, erfolgen. Zwischenliegende Werte lassen sich durch Interpolationsverfahren, etwa auf Spline-Basis, ergänzen.
Die Helligkeitskarte wird anschließend verwendet, um die Helligkeiten der Einzelbilder so anzupassen, dass sich ein auch bezüglich der photometrischen Eigenschaften nahtloser Übergang der Einzelbilder im Gesamtbild ergibt. Im vorliegenden Fall wird im Rahmen der photometrischen Anpassung ausschließlich die Helligkeit des Frontkamerabildes verändert. Da die Einzelbilder der Seitenkameras somit photometrisch unverändert bleiben können, kann Rechenaufwand eingespart werden.
Für einen hochqualitativen Gesamteindruck des Gesamtbildes wird die Helligkeit des Einzelbildes der Frontkamera auch außerhalb des Überlappungsbereichs angepasst. Die Helligkeitskarte des Überlappungsbereichs wird dabei durch einfache Maßnahmen außerhalb des Überlappungsbereichs fortgesetzt. Dazu werden die Helligkeitsfaktoren der Helligkeitskarte, die im Rahmen der oben beschriebenen photometrischen Anpassung am Rand des Überlappungsbereichs bestimmt wurden, mit einem Entfernungsfaktor beaufschlagt. Die so veränderten Helligkeitsfaktoren werden zur photometrischen Anpassung der Einzelbilder im nicht überlappenden Bereich verwendet. Der Entfernungsfaktor nimmt mit zunehmender Entfernung zum Überlappungsbereich ab und gewährleistet, dass auch der Grad der photometrischen Anpassung außerhalb des Überlappungsbereichs mit zunehmendem Abstand von dem Überlappungsbereich abnimmt.
3 zeigt das Gesamtbild nach zusätzlicher photometrischer Anpassung. Der in 2 noch bestehende Helligkeitsübergang 3 ist nunmehr ebenfalls eliminiert.

Claims

Verfahren zur Erzeugung eines Gesamtbilds aus zumindest zwei überlappenden Einzelbildern, wobei die Einzelbilder durch an einem Kraftfahrzeug angeordnete Kameras erfasst und durch eine Bildverarbeitungseinrichtung zu dem Gesamtbild zusammengefügt werden und das Gesamtbild durch eine Anzeigeeinheit an den Fahrer des Kraftfahrzeugs ausgegeben wird, dadurch gekennzeichnet, dass die Bildverarbeitung durch die Bildverarbeitungseinrichtung auf den Schritten basiert – geometrische Grobtransformation der Einzelbilder auf Basis von Parametern eines kameraspezifischen geometrischen Kalibrierungsmodells – geometrische Feinanpassung der Einzelbilder im Überlappungsbereich auf Basis von durch ein kameraunabhängiges Matching-Verfahren gewonnenen Parametern, – photometrische Anpassung der Einzelbilder zumindest im Überlappungsbereich auf Basis von durch einen im Wesentlichen im Überlappungsbereich vorgenommenen Helligkeitsvergleich der Einzelbilder gewonnenen Parametern.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Parameter der photometrischen Anpassung schritthaltend zur Laufzeit bestimmt werden.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Parameter der geometrischen Grobtransformation und die Parameter der geometrischen Feinanpassung mit geringerer Wiederholrate als die Parameter der photometrischen Anpassung bestimmt werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die photometrische Anpassung der Einzelbilder im Überlappungsbereich auf Basis einer Helligkeitskarte erfolgt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die photometrische Anpassung von Bildpunkten eines Einzelbilds außerhalb eines Überlappungsbereichs in Abhängigkeit von der Entfernung der Bildpunkte von dem Überlappungsbereich erfolgt.