-
Die Erfindung betrifft ein Kamerasystem zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs und ein Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems.
-
Die räumliche Rekonstruktion von Szenen in der Umgebung und insbesondere vor einem Fahrzeug ist ein essentieller Bestandteil vieler ADAS-Anwendungen (ADAS = Advanced Driver Assistance Systems, Fahrerassistenzsysteme). Hierbei haben sich besonders Rekonstruktionsmethoden aus gleichzeitig aufgenommenen Bildern zweier leicht räumlich versetzter Kameras bewährt.
-
Dieser Ansatz ist als Stereoskopie (oder Stereorekonstruktion) bekannt und entsprechende Fahrzeugkamerasysteme gewinnen im ADAS-Markt zunehmend an Bedeutung. Bei derartigen Kamerasystemen erfolgt die Rekonstruktion der räumlichen Geometrie der Szene aus Unterschieden in der Lage und Form von Objekten (etwa Disparität) in den jeweiligen Kamerabildern durch Triangulation.
-
Bekannte stereoskopische Systeme für ADAS-Anwendungen realisieren das entsprechende Kamerasystem als zwei Optiken, welche in einem starren Leiterplattenträger nahezu parallel montiert sind und eine definierte Basislänge als seitlichen Abstand zueinander aufweisen. Die so entstehende Stereokamera wird häufig in einem Bereich der Windschutzscheibe hinter dem Innenrückspiegel eingebaut.
Aufgrund von begrenztem Platz in dieser Einbauposition weisen solche Systeme meist einen relativ kleinen Abstand (Basislänge) zwischen den Optiken auf, wodurch die Genauigkeit der räumlichen Rekonstruktion der Kamerasysteme leidet.
-
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein optimiertes Kamerasystem bereitzustellen, welches eine robuste räumliche Rekonstruktion der Umgebung eines Fahrzeugs ermöglicht.
-
Ein Ausgangspunkt der Erfindung besteht darin, ein Kamerasystem zu verwenden, bei dem die einzelnen Kameras in einem großen Abstand und voneinander lose mechanisch gekoppelt angeordnet sind. Die einzelnen Kameras können als Satellitenkameras bezeichnet werden. Eine besondere Herausforderung stellen hierbei Satellitensysteme mit unterschiedlichen optischen Eigenschaften dar, wie nachfolgend erklärt wird. Beim Einsatz von Stereosystemen für ADAS-Anwendungen besteht das Problem der gleichzeitigen Belichtung derjenigen photosensitiven Elemente (Pixel) der beiden Kameras, welche dieselben Objekte abbilden. Letztere Eigenschaft ist essentiell für eine akkurate Rekonstruktion, denn bereits geringe Unterschiede im Zeitpunkt des Belichtungsstarts können sich bei hohen Geschwindigkeiten des Fahrzeuges in einem starken Versatz der Objekte in den entsprechenden Bildern und somit zu Artefakten bei der Korrespondenzfindung sowie zu Fehlern in der Triangulation führen. Ähnliches gilt für die Länge der Belichtungszeit. Lange Belichtung führt zu einer Verschmierung von Bildern bewegter Szenen, auch bekannt als Motion-Blur (Bewegungsunschärfe). Unterschiedliche Belichtungszeiten führen zu unterschiedlichen Ausprägungen des Motion-Blur, was für die Findung von korrespondierenden Bildbereichen vom Nachteil ist.
-
Eine Verwendung von unterschiedlichen Optiken bzw. Bildsensoren stellt damit ein potentielles Problem für Anwendung von Stereoverfahren dar, denn hier werden sowohl die Belichtungszeitpunkte als auch die Belichtungsintervalle der Kameras unterschiedlich. Besonders schwer wiegen die Effekte bei der Rolling Shutter Methode, denn hier wird der Bildsensor zeilen- oder pixelweise belichtet.
-
Eine Möglichkeit zur Umgehung des geschilderten Problems besteht darin, sämtliche photosensitiven Elemente (Pixel) beider Kameras gleichzeitig zu belichten. Diese Technologie ist als Global Shutter bekannt. Entsprechende Kameratechnologien sind allerdings teuer und weniger flexibel.
-
Eine Lösung für Rolling Shutter Kameras ist in
WO 2014/111814 A2 beschrieben. Hier wird dargestellt, wie zwei Kameras mit unterschiedlicher Auflösung und Öffnungswinkel zu synchronisieren sind, damit ein akzeptables Stereobild errechnet werden kann. Die vorgeschlagene Synchronisierung sieht vor, die Zeitsteuerung der Kameras so anzupassen, dass die Belichtung des Anfangs- und Endpunktes des gemeinsamen Überlappungsbereichs beider Kamerabilder gleichzeitig erfolgen. Trotzdem bleibt ein unerwünschter Restfehler, der aufwendig korrigiert werden muss.
-
WO 2016/055060 A1 zeigt eine Stereokamera für ein Fahrzeug mit zwei unterschiedlichen sich (teilweise) überlappenden Sichtbildbereichen.
-
WO 2017/028848 A1 zeigt eine Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs mit einer ersten und einer zweiten Optronik. Die erste und die zweite Optronik weisen unterschiedlich große Bildwinkel auf und ihre Erfassungsbereiche überlappen einander.
-
Eine Aufgabe der Erfindung besteht darin, ein weiter verbessertes Kamerasystem mit verbesserter Belichtungssteuerung bereitzustellen.
-
Ein erfindungsgemäßes Kamerasystem zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs umfasst eine erste Rolling-Shutter Kamera mit einem ersten Öffnungswinkel α, eine zweite Rolling-Shutter Kamera mit einem zweiten Öffnungswinkel β und eine Steuerungselektronik. Die erste Kamera ist zur Erzeugung eines Weitwinkelkamerabilds geeignet, d.h. der erste Öffnungswinkel α (insbesondere in horizontaler Richtung) ist größer, z.B. größer 90 Grad, als der zweite Öffnungswinkel β, z.B. kleiner 30 Grad, der zweiten Kamera, die zur Erzeugung eines Telekamerabilds geeignet ist. Die beiden Kameras sind derart konfiguriert, dass beide Kamerabilder einen Überlappungsbereich aufweisen.
Die Steuerungselektronik ist dazu ausgebildet, dass eine Synchronisierung der beiden Kameras erfolgt.
Die geometrische Anordnung der beiden Kameras zueinander und die Lage des Überlappungsbereichs im Weitwinkelbild und im Telekamerabild wurde durch eine Kalibrierung des Kamerasystems ermittelt und Informationen betreffend die geometrische Anordnung und Lage sind in einem Speicher (des Kamerasystems) hinterlegt.
Die gespeicherte geometrische Anordnung und Lage werden bei der Synchronisierung der ersten und der zweiten Kamera des Kamerasystems berücksichtigt.
Zweckmäßigerweise sollte also die Steuerungselektronik Zugriff auf den Speicher haben oder der Speicher sollte in die Steuerungselektronik integriert sein. Die genaue Art der Synchronisierung unter Berücksichtigung der geometrischen Anordnung und Lage kann auf verschiedene Weisen erfolgen wie nachfolgend näher beschrieben wird. Es können mindestens zwei Raumpunkte ausgewählt werden, die im Überlappungsbereich also von erster und zweiter Kamera synchron abgebildet werden. Die Pixel von erster und zweiter Kamera, die einen Raumpunkt erfassen bzw. abbilden haben typischerweise unterschiedliche Größen, insbesondere kann angenommen werden, dass der Raumbereich, der von der ersten (Weitwinkel-) Kamera auf einem Pixel abgebildet wird, durch eine Mehrzahl von benachbarten Pixeln der zweiten (Tele-) Kamera abgebildet wird. Die Auflösung der Kameras in Pixel/Grad entscheidet hierüber. Es kann in der Regel angenommen werden, dass diese Auflösung im Überlappungsbereich für jede der beiden Kameras konstant ist. Jede Kamera weist typischerweise einen Bildsensor bzw. Imager auf. Der Bildsensor umfasst zeilen- und spaltenweise angeordnete Pixel, die pixel- oder zeilenweise ausgelesen werden können.
-
Gemäß einer bevorzugten Ausführung ist die Steuerungselektronik dazu ausgebildet, die Synchronisierung derart zu bewirken, dass eine größere Zeile und Taktfrequenz der ersten Kamera den Synchronisierungsbeginn und die Taktfrequenz der zweiten Kamera derart vorgibt, dass (im Überlappungsbereich) die Belichtung jeder Zeile der ersten Kamera synchron mit der entsprechenden Zeile der zweiten Kamera begonnen wird. Die folgenden Zeilen der zweiten Kamera, die noch in derselben Zeile der ersten Kamera „enthalten“ sind, werden zeitversetzt aufgenommen.
-
Der Takt für die Belichtungsstartzeitpunkte entspricht dem Auslesetakt eines Bildsensors. Üblicherweise ergibt sich der Belichtungsstartzeitpunkt als Auslesestartzeitpunkt minus Belichtungszeit. Im Folgenden wird von Auslesetakt gesprochen, der den Takt bezeichnet, mit dem ein Pixel ausgelesen wird, nachdem es belichtet wurde.
-
Vorzugsweise benötigt die erste Kamera zum Auslesen einer Zeile die Zeit Δtl und die zweite Kamera für eine Zeile die Zeit Δtl/k, wobei k die Anzahl der Zeilen der zweiten Kamera angibt, die in einer Zeile der ersten Kamera enthalten sind.
-
Bevorzugt benötigt die zweite Kamera pro Zeile die Auslesezeit (k-1) *Δtl/k.
-
Gemäß einer vorteilhaften Ausgestaltung werden zwei Pixel der zweiten Kamera innerhalb des Überlappungsbereichs vorgegeben, die synchron zu den entsprechenden Pixeln der ersten Kamera belichtet werden.
-
Bevorzugt werden innerhalb des Überlappungsbereichs für jede Zeile der ersten Kamera der Startpixel der ersten und der Endpixel der letzten Zeile der zweiten Kamera jeweils synchron zum entsprechenden Start- bzw. Endpixel der Zeile der ersten Kamera belichtet. Man könnte dies auch so formulieren, dass jeweils der erste zu synchronisierende Punkt „oben links“ und der zweite Punkt „unten rechts“ in einer Zeile der Weitwinkelkamera liegen. Ein optimales Timing für die Synchronisierung ist jenes, bei dem die entsprechenden Zeilen in dem Überlappungsbereich gleichzeitig das Auslesen starten (oberste Zeile der Telekamera) und am Ende derselben Zeile der Weitwinkelkamera und der untersten überlappenden Zeile der Telekamera, also beide Zeilen, das Auslesen stoppen.
-
Die zweite Kamera (Telekamera) hat mehr Pixeln/Grad. Die Telekamera sammelt deutlich weniger Licht pro Pixel und muss daher in der Regel länger belichtet werden als ein Pixel der ersten Kamera (Weitwinkelkamera).
-
Vorzugsweise belichtet der Bildsensor der ersten Kamera mit einer Belichtungszeit b1 und der Bildsensor der zweiten Kamera mit der Belichtungszeit b2, wobei b2 > b1 ist, und der Belichtungsstart der ersten Kamera wird gegenüber dem Belichtungsstart der zweiten Kamera um (b2-b1)/2 verzögert. Dadurch wird erreicht, dass genau die Hälfte der Belichtungszeitspanne für beide Kameras synchronisiert ist. Dies bewirkt den Effekt, dass die Bewegungsunschärfe (motion blur) des (hochauflösenden) Bildsensors der zweiten Kamera gleichmäßiger auf entsprechende Bereiche des (niederauflösenden) Bildsensors der ersten Kamera verteilt wird.
-
Bevorzugt weisen die Bildsensoren der ersten und der zweiten Kamera eine vergleichbare Pixelzahl auf, insbesondere dieselbe oder eine um weniger als zehn Prozent abweichende. Unter Berücksichtigung des jeweiligen Kameraobjektivs ergibt sich dann die Auflösung der jeweiligen Kamera im Überlappungsbereich.
-
Besonders vorteilhaft beträgt die Auflösung der zweiten Kamera das 2n-fache der Auflösung der ersten Kamera, wobei n eine natürliche Zahl ist.
-
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Steuerung eines Kamerasystems zur Aufnahme von Bildern einer Umgebung eines Fahrzeugs für ein Fahrerassistenzsystem des Fahrzeugs. Eine erste Rolling-Shutter Kamera weist einen ersten Öffnungswinkel α, eine zweite Rolling-Shutter Kamera weist einen zweiten Öffnungswinkel β auf. Die erste Kamera ist zur Erzeugung eines Weitwinkelkamerabilds und die zweite Kamera zur Erzeugung eines Telekamerabilds konfiguriert. Beide Kamerabilder weisen einen Überlappungsbereich auf.
Die geometrische Anordnung der beiden Kameras zueinander und die Lage des Überlappungsbereichs im Weitwinkelbild und im Telekamerabild werden durch eine Kalibrierung ermittelt.
Eine Synchronisierung der beiden Kameras erfolgt, indem die ermittelte geometrische Anordnung und Lage bei der Synchronisierung berücksichtigt wird.
-
Ein Einsatzziel der vorliegenden Erfindung ist ein Satellitensystem für ADAS-Applikationen bestehend aus zwei mechanisch lose gekoppelten nahezu parallel ausgerichteten Kameras, wobei die Optiken unterschiedliche große Sichtfelder aufweisen. Die Kameras können als Rolling Shutter Kameras mit unterschiedlicher Auflösung ausgelegt sein. Eine mögliche Realisierung eines solchen Systems ist eine Kombination einer Weitwinkelkamera und einer Telekamera. Durch eine geschickte Anpassung der Imagersteuerung beider Kameras wird die Diskrepanz zwischen den Belichtungszeitpunkten korrespondierender Zeilen reduziert. Durch eine vorliegende Kalibrierung der Optiken werden näherungsweise korrespondierende Bereiche in den Bildern beider Systeme ermittelt, wobei ein näherungsweise rechteckiger Bereich des Sichtfeldes einer der Optiken im Bild der anderen Optik ermittelt wird. Durch Abgleich der Größen der beiden Bereiche wird eine zeilenweise oder pixelweise Korrektur der Belichtungszeitpunkte ermittelt, die zu einem weitgehend geleichzeitigen Start der Belichtung korrespondierender Sensorzeilen führt.
-
Im Folgenden werden Ausführungsbeispiele beschrieben und anhand von Figuren näher erläutert. Dabei zeigen:
- 1 ein Ausführungsbeispiel für ein Verfahren zur Steuerung des Kamerasystems (schematisch dargestellt);
- 2 eine schematische Darstellung der Sichtbereiche der beiden Kameras des Kamerasystems und eine Projektion des Sichtbereichs der einen in das Bild der anderen Kamera;
- 3 die Relation in der Bildebene zwischen der Projektion des Sichtfeldes der ersten Kamera in das Bild der zweiten Kamera;
- 4 schematisch Zeilen des Bildsensors der ersten Kamera und der zweiten Kamera in einem Bild der ersten Kamera und entsprechende Zeitintervalle;
- 5 schematisch einen Überlappungsbereich der beiden Kameras mit den jeweiligen Pixeln und Zeilen;
- 6 ein Fahrzeug mit einem Kamerasystem;
- 7 einen ersten Verlauf vom Zeitversatz delta T über die Zeilennummern; und
- 8 einen zweiten Verlauf vom Zeitversatz delta T über die Zeilennummern.
-
Ein Ausführungsbeispiel eines erfindungsgemäßen Kamerasystems ist in 6 dargestellt. Das Kamerasystem bzw. die Kameravorrichtung umfasst zwei Kameras (1) und (2), die mechanisch lose gekoppelt im Raum angeordnet sind. Die beiden Kameras (1) und (2) können in dieser Konfiguration in einem ADAS-System zum Einsatz kommen. Wie in 6 dargestellt kann die erste Kamera (1) vom Innenraum gesehen rechts und die zweite Kamera (2) links des Rückspiegels an der Windschutzscheibe eines Fahrzeuges (15) montiert sein. Die erste Kamera (1) weist ein Weitwinkelobjektiv auf und die zweite Kamera (2) ein Teleobjektiv.
-
2 stellt schematisch die Zusammenhänge zwischen der Raumgeometrie der Sichtbereiche der beiden Kameras (1, 2) und eine Projektion des Sichtbereichs der zweiten (2) in das Bild der ersten Kamera (1) dar. Ein Raumpunkt (5) liegt im Sichtfeld (8) der ersten Kamera (1) und im Sichtfeld (7) der zweiten Kamera (2) . Eine Projektion des Raumpunkts (5) auf eine Sichtfeldebene der zweiten Kamera (2) ergibt das Bild (9) der zweiten Kamera (2). Im allgemeinen Fall ist die Projektion (9) des Sichtfeldes der zweiten Kamera (2) geschnitten mit dem Bild der ersten Kamera (1) ein verzeichnetes Viereck (6). Durch geeignete Produktionsprozesse während des Einbaus der Kameras (1, 2) ins Fahrzeug kann man allerdings annehmen, dass die Kameras (1, 2) nahezu parallel ausgerichtet sind.
-
3 dient der Veranschaulichung der Relation in der Bildebene zwischen der Projektion des Sichtfeldes (7) der zweiten Kamera (2) in das Bild (8) der ersten Kamera (1).
-
In diesem Fall besitzt das Viereck (9) nahezu gerade Seiten und ist näherungsweise achsenparallel zu den Bildachsen des Bildes der ersten Kamera (1). Letzteres ist durch die gestrichelten Linien (9) in 3 angedeutet. Das Rechteck (10) ist nun wie folgt zu interpretieren: Befindet sich ein Raumpunkt (5) im Sichtfeld beider Kameras (1, 2), so liegt dieser im Bild der Kamera (1) im Bereich (10). Das Rechteck (10) stellt also etwa den Überlappungsbereich der Sichtfelder (7, 8) beider Kameras (1, 2) dar. Die Synchronisierung hat als Ziel, dass die Zeile mit dem Bild eines jeden Raumpunktes (5) in der ersten Kamera (1) zur gleichen Zeit belichtet wird, wie die entsprechende Zeile im Bild der zweiten Kamera (2). Letztere Forderung ist in größter Allgemeinheit nur für ein paralleles Kamerasystem ohne optische Verzeichnungen sinnvoll. In diesem Fall sind die jeweiligen - Epipolarlinien parallel.
-
In 1 ist ein Ausführungsbeispiel für ein Verfahren zur Steuerung des Kamerasystems schematisch dargestellt. Ein Raumpunkt (5) liegt im Überlappungsbereich der ersten (1) und der zweiten (2) Kamera. Durch eine anfänglich grob eingestellte Belichtungssteuerung bzw. Imagersteuerung (etwa zeitsynchroner Start der Imager/Bildsensoren) wird in der Auswerteeinheit (3) anhand der von den beiden Kameras (1, 2) erfassten Bilddaten die Stereogeometrie des Systems ermittelt. Dies erfolgt mit Standardverfahren zur Schätzung der Stereogeometrie (etwa Fundamentalmatrixschätzung) .
Damit ist das in 2 und 3 dargestellte Verhältnis durch geometrische Berechnungen schätzbar. Die Kalibrierungs-Information über den ermittelten Überlappungsbereich (10) wird an die Imagersteuerung (4) weitergeleitet und dort für eine Synchronisierung der Belichtung beider Kameras (1, 2) verwendet. D.h. Belichtungsdaten können an jede der beiden Kameras (1, 2) übertragen werden. Die von der ersten (1) und zweiten (2) Kamera erfassten synchronisierten Bilder werden einem Verfahren (16) zur Auswertung von Stereobildern übergeben. Das Stereoverfahren (16) ermittelt Abstands- bzw. Tiefeninformationen aus der Disparität (Bildverschiebung) von Bildmerkmalen im Überlappungsbereich in zeitgleich erfassten Bildern der ersten (1) und zweiten (2) Kamera. Als Stereoverfahren (16) kann ein Semi-Global-Matching(SGM)-Verfahren verwendet werden.
-
In 4 sind Zusammenhänge dargestellt, anhand derer ein Ausführungsbeispiel der Imagersteuerung (4) näher erläutert wird. Es wird angenommen, dass der Belichtungsstarttakt (Zeitpunkte des Belichtungsstartes jedes Pixels) des Imagers der ersten Kamera (1) bekannt ist. In 4 ist dies durch die linke Skala (außerhalb des Rahmens) dargestellt, die von 0 bis 6 eingetragen ist. Der Belichtungstakt der ersten Kamera (1), also das Zeitintervall Δtl zwischen dem Belichtungsstart einer Zeile (z.B. Zeile 3, obere gestrichelte Linie (12)) und der darauffolgenden Zeile (Zeile 4, untere gestrichelte Linie (11)). Aus der Kenntnis der Lage der ersten Zeile der zweiten Kamera (2) im Bild der ersten Kamera (1) ergibt sich der zeitliche Versatz Δts , um den die zweite Kamera (2) den Belichtungsvorgang später starten sollte. Das durchgezogene Rechteck (10) symbolisiert den Überlappungsbereich der beiden Kameras (1, 2). Die Zeilen der zweiten Kamera (2) sind durch die rechte Skala (innerhalb des Rahmens) symbolisiert, die von 0 bis 4 eingetragen ist. Damit kann erreicht werden, dass die Belichtung der ersten Zeile der zweiten Kamera (2) mit der entsprechenden korrespondierenden Zeile der ersten Kamera (1) gleichzeitig gestartet wird. Für die nachfolgenden Zeilen der zweiten Kamera (2) wird nun die Imagersteuerung (4) wie folgt angepasst. Unter der Annahme, dass die Belichtung der Zeile n zeitsynchron mit einem rechteckigen Bereich im Bild der zweiten Kamera (2) gestartet worden ist, fallen in die Zeit zwischen dem Start der Belichtung der Zeile n und der Zeile n+1 der ersten Kamera (1) Δtl k Zeilen der zweiten Kamera (2) . Im Beispiel der 4 ist beispielsweise k = 4, d.h. einer Zeile der ersten Kamera (1) entsprechen vier Zeilen der zweiten Kamera.
-
Der Unterschied im Belichtungsstart von nachfolgenden Zeilen, die Belichtungsstarttaktzeit, der zweiten Kamera (2) wird vorteilhaft auf den Bruchwert Δt= Δtl/k verkürzt. Der Belichtungsstarttakt entspricht dem Auslesetakt einer Zeile. Damit weist die zweite Kamera (2) insgesamt eine kürzere Belichtungsstarttaktzeit auf. Damit wird erreicht, dass die k Zeilen der zweiten Kamera (2) in der Zeit Δtl die Belichtung starten. Konsequenterweise folgt daraus, dass die Zeile n+1 der ersten Kamera (1) wiederrum zeitgleich mit der korrespondierenden Zeile der zweiten Kamera (2) startet.
-
Die optimierte Imagersteuerung (4) kann nun dazu verwendet werden, um das Verfahren gemäß 1 zyklisch zu wiederholen. Damit kann die Kamerasystemgeometrie und somit die Imagersteuerung (4) weiter angepasst und verbessert werden.
-
In 5 ist schematisch ein exemplarischer Überlappungsbereich der beiden Kameras (1, 2) dargestellt. Ein Pixel der ersten Kamera (1) in einer Zeile (14) nw des „Weitwinkel“-Bildsensors „beinhaltet“ eine Gruppe von Pixeln (17) der zweiten Kamera (2), wie in der oberen Zeilenreihe (13) dargestellt ist. Ein Pixel der ersten Kamera (1) entspricht 3x3 Pixeln der zweiten Kamera (2) . Die Zeile nw mit vier Pixeln der ersten Kamera (1) entspricht drei Zeilen nT, nT+1, nT+2 mit jeweils 12 Pixeln des „Tele“-Bildsensors der zweiten Kamera (2).
Innerhalb des Überlappungsbereichs werden nun der Startpixel (17) der ersten Zeile nT und der Endpixel (18) der letzten Zeile nT+2 der zweiten Kamera (2) jeweils synchron zum entsprechenden Start- bzw. Endpixel (d.h. in 5 untere Zeile (14) der erste bzw. der vierte Pixel) der Zeile nw der ersten Kamera (1) belichtet. Ein optimales Timing für die Synchronisierung ist jenes, bei dem gleichzeitig das Auslesen des jeweils ersten Pixels gestartet wird (oberste Zeile der Telekamera) das Auslesen der jeweils letzten Pixel (unterste Zeile der Telekamera) gestoppt wird.
-
Die zweite Kamera (2) hat in aller Regel mehr Pixel/Grad. Sie sammelt deutlich weniger Licht pro Pixel und muss daher in der Regel länger belichtet werden als ein Pixel der ersten Kamera (1) . Somit belichtet die zweite Kamera (2) Objektbewegungen über eine längere Zeitdauer, als die erste Kamera (1). Letzteres führt zu anderen (größer ausgeprägten) Verschmierungen im Bild der zweiten Kamera (2) insbesondere aufgrund der Bewegungsunschärfe. Um den Bewegungsunschärfeeffekt für die Bildung des Stereobildes zu reduzieren, kann in einer bevorzugten Ausführungsform die folgende Synchronisierung verwendet werden. Wenn beispielsweise der Bildsensor der zweiten Kamera (2) eine Belichtungszeit von b2 = 10 ms benötigt und der Bildsensor der ersten Kamera (1) nur b1 = 1 ms, so könnte man den Bildsensor der ersten Kamera (1) mit einer Verzögerung von (b2 - b1)/2 = 4,5 ms starten lassen. Damit wäre der Motion-Blur des Bildsensors der zweiten Kamera (2) gleichmäßiger auf entsprechende Bereiche des Bildsensors der ersten Kamera (1) verteilt und ein Fehler in der Berechnung des Stereobildes verringert.
-
Die jeweilige Imagersteuerung (4) erlaubt somit eine geeignete Synchronisierung für zwei Kameras (1, 2) mit unterschiedlichen Sichtfeldern.
Auf geschickte Art und Weise werden Ergebnisse aus Methoden der Kamerakalibrierung eingesetzt, um einen Zeitablauf für die Belichtung anzugeben, der die zeitlichen Unterschiede der Belichtung korrespondierender Weltpunkte (5) zu minimieren sucht.
-
Mit dem oben beschriebenen Verfahren kann sichergestellt werden, dass die Belichtung am Anfang und Ende des Überlappungsbereiches (erstes und letztes Pixel bzw. Zeile) gleichzeitig geschieht. Des Weiteren ist sichergestellt, dass man zu Beginn der Belichtung einer Zeile der Weitwinkelkamera Synchronität mit der 1. entsprechenden Zeile der Telekamera hat. Die weiteren Zeilen der Telekamera, die noch mit der entsprechenden Zeile der Weitwinkelkamera übereinstimmen, laufen in der Synchronität auseinander um dann zum Beginn der nächsten Zeile der Weitwinkelkamera mit der Telekamera wieder zusammen zu laufen. Dies ist veranschaulicht durch 5 und die sehr schematische Darstellung des zeitlichen Versatzes delta T über die Bildsensorzeilen ni in 7. Die Belichtung jeder Zeile nw, nw+1, nw+2, ... der ersten Kamera (1) wird synchron mit der entsprechenden Zeile nT, nT+x, nT+2x, ... der zweiten Kamera (2) begonnen. Die Variable x soll bedeuten, dass nicht immer ein ganzzahliges Verhältnis k von Zeilen der zweiten Kamera (2) in einer Zeile der ersten Kamera (1) liegen muss.
-
Eine weitere optionale Verbesserung in der Synchronität der Aufnahme besteht darin, dass man den Aufnahmestart der Telekamera gegenüber der Weitwinkelkamera nochmals um den halben Zeilentakt der Weitwinkelkamera verzögert, wodurch die maximale Asynchronität delta T Max nochmals halbiert wird. Dies veranschaulicht die sehr schematische Darstellung in 8.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2014/111814 A2 [0009]
- WO 2016/055060 A1 [0010]
- WO 2017/028848 A1 [0011]