DE102022133187A1

DE102022133187A1 - Fokusanpassung einer Fahrzeugkamera

Info

Publication number: DE102022133187A1
Application number: DE102022133187.3A
Authority: DE
Inventors: Patrick McDaid
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2024-06-20
Also published as: CN118200698A; EP4387255A1

Abstract

Zur Fokusanpassung einer Kamera (3) wird ein erstes Bild während eines ersten Einzelbildzeitraums (F1) aufgenommen, wobei eine Vielzahl von Reihen (P) einer Sensoranordnung (11) gemäß einem rollierenden Verschlussmodus belichtet wird, und ein zweites Bild wird nach dem ersten Einzelbildzeitraum (F1) aufgenommen. Ein Bereich auf dem Sensorarray (11) wird bestimmt, der einem Bereich von Interesse (6a, 6b, 6c, 7a, 7b, 7c) entspricht, eine Teilmenge (P1) der Vielzahl von Reihen (P) wird bestimmt, die den Bereich enthält, ein Fokusanpasszeitraum (Ta) wird bestimmt, der beginnt, wenn oder nachdem alle Reihen der Teilmenge (P1) belichtet worden sind. Zumindest ein Fokusparameter wird während des Fokusanpasszeitraums (Ta) gemäß einer vordefinierten Fokuseinstellung angepasst.

Description

Die vorliegende Erfindung ist auf ein Verfahren zur Fokusanpassung einer Fahrzeugkamera gerichtet, wobei ein erstes Bild von einem Bildsensor der Kamera während eines ersten Einzelbildzeitraums aufgenommen wird, wobei eine Vielzahl von Reihen eines Sensorarrays des Bildsensors gemäß einem rollierenden Verschlussmodus belichtet wird. Ein zweites Bild wird von einem Bildsensor während eines zweiten Einzelbildzeitraums nach dem ersten Einzelbildzeitraum aufgenommen. Die Erfindung ist weiter auf eine entsprechende Fahrzeugkamera, auf ein elektronisches Fahrzeugführungssystem mit einer Fahrzeugkamera und auf ein Computerprogrammprodukt gerichtet.
In der Photographie oder bei anderen Anwendungen von Kameras bezeichnet der Begriff Fokussieren die Anpassung der jeweiligen Kameraeinstellungen und/oder Objektiveinstellungen auf die Entfernung des Objekts, so dass das abzubildende Objekt oder ein bestimmter Teil der Umgebung scharfgestellt ist. Diese Art von Anpassung wird im Folgenden auch als Fokusanpassung oder Fokalanpassung bezeichnet.
Im Kontext von Anwendungen von Kameras im Automobilbereich können Bilddatenströme oder Videodatenströme, die eine Vielzahl von aufeinanderfolgenden Kamerabildern gemäß aufeinanderfolgenden Einzelbildern umfassen, aufgenommen und angezeigt und/oder verarbeitet werden, um verschiedene Fahrerassistenzfunktionen oder andere Funktionen zum automatischen oder teilweise automatischen Führen eines Fahrzeugs zu realisieren. Die entsprechende Einzelbildfrequenz kann zum Beispiel in der Größenordnung von mehreren Einzelbildern oder mehreren Zehn Einzelbildern pro Sekunde, fps, liegen. Normalerweise können Einzelbildfrequenzen zwischen 15 fps und 60 fps verwendet werden.
Bei Anwendungen im Automobilbereich kann ein dynamisches Verändern der Fokuseinstellungen der Kamera in verschiedenen Fällen von Vorteil sein. Zum Beispiel können für verschiedene Funktionen Objekte in unterschiedlichen Entfernungen zur Kamera normalerweise relevant sein. Zum Beispiel können für eine Fahrerassistenzfunktion, die den Fahrer eines Fahrzeugs beim Rückwärtsfahren zum Beispiel zum Parken des Fahrzeugs unterstützt, nahegelegene Objekte am relevantesten sein, wohingegen für Computer-Vision-Algorithmen, die andere Fahrzeuge, Fußgänger oder weitere Verkehrsteilnehmer in der Umgebung detektieren, sich die relevantesten Objekte normalerweise weiter entfernt von der Kamera befinden können.
Anpassen der Fokuseinstellungen, während das Sensorarray des Bildsensors belichtet wird, kann zu unerwünschten Auswirkungen führen und die Bildqualität des entsprechenden Bilds reduzieren. Des Weiteren erfordert das Anpassen der relevanten Fokusparameter der Kamera eine gewisse Zeit. Unterschiedliche Verfahren sind bekannt, wie Fokusanpassungen im Allgemeinen erreicht werden können. Im Prinzip kann die Position der objektseitigen Hauptebene der Objektiveinheit der Kamera bezüglich der durch die Oberfläche des Sensorarrays gegebenen Bildebene verändert werden. Zu diesem Zweck kann das Sensorarray oder der gesamte Bildsensor physisch bezüglich der Objektiveinheit bewegt werden. Alternativ oder zusätzlich können optische Parameter oder Eigenschaften der Objektiveinheit durch Bewegen einzelner Linsen der Objektiveinheit in Bezug zueinander oder durch Verändern der Form einer oder mehrerer Linsen, zum Beispiel durch Anlegen elektrischer Spannungen, verändert werden.
Bei Digitalkameras und insbesondere bei Fahrzeugkameras ist es bekannt, elektronische Verschlüsse anstelle von mechanischen Verschlüssen, die zum Beispiel für klassische DSLR-Kameras benutzt werden, zu verwenden. Im Fall eines elektronischen Verschlusses werden die Sensorpixel des Sensorarrays elektronisch gesteuert, so dass nur Photoelektronen, die während eines definierten Belichtungszeitraums, auch als Integrationszeitraum bezeichnet, durch Licht erzeugt werden, das auf das jeweilige Sensorpixel auftrifft, zu einer kumulierten Ladung oder kumulierten Spannung beitragen, die ausgelesen wird, um den entsprechenden Pixelwert des Rohbilds zu bestimmen. Allerdings ist keine mechanische Komponente vorhanden, die sicherstellen würde, dass Licht nur während des Belichtungszeitraums auf das Pixel auftrifft, wie es bei einem mechanischen Verschluss der Fall ist.
Einerseits kann ein elektronischer Verschluss als ein globaler Verschluss implementiert sein. In diesem Fall werden alle Sensorpixel des Sensorarrays gleichzeitig belichtet. Mit anderen Worten beginnt der Belichtungszeitraum für alle Pixel des Sensorarrays zur gleichen Zeit und endet zur gleichen Zeit. Andererseits kann der elektronische Verschluss als ein rollierender Verschluss implementiert sein, wobei die Sensorpixel des Sensorarrays in eine Vielzahl von Reihen, auch als Linien bezeichnet, gruppiert werden und der Belichtungszeitraum für alle Sensorpixel einer gegebenen Reihe zur gleichen Zeit beginnt und endet. Der Belichtungszeitraum für verschiedene Reihen beginnt und endet jedoch zu unterschiedlichen Zeiten. Zum Beispiel kann es einen vordefinierten zeitlichen Versatz zwischen dem jeweiligen Beginn der Belichtung für benachbarte Reihen geben. Folglich beginnt der Belichtungszeitraum einer nach dem anderen für jede der Vielzahl von Reihen und die Belichtung des gesamten Sensorarrays ist abgeschlossen, wenn die letzte Reihe belichtet worden ist. Vollständigkeitshalber ist anzumerken, dass ein rollierender Verschluss auch mechanisch implementiert sein kann.
Vorteile rollierender Verschlüsse gegenüber globalen Verschlüssen umfassen eine vereinfachte Pixelarchitektur des Bildsensors, da das rollierende Verschlussprinzip weniger Zwischenspeicherung von Daten und weniger komplexe Ausleseelektronik erfordert. Des Weiteren werden die erzeugte Wärme und das elektronische Rauschen reduziert und auch thermisches Rauschen kann geringer sein als für einen globalen Verschluss.
Das Dokument DE 10 2016 1240 89 A1 beschreibt die Verwendung einer Kamera in einem rollierenden Verschlussmodus in einem Kraftfahrzeug.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Fokusanpassung einer Fahrzeugkamera bereitzustellen, die in einem rollierenden Verschlussmodus arbeitet, wobei negative Auswirkungen der Fokusanpassung auf die aufgenommenen Bilder zumindest für einen Teil der Bilder vermieden werden.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf dem Gedanken, einen vordefinierten Bereich von Interesse, ROI (englisch: region of interest), zu benutzen und diejenigen Reihen des Sensorarrays zu identifizieren, das Reihe für Reihe in dem rollierenden Verschlussmodus belichtet wird, welche einen Bereich des Sensorarrays enthalten, der dem Bereich von Interesse entspricht. Ein Fokusanpasszeitraum, während dem die Fokusparameter angepasst werden, wird dann derart berechnet, dass er beginnt, nachdem der Bereich von Interesse aufgenommen wurde. Mit anderen Worten wird ein spezifischer Teil des Belichtungszeitraums, der den Bereich von Interesse nicht betrifft, zum Anpassen der Fokusparameter benutzt.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Fokusanpassung einer Fahrzeugkamera bereitgestellt. Dabei wird ein erstes Bild von einem Bildsensor der Kamera während eines ersten Einzelbildzeitraums aufgenommen. Zum Aufnehmen des ersten Bilds wird eine Vielzahl von Reihen eines Sensorarrays des Bildsensors gemäß einem rollierenden Verschlussmodus, insbesondere eines rollierenden Verschlussmodus der Kamera beziehungsweise des Bildsensors, belichtet. Ein zweites Bild wird von dem Bildsensor während eines zweiten Einzelbildzeitraums nach dem ersten Einzelbildzeitraum aufgenommen. Ein erster Bereich auf dem Sensorarray wird bestimmt, insbesondere durch zumindest eine Steuereinheit der Fahrzeugkamera, wobei der erste Bereich einem vordefinierten Bereich von Interesse für den ersten Einzelbildzeitraum entspricht. Eine erste Teilmenge der Vielzahl von Reihen wird bestimmt, insbesondere durch die zumindest eine Steuereinheit, wobei die erste Teilmenge von Reihen den ersten Bereich enthält, insbesondere den ersten Bereich vollständig enthält. Ein Fokusanpasszeitraum wird bestimmt, insbesondere berechnet, zum Beispiel durch die zumindest eine Steuereinheit, wobei der Fokusanpasszeitraum beginnt, wenn oder nachdem alle Reihen der ersten Teilmenge von Reihen zum Aufnehmen des ersten Bilds während des ersten Einzelbildzeitraums belichtet worden sind. Zumindest ein Fokusparameter der Kamera wird, insbesondere durch eine Fokusanpassanordnung der Kamera, die zu diesem Zweck zum Beispiel von der zumindest einen Steuereinheit gesteuert werden kann, während des Fokusanpasszeitraums gemäß einer vordefinierten Fokuseinstellung zum Aufnehmen des zweiten Bildes angepasst.
Das Verfahren zur Fokusanpassung kann auch als ein Verfahren zum Aufnehmen zumindest des ersten und des zweiten Bilds bezeichnet werden, wobei eine Fokusanpassung zum Aufnehmen des zweiten Bilds ausgeführt wird.
Eine Fahrzeugkamera kann als eine Kamera betrachtet werden, die sich für die Montage an einem Fahrzeug, insbesondere einem Kraftfahrzeug, eignet, wie etwa eine Frontkamera, eine Rückkamera, eine Seitenkamera et cetera. Während das erfindungsgemäße Verfahren durchgeführt wird, ist die Fahrzeugkamera an dem Fahrzeug montiert.
Der erste Einzelbildzeitraum und der zweite Einzelbildzeitraum können zum Beispiel zwei aufeinanderfolgenden Einzelbildern eines von der Kamera erzeugten Bilddatenstroms oder Videodatenstroms entsprechen. Folglich kann der zweite Einzelbildzeitraum unmittelbar beginnen, wenn der erste Einzelbildzeitraum geendet hat. Jedoch kann die Belichtung des gesamten Sensorarrays abgeschlossen sein und/oder die Datenauslesung und zum Beispiel die Datenspeicherung für das erste Bild abgeschlossen sein, bereits bevor der erste Einzelbildzeitraum endet.
Die Vielzahl von Reihen kann dem gesamten Sensorarray entsprechen oder mit anderen Worten die Vielzahl der Reihen kann alle Sensorpixel des Sensorarrays enthalten. Bei anderen Ausführungen kann die Vielzahl von Reihen jedoch nur einen Anteil aller Sensorpixel des Sensorarrays, zum Beispiel eine obere Hälfte oder untere Hälfte des Sensorarrays enthalten. Das kann in Bezug auf die elektronische Steuerung der Bildaufnahme und/oder zum Auslesen von Vorteil sein. In beiden Fällen ist jedoch die erste Teilmenge eine echte Teilmenge der Vielzahl von Reihen oder mit anderen Worten enthält die erste Teilmenge von Reihen nicht alle der Vielzahl von Reihen. Mit anderen Worten ist das vorliegende Verfahren auf Situationen anwendbar, in denen zumindest eine der Reihen der Vielzahl von Reihen keine Pixel enthält, die dem ersten Bereich und somit dem Bereich von Interesse für den ersten Einzelbildzeitraum entsprechen.
Ein Bereich von Interesse, und insbesondere der Bereich von Interesse für den ersten Einzelbildzeitraum, kann hier und im Folgenden als ein dreidimensionales Volumen in der Umgebung der Kamera, auch als reale Welt bezeichnet, zum Beispiel ein kubisches Volumen oder ein quaderförmiges Volumen oder ein anderes dreidimensionales Volumen sein. Die Punkte in dem dreidimensionalen Volumen werden dann in vordefinierter Weise, die insbesondere durch intrinsische Parameter der Kamera gegeben ist, auf die zweidimensionale Oberfläche des Sensorarrays abgebildet. Die Sensorpixel auf dem Sensorarray, auf das der Bereich von Interesse abgebildet wird, entsprechen dann einem gewissen Bereich auf dem Sensorarray, der im Fall des Bereichs von Interesse für den ersten Einzelbildzeitraum der erste Bereich ist. Insbesondere ist der Bereich von Interesse ein zusammenhängendes dreidimensionales Volumen und der erste Bereich ist ein zusammenhängender Teil auf der Oberfläche des Sensorarrays. Alternativ dazu kann der Bereich von Interesse, und insbesondere der Bereich von Interesse für den ersten Einzelbildzeitraum, direkt als ein zusammenhängender zweidimensionaler Bereich in Bildkoordinaten oder mit andere Worten in Koordinaten auf der Oberfläche des Sensorarrays sein. In diesem Fall ist der Bereich von Interesse für den ersten Einzelbildzeitraum identisch zu dem ersten Bereich.
Das Sensorarray ist insbesondere ein rechteckiges Array von Sensorpixeln, die in Pixelreihen und Pixelspalten angeordnet sind, so dass jedes Sensorpixel durch eine Pixelreihe und eine Pixelspalte eindeutig festgelegt ist. Jede der Reihen, die mit dem rollierenden Verschlussmodus assoziiert sind, oder mit anderen Worten die Reihen der Vielzahl von Reihen, können einer oder mehreren benachbarten oder aufeinanderfolgenden Pixelreihen oder Pixelspalten entsprechen. Zum Beispiel kann eine Reihe der Vielzahl von Reihen mehrere Zehn, Hundert oder Tausend Pixelreihen oder Pixelspalten umfassen.
Im Folgenden wird davon ausgegangen, dass eine Reihe der Vielzahl von Reihen einer Anzahl von Pixelreihen, und nicht Pixelspalten, entspricht. Alle Erläuterungen lassen sich jedoch analog auf den Fall übertragen, dass eine Reihe eine Anzahl von Pixelspalten anstatt von Pixelreihen enthält.
Die Länge der einzelnen Reihen der Vielzahl von Reihen ist gleich der Länge der einzelnen Pixelreihen. Mit anderen Worten enthält jede Reihe Sensorpixel jeder der Pixelspalten des Sensorarrays. Folglich deckt die erste Teilmenge von Reihen, die den ersten Bereich enthält, im Allgemeinen einen Bereich ab, der größer ist als der erste Bereich, da letzterer nicht notwendigerweise Sensorpixel aller Pixelspalten enthält.
Die erste Teilmenge von Reihen kann zum Beispiel nur solche Reihen der Vielzahl von Reihen enthalten, die mit dem ersten Bereich überlappen. Mit anderen Worten kann die erste Teilmenge von Reihen als eine minimale Teilmenge der Vielzahl von Reihen betrachtet werden, die den ersten Bereich enthält.
Der Bildsensor kann als ein elektronisches Gerät verstanden werden, welches das Sensorarray aufweist, das einem Array optischer Detektoren entspricht. Ein Sensorpixel kann verstanden werden als einer der optischen Detektoren oder eine Gruppe von zwei oder mehr benachbarten optischen Detektoren. Das Sensorarray kann als ein CCD-Sensor, ein CMOS-Sensor, insbesondere ein aktiver Pixelsensor oder ein passiver Pixelsensor, oder ein anderes Sensorarray, das empfindlich für Licht ist, insbesondere sichtbares Licht, ausgestaltet sein. Der Bildsensor kann auch weitere elektronische Komponenten zusätzlich zu dem Sensorarray aufweisen, zum Beispiel zum Auslesen des Sensorarrays und/oder Vorverarbeitungszwecken et cetera. Der Bildsensor kann auf einem einzigen Halbleiterchip implementiert sein und kann daher auch als Bildsensor-Chip bezeichnet werden. Alternativ können das Sensorarray und die weiteren elektronischen Komponenten auf zwei oder mehr verschiedenen Halbleiterchips implementiert sein, die zum Beispiel auf einem gemeinsamen Schaltungsträger montiert sind. Insbesondere kann der Bildsensor eine oder mehrere der zumindest einen Steuereinheit aufweisen.
Der zumindest eine Fokusparameter hängt davon ab, wie die Fokusanpassung tatsächlich ausgeführt wird. Wird die Fokusanpassung zum Beispiel durch Anpassen einer Entfernung zwischen dem Sensorarray und einer Objektiveinheit der Kamera ausgeführt, so kann der zumindest eine Fokusparameter die Entfernung zwischen dem Sensorarray und der Objektiveinheit enthalten oder aus dieser bestehen. Der zumindest eine Fokusparameter kann auch zumindest einen Steuerparameter zum Betreiben der Fokusanpassanordnung enthalten oder kann relative Entfernungsveränderungen zwischen dem Sensorarray und der Objektiveinheit et cetera enthalten. Der zumindest eine Fokusparameter kann auch eine Brennweite der Objektiveinheit enthalten, falls die Brennweite geändert werden kann, um die Fokusanpassung auszuführen. Auch relative Unterschiede in der Brennweite können den zumindest einen Fokusparameter darstellen. Im Allgemeinen enthält der zumindest eine Fokusparameter einen oder mehrere Parameter, die die Entfernung zwischen der Bildebene der Kamera, die durch eine die Oberfläche des Sensorarrays enthaltende Ebene gegeben ist, und einer objektseitigen Hauptebene der Objektiveinheit direkt oder indirekt beeinflussen oder verändern.
Insbesondere wird keine Fokusanpassung, insbesondere keine Veränderung des zumindest einen Fokusparameters der Kamera, ausgeführt, während die erste Teilmenge von Reihen belichtet wird oder mit anderen Worten nachdem mit der Belichtung einer initialen Reihe der ersten Teilmenge begonnen worden ist und bevor eine finale Reihe der ersten Teilmenge vollständig belichtet worden ist.
Die vordefinierte Fokuseinstellung zum Aufnehmen des zweiten Bilds entspricht einem vordefinierten Satz von Werten des zumindest einen Fokusparameters. Sie kann eine Fokuseinstellung zum Aufnehmen des gesamten zweiten Bilds oder zum Aufnehmen eines Teils des zweiten Bilds sein.
Im Fall eines mechanischen Verschlusses erfolgt die Belichtung, wenn eine mechanische Komponente Licht von außerhalb der Kamera in den Innenbereich der Kamera durch eine Objektiveinheit eintreten und auf den jeweiligen Teil des Sensorarrays auftreffen lässt. Im Fall eines elektronischen Verschlusses kann die Belichtung als ein Zeitraum verstanden werden, während dem die Ladungsträger, die von dem entsprechenden Pixel aufgrund des auftreffenden Lichts erzeugt werden, zu eine kumulierter oder integrierten Ladung oder Spannung beitragen, die aus dem Sensorpixel ausgelesen wird, um den jeweiligen Pixelwert zu bestimmen. Mit anderen Worten entspricht der Belichtungszeitraum in diesem Fall einer Integrationszeit.
Der rollierende Verschluss ist vorzugsweise ein elektronischer Verschluss. Im Prinzip kann jedoch das erfindungsgemäße Verfahren auch im Fall eines mechanischen Verschlusses angewendet werden. Falls nicht anders angegeben, wird hier und im Folgenden davon ausgegangen, dass der rollierende Verschluss ein elektronischer Verschluss ist.
Insbesondere beginnt der Fokusanpasszeitraum bevor alle Reihen der Vielzahl von Reihen zum Aufnehmen des ersten Bildes während des ersten Einzelbildzeitraums belichtet worden sind. Dies beruht auf der Annahme, dass die Belichtung der ersten Teilmenge von Reihen abgeschlossen ist, bevor die Belichtung aller Reihen der Vielzahl von Reihen abgeschlossen ist. Der Fokusanpasszeitraum beginnt zwischen den beiden Zeitpunkten.
Mit anderen Worten, nimmt man an, dass die Vielzahl von Reihen eine Anzahl N aufeinanderfolgender Reihen enthält, die mit 1, 2, ..., N bezeichnet sind, wird beim Aufnehmen des ersten Bilds die Vielzahl von Reihen derart belichtet, dass zuerst der Belichtungszeitraum von Reihe 1 beginnt und der Belichtungszeitraum von Reihe 2 beginnt nach einer vordefinierten Versatzzeit oder Verzögerungszeit nachdem der Belichtungszeitraum von Reihe 1 begonnen hat, und so weiter. Zuletzt beginnt der Belichtungszeitraum von Reihe N. Mit anderen Worten ist der Belichtungszeitraum von Reihe N der letzte, der beginnt, und der letzte, der endet. In einem Szenario, bei welchem das erfindungsgemäße Verfahren durchgeführt wird, enthält die erste Teilmenge von Reihen dann die Reihe N nicht. Das erfindungsgemäße Verfahren kann derart verstanden werden, dass es auf Situationen anwendbar ist, bei denen diese Annahme gültig ist.
Die Erfindung richtet sich nicht auf den Ausnahmefall, dass die Reihe N auch von der ersten Teilmenge von Reihen beinhaltet ist. In diesem Fall kann es verschiedene Möglichkeiten geben, wie die Fokusanpassung zum Aufnehmen des zweiten Bilds gehandhabt wird. Zum Beispiel kann der zweite Einzelbildzeitraum absichtlich hinausgezögert werden bis die Fokusparameter angepasst worden sind oder die Fokusanpassung kann weggelassen werden oder es kann akzeptiert werden, dass die Fokusanpassung beginnt, nachdem alle Reihen der Vielzahl von Reihen belichtet worden sind.
Erfindungsgemäß wird sichergestellt, dass die Fokusanpassung nicht erfolgt, bevor alle Reihen der ersten Teilmenge belichtet worden sind, während es akzeptiert wird, dass die Fokusanpassung erfolgt, während die übrigen Reihen, die nicht in der ersten Teilmenge enthalten sind, belichtet werden. Mit anderen Worten wird sichergestellt, dass die Abbildung des Bereichs von Interesse für den ersten Einzelbildzeitraum nicht durch die Fokusanpassung beeinträchtigt wird, während es akzeptiert wird, dass Bildbereiche außerhalb des Bereichs von Interesse für den ersten Einzelbildzeitraum durch die Fokusanpassung beeinträchtigt werden. Mit anderen Worten können nachfolgende Fahrzeugfunktionen, die das erste Bild nutzen, den Teil des ersten Bilds benutzen, der dem Bereich von Interesse für den ersten Einzelbildzeitraum entspricht, ohne jegliche Qualitätseinbußen aufgrund der Fokusanpassung, während Qualitätseinbußen außerhalb des Bereichs von Interesse für den ersten Einzelbildzeitraum /hingenommen werden und zum Beispiel für die entsprechende Funktion nicht relevant sind.
Bei manchen Ausgestaltungen kann es einen Zwischenzeitraum geben, nachdem die letzte Reihe der Vielzahl von Reihen, die oben als Reihe N bezeichnet worden ist, in dem ersten Einzelbildzeitraum belichtet worden ist und bevor die Belichtung der ersten Reihe der Vielzahl von Reihen, oben als Reihe 1 bezeichnet, beginnt. Der Fokusanpasszeitraum kann diesen Zwischenzeitraum enthalten. Mittels der Erfindung wird jedoch die für die Durchführung der Fokusanpassung verfügbare Zeit über den Zwischenzeitraum hinaus verlängert, da der Fokusanpasszeitraum bereits beginnt, bevor die letzte Reihe der Vielzahl von Reihen belichtet worden ist. Folglich kann der Umfang der Fokusanpassung, der in einem Schritt erreicht werden kann, gesteigert werden. Bei anderen Ausführungsformen kann es sein, dass es keinen geeigneten Zwischenzeitraum zwischen dem Ende der Belichtung der letzten Reihe N in dem ersten Einzelbildzeitraum und dem Beginn der Belichtung der ersten Reihe 1 in dem zweiten Einzelbildzeitraum gibt. In diesem Fall erlaubt die Erfindung dennoch eine Fokusanpassung, ohne den Bereich von Interesse für den ersten Einzelbildzeitraum negativ zu beeinflussen.
Gemäß einigen Ausführungen des erfindungsgemäßen Verfahrens zur Fokusanpassung wird die Vielzahl von Reihen gemäß dem rollierenden Verschlussmodus zum Aufnehmen des zweiten Bilds belichtet. Ein zweiter Bereich auf dem Sensorarray wird bestimmt, insbesondere durch die zumindest eine Steuereinheit, wobei der zweite Bereich einem vordefinierten Bereich von Interesse für den zweiten Einzelbildzeitraum entspricht. Der Fokusanpasszeitraum wird abhängig von dem zweiten Bereich bestimmt.
Die vordefinierte Fokuseinstellung zum Aufnehmen des zweiten Bilds kann einer vordefinierten Fokuseinstellung zum Aufnehmen des ROI für den zweiten Einzelbildzeitraum entsprechen.
Die Bereiche von Interesse für den ersten beziehungsweise den zweiten Einzelbildzeitraum können identisch zueinander oder unterschiedlich zueinander sein. Sind sie identisch zueinander, so folgt daraus auch, dass der erste Bereich identisch zu dem zweiten Bereich ist. Andererseits, falls die ROls für den ersten und den zweiten Einzelbildzeitraum verschieden sind, kann der erste Bereich verschieden von dem zweiten Bereich sein, insbesondere falls die Bereiche von Interesse wie oben beschrieben als jeweilige dreidimensionale Volumen in der realen Welt definiert sind. Auch falls die ROls jedoch für den ersten und den zweiten Einzelbildzeitraum durch dreidimensionale Volumen in der realen Welt gegeben sind und verschieden voneinander sind, kann der erste Bereich dennoch zufällig identisch zu dem zweiten Bereich sein, da unterschiedliche dreidimensionale Volumen von der Kamera, insbesondere der Objektiveinheit, auf denselben gleichen Bereich auf dem Sensorarray abgebildet werden können. Falls die ROls für den ersten und den zweiten Einzelbildzeitraum direkt durch zweidimensionale Teile der Oberfläche des Sensorarrays gegeben sind und unterschiedlich zueinander sind, ergibt sich, dass der erste und der zweite Bereich unterschiedlich zueinander sind.
Gemäß einigen Ausführungen endet der Fokusanpasszeitraum, falls der zweite Bereich identisch zu dem ersten Bereich ist, bevor eine Belichtung irgendeiner aus der ersten Teilmenge von Reihen zum Aufnehmen des zweiten Bilds während des zweiten Einzelbildzeitraums begonnen hat.
Mit anderen Worten, falls der erste Bereich identisch zu dem zweiten Bereich ist, so ist sichergestellt, dass keine Fokusanpassung in dem zweiten Einzelbildzeitraum erfolgt, nachdem die Belichtung der ersten Teilmenge von Reihen begonnen hat. In solchen Fällen deckt die erste Teilmenge von Reihen nicht nur den ROI oder den abgebildeten ROI für den ersten Einzelbildzeitraum ab, sondern auch den ROI oder den abgebildeten ROI für den zweiten Einzelbildzeitraum. Dennoch unterscheiden sich die Fokusparameter oder mit anderen Worten die vordefinierte Fokuseinstellung für den zweiten Einzelbildzeitraum im Allgemeinen von entsprechenden Einstellungen für den ersten Einzelbildzeitraum. In derartigen Ausführungen wird erreicht, dass das Abbilden des ROI für den zweiten Einzelbildzeitraum von der Fokusanpassung nicht negativ beeinflusst wird.
Der Fokusanpassungszeitraum kann zum Beispiel zu einem Zeitpunkt enden, wenn die Belichtung der ersten Teilmenge von Reihen in dem zweiten Zeitraum beginnt. Bei alternativen Ausführungen kann es jedoch einen Zeitunterschied zwischen dem Ende des Fokusanpassungszeitraums und dem Beginn der Belichtung der ersten Teilmenge von Reihen in dem zweiten Einzelbildzeitraum geben. Der Zeitunterschied kann größer oder gleich einem vordefinierten von Null verschiedenen Pufferzeitraum sein. Der von Null verschiedene Pufferzeitraum kann zum Beispiel eine Stabilisierung des zumindest einen Fokusparameters nach der Anpassung berücksichtigen. Auf diese Weise können unerwünschte Veränderungen des zumindest einen Fokusparameters während der Belichtung der ersten Teilmenge von Reihen in dem zweiten Einzelbildzeitraum vermieden werden.
Gemäß einigen Ausführungen, wird, falls der zweite Bereich unterschiedlich zu dem ersten Bereich ist, eine zweite Teilmenge der Vielzahl von Reihen bestimmt, insbesondere von der zumindest einen Steuereinheit. Die zweite Teilmenge von Reihen enthält den zweiten Bereich, enthält den zweiten Bereich insbesondere vollständig. Der Fokusanpasszeitraum endet bevor irgendeine aus der zweiten Teilmenge von Reihen zum Aufnehmen des zweiten Bilds während des zweiten Einzelbildzeitraums belichtet wird.
Die obigen Erläuterungen betreffend den Fall, wenn der erste Bereich identisch mit dem zweiten Bereich ist, lassen sich analog auf den vorliegenden Fall übertragen.
Auch bei derartigen Ausführungen kann ein Zeitunterschied zwischen dem Ende des Fokusanpassungszeitraums und einem Beginn der Belichtung der zweiten Teilmenge von Reihen vorliegen, der größer oder gleich einem vordefinierten von Null verschiedenen Pufferzeitraum ist wie oben erläutert.
Gemäß einigen Ausführungen entspricht die erste Teilmenge von Reihen einem minimalen Satz von Reihen der Vielzahl von Reihen, der den ersten Bereich enthält.
Gemäß einigen Ausführungen entspricht, falls der zweite Bereich zu dem ersten Bereich unterschiedlich ist, die zweite Teilmenge von Reihen einem weiteren minimalen Satz von Reihen der Vielzahl von Reihen, der den zweiten Bereich enthält.
In diesem Fall wird die verfügbare Zeit für den Fokusanpassungszeitraum maximiert, da die erste Teilmenge von Reihen und gegebenenfalls die zweite Teilmenge von Reihen nur so viele Reihen enthält wie tatsächlich für die Abdeckung des ersten beziehungsweise zweiten Bereichs erforderlich.
Gemäß einigen Ausführungen umfasst das Anpassen des zumindest einen Fokusparameters ein Verändern einer Entfernung zwischen dem Sensorarray, insbesondere einer Bildebene, die durch die Ebene gegeben ist, die die Oberfläche des Sensorarrays enthält, und einer objektseitigen Hauptebene der Kamera, insbesondere der Objektiveinheit.
Gemäß einigen Ausführungen umfasst das Anpassen des zumindest einen Fokusparameters ein Verändern einer Entfernung zwischen dem Sensorarray, insbesondere der Bildebene, und der Objektiveinheit der Kamera.
Die Objektiveinheit weist eine oder mehrere Linsen auf. Zum Verändern der Entfernung zwischen dem Sensorarray und der Objektiveinheit, werden die Objektiveinheit und das Sensorarray relativ zueinander bewegt. Insbesondere kann die Objektiveinheit ortsfest bleiben, während das Sensorarray bewegt wird, zum Beispiel der ganze Bildsensor bewegt wird, oder der Bildsensor und das Sensorarray bleiben ortsfest, während die Objektiveinheit, insbesondere die vollständige Objektiveinheit mit allen der einen oder mehreren Linsen, bewegt wird.
Durch Verändern der Entfernung zwischen dem Sensorarray und der Objektiveinheit, insbesondere mechanisch, wird die Entfernung zwischen der objektseitigen Hauptebene der Objektiveinheit und der Bildebene entsprechend verändert.
Gemäß einigen Ausführungen umfasst das Anpassen des zumindest einen Fokusparameters ein Verändern einer Brennweite der Objektiveinheit der Kamera.
Auch wird durch Verändern der Brennweite, zum Beispiel durch Verändern optischer Eigenschaften der einen oder der mehreren Linsen oder ihrer relativen Position zueinander oder ihrer Form, die Position der objektseitigen Hauptebene bezüglich der Bildebene verändert.
Bei manchen Ausführungen umfasst der zumindest eine Fokusparameter ein Verändern der Entfernung zwischen dem Sensorarray und der Objektiveinheit und umfasst auch ein Verändern der Brennweite der Objektiveinheit.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, bereitgestellt. Dabei weist das Fahrzeug eine Fahrzeugkamera auf und ein Verfahren zur Fokusanpassung der Fahrzeugkamera wird gemäß der Erfindung ausgeführt. Das Fahrzeug wird abhängig von dem ersten Bild und/dem zweiten Bild zumindest teilweise automatisch geführt.
Zum zumindest teilweise automatischen Führen des Fahrzeugs kann eine oder können mehrere Computer-Vision-Funktionen abhängig von dem ersten und/oder zweiten Bild ausgeführt werden. Eine weitere Steuereinheit des Fahrzeugs kann zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Fahrzeugs abhängig von einem Ergebnis der einen oder der mehreren Computer-Vision-Funktionen erzeugen. Das eine oder die mehreren Steuersignale können zum Beispiel einem oder mehreren Aktuatoren des Fahrzeugs bereitgestellt werden, die eine Quer- und/oder Längssteuerung des Fahrzeugs abhängig von dem einen oder den mehreren Steuersignalen beeinflussen, um das Fahrzeug zumindest teilweise automatisch zu führen.
Alternativ oder zusätzlich kann eine oder können mehrere Human-Vision-Funktionen abhängig von dem ersten und/oder zweiten Bild ausgeführt werden. Zu diesem Zweck kann das erste und/oder zweite Bild angezeigt oder zuerst verarbeitet und dann auf einem Anzeigegerät des Fahrzeugs angezeigt werden, um einen Fahrer des Fahrzeugs beim Führen des Fahrzeugs zu unterstützen.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann es vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Nutzerrückmeldung ausgegeben wird und/oder eine Standardeinstellung und/oder ein vorbestimmter initialer Zustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird eine Fahrzeugkamera bereitgestellt. Die Fahrzeugkamera weist einen Bildsensor und insbesondere eine Objektiveinheit auf. Die Fahrzeugkamera weist zumindest eine Steuereinheit auf, die dazu eingerichtet ist, den Bildsensor zu steuern, um ein erstes Bild während eines ersten Einzelbildzeitraums aufzunehmen, wobei eine Vielzahl von Reihen eines Sensorarrays des Bildsensors gemäß einem rollierenden Verschlussmodus belichtet wird, und ein zweites Bild während eines zweiten Einzelbildzeitraums nach dem ersten Einzelbildzeitraum aufzunehmen. Die Fahrzeugkamera weist eine Fokusanpassanordnung auf, die dazu eingerichtet ist, zumindest einen Fokusparameter der Kamera anzupassen. Die zumindest eine Steuereinheit ist dazu eingerichtet, einen ersten Bereich des Sensorarrays zu bestimmen, der einem vordefinierten Bereich von Interesse für den ersten Einzelbildzeitraum entspricht, um eine erste Teilmenge der Vielzahl von Reihen zu bestimmen, wobei die erste Teilmenge von Reihen den ersten Bereich enthält, und um einen Fokusanpasszeitraum zu bestimmen. Die zumindest eine Steuereinheit ist dazu eingerichtet, den Fokusanpasszeitraum derart zu bestimmen, dass er beginnt, wenn oder nachdem alle Reihen der ersten Teilmenge von Reihen während des ersten Einzelbildzeitraums belichtet worden sind und beispielsweise bevor alle Reihen der Vielzahl von Reihen während des ersten Einzelbildzeitraums belichtet worden sind. Die zumindest eine Steuereinheit ist dazu eingerichtet, die Fokusanpassanordnung zu steuern, um den zumindest einen Fokusparameter der Kamera während des Fokusanpasszeitraums gemäß einer vordefinierten Fokuseinstellung zum Aufnehmen des zweiten Bilds anzupassen.
Eine Steuereinheit der zumindest einen Steuereinheit kann auch als eine jeweilige Recheneinheit bezeichnet werden. Die zumindest eine Steuereinheit kann teilweise oder vollständig von dem Bildsensor umfasst sein oder kann getrennt von dem Bildsensor implementiert sein.
Eine Recheneinheit kann insbesondere als ein Datenverarbeitungsgerät verstanden werden, welches einen Verarbeitungsschaltkreis aufweist. Die Recheneinheit kann somit insbesondere Daten verarbeiten, um Rechenoperationen durchzuführen. Dies kann auch Operationen zum Durchführen indizierter Zugänge zu einer Datenstruktur, beispielsweise einer Look-Up-Tabelle, LUT, umfassen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“), enthalten. Die Recheneinheit kann auch einen oder mehrere Prozessoren, zum Beispiel einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
Bei verschiedenen Ausführungsformen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Um die Fokusanpassungsanordnung zu steuern, kann die zumindest eine Steuereinheit zumindest ein Fokussteuersignal erzeugen und es entsprechend an die Fokusanpassanordnung bereitstellen.
Gemäß einigen Ausführungen der erfindungsgemäßen Fahrzeugkamera ist die Fokusanpassanordnung dazu eingerichtet, das Sensorarray relativ zu einer Objektiveinheit der Kamera zu bewegen, um den zumindest einen Fokusparameter anzupassen.
Gemäß einigen Ausführungen ist die Fokusanpassanordnung dazu eingerichtet, eine Brennweite einer Objektiveinheit der Kamera zu verändern, um den zumindest einen Fokusparameter anzupassen.
Weitere Ausführungen der erfindungsgemäßen Fahrzeugkamera ergeben sich unmittelbar aus den verschiedenen Ausführungsformen des erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere können einzelne Merkmale und entsprechende Erläuterungen sowie die verschiedenen Ausführungen betreffende Vorteile des erfindungsgemäßen Verfahrens analog auf entsprechende Ausführungen der erfindungsgemäßen Fahrzeugkamera übertragen werden. Insbesondere ist die erfindungsgemäße Fahrzeugkamera dazu ausgestaltet oder programmiert, das erfindungsgemäße Verfahren auszuführen. Insbesondere führt die erfindungsgemäße Fahrzeugkamera das erfindungsgemäße Verfahren aus.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem weist eine erfindungsgemäße Fahrzeugkamera und eine weitere Steuereinheit auf. Die weitere Steuereinheit ist dazu eingerichtet, eines oder mehrere Steuersignale zum zumindest teilweise automatischen Steuern des Fahrzeugs abhängig von dem ersten Bild und/oder dem zweiten Bild und/oder zum Ausführen eines erfindungsgemäßen Verfahrens zum zumindest teilweise automatischen Führen eines Fahrzeugs zu erzeugen.
Ein elektronisches Fahrzeugführungssystem kann als ein elektronisches System verstanden werden, welches dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom und insbesondere, ohne dass ein manuelles Eingreifen oder Steuern durch einen Fahrer oder Benutzer des Fahrzeugs notwendig wäre, zu führen. Das Fahrzeug führt alle erforderlichen Funktionen, wie etwa Lenkmanöver, Abbremsmanöver und/oder Beschleunigungsmanöver sowie Überwachung und Aufzeichnung des Straßenverkehrs sowie entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifikation implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einem Fahrer beim teilautomatischen oder teilautonomen Fahren assistiert. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016 Klassifikation implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den entsprechenden Standard mit Datum vom Juni 2018.
Das wenigstens teilweise automatische Führen des Fahrzeugs kann daher ein Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 der SAE J3016 Klassifikation beinhalten. Das wenigstens teilweise automatische Führen des Fahrzeugs kann auch ein Führen des Fahrzeugs gemäß einem teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der SAE J3016 Klassifikation beinhalten.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm bereitgestellt, das erste Befehle beinhaltet. Wenn die ersten Befehle von einer erfindungsgemäßen Fahrzeugkamera, zum Beispiel von der zumindest einen Steuereinheit, ausgeführt werden, veranlassen die ersten Befehle die Fahrzeugkamera dazu, ein erfindungsgemäßes Verfahren zur Fokusanpassung auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm bereitgestellt, das zweite Befehle beinhaltet. Wenn die zweiten Befehle von einem erfindungsgemäßen elektronischen Fahrzeugführungssystem, insbesondere von der zumindest einen Steuereinheit der Fahrzeugkamera und/oder der weiteren Steuereinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die zweiten Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs auszuführen.
Die ersten und/oder zweiten Befehle können als Programmcode bereitgestellt sein. Der Programmcode kann zum Beispiel als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache, zum Beispiel C, und/oder als Programmskript, zum Beispiel Python, bereitgestellt sein.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichergerät bereitgestellt. Das computerlesbare Speichergerät speichert ein erstes Computerprogramm und/oder ein zweites Computerprogramm gemäß der Erfindung.
Das erste Computerprogramm, das zweite Computerprogramm beziehungsweise das computerlesbare Speichergerät können als jeweilige Computerprogrammprodukte bezeichnet werden, die jeweils die ersten und/oder zweiten Befehle enthalten.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Insbesondere können auch Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle der Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Darüber hinaus können Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder davon abweichen.
Im Folgenden wird die Erfindung im Einzelnen mit Bezug auf spezifische beispielhafte Ausführungen und jeweilige schematische Zeichnungen erläutert. In den Zeichnungen können identische und funktionsgleiche Elemente mit denselben Bezugszeichen bezeichnet sein. Die Beschreibung identischer oder funktionsgleicher Elemente wird mit Bezug auf andere Figuren nicht notwendigerweise wiederholt.
In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführungsform eines erfindungsgemäßen elektronischen Fahrzeugführungssystems, das eine beispielhafte Ausführung einer erfindungsgemäßen Fahrzeugkamera aufweist;
2 schematisch Bereiche von Interesse in einer Umgebung einer Fahrzeugkamera;
3 schematisch weitere Bereiche von Interesse in einer Umgebung einer Fahrzeugkamera;
4 schematisch ein Blockdiagramm, welches eine beispielhafte Ausführung eines erfindungsgemäßen Verfahrens zur Fokusanpassung veranschaulicht;
5 schematisch die Belichtung einer Vielzahl von Reihen gemäß einem rollierenden Verschlussmodus in zwei aufeinanderfolgenden Einzelbildzeiträumen gemäß einer beispielhaften Ausführung eines erfindungsgemäßen Verfahrens zur Fokusanpassung;
6 schematisch die Belichtung einer Vielzahl von Reihen gemäß einem rollierenden Verschlussmodus in zwei aufeinanderfolgenden Einzelbildzeiträumen gemäß einer weiteren beispielhaften Ausführung eines erfindungsgemäßen Verfahrens zur Fokusanpassung;
7 schematisch die Belichtung einer Vielzahl von Reihen gemäß einem rollierenden Verschlussmodus in zwei aufeinanderfolgenden Einzelbildzeiträumen gemäß einer weiteren beispielhaften Ausführung eines erfindungsgemäßen Verfahrens zur Fokusanpassung;
8 schematisch einen Anwendungsfall zur Anwendung eines erfindungsgemäßen Verfahrens zur Fokusanpassung in Form eines Flussdiagramms;
9 schematisch einen weiteren Anwendungsfall zur Anwendung eines erfindungsgemäßen Verfahrens zur Fokusanpassung in Form eines Flussdiagramms;
10 schematisch einen weiteren Anwendungsfall zur Anwendung eines erfindungsgemäßen Verfahrens zur Fokusanpassung in Form eines Flussdiagramms; und
11 schematisch einen weiteren Anwendungsfall zur Anwendung eines erfindungsgemäßen Verfahrens zur Fokusanpassung in Form eines Flussdiagramms.

1 zeigt schematisch ein Fahrzeug 1, welches ein erfindungsgemäßes elektronisches Fahrzeugführungssystem 2 aufweist. Das Fahrzeugführungssystem 2 weist eine oder mehrere Kameras auf, die als Fahrzeugkamera 3 gemäß einer beispielhaften Ausführung der Erfindung ausgeführt sind. Die Fahrzeugkamera 3 ist schematisch als ein Blockdiagramm in der eingefügten Darstellung von 1 gezeigt.
Die Fahrzeugkamera 3 weist einen Bildsensor 10 auf, der zum Beispiel innerhalb eines Gehäuses 8 der Kamera 3 angeordnet ist. Die Fahrzeugkamera 3 weist auch eine Objektiveinheit 9 auf, die eine oder mehrere Linsen (nicht gezeigt) enthält. Des Weiteren ist ein Sensorarray 11 des Bildsensors bezüglich der Objektiveinheit 9 derart angeordnet, dass durch die Objektiveinheit 9 hindurchtretendes Licht auf eine Oberfläche des Sensorarrays 11 auftreffen kann. Die Kamera 3 weist eine oder mehrere Steuereinheiten 13a, 13b auf. Die eine oder die mehreren Steuereinheiten 13a, 13b können Teil des Bildsensors 10 sein, wie für eine Steuereinheit 13a in 1 gezeigt, oder können zusätzlich zu dem Bildsensor 10 implementiert sein, wie für eine Steuereinheit 13b in 1 gezeigt.
Des Weiteren weist die Fahrzeugkamera 3 eine Fokusanpassanordnung 12 auf, die durch eine Steuereinheit 13a, 13b steuerbar ist, um zumindest einen Fokusparameter zu verändern oder zumindest einen Fokusparameter der Kamera 3 anzupassen. Zu diesem Zweck kann die Fokusanpassanordnung von der zumindest einen Steuereinheit 13a, 13b gesteuert werden, um eine Entfernung zwischen der Oberfläche des Sensorarrays 11, welche einer Bildebene der Kamera entspricht, und einer objektseitigen Hauptebene der Objektiveinheit 9 zu verändern. Das kann erreicht werden, indem die Position des Sensorarrays 11 bezüglich der Position der Objektiveinheit 9 bewegt wird. Zum Beispiel können der Bildsensor 10 und das Sensorarray 11 fixiert bleiben, während die Position der Objektiveinheit 9 durch die Fokusanpassanordnung verändert werden kann, oder umgekehrt. Alternativ oder zusätzlich kann die Fokusanpassanordnung 12 optische Eigenschaften, zum Beispiel die Brennweite der Objektiveinheit, elektronisch verändern.
Das elektronische Fahrzeugführungssystem 2 kann eine weitere Steuereinheit 4 aufweisen, die zum Beispiel als eine elektronische Steuereinheit, ECU (englisch: electronic control unit), implementiert sein kann und mit der Kamera 3 verbunden ist. Die Kamera 3 ist dazu eingerichtet, einen Datenstrom von Kamerabildern zu erzeugen, der zumindest ein erstes Bild und ein zweites Bild enthält, und den Datenstrom oder eine vorverarbeitete Version des Datenstroms an eine weitere Steuereinheit 4 bereitzustellen. Die weitere Steuereinheit 4 kann dann eines oder mehrere Steuersignale zum zumindest teilweise automatischen Führen des Fahrzeugs 1 abhängig von dem Datenstrom von Kamerabildern zu erzeugen und das eine oder die mehreren Steuersignale an jeweilige Aktuatoren (nicht gezeigt) des Fahrzeugs bereitstellen, die eine Längs- und/oder Quersteuerung des Fahrzeugs 1 abhängig von dem einem oder den mehreren Steuersignalen beeinflussen.
Um die Fokuseinstellungen der Kamera 3 anzupassen, ist die Kamera 3 dazu in der Lage, ein erfindungsgemäßes Verfahren zur Fokusanpassung einer Fahrzeugkamera auszuführen. Einzelheiten eines derartigen Verfahrens werden im Folgenden anhand der Figuren 2 bis 7 erläutert.
Die zumindest eine Steuereinheit 13a, 13b ist dazu eingerichtet, einen ersten Bereich auf dem Sensorarray 11 oder mit anderen Worten eine zusammenhängende Teilmenge von Pixeln des Sensorarrays 11 zu bestimmen, welche einem vorbestimmten Bereich von Interesse 6a, 6b, 6c, 7a, 7b, 7c für einen ersten Einzelbildzeitraum F₁ entspricht, während dem ein erstes Bild von dem Bildsensor 10 aufgenommen wird.
2 zeigt schematisch Beispiele für drei unterschiedliche Bereiche von Interesse 6a, 6b, 6c in einer Umgebung 5 der Kamera 3. Die drei unterschiedlichen Bereiche von Interesse 6a, 6b, 6c können durch unterschiedliche Größen und/oder horizontale Winkel aus der Kameraperspektive definiert sein. Die Bereiche von Interesse 6a, 6b, 6c können zum Beispiel dreidimensionalen Volumen in der Umgebung 5 entsprechen, die quaderförmige oder annähernd quaderförmige Volumen sind. Falls die Kamera 3 eine nicht-geradlinige Kamera ist, wie etwa eine Fischaugenkamera, so werden die geraden Linien oder ebenen Flächen, die das quaderförmige Volumen begrenzen, verzerrt, wie in 2 angedeutet.
Die unterschiedlichen Bereiche von Interesse 6a, 6b, 6c können zum Beispiel für verschiedene Funktionen des elektronischen Fahrzeugführungssystems 2 relevant sein. Der zentrale Bereich von Interesse 6a kann zum Beispiel zur Unterstützung eines Fahrers beim Rückwärtsfahren des Fahrzeugs 1 verwendet werden, indem ein entsprechender Teil der Bilder, die von der Kamera 3 aufgenommen werden, auf einem Anzeigegerät (nicht gezeigt) des Fahrzeugs 1 angezeigt werden. Andererseits können die seitlichen Bereiche von Interesse 6b, 6c zum Beispiel von einer Computer-Vision-Funktion verwendet werden, wie etwa einer Objektdetektions-Funktion, die auf ein Detektieren anderer Fahrzeuge zum Beispiel in einer größeren Entfernung von dem Fahrzeug 1 abzielt. Folglich kann es wünschenswert sein, unterschiedliche Fokuseinstellungen für verschiedene ROls 6a, 6b, 6c zu haben. Die Erfindung ermöglicht es, unterschiedliche Einzelbilder des Bilddatenstroms mit unterschiedlichen Fokuseinstellungen zu verwenden, um zum Beispiel zwischen den optimalen Einstellungen für verschiedene ROls hin- und herzuschalten. Jeder ROI 6a, 6b, 6c kann direkt auf einen entsprechenden Bereich abgebildet sein, der ein Teil der Oberfläche des Sensorarrays 11 ist.
3 zeigt weitere Beispiele unterschiedlicher ROls 7a, 7b, 7c in der Umgebung 5 der Kamera 3. Bei diesem Beispiel enthält der größte ROI 7a einen kleineren ROI 7b, der wiederum einen noch kleineren ROI 7c enthält. Für diese ROls 7a, 7b, 7c können auch unterschiedliche Fokuseinstellungen gemäß den unterschiedlichen erwarteten Entfernungen der relevanten Objekte in der Umgebung 5 von der Kamera 3 wünschenswert sein.
Im Verlauf eines erfindungsgemäßen Verfahrens steuert die zumindest eine Steuereinheit 13a, 13b den Bildsensor 10, um ein erstes Bild in einem ersten Einzelbildzeitraum F₁ aufzunehmen, wie schematisch in 5 bis 8 gezeigt. Die Kamera 3 oder mit anderen Worten der Bildsensor 10 wird in einem rollierenden Verschlussmodus betrieben, wie zum Beispiel in 5 angedeutet. Dabei wird, wie für elektronische rollierende Verschlüsse allgemein bekannt, eine Vielzahl von Reihen P des Sensorarrays 11 belichtet. Für jede der Reihen R₁, R₂, ..., R_i, R_i+1, ..., R_j, R_j+1, ..., R_N folgt auf einen Rücksetzzeitraum, während dem der entsprechende Puffer geleert wird, ein Belichtungszeitraum oder mit anderen Worten ein Integrationszeitraum, und nachdem der Belichtungszeitraum beendet ist, folgt ein jeweiliger Auslesezeitraum, wobei alle Pixel der jeweiligen Reihe ausgelesen werden. Die Rücksetzzeiträume und die Auslesezeiträume sind in 6 durch Blöcke mit unterschiedlichen Schattierungen dargestellt, während die Belichtungszeiträume durch leere Blöcke dargestellt sind. Wie für das Prinzip des rollierenden Verschlusses bekannt, werden die einzelnen Belichtungszeiträume von benachbarten Reihen zueinander um eine vordefinierte Versatzzeit versetzt. In einem zweiten Einzelbildzeitraum F₂ nach dem ersten Einzelbildzeitraum F₁ steuert die zumindest eine Steuereinheit 13a, 13b den Bildsensor 10, um ein zweites Bild in derselben Weise durch Belichtung der Vielzahl von Reihen P gemäß dem rollierenden Verschlussmodus aufzunehmen.
Die zumindest eine Steuereinheit 13a, 13b bestimmt einen ersten Bereich auf dem Sensorarray 11, der einem vordefinierten ersten ROI 6a, 6b, 6c, 7a, 7b, 7c für den ersten Einzelbildzeitraum F₁ entspricht, und bestimmt eine erste Teilmenge P₁ der Vielzahl von Reihen P, die den ersten Bereich enthält. In dem Beispiel von 5 sind die Reihen R1 bis R_i sowie die Reihen R_j+1 bis R_N nicht in der ersten Teilmenge P₁ enthalten. Die erste Teilmenge P₁ enthält die Reihen R_i+1 bis R_j. Analog dazu kann die zumindest eine Steuereinheit 13a, 13b eine zweite Teilmenge P₂ der Vielzahl von Reihen P bestimmen, die einen zweiten Bereich enthält, wobei der zweite Bereich einem vordefinierten ROI 6a, 6b, 6c, 7a, 7b, 7c für den zweiten Einzelbildzeitraum F₂ entspricht. Dabei kann der ROI 6a, 6b, 6c, 7a, 7b, 7c für den ersten Einzelbildzeitraum F₁ identisch oder unterschiedlich zu dem ROI 6a, 6b, 6c, 7a, 7b, 7c für den zweiten Einzelbildzeitraum F₂ sein. Folglich kann der erste Bereich identisch zu oder unterschiedlich zu dem zweiten Bereich auf der Sensoranordnung 11 sein. Falls der erste Bereich identisch zu dem zweiten Bereich ist, so ist die erste Teilmenge P₁ identisch zu der zweiten Teilmenge P₂, wie schematisch in 5 gezeigt. Andererseits, falls der erste Bereich unterschiedlich zu dem zweiten Bereich ist, kann die erste Teilmenge P₁ unterschiedlich zu der zweiten Teilmenge P₂ sein, wie schematisch in 7 angedeutet. In diesem Fall enthält die erste Teilmenge P₁ die Reihen H_i+1 bis R_j wie bezüglich 7 beschrieben und die zweite Teilmenge P₂ enthält die Reihen R_k+1 bis R_l, wobei k ≠ l und/oder l ≠ j.
In dem Beispiel von 6 ist die erste Teilmenge P₁ identisch zu der zweiten Teilmenge P₂ wie für 5 beschrieben. In dem Beispiel von 5 beginnt die Belichtung der ersten Reihe R₁ in dem zweiten Einzelbildzeitraum F₂ jedoch unmittelbar nachdem die Belichtung der letzten Reihe R_N in dem ersten Einzelbildzeitraum F₁ geendet hat. In den Beispielen von 6 und 7 gibt es andererseits einen Zwischenzeitraum zwischen dem Ende der Belichtung der letzten Reihe R_N in dem ersten Einzelbildzeitraum F₁ und dem Beginn der Belichtung der ersten Reihe R₁ in dem zweiten Einzelbildzeitraum F₂.
Die zumindest eine Steuereinheit 13a, 13b bestimmt einen Fokusanpasszeitraum T_a abhängig von der ersten Teilmenge P₁ und insbesondere abhängig von der zweiten Teilmenge P₂ und steuert die Fokusanpassanordnung 12, um den zumindest einen Fokusparameter der Kamera 3 während des Fokusanpasszeitraums T_a gemäß einer vordefinierten Fokuseinstellung zum Aufnehmen des zweiten Bilds, insbesondere dem ROI 6a, 6b, 6c, 7a, 7b, 7c für den zweiten Einzelbildzeitraum F₂ anzupassen. Dabei beginnt der Fokusanpasszeitraum T_a, wenn oder nachdem alle Reihen der ersten Teilmenge von Reihen P₁ belichtet worden sind, in dem vorliegenden Beispiel nachdem die letzte Reihe R_j der ersten Teilmenge P₁ belichtet worden ist. Des Weiteren beginnt der Fokusanpasszeitraum T_a insbesondere bevor alle Reihen der Vielzahl von Reihen P während des ersten Einzelbildzeitraums F₁ belichtet worden sind, oder mit anderen Worten in dem vorliegenden Beispiel bevor die letzte Reihe R_N der Vielzahl der Reihen P belichtet worden ist. Des Weiteren endet der Fokusanpasszeitraum T_a bevor irgendeine der Reihen der zweiten Teilmenge P₂ während des zweiten Einzelbildzeitraums F₂ belichtet wird, oder in dem vorliegenden Beispiel von 5 bevor die Belichtung der ersten Reihe R_i+1 der zweiten Teilmenge P₂ begonnen hat. In dem Beispiel von 7 endet der Fokusanpasszeitraum T_a entsprechend, bevor die Belichtung der ersten Reihe R_k+1 der zweiten Teilmenge P₂ begonnen hat.
Mit anderen Worten ist der maximale Zeitraum T_a', der für die Fokusanpassung verfügbar ist, durch den Zeitunterschied zwischen dem Ende der Belichtung der letzten Reihe der ersten Teilmenge P₁ gegeben, die in den vorliegenden Beispielen Reihe R_j ist, und dem Anfang der Belichtung der ersten Reihe der zweiten Teilmenge P₂, die die Reihe R_i+1 in den Beispielen von 5 und 6 ist, und der Reihe R_k+1 in dem Beispiel von 7. Bei einigen Ausführungen ist jedoch der Fokusanpasszeitraum T_a kürzer als der maximal verfügbare Zeitraum T_a' durch einen von Null verschiedenen Pufferzeitraum T_b. Der Pufferzeitraum T_b kann einem Zeitraum entsprechen oder diesen enthalten, der zum Stabilisieren des zumindest einen Fokusparameters vorgesehen ist, der durch die Fokusanpassanordnung 12 angepasst wird.
4 zeigt ein Blockdiagramm, das schematisch eine beispielhafte Ausführung eines erfindungsgemäßen Verfahrens zur Fokusanpassung anzeigt. Die Bezugszeichen S1, S2, S3, S4 entsprechen jeweiligen Verfahrensschritten, die von der zumindest einen Steuereinheit 13a, 13b ausgeführt werden. In Schritt S1 wird die erste Teilmenge P₁ und optional die zweite Teilmenge P₂ der Vielzahl von Reihen P berechnet. Zum Berechnen der Teilmengen P₁, P₂ kann die zumindest eine Steuereinheit 13a, 13b die jeweiligen vordefinierten intrinsischen und extrinsischen Kameraparameter 16 der Kamera 3 und die vordefinierte Definition 18 der ROIs 6a, 6b, 6c, 7a, 7b, 7c für den ersten und den zweiten Einzelbildzeitraum F₁, F₂ benutzen. In Schritt S2 wird der Fokusanpasszeitraum T_a basierend auf der ersten und zweiten Teilmenge P₁, P₂ berechnet. Zu diesem Zweck kann die zumindest eine Steuereinheit 13a, 13b vordefinierte Bildsensorkonfigurationsdaten 17 und/oder vordefinierte Bildqualitätsdaten 15, die von einem Bildqualitätsmanagementschaltkreis (nicht gezeigt) der Kamera 3 erhalten werden, benutzen, die die jeweiligen Einstellungen für den automatischen Weißabgleich, die Bildhelligkeit et cetera definieren. Zum Berechnen des Fokusanpasszeitraums T_a kann die zumindest eine Steuereinheit 13a, 13b alternative oder zusätzlich Belichtungszeitraumsignale auf Einzelbildebene oder Reihenebene von dem Bildsensor 10 benutzen. Es wird angemerkt, dass die zumindest eine Steuereinheit 13a, 13b nicht notwendigerweise alle Bildqualitätsdaten 15, die Bildsensorkonfigurationsdaten 17 und die Belichtungszeitraumsignale von dem Bildsensor 10 benötigt. Für den zumindest eine Steuereinheit 13a, 13b, 13c ist es ausreichend, geeignete vordefinierte Informationen zu haben, die es erlauben, die Zeitpunkte direkt abzuleiten oder zu schätzen, wenn die Belichtung der ersten Teilmenge P₁ in dem ersten Einzelbildzeitraum F₁ beendet ist und wenn die Belichtung der zweiten Teilmenge P₂ von Reihen in dem zweiten Einzelbildzeitraum F₂ beginnt.
Bei manchen Ausführungen kann der Bildsensor 10 auch ein vertikales und horizontales Synchronisationssignal an die zumindest eine Steuereinheit 13a, 13b bereitstellen. Das horizontale Synchronisationssignal, auch als HSYNC bezeichnet, wird ausgegeben, wann immer eine Reihe vollständig belichtet und ausgelesen worden ist, und das vertikale Synchronisationssignal, welches auch als VSYNC bezeichnet wird, wird ausgegeben, wann immer alle Reihen der Vielzahl von Reihen P belichtet worden sind.
In Schritt S3 kann die zumindest eine Steuereinheit 13a, 13b aus voreingestellten Fokuseinstellungen für den ersten und/oder zweiten Einzelbildzeitraum F₁, F₂, die zum Beispiel von einer Fokuseinstelllogik 14 der Kamera 3 erhalten werden, berechnen, wie der zumindest eine Fokusparameter angepasst werden sollte, um die gewünschten Einstellungen zu erreichen. In Schritt S4 können die Anpassungen optional in eine Vielzahl von kleineren Anpassungen bei manchen Ausführungen aufgeteilt werden. Die Anpassungssteuerungssignale werden dann an die Fokusanpassungsanordnung 12 bereitgestellt, die den zumindest einen Fokusparameter entsprechend während der Fokusanpassung T_a anpasst. Die zumindest eine Steuereinheit 13a, 13b kann auch eines oder mehrere Rückmeldesignale an die Fokuseinstelllogik 14 bereitstellen, die zum Beispiel die gegenwärtige Fokuseinstellung und/oder ein Informationssignal, dass eine bestimmte Fokusanpassung stattgefunden hat, bereitstellen.
In 8 bis 11 werden unterschiedliche Anwendungsfälle als schematische Flussdiagramme abgebildet, wobei die Richtung der Zeit von links nach rechts ist.
8 zeigt ein grundlegendes Beispiel, wobei die erste Linie den Schritten der Bildaufnahme entspricht, die zweite Linie einer Human-Vision-Funktion (HV-Funktion) entspricht und die dritte Linie einer Computer-Vision-Funktion (CV-Funktion) entspricht. In Block 800 werden Parameter einschließlich des zumindest einen Fokusparameters für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n eingestellt. Falls mehr als ein ROI relevant ist, können gemeinsame Fokusparameter benutzt werden. In Block 801 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n aufgenommen. In Block 802 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+1 eingestellt. In Block 803 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+1 aufgenommen. In Block 804 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+2 eingestellt. In Block 805 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+2 aufgenommen. In Block 806 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+3 eingestellt. In Block 807 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+3 aufgenommen.
In Block 810 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme eines Einzelbilds n-1 aktualisiert und in Block 820 wird die Ausgabe für die CV-Funktion basierend auf der Aufnahme von Einzelbild n-1 aktualisiert. In Block 811 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n aktualisiert und in Block 821 wird die Ausgabe für die CV-Funktion basierend auf der Aufnahme von Einzelbild n-1 aktualisiert. In Block 812 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n+1 aktualisiert und in Block 822 wird die Ausgabe für die CV-Funktion basierend auf der Aufnahme von Einzelbild n+1 aktualisiert. In Block 813 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme eines Einzelbilds n+2 aktualisiert und in Block 823 wird die Ausgabe für die CV-Funktion basierend auf der Aufnahme von Einzelbild n+2 aktualisiert.
9 zeigt ein weiteres Beispiel für die Handhabung eines Übergangs einer HV-Funktion von einer Ausgabeansicht zu einer anderen, wobei jede Ausgabeansicht einen anderen Parametersatz einschließlich des zumindest einen Fokusparameters erfordert. Der Übergang zwischen Parametersätzen erfolgt unmittelbar.
In Block 900 werden Parameter einschließlich des zumindest einen Fokusparameters für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n, spezifisch für eine Ansicht m, eingestellt. In Block 901 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n aufgenommen. In Block 900 werden die Parameter für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+1, spezifisch für eine Ansicht m+1, eingestellt. In Block 901 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+1 aufgenommen. In Block 904 werden die Parameter für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+2, spezifisch für Ansicht m+1, eingestellt. In Block 905 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+2 aufgenommen. In Block 906 werden die Parameter für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+3, spezifisch für Ansicht m+1, eingestellt. In Block 907 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+3 aufgenommen.
In Block 910 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme eines Einzelbilds n-1 und Ansicht m aktualisiert. In Block 911 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n und Ansicht m aktualisiert. In Block 912 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n+1 und Ansicht m+1 aktualisiert. In Block 913 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme eines Einzelbilds n+2 und Ansicht m+1 aktualisiert.
10 zeigt ein weiteres Beispiel für die Handhabung eines Übergangs in eine HV-Funktion von einer Ausgabeansicht zu einer anderen, wobei jede Ausgabeansicht einen anderen Parametersatz einschließlich des zumindest einen Fokusparameters erfordert. Der Übergang zwischen Parametersätzen erfolgt allmählich, das heißt über mehrere Einzelbilder.
In Block 1000 werden Parameter einschließlich des zumindest einen Fokusparameters für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n, spezifisch für eine Ansicht m, eingestellt. In Block 1001 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n aufgenommen. In Block 1002 werden die Parameter teilweise in Richtung einer Ansicht m+1 für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+1 angepasst. In Block 1003 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+1 aufgenommen. In Block 1004 werden die Parameter weiter teilweise in Richtung von Ansicht m+1 für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+2 angepasst. In Block 1005 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+2 aufgenommen. In Block 1006 werden die Parameter weiter teilweise in Richtung von Ansicht m+1 für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+x angepasst, wobei x>2. In Block 1007 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x aufgenommen. In Block 1008 werden die Parameter schließlich für Ansicht m+1 für die ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n+x+1 eingestellt. In Block 1009 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x+1 aufgenommen.
In Block 1010 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme eines Einzelbilds n-1 und Ansicht m aktualisiert. In Block 1011 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n und Ansicht m aktualisiert. In Block 1012 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n+1 und Ansicht m+1 aktualisiert. In Block 1013 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n+x-1 und Ansicht m+1 aktualisiert. In Block 1013 wird die Ausgabe für die HV-Funktion basierend auf der Aufnahme von Einzelbild n+x und Ansicht m+1 aktualisiert.
11 zeigt ein weiteres Beispiel für die Handhabung eines nahtlosen Umschaltens zwischen zwei Computer-CV-Funktionen, CV1 und CV2, wobei jede CV-Funktion ihren eigenen Parametersatz einschließlich des zumindest einen Fokusparameters erfordert.
In Block 1100 werden Parameter einschließlich des zumindest einen Fokusparameters für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für ein Einzelbild n gemäß den Erfordernissen von CV1 eingestellt. In Block 1101 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n aufgenommen. In Block 1102 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+1 gemäß den Erfordernissen von CV2 eingestellt. In Block 1103 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+1 aufgenommen. In Block 1104 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+2 gemäß den Erfordernissen von CV1 eingestellt. In Block 1105 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+2 erfasst. In Block 1106 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x, wobei x>2, gemäß den Erfordernissen von CV2, eingestellt. In Block 1107 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x aufgenommen. In Block 1108 werden die Parameter für die erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x+1 gemäß den Erfordernissen von CV1 eingestellt. In Block 1105 wird das jeweilige Rohbild einschließlich der erforderlichen ROls 6a, 6b, 6c, 7a, 7b, 7c für Einzelbild n+x+1 aufgenommen.
In Block 1110 wird die Ausgabe für CV1 basierend auf der Aufnahme von Einzelbild n aktualisiert. In Block 1120 wird die Ausgabe für CV2 basierend auf der Aufnahme eines Einzelbilds n-1 aktualisiert. In Block 1111 wird die Ausgabe für CV1 basierend auf der Aufnahme von Einzelbild n+x-1 aktualisiert. In Block 1121 wird die Ausgabe für CV2 basierend auf der Aufnahme von Einzelbild n+1 aktualisiert. In Block 1122 wird die Ausgabe für CV2 basierend auf der Aufnahme von Einzelbild n+x aktualisiert.
Wie insbesondere mit Bezug auf der Figuren beschrieben, stellt die Erfindung ein Verfahren zur Fokusanpassung einer Fahrzeugkamera bereit, die in einem rollierenden Verschlussmodus arbeitet, wobei negative Auswirkungen der Fokusanpassung auf die aufgenommenen Bilder zumindest für einen Teil der Bilder vermieden werden.
Zum Beispiel kann die Fokusanpassung als eine Hintergrundaktivität ohne Auswirkung auf die Vordergrundaktivität, das heißt die Aufnahme der vordefinierten einzelbildspezifischen ROls, behandelt werden. Abweichungen von Einzelbild zu Einzelbild einschließlich von Abweichungen der Einzelbildrate, des Belichtungszeitraums und ROI können berücksichtigt werden. Bildqualitätssteuerung kann zum Beispiel an Einzelbildgrenzen unter Verwendung von Standardmechanismen stattfinden, die von dem Bildsensor bereitgestellt werden, zum Beispiel Gruppensätze von Bildsensorregistereinstellungen. Eine ROI-Abweichung kann zum Beispiel aufgrund einer geplanten Veränderung auftreten, wenn die Ansichtsperspektive einer Human-Vision-Funktion sich ändert, aufgrund einer zyklischen Veränderung des ROI zur Unterstützung von Multitasking paralleler Human-Vision- und/oder Computer-Vision-Funktionen, oder aufgrund einer dynamischen Adaption der ROls zur Bildstabilisierung.
Bei einigen Ausführungen maximiert die Erfindung das Arbeitsfenster für die Fokusanpassung, zum Beispiel indem die Möglichkeit erhöht wird, dass eine Anpassung in einem einzigen Übergang von Einzelbild zu Einzelbild erfolgen kann, und/oder indem die Anzahl von Anpassungen von Einzelbild zu Einzelbild minimiert wird, die erforderlich sind, um eine größere Fokusanpassung abzuschließen, die nicht sich nicht in einem einzigen Übergang von Einzelbild zu Einzelbild abschließen lässt. Beide Faktoren sind für den Betrieb einer Fokus-Steuerungs-Schleife von Vorteil.
Insgesamt kann die Fokusanpassung vorhersagbarer werden, was auch die Fokussteuerung unterstützt. Während diese Anpassungen im Hintergrund, insbesondere an den Einzelbildgrenzen, stattfinden, wenn kritische Reihen des Sensorarrays nicht belichtet werden, kann eine große Fokusanpassung absichtlich in eine Folge kleinerer aufeinanderfolgender Anpassungen unterteilt werden, falls das von Vorteil ist.
Zur Berechnung des Fokusanpasszeitraums können in einigen Ausführungen reihenspezifische Belichtungszeiträume auf unterschiedliche Weise bestimmt werden. Zum Beispiel kann der Bildsensor die Belichtungszeiträume auf Reihenebene oder Einzelbildebene anzeigen und/oder die Belichtung kann auf Einzelbildebene gesteuert oder ausgelöst werden und/oder der Belichtungszeitraum der spezifischen Reihen kann berechnet werden oder zumindest mit hoher Genauigkeit geschätzt werden.
Die verfügbare Zeit zur Fokusanpassung kann in einigen Ausführungen maximiert werden, wobei gleichzeitig sichergestellt wird, dass die Fokusanpassung nicht während der Belichtung der Reihen erfolgt, die dem vordefinierten ROI entsprechen, und sich somit nicht auf den ROI auswirken wird.
Bei einigen Ausführungen kann auch eine Stabilisierungszeit berücksichtigt werden. Zum Beispiel kann für jede Anpassung des Fokus eine Stabilisierungszeit spezifiziert werden. Diese Spezifizierung kann eine vorbestimmte Stabilisierungszeit für jede Bewegung der Fokusanpassanordnung beinhalten, wobei Umgebungs- und Lebensdauerfaktoren berücksichtigt werden. Das kann auf einer parametrisierten Formel und/oder einer Look-Up-Tabelle basieren. Die Spezifizierung kann alternativ oder zusätzlich ein online erlerntes Element basierend auf historischer Überwachung der Stabilisierungszeit und/oder einen Sicherheitsspielraum beinhalten, welcher so angepasst sein kann, dass Ungenauigkeiten bei anderen Elementen der Spezifizierung ausgeglichen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016124089 A1 [0009]

Claims

Verfahren zur Fokusanpassung einer Fahrzeugkamera (3), wobei ein erstes Bild von einem Bildsensor (10) der Kamera (3) während eines ersten Einzelbildzeitraums (F₁) aufgenommen wird, wobei eine Vielzahl von Reihen (P) eines Sensorarrays (11) des Bildsensors (10) gemäß einem rollierenden Verschlussmodus belichtet wird, und ein zweites Bild von einem Bildsensor (10) während eines zweiten Einzelbildzeitraums (F₂) nach dem ersten Einzelbildzeitraum (F₁) aufgenommen wird, dadurch gekennzeichnet, dass - ein erster Bereich auf dem Sensorarray (11) bestimmt wird, der einem vordefinierten Bereich von Interesse (6a, 6b, 6c, 7a, 7b, 7c) für den ersten Einzelbildzeitraum (F₁) entspricht; - eine erste Teilmenge (P₁) der Vielzahl von Reihen (P) bestimmt wird, wobei die erste Teilmenge von Reihen (P₁) den ersten Bereich enthält; - ein Fokusanpasszeitraum (T_a) bestimmt wird, der beginnt, wenn oder nachdem alle Reihen der ersten Teilmenge von Reihen (P₁) während des ersten Einzelbildzeitraums (F₁) belichtet worden sind; und - zumindest ein Fokusparameter der Kamera (3) während des Fokusanpasszeitraums (T_a) gemäß einer vordefinierten Fokuseinstellung zum Aufnehmen des zweiten Bilds angepasst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - zum Aufnehmen des zweiten Bilds die Vielzahl von Reihen (P) gemäß dem rollierenden Verschlussmodus belichtet wird; - ein zweiter Bereich auf dem Sensorarray (11) bestimmt wird, der einem vordefinierten Bereich von Interesse (6a, 6b, 6c, 7a, 7b, 7c) für den zweiten Einzelbildzeitraum (F₂) entspricht; und - der Fokusanpasszeitraum (T_a) abhängig von dem zweiten Bereich bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass falls der zweite Bereich identisch zu dem ersten Bereich ist, der Fokusanpasszeitraum (T_a) endet, bevor eine Belichtung irgendeiner aus der ersten Teilmenge von Reihen (P₁) zur Aufnahme des zweiten Bildes während des zweiten Einzelbildzeitraums (F₂) begonnen hat.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass ein Zeitunterschied (T_b) zwischen dem Ende des Fokusanpasszeitraums (T_a) und einem Beginn der Belichtung der ersten Teilmenge von Reihen (P₁) während des zweiten Einzelbildzeitraums (F₂) größer oder gleich einem vordefinierten von Null verschiedenen Pufferzeitraum ist.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass falls der zweite Bereich unterschiedlich zu dem ersten Bereich ist, - eine zweite Teilmenge (P₂) der Vielzahl von Reihen (P) bestimmt wird, wobei die zweite Teilmenge von Reihen (P₂) den zweiten Bereich enthält; und - der Fokusanpasszeitraum (T_a) endet, bevor irgendeine aus der zweiten Teilmenge von Reihen (P₂) während des zweiten Einzelbildzeitraums (F₂) belichtet wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Zeitunterschied (T_b) zwischen dem Ende des Fokusanpasszeitraums (T_a) und einem Beginn der Belichtung der zweiten Teilmenge von Reihen (P₂) größer oder gleich einem vordefinierten von Null verschiedenen Pufferzeitraum ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Teilmenge von Reihen (P₁) einem minimalen Satz von Reihen der Vielzahl von Reihen (P) entspricht, der den ersten Bereich enthält.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Anpassen des zumindest einen Fokusparameters ein Verändern der Entfernung zwischen dem Sensorarray (11) und einer Objektiveinheit (9) der Kamera (3) umfasst; oder - das Anpassen des zumindest einen Fokusparameters ein Verändern einer Brennweite eines Objektivs (9) der Kamera (3) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fokusanpasszeitraum (T_a) derart bestimmt wird, dass er beginnt, bevor alle Reihen der Vielzahl von Reihen (P) während des ersten Einzelbildzeitraums (F₁) belichtet worden sind.
Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs (1), wobei - ein Verfahren zur Fokusanpassung einer Fahrzeugkamera (3) des Fahrzeugs (1) nach einem der vorhergehenden Ansprüche ausgeführt wird; und - das Fahrzeug (1) abhängig von dem ersten Bild und/oder dem zweiten Bild zumindest teilweise automatisch geführt wird.
Fahrzeugkamera (3) aufweisend einen Bildsensor (10) und - zumindest eine Steuereinheit (13a, 13b), die dazu eingerichtet ist, den Bildsensor (10) zu steuern, um ein erstes Bild während eines ersten Einzelbildzeitraums (F₁) aufzunehmen, wobei eine Vielzahl von Reihen (P) eines Sensorarrays (11) des Bildsensors (10) gemäß einem rollierenden Verschlussmodus belichtet wird, und um ein zweites Bild während eines zweiten Einzelbildzeitraums (F₂) nach dem ersten Einzelbildzeitraum (F₁) aufzunehmen; und - eine Fokusanpassanordnung (12), die dazu eingerichtet ist, zumindest einen Fokusparameter der Kamera (3) anzupassen; dadurch gekennzeichnet, dass die zumindest eine Steuereinheit (13a, 13b) dazu eingerichtet ist, - einen ersten Bereich auf dem Sensorarray (11) zu bestimmen, der einem vordefinierten Bereich von Interesse (6a, 6b, 6c, 7a, 7b, 7c) für den ersten Einzelbildzeitraum (F₁) entspricht; - eine erste Teilmenge (P₁) der Vielzahl von Reihen (P) zu bestimmen, wobei die erste Teilmenge von Reihen (P₁) den ersten Bereich enthält; - einen Fokusanpasszeitraum (T_a) zu bestimmen, welcher beginnt, wenn oder nachdem alle Reihen der ersten Teilmenge von Reihen (P₁) während des ersten Einzelbildzeitraums (F₁) belichtet worden sind; und - die Fokusanpassanordnung (12) zu steuern, um den zumindest einen Fokusparameter der Kamera (3) während des Fokusanpasszeitraums (T_a) gemäß einer vordefinierten Fokuseinstellung zum Aufnehmen des zweiten Bilds anzupassen.
Fahrzeugkamera (3) nach Anspruch 11, dadurch gekennzeichnet, dass die Fokusanpassanordnung (12) dazu eingerichtet ist, das Sensorarray (11) relativ zu einer Objektiveinheit (9) der Kamera (3) zu bewegen, um den zumindest einen Fokusparameter anzupassen.
Fahrzeugkamera (3) nach Anspruch 11, dadurch gekennzeichnet, dass die Fokusanpassanordnung (12) dazu eingerichtet ist, eine Brennweite einer Objektiveinheit (9) der Kamera (3) zu verändern, um den zumindest einen Fokusparameter anzupassen.
Elektronisches Fahrzeugführungssystem (2) für ein Fahrzeug (1), aufweisend eine Fahrzeugkamera (3) nach einem der Ansprüche 11 bis 13 und eine weitere Steuereinheit (4), die dazu eingerichtet ist, eines oder mehrere Steuersignale zum zumindest teilweise automatischen Führen des Fahrzeugs (1) abhängig von dem ersten Bild und/oder dem zweiten Bild zu erzeugen.
Computerprogrammprodukt, welches Befehle beinhaltet, die - wenn sie von einer Fahrzeugkamera (3) nach einem der Ansprüche 11 bis 13 ausgeführt werden, die Fahrzeugkamera (3) dazu veranlassen ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen; oder - wenn sie von einem elektronischen Fahrzeugführungssystem (2) nach Anspruch 14 ausgeführt werden, das Fahrzeugführungssystem (2) dazu veranlassen, ein Verfahren nach Anspruch 10 durchzuführen.