DE102020208844A1

DE102020208844A1 - Method and device for monitoring an imaging property of an optical path of an image acquisition device for a vehicle

Info

Publication number: DE102020208844A1
Application number: DE102020208844.6A
Authority: DE
Inventors: Michael MIKSCH
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2022-01-20

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung (102) für ein Fahrzeug (100), wobei das Verfahren einen Schritt des Einlesens eines Bildsignals über die Bilderfassungseinrichtung (102) umfasst, wobei das Bildsignal aktuelle Bilddaten repräsentiert. Weiterhin umfasst es einen Schritt des Ermittelns eines Abbildungsfehlers in dem optischen Pfad unter Verwendung des Bildsignals. In einem Schritt des Wiederholens werden die Schritte des Einlesens und des Ermittelns wiederholt, um eine Mehrzahl von Abbildungsfehlern zu erhalten. Das Verfahren umfasst weiterhin einen Schritt des Bestimmens von kombinierten Abbildungsfehlern unter Verwendung der Abbildungsfehler sowie einen Schritt des Vergleichens von zumindest zwei kombinierten Abbildungsfehlern, um ein Vergleichsergebnis zu erhalten, das eine Veränderung der Abbildungseigenschaft anzeigt.The invention relates to a method for monitoring an imaging property of an optical path of an image capture device (102) for a vehicle (100), the method comprising a step of reading in an image signal via the image capture device (102), the image signal representing current image data. Furthermore, it includes a step of determining an imaging error in the optical path using the image signal. In a repeating step, the reading and determining steps are repeated in order to obtain a plurality of aberrations. The method also includes a step of determining combined aberrations using the aberrations and a step of comparing at least two combined aberrations in order to obtain a comparison result that indicates a change in the imaging property.

Description

Stand der TechnikState of the art

Die Erfindung geht von einem Verfahren und einer Vorrichtung zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung für ein Fahrzeug nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a method and a device for monitoring an imaging property of an optical path of an image acquisition device for a vehicle according to the species of the independent claims. The subject matter of the present invention is also a computer program.

Die DE 10 2016 206 493 A1 beschreibt ein Verfahren und ein Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug.the DE 10 2016 206 493 A1 describes a method and a camera system for determining the distance of objects from a vehicle.

Offenbarung der ErfindungDisclosure of Invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein verbessertes Verfahren zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung für ein Fahrzeug, weiterhin eine verbesserte Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen möglich.Against this background, the approach presented here presents an improved method for monitoring an imaging property of an optical path of an image acquisition device for a vehicle, an improved device that uses this method, and finally a corresponding computer program according to the main claims. Advantageous further developments and improvements are possible as a result of the measures listed in the dependent claims.

Durch das Überwachen der Abbildungseigenschaft kann automatisiert und frühzeitig auf Veränderungen reagiert werden, die zu einer Verfälschung von Bilddaten führen könnten.By monitoring the imaging property, it is possible to react automatically and at an early stage to changes that could lead to a falsification of image data.

Es wird ein Verfahren zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung für ein Fahrzeug vorgestellt. Das Verfahren umfasst dabei einen Schritt des Einlesens eines Bildsignals über eine Schnittstelle zu der Bilderfassungseinrichtung, wobei das Bildsignal aktuelle Bilddaten repräsentiert. Weiterhin umfasst das Verfahren einen Schritt des Ermittelns eines Abbildungsfehlers in dem optischen Pfad unter Verwendung des Bildsignals, einen Schritt des Wiederholens der Schritte des Einlesens und des Ermittelns, um eine Mehrzahl von Abbildungsfehlern zu erhalten, einen Schritt des Bestimmens eines ersten kombinierten Abbildungsfehlers unter Verwendung einer ersten Anzahl der Mehrzahl von Abbildungsfehlern und zumindest eines weiteren kombinierten Abbildungsfehlers unter Verwendung einer weiteren Anzahl der Mehrzahl von Abbildungsfehlern, sowie einen Schritt des Vergleichens von zumindest zwei kombinierten Abbildungsfehlern, um ein Vergleichsergebnis zu erhalten, das eine Veränderung der Abbildungseigenschaft anzeigt.A method for monitoring an imaging property of an optical path of an image capturing device for a vehicle is presented. In this case, the method comprises a step of reading in an image signal via an interface to the image acquisition device, the image signal representing current image data. Furthermore, the method comprises a step of determining an aberration in the optical path using the image signal, a step of repeating the steps of reading in and determining in order to obtain a plurality of aberrations, a step of determining a first combined aberration using a first number of the plurality of aberrations and at least one further combined aberration using a further number of the plurality of aberrations, and a step of comparing at least two combined aberrations in order to obtain a comparison result which indicates a change in the imaging property.

Das Verfahren kann beispielsweise in einem Fahrzeug durchgeführt werden, das ausgeformt ist, um Personen und zusätzlich oder alternativ Gegenstände zu transportieren. Die Bilderfassungseinrichtung kann beispielsweise als eine Kamera realisiert sein, die beispielsweise für eine Vielzahl von verschiedenartigen Fahrzeugfunktionen eingesetzt werden kann. Der optische Pfad kann sowohl durch Komponenten der Bilderfassungseinrichtung als auch durch der Bilderfassungseinrichtung vorgelagerte Komponenten des Fahrzeugs, wie beispielsweise eine Scheibe des Fahrzeugs, verlaufen. Abbildungsfehler können beispielsweise durch Verunreinigung oder auch durch andere Einflüsse entstehen, wie beispielsweise durch eine Dejustage der Bilderfassungseinrichtung oder durch Temperaturunterschiede und daraus entstehende Veränderungen in einer mechanischen Anordnung von Komponenten der Bilderfassungseinrichtung. Ein kombinierter Abbildungsfehler kann durch eine geeignete Kombination von Abbildungsfehlern und eine optional nachgeschaltete Abbildungsvorschrift bestimmt werden. Beispielsweise kann zur Kombination eine Aggregation von Abbildungsfehlern durchgeführt werden. Die Abbildungsvorschrift kann zu einem sogenannten Fingerabdruck führen, der auch als Fingerprint bezeichnet wird. Dazu kann beispielsweise eine Hashfunktion verwendet werden. Durch die Abbildungsvorschrift kann eine Datenreduzierung erreicht werden. Alternativ kann auch der kombinierte Abbildungsfehler als Fingerabdruck bezeichnet werden. Durch den hier vorgestellten Ansatz wird es beispielsweise ermöglicht, komplexe Abbildungseigenschaften zu erkennen und daraus einen so genannten Fingerabdruck des optischen Pfades zu erzeugen. Vorteilhafterweise kann das Verfahren das Abspeichern eines Fingerabdrucks aus einem vorherigen Zündungszyklus umfassen. Somit kann, wenn das Fahrzeug neu gestartet wird, ein neuer Fingerabdruck ermittelt und mit dem alten verglichen werden. Der Vergleich kann somit sowohl online in einem Zündungszyklus als auch über mehrere Zündungszyklen übergreifend ausgeführt werden.The method can be carried out, for example, in a vehicle that is designed to transport people and, additionally or alternatively, objects. The image capturing device can be implemented as a camera, for example, which can be used, for example, for a large number of different vehicle functions. The optical path can run both through components of the image capturing device and through components of the vehicle upstream of the image capturing device, such as a window of the vehicle. Imaging errors can arise, for example, from contamination or also from other influences, such as misalignment of the image acquisition device or temperature differences and resulting changes in a mechanical arrangement of components of the image acquisition device. A combined aberration can be determined by a suitable combination of aberrations and an optionally downstream mapping rule. For example, an aggregation of imaging errors can be carried out for the combination. The mapping rule can lead to what is known as a fingerprint, which is also referred to as a fingerprint. A hash function can be used for this purpose, for example. A data reduction can be achieved by the mapping rule. Alternatively, the combined imaging error can also be referred to as a fingerprint. The approach presented here makes it possible, for example, to recognize complex imaging properties and to generate a so-called fingerprint of the optical path. Advantageously, the method can include storing a fingerprint from a previous ignition cycle. Thus, when the vehicle is restarted, a new fingerprint can be determined and compared to the old one. The comparison can thus be carried out both online in one ignition cycle and over several ignition cycles.

Der Abbildungsfehler kann im Schritt des Ermittelns gespeichert werden. Auf diese Weise kann ein kombinierter Abbildungsfehler auch unter Verwendung von Abbildungsfehlern bestimmt werden, die zu Zeitpunkten ermittelt wurden, zwischen denen beispielsweise eine vorübergehende Außerbetriebnahme der Bilderfassungseinrichtung oder des Fahrzeugs liegt.The imaging error can be stored in the determination step. In this way, a combined imaging error can also be determined using imaging errors that were determined at times between which, for example, the image acquisition device or the vehicle is temporarily switched off.

Entsprechend kann zumindest einer der kombinierten Abbildungsfehler im Schritt des Bestimmens gespeichert werden. Beispielsweise kann der erste kombinierten Abbildungsfehler im Schritt des Bestimmens gespeichert werden und zusätzlich oder alternativ kann der zumindest eine weitere kombinierte Abbildungsfehler im Schritt des Bestimmens gespeichert werden. Auf diese Weise kann das Vergleichsergebnis auch unter Verwendung von kombinierten Abbildungsfehlern bestimmt werden, die zu Zeitpunkten ermittelt wurden, zwischen denen beispielsweise eine vorübergehende Außerbetriebnahme der Bilderfassungseinrichtung oder des Fahrzeugs liegt.Correspondingly, at least one of the combined aberrations can be stored in the determination step. For example, the first combined aberration can be stored in the determination step and additionally or alternatively the at least one further combined aberration can be stored in the determination step. In this way, the comparison result can also be obtained using combi ned aberrations are determined, which were determined at times between which, for example, there is a temporary shutdown of the image acquisition device or the vehicle.

Der Schritt des Wiederholens kann fortlaufend während eines Betriebs der Bilderfassungseinrichtung durchgeführt werden. Beispielsweise kann der Schritt des Wiederholens durch ein vorbestimmtes Ereignis ausgelöst werden. Ein solches Ereignis kann ein Ablauf eines Zeitzählers sein, sodass in vorbestimmten Zeitabständen kontinuierlich neue Abbildungsfehler ermittelt werden können. Alternativ oder zusätzlich kann das Ereignis beispielsweise einen vorbestimmten Betriebszustand der Bilderfassungseinrichtung oder des Fahrzeugs betreffen. Beispielsweise kann der Schritt des Wiederholens nach einer erneuten Inbetriebnahme der Bilderfassungseinrichtung oder des Fahrzeugs ausgeführt werden.The step of repeating can be carried out continuously during operation of the image acquisition device. For example, the repeating step can be triggered by a predetermined event. Such an event can be the expiry of a time counter, so that new imaging errors can be continuously determined at predetermined time intervals. Alternatively or additionally, the event can relate to a predetermined operating state of the image acquisition device or of the vehicle, for example. For example, the step of repeating can be carried out after the image capturing device or the vehicle has been put into operation again.

Entsprechend können aufeinanderfolgende Schritte des Bestimmens kombinierter Abbildungsfehler fortlaufend während eines Betriebs der Bilderfassungseinrichtung durchgeführt werden oder durch ein vorbestimmtes Ereignis wie einer erneuten Inbetriebnahme der Bilderfassungseinrichtung oder des Fahrzeugs ausgeführt werden.Accordingly, successive steps of determining combined aberrations can be carried out continuously during operation of the image capturing device or can be carried out by a predetermined event such as a renewed start-up of the image capturing device or the vehicle.

Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Erfassens aktueller Bilddaten umfassen, die einen Umfeldbereich des Fahrzeugs repräsentieren können. Vorteilhafterweise können diese Bilddaten auch für weitere Fahrzeugfunktionen verwendbar sein.According to one embodiment, the method can include a step of capturing current image data that can represent an area surrounding the vehicle. Advantageously, this image data can also be used for other vehicle functions.

Gemäß einer Ausführungsform können im Schritt des Ermittelns die aktuellen Bilddaten entzeichnet werden, um ein entzeichnetes Bildsignal zu erhalten. Der Abbildungsfehler kann unter Verwendung des entzeichneten Bildsignals ermittelt werden. Vorteilhafterweise können dadurch beispielsweise Verzerrungen ausgeglichen werden, sodass eine Auswertung vereinfacht wird.According to one embodiment, the current image data can be de-drawn in the determination step in order to obtain a de-drawn image signal. The aberration can be determined using the de-drawn image signal. Distortions, for example, can advantageously be compensated for in this way, so that an evaluation is simplified.

Gemäß einer Ausführungsform kann im Schritt des Ermittelns der Abbildungsfehler als Epipolarfehler realisiert sein. Somit kann auf ein typisches Merkmal zur Charakterisierung eines optischen Fehlers zurückgegriffen werden. Vorteilhafterweise sind entsprechende Verfahren zum Bestimmen eines Epipolarfehlers bekannt.According to one embodiment, the aberrations can be implemented as epipolar errors in the step of determining. A typical feature can thus be used to characterize an optical defect. Corresponding methods for determining an epipolar error are advantageously known.

Ferner kann das Verfahren gemäß einer Ausführungsform einen Schritt des Filterns der Mehrzahl von Abbildungsfehlern umfassen. Dadurch können Ausreißer aus der Mehrzahl von Abbildungsfehlern herausfiltert werden. Beispielsweise können dadurch Störgrößen ignoriert werden, um vorteilhafterweise ein realistisches Ergebnis beispielsweise als Fehlerstatistik zu erhalten.Furthermore, according to one embodiment, the method can include a step of filtering the plurality of aberrations. As a result, outliers can be filtered out from the majority of aberrations. For example, interference variables can be ignored in this way in order to advantageously obtain a realistic result, for example as an error statistic.

Im Schritt des Bestimmens kann eine erste Aggregation der ersten Anzahl der Mehrzahl von Abbildungsfehlern durchgeführt werden und ein Ergebnis der ersten Aggregation kann einer Abbildungsvorschrift unterzogen werden, um den ersten kombinierten Abbildungsfehler zu bestimmen. Entsprechend kann eine zweite Aggregation der zweiten Anzahl der Mehrzahl von Abbildungsfehlern durchgeführt und ein Ergebnis der zweiten Aggregation der Abbildungsvorschrift unterzogen werde, um den zweiten kombinierten Abbildungsfehler zu bestimmen. Die jeweiligen Anzahlen von Abbildungsfehlern können beispielsweise jeweils ausgehend von einer aktuellen Zeit innerhalb eines vorbestimmten vorangegangenen Zeitfensters ermittelte Abbildungsfehler umfassen. Die Aggregation kann jeweils beispielsweise eine Aufsummierung darstellen. Die Abbildungsvorschrift kann eine Vorschrift zum Generieren eines Fingerabdrucks sein.In the determination step, a first aggregation of the first number of the plurality of aberrations can be carried out and a result of the first aggregation can be subjected to a mapping rule in order to determine the first combined aberration. Accordingly, a second aggregation of the second number of the plurality of aberrations can be carried out and a result of the second aggregation can be subjected to the mapping rule in order to determine the second combined aberration. The respective numbers of imaging errors can, for example, each include imaging errors determined based on a current time within a predetermined preceding time window. The aggregation can in each case represent a summation, for example. The mapping rule can be a rule for generating a fingerprint.

Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Bereitstellens eines Veränderungssignals unter Verwendung des Vergleichsergebnisses umfassen, wobei das Veränderungssignal bereitgestellt werden kann, wenn das Vergleichsergebnis zwischen den zumindest zweien der kombinierten Abbildungsfehler eine Wertedifferenz anzeigt, die größer ist als ein vorgegebener Grenzwert. Vorteilhafterweise können auf diese Weise geringfügige Veränderungen in der Abbildungseigenschaft ignoriert werden.According to one embodiment, the method can include a step of providing a change signal using the comparison result, wherein the change signal can be provided if the comparison result between the at least two of the combined aberrations indicates a value difference that is greater than a predetermined limit value. Advantageously, in this way minor changes in the imaging property can be ignored.

Gemäß einer Ausführungsform kann das Verfahren weiterhin einen Schritt des Anpassens der Abbildungseigenschaft unter Verwendung des Veränderungssignals umfassen. Vorteilhafterweise kann dadurch der Abbildungsfehler ausgeglichen werdenAccording to one embodiment, the method can further include a step of adjusting the imaging property using the change signal. The imaging error can advantageously be compensated for in this way

Ferner kann das Verfahren einen Schritt des Verwendens der Abbildungseigenschaft umfassen, um einen aktuellen Abbildungsfehler der Mehrzahl von Abbildungsfehlern in einem aktuellen Bildsignal zu kompensieren. Vorteilhafterweise kann dadurch um den Abbildungsfehler bereinigte Bilddaten bestimmt werden.Furthermore, the method can include a step of using the imaging property in order to compensate for a current aberration of the plurality of aberrations in a current image signal. Advantageously, image data that has been freed from the imaging error can be determined as a result.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung eines Verfahren zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung für ein Fahrzeug. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie ein Bildsignal, das aktuelle Bilddaten repräsentiert, zugreifen.The approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices. Also through this execution ment variant of the invention in the form of a device, the object on which the invention is based can be solved quickly and efficiently. In an advantageous embodiment, the device controls a method for monitoring an imaging property of an optical path of an image capturing device for a vehicle. For this purpose, the device can, for example, access sensor signals such as an image signal that represents current image data.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood to mean an electrical device that processes sensor signals and, depending thereon, outputs control and/or data signals. The device can have an interface that can be configured as hardware and/or software. In the case of a hardware design, the interfaces can be part of what is known as a system ASIC, for example, which contains a wide variety of functions of the control device. However, it is also possible for the interfaces to be separate integrated circuits or to consist at least partially of discrete components. In the case of a software design, the interfaces can be software modules which are present, for example, on a microcontroller alongside other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.A computer program product or computer program with program code, which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and/or controlling the steps of the method according to one of the embodiments described above, is also advantageous used, especially when the program product or program is run on a computer or device.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel;
2 ein Blockschaltbild eines Steuergeräts gemäß einem Ausführungsbeispiel;
3 ein Ablaufdiagramm eines Verfahrens zum Überwachen einer Abbildungseigenschaft eines optischen Pfads gemäß einem Ausführungsbeispiel; und
4 ein Ablaufdiagramm eines Verfahrens zum Überwachen einer Abbildungseigenschaft eines optischen Pfads gemäß einem Ausführungsbeispiel.

Exemplary embodiments of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 a schematic representation of a vehicle according to an embodiment;
2 a block diagram of a control device according to an embodiment;
3 a flowchart of a method for monitoring an imaging property of an optical path according to an embodiment; and
4 a flow chart of a method for monitoring an imaging property of an optical path according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable exemplary embodiments of the present invention, the same or similar reference symbols are used for the elements which are shown in the various figures and have a similar effect, with a repeated description of these elements being dispensed with.

1 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 ist beispielsweise als ein Personenkraftwagen realisiert. Das Fahrzeug 100 weist zumindest eine Bilderfassungseinrichtung 102 und eine Vorrichtung 104 zum Überwachen einer Abbildungseigenschaft eines optischen Pfads der Bilderfassungseinrichtung 102 auf. Die Bilderfassungseinrichtung 102 ist beispielsweise als eine Kamera ausgeformt, die ausgebildet ist, um einen Umfeldbereich 106 des Fahrzeugs 100 zu erfassen. Die Vorrichtung 104 ist ausgebildet, um beispielsweise ein Verfahren zum Überwachen einer Abbildungseigenschaft eines optischen Pfads der Bilderfassungseinrichtung 102 durchzuführen oder anzusteuern, wie es in einer der nachfolgenden Figuren näher beschrieben wird. 1 10 shows a schematic representation of a vehicle 100 according to an exemplary embodiment. The vehicle 100 is implemented as a passenger car, for example. Vehicle 100 has at least one image capture device 102 and a device 104 for monitoring an imaging property of an optical path of image capture device 102 . The image capturing device 102 is in the form of a camera, for example, which is designed to capture an area 106 surrounding the vehicle 100 . The device 104 is designed, for example, to carry out or to control a method for monitoring an imaging property of an optical path of the image acquisition device 102, as is described in more detail in one of the following figures.

Beispielhaft ist die Bilderfassungseinrichtung 102 im Inneren des Fahrzeugs 100 hinter einer Windschutzscheibe 108 des Fahrzeugs 100 angeordnet. Somit verläuft ein optischer Pfad der Bilderfassungseinrichtung 102 durch die Windschutzscheibe 108.For example, the image capturing device 102 is arranged inside the vehicle 100 behind a windshield 108 of the vehicle 100 . An optical path of the image acquisition device 102 thus runs through the windshield 108.

Für eine Bilderfassungseinrichtung 102, die beispielsweise als ein Videosystem ausgeführt ist, ist eine Kenntnis über die Abbildungseigenschaften entlang des kompletten optischen Pfades, der beispielsweise Sensor, Optik und/oder Windschutzscheibe enthält, von besonderem Interesse. Diese werden beispielsweise für die Bestimmung der Entfernung von Objekten mittels Triangulation verwendet oder aber, um dynamische Objekte von statischem Umfeld zu trennen. Typischerweise werden die Ansichten beispielsweise rektifiziert um einem einfachen Kameramodell zu entsprechen, wie beispielsweise dem sogenannten Lochkameramodell. Sind die für die Rektifizierung angenommenen Abbildungseigenschaften fehlerhaft, wird auch die Entfernungsbestimmung und eine statisch-dynamische Unterscheidung negativ beeinträchtigt. Da sich geringfügige Änderungen während der Produktlebenszeit kaum vermeiden lassen, ist eine Erkennung von Abweichungen bezüglich der angenommen Abbildungseigenschaften vorteilhaft, wie sie in dem hier vorgestellten Ansatz beschrieben ist. Solche Änderungen sind beispielsweise Temperatureinflüsse, Alterungseffekte oder ein Kamera- oder Scheibentausch. Temperatureinflüsse führen beispielsweise zu einer unterschiedlichen Abbildungen der Optik, können aber auch Einfluss auf die mechanische Anordnung der Komponenten haben. Alterungseffekte führen gegebenenfalls zu einer Dejustage der Bilderfassungseinrichtung 102 gegenüber der Optik und/oder der Windschutzscheibe 108, wenn die Bilderfassungseinrichtung 102 hinter der Windschutzscheibe 108 angeordnet ist. Weiterhin ändert ein Kamera- oder Scheibentausch die Abbildungseigenschaften.For an image capturing device 102, which is designed as a video system, for example, knowledge of the imaging properties along the entire optical path, which contains, for example, sensor, optics and/or windshield, is of particular interest. These are used, for example, to determine the distance from objects using triangulation or to separate dynamic objects from the static environment. Typically, the views are rectified, for example, to conform to a simple camera model, such as the so-called pinhole model. If the imaging properties assumed for the rectification are faulty, the distance determination and a static-dynamic distinction will also be adversely affected. Since minor changes during the product lifetime can hardly be avoided, it is advantageous to recognize deviations with regard to the assumed imaging properties, as is described in the approach presented here. Such changes are, for example, temperature influences, aging effects or a camera or window replacement. Temperature influences, for example, lead to different imaging of the optics, but can also have an impact on the mechanical arrangement of the components. aging These effects may lead to misalignment of the image capturing device 102 in relation to the optics and/or the windshield 108 if the image capturing device 102 is arranged behind the windshield 108 . Changing the camera or pane also changes the imaging properties.

Durch den hier vorgestellten Ansatz wird es ermöglicht, die Abbildungseigenschaften der Bilderfassungseinrichtung 102 kontinuierlich zu überprüfen. Das kontinuierliche Überprüfen kann sich dabei über einen oder mehrere Fahrzyklen des Fahrzeugs 100 erstrecken. Insbesondere werden dadurch erhebliche Änderungen der Abbildungseigenschaften erkannt, die beispielsweise durch einen Scheibentausch verursacht werden, um angemessen darauf reagieren zu können, wie beispielsweise um einen sicheren Zustand herzustellen.The approach presented here makes it possible to continuously check the imaging properties of the image acquisition device 102 . In this case, the continuous checking can extend over one or more driving cycles of the vehicle 100 . In particular, significant changes in the imaging properties, which are caused, for example, by replacing a pane, are recognized in this way in order to be able to react appropriately, for example to establish a safe state.

2 zeigt ein Blockschaltbild einer Vorrichtung 104 zum Überwachen einer Abbildungseigenschaft eines optischen Pfads einer Bilderfassungseinrichtung gemäß einem Ausführungsbeispiel. Die Vorrichtung 104 kann beispielsweise der in 1 beschriebenen Vorrichtung 104 entsprechen oder ähneln und ist demnach in einem Fahrzeug einsetzbar, wie es in 1 beschrieben wurde. Die Vorrichtung 104 weist dabei eine Einleseeinheit 200 auf, die ausgebildet ist, um ein Bildsignal 202 über eine Schnittstelle zu der Bilderfassungseinrichtung 102 einzulesen. Weiterhin weist die Vorrichtung 104 gemäß diesem Ausführungsbeispiel eine Ermittlungseinheit 204 auf, die ausgebildet ist, um einen Abbildungsfehler 206 in dem optischen Pfad unter Verwendung des Bildsignals 202 zu ermitteln. Eine Bestimmeinheit 205 ist ausgebildet, um unter Verwendung von fortlaufend oder ausgelöst durch bestimmte Ereignisse von der Ermittlungseinheit 204 bereitgestellten Abbildungsfehlern 206 fortlaufend oder ausgelöst durch bestimmte Ereignisse kombinierte Abbildungsfehler 207 zu bestimmen. Eine Vergleichseinheit 208 ist ausgebildet, um zumindest zwei der kombinierten Abbildungsfehler 207 zu vergleichen, um ein Vergleichsergebnis 210 zu erhalten, das eine Veränderung einer Abbildungseigenschaft anzeigt. Lediglich optional weist das Steuergerät 104 gemäß diesem Ausführungsbeispiel eine Bereitstelleinheit 212 auf, die ausgebildet ist, um ein Veränderungssignal 214 unter Verwendung des Vergleichsergebnisses 210 bereitzustellen. Beispielsweise ist die Bereitstelleinheit 212 ausgebildet, das Veränderungssignal 214 bereitzustellen, wenn das Vergleichsergebnis 210 zwischen den zumindest zweien der kombinierten Abbildungsfehler 206 eine Wertedifferenz anzeigt, die größer ist als ein vorgegebener Grenzwert. 2 10 shows a block diagram of a device 104 for monitoring an imaging property of an optical path of an image capturing device according to an embodiment. The device 104 can, for example, be the one in 1 correspond to or are similar to the device 104 described and can therefore be used in a vehicle as described in 1 was described. In this case, the device 104 has a reading unit 200 which is designed to read in an image signal 202 via an interface to the image acquisition device 102 . Furthermore, the device 104 according to this exemplary embodiment has a determination unit 204 which is designed to determine an imaging error 206 in the optical path using the image signal 202 . A determination unit 205 is designed to determine combined imaging errors 207 continuously or triggered by specific events using imaging errors 206 provided by the determination unit 204 continuously or triggered by specific events. A comparison unit 208 is designed to compare at least two of the combined aberrations 207 in order to obtain a comparison result 210 that indicates a change in an imaging property. According to this exemplary embodiment, control unit 104 has only optionally a providing unit 212 that is designed to provide a change signal 214 using comparison result 210 . For example, the provision unit 212 is designed to provide the change signal 214 if the comparison result 210 between the at least two of the combined aberrations 206 indicates a value difference that is greater than a predefined limit value.

Zumindest einer der Abbildungsfehler 206 und zusätzlich oder alternativ zumindest einer der kombinierten Abbildungsfehler 207 wird gemäß einem Ausführungsbeispiel in einer Speichereinrichtung 216 der Vorrichtung 104 gespeichert. Auf diese Weise kann die Bestimmeinheit 205 zusätzlich oder alternativ zumindest einen kombinierten Abbildungsfehler 207 unter Verwendung zumindest eines gespeicherten Abbildungsfehlers 206 bestimmen. Entsprechend kann die Vergleichseinheit 208 das Vergleichsergebnis 210 unter Verwendung zumindest eines gespeicherten kombinierten Abbildungsfehlers 207 bestimmen. Die Speichereinrichtung 216 ist gemäß einem Ausführungsbeispiel ausgebildet, um gespeicherte Daten auch während einer Außerbetriebnahme des Fahrzeugs, also beispielsweise über eine Zeitraum zwischen zwei Zündungszyklen zu speichern. Beispielsweise wird in der Speichereinrichtung 216 nur eine vorbestimmte Anzahl kombinierter Abbildungsfehler 207 gespeichert, indem ältere kombinierte Abbildungsfehler 207 beispielsweise überschrieben werden.At least one of the aberrations 206 and additionally or alternatively at least one of the combined aberrations 207 is stored in a memory device 216 of the device 104 according to one embodiment. In this way, the determination unit 205 can additionally or alternatively determine at least one combined aberration 207 using at least one stored aberration 206. Accordingly, the comparison unit 208 can determine the comparison result 210 using at least one stored combined aberration 207 . According to one exemplary embodiment, storage device 216 is designed to store stored data even when the vehicle is shut down, that is to say, for example, over a period of time between two ignition cycles. For example, only a predetermined number of combined aberrations 207 is stored in the memory device 216, in that older combined aberrations 207 are overwritten, for example.

Gemäß einem Ausführungsbeispiel ist die Ermittlungseinheit 204 ausgebildet, um zeitlich aufeinanderfolgend Aggregationen von vorliegenden Abbildungsfehlern 206 durchzuführen und Ergebnisse der jeweiligen Aggregationen optional einer Abbildungsvorschrift zu unterziehen, um zeitlich aufeinanderfolgend kombinierte Abbildungsfehler 207 zu bestimmen. Dabei kann pro Aggregation eine vorbestimmte Anzahl von unmittelbar zuvor bestimmten Abbildungsfehlern aggregiert werden. Alternativ können pro Aggregation innerhalb eines vorbestimmten mitlaufenden Zeitfensters bestimmte Abbildungsfehler aggregiert werden. Durch die Aggregation können die entsprechenden Abbildungsfehler auf geeignet Weise zusammengefasst werden. Durch die Abbildungsvorschrift kann für jedes der Ergebnisse ein Fingerabdruck erzeugt werden.According to one exemplary embodiment, the determination unit 204 is designed to perform chronologically consecutive aggregations of imaging errors 206 that are present and to optionally subject the results of the respective aggregations to a mapping rule in order to determine chronologically consecutive combined imaging errors 207 . A predetermined number of imaging errors determined immediately beforehand can be aggregated per aggregation. Alternatively, specific imaging errors can be aggregated for each aggregation within a predetermined time window that is running at the same time. The corresponding imaging errors can be summarized in a suitable manner by the aggregation. A fingerprint can be generated for each of the results using the mapping rule.

Das Bildsignal 202 wird gemäß einem Ausführungsbeispiel zusätzlich zum Überwachen einer Abbildungseigenschaft eines optischen Pfads von einem weiteren System verwendet, beispielsweise von einem Fahrassistenzsystem des Fahrzeugs.According to one embodiment, the image signal 202 is additionally used for monitoring an imaging property of an optical path by a further system, for example by a driver assistance system of the vehicle.

3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Überwachen einer Abbildungseigenschaft eines optischen Pfads gemäß einem Ausführungsbeispiel. Das Verfahren 300 ist beispielsweise in einer Vorrichtung durchführbar, wie sie in 2 beschrieben wurde. Beispielsweise ist das Verfahren während einer Fahrt eines Fahrzeugs ausführbar, sodass die Abbildungseigenschaft des optischen Pfads im Normalbetrieb der Bilderfassungseinrichtung durchgeführt werden kann. Es ist somit kein gesonderter Kalibrierbetrieb erforderlich. 3 FIG. 3 shows a flow diagram of a method 300 for monitoring an imaging property of an optical path according to an embodiment. The method 300 can be carried out, for example, in a device as described in 2 was described. For example, the method can be carried out while a vehicle is driving, so that the imaging property of the optical path can be carried out during normal operation of the image capturing device. A separate calibration operation is therefore not required.

Das Verfahren 300 umfasst einen Schritt 302 des Einlesens eines Bildsignals über eine Schnittstelle zu der Bilderfassungseinrichtung, wobei das Bildsignal aktuelle Bilddaten repräsentiert. In einem Schritt 304 wird eines Abbildungsfehlers in dem optischen Pfad unter Verwendung des Bildsignals ermittelt. Weiterhin umfasst das Verfahren 300 einen Schritt 306 des fortlaufenden Wiederholens des Schritts 302 des Einlesens und des Schritts 304 des Ermittelns, um zeitlich fortlaufend eine Mehrzahl von Abbildungsfehlern zu erhalten.The method 300 includes a step 302 of reading in an image signal via an interface to the image acquisition device, wherein the Image signal represents current image data. In a step 304, an imaging error in the optical path is determined using the image signal. Furthermore, the method 300 comprises a step 306 of continuously repeating the step 302 of reading in and the step 304 of determining in order to obtain a plurality of aberrations continuously over time.

In einem Schritt 307 des Bestimmens werden unter Verwendung der Mehrzahl von Abbildungsfehlern kombinierte Abbildungsfehler bestimmt. Beispielsweise wird unter Verwendung einer zu einem ersten Zeitpunkt vorliegenden ersten Anzahl von Abbildungsfehlern ein erster kombinierten Abbildungsfehler und unter Verwendung einer zu einem zweiten Zeitpunkt vorliegenden zweiten Anzahl von Abbildungsfehlern ein zweiter kombinierten Abbildungsfehler bestimmt. Dabei wurde die erste Anzahl von Abbildungsfehlern und die zweite Anzahl von Abbildungsfehlern beispielsweise während ein und desselben Zündungszyklus des Fahrzeugs, also beispielsweise während einer Fahrt des Fahrzeugs, oder alternativ während unterschiedlicher Zündungszyklen ermittelt.In a determination step 307, combined aberrations are determined using the plurality of aberrations. For example, a first combined aberration is determined using a first number of aberrations present at a first point in time, and a second combined aberration is determined using a second number of aberrations present at a second point in time. The first number of imaging errors and the second number of imaging errors were determined, for example, during one and the same ignition cycle of the vehicle, ie for example while the vehicle is driving, or alternatively during different ignition cycles.

Zeitlich fortlaufend können auf diese Weise weitere kombinierte Abbildungsfehler bestimmt werden, die jeweils aktuell ermittelte Abbildungsfehler berücksichtigen.In this way, further combined aberrations can be determined over time, each of which takes currently determined aberrations into account.

In einem Schritt 308 des Vergleichens werden zumindest zwei der im Schritt 307 bestimmten kombinierten Abbildungsfehlern miteinander verglichen, um ein Vergleichsergebnis zu erhalten, das eine Veränderung der Abbildungseigenschaft anzeigt.In a comparison step 308, at least two of the combined imaging errors determined in step 307 are compared with one another in order to obtain a comparison result that indicates a change in the imaging property.

Somit können der Schritt 307 des Bestimmens als auch der Schritt 308 des Vergleichens ähnlich zu dem Schritt 304 des Ermittelns wiederholt ausgeführt werden. Somit kann stets ein aktualisiertes Vergleichsergebnis bereitgestellt werden.Thus, the step 307 of determining as well as the step 308 of comparing can be executed repeatedly similar to the step 304 of determining. An updated comparison result can thus always be provided.

Gemäß einem Ausführungsbeispiel wird der Abbildungsfehler im Schritt 304 des Ermittelns als Epipolarfehler ermittelt. Optional werden im Schritt 304 des Ermittelns die aktuellen Bilddaten entzeichnet, um ein entzeichnetes Bildsignal zu erhalten. In diesem Fall wird der Abbildungsfehler unter Verwendung des entzeichneten Bildsignals ermittelt.According to one exemplary embodiment, the aberration is determined in step 304 of determination as an epipolar error. Optionally, in step 304 of determination, the current image data are de-drawn in order to obtain a de-drawn image signal. In this case, the aberration is determined using the extracted image signal.

Gemäß einem Ausführungsbeispiel umfasst das Verfahren 300 weiterhin optional einen Schritt 310 des Erfassens aktueller Bilddaten, die einen Umfeldbereich des Fahrzeugs repräsentieren. Der Schritt 310 des Erfassens wird dabei vor dem Schritt 302 des Einlesens durchgeführt.According to one exemplary embodiment, method 300 also optionally includes a step 310 of capturing current image data that represents an area surrounding the vehicle. In this case, step 310 of detecting is carried out before step 302 of reading in.

Gemäß einem Ausführungsbeispiel umfasst das Verfahren 300 einen Schritt 312 des Filterns der Mehrzahl von Abbildungsfehlern, um Ausreißer aus der Mehrzahl von Abbildungsfehlern herauszufiltern. Gemäß diesem Ausführungsbeispiel erfolgt der Schritt 312 des Filterns vor dem Schritt 307 des Bestimmens des kombinierten Abbildungsfehlers. Alternativ kann der Schritt 312 des Filterns zusammen mit dem Schritt 307 des Bestimmens durchgeführt werden.According to an embodiment, the method 300 includes a step 312 of filtering the plurality of aberrations in order to filter out outliers from the plurality of aberrations. According to this exemplary embodiment, step 312 of filtering takes place before step 307 of determining the combined aberration. Alternatively, the step 312 of filtering can be performed together with the step 307 of determining.

Weiterhin optional umfasst das Verfahren 300 einen Schritt 314 des Bereitstellens eines Veränderungssignals unter Verwendung des Vergleichsergebnisses, das im Schritt 308 des Vergleichens ermittelt wird. Dabei wird das Veränderungssignal gemäß diesem Ausführungsbeispiel bereitgestellt, wenn das Vergleichsergebnis eine vorbestimmte Bedingung erfüllt, beispielsweise zwischen zwei zeitlich aufeinanderfolgend verglichenen kombinierten Abbildungsfehlern eine Wertedifferenz anzeigt, die größer ist als ein vorgegebener Grenzwert.Also optionally, the method 300 includes a step 314 of providing a change signal using the comparison result that is determined in step 308 of the comparison. In this case, the change signal is provided according to this exemplary embodiment if the comparison result satisfies a predetermined condition, for example between two combined aberrations compared in chronological succession indicates a value difference that is greater than a predetermined limit value.

Optional umfasst das Verfahren 300 einen Schritt 316 des Anpassens der Abbildungseigenschaft unter Verwendung des Veränderungssignals. Der Schritt 316 des Anpassens erfolgt gemäß diesem Ausführungsbeispiel nach dem Schritt 314 des Bereitstellens. Ansprechend auf den Schritt 316 des Anpassens umfasst das Verfahren 300 weiterhin optional einen Schritt 318 des Verwendens der Abbildungseigenschaft, um einen aktuellen Abbildungsfehler der Mehrzahl von Abbildungsfehlern in einem aktuellen Bildsignal zu kompensieren.Optionally, the method 300 includes a step 316 of adjusting the mapping property using the change signal. According to this exemplary embodiment, step 316 of adapting takes place after step 314 of providing. In response to step 316 of adjusting, the method 300 further optionally includes a step 318 of using the mapping property to compensate for a current aberration of the plurality of aberrations in a current image signal.

4 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Überwachen einer Abbildungseigenschaft eines optischen Pfads gemäß einem Ausführungsbeispiel. Das hier abgebildete Verfahren 300 kann dem in 3 beschriebenen Verfahren 300 entsprechen oder ähneln. 4 FIG. 3 shows a flow diagram of a method 300 for monitoring an imaging property of an optical path according to an embodiment. The method 300 shown here can correspond to that in 3 correspond or are similar to the method 300 described.

Das in 4 dargestellte Verfahren 300 umfasst ebenfalls den Schritt 302 des Einlesens umfasst, wobei der Schritt 302 ferner eine vorangegangene Aufnahme der Bilddaten, beispielsweise in Form von Videobildern, umfassen kann. Gemäß diesem Ausführungsbeispiel umfasst der Schritt 304 des Ermittelns einen Teilschritt 400 des Entzeichnens der Bilddaten bzw. Bilder und einen Teilschritt 402 des Ermittelns des Abbildungsfehlers. Im Schritt 400 wird eine Bildverzeichnung durch eine geeignete Bildbearbeitung beispielsweise basierend auf einer angenommenen Projektion der Bilderfassungseinrichtung durchgeführt. Im Schritt 402 werden zeitlich aufeinanderfolgend Abbildungsfehler bestimmt, beispielsweise in dem Residuen in Bezug zu einer idealen Projektion der Bilderfassungseinrichtung berechnet werden. Unter einem Residuum kann beispielsweise eine Störgröße verstanden werden. Eine Möglichkeit ist dabei die Berechnung des Epipolarfehlers auf statischem Umfeld. Für eine ideale Bilderfassungseinrichtung sollte der Epipolarfehler Null sein.This in 4 The method 300 illustrated also comprises the step 302 of reading in, with step 302 also being able to comprise a previous recording of the image data, for example in the form of video images. According to this exemplary embodiment, step 304 of determining includes a sub-step 400 of de-drawing the image data or images and a sub-step 402 of determining the aberration. In step 400, image distortion is performed by suitable image processing, for example based on an assumed projection of the image acquisition device. In step 402, imaging errors are determined in succession over time, for example in which residuals are calculated in relation to an ideal projection of the image acquisition device. A residual can be understood as a disturbance variable, for example. a possibility Here, the calculation of the epipolar error in a static environment is useful. For an ideal imager, the epipolar error should be zero.

In einem Schritt 307 des Bestimmens werden fortlaufend kombinierte Abbildungsfehler bestimmt. Dazu werden beispielsweise die im Schritt 402 ermittelten Residuen über die Zeit aggregiert, um eine robuste Statistik zu berechnen. Dazu können beispielsweise zeitlich aufeinanderfolgende Abbildungsfehler aufsummiert werden. Indem im Schritt 402 fortlaufend neue Abbildungsfehler ermittelt werden, können im Schritt 307 fortlaufend neue kombinierte Abbildungsfehler bestimmt werden. Beispielsweise werden die Abbildungsfehler dabei oder vor dem Aggregieren über die Zeit gefiltert um Ausreiser und/oder Fehler in den Daten zu begegnen. Gemäß einem Ausführungsbeispiel wird das Bild dazu in Bereiche unterteilt. Für die unterschiedlichen Bereiche können separate Abbildungsfehler ermittelt und gefiltert werden. Schlussendlich wird einen Datensatz bestimmt, der die Fehlerstatistik beschreibt. Ein solcher Datensatz entspricht beispielsweise dem genannten kombinierten Abbildungsfehler. Für den Datensatz, also beispielsweise für den kombinierten Abbildungsfehler wird gemäß einem Ausführungsbeispiel ein Fingerabdruck (Fingerprint) bestimmt. Dazu kann auf bekannte Standardverfahren zurückgegriffen werden.In a determination step 307, combined aberrations are continuously determined. For this purpose, for example, the residuals determined in step 402 are aggregated over time in order to calculate robust statistics. For this purpose, for example, imaging errors that follow one another in time can be summed up. By continuously determining new aberrations in step 402, new combined aberrations can be continuously determined in step 307. For example, the imaging errors are filtered over time during or before the aggregation in order to counteract outliers and/or errors in the data. According to one embodiment, the image is divided into areas for this purpose. Separate imaging errors can be determined and filtered for the different areas. Finally, a data set describing the error statistics is determined. Such a data record corresponds, for example, to the mentioned combined aberration. According to one exemplary embodiment, a fingerprint is determined for the data set, ie, for example, for the combined imaging error. Known standard methods can be used for this purpose.

In einem Schritt 308 des Vergleichens werden gemäß einem Ausführungsbeispiel signifikante Abweichungen in aufeinanderfolgend bestimmten Fingerabdrücken oder kombinierten Abbildungsfehler gesucht.In a step 308 of the comparison, significant deviations in successively determined fingerprints or combined aberrations are sought according to one embodiment.

In einem Schritt 314 wird ein Veränderungssignal bereitgestellt, das beispielsweise Signaländerungen in dem Fingerabdruck anzeigt. Entsprechende Signaländerungen in dem Fingerabdruck werden gemäß einem Ausführungsbeispiel durch einen Vergleich des Fingerabdruck über die Zeit bestimmt. Bei größeren Abweichungen, wird dies beispielsweise einem System mitgeteilt, um angemessen reagieren zu können.In a step 314, a change signal is provided, which indicates, for example, signal changes in the fingerprint. According to one embodiment, corresponding signal changes in the fingerprint are determined by comparing the fingerprint over time. In the case of larger deviations, this is communicated to a system, for example, in order to be able to react appropriately.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102016206493 A1 [0002]

Claims

Method (300) for monitoring an imaging property of an optical path of an image acquisition device (102) for a vehicle (100), the method (300) comprising the following steps: Reading in (302) an image signal (202) via an interface to the image acquisition device (102), the image signal (202) representing current image data; determining (304) an aberration (206) in the optical path using the image signal (202); repeating (306) the steps (302, 304) of reading and determining to obtain a plurality of aberrations (206); determining (307) a first combined aberration (207) using a first number of the plurality of aberrations (206) and at least one further combined aberration (207) using a further number of the plurality of aberrations (206); and Comparing (308) at least two combined imaging errors (207) in order to obtain a comparison result (210) which indicates a change in the imaging property.

Method (300) according to claim 1 , in which the aberration (206) is stored in step (304) of determining.

Method (300) according to one of the preceding claims, in which the first combined aberration (207) is stored in the determination step (307) and/or the at least one further combined aberration (207) is stored in the determination step (307).

Method (300) according to one of the preceding claims, in which the step (306) of repeating and/or the step (307) of determining the at least one further combined aberration (207) is carried out after the image acquisition device (102) has been put into operation again.

Method (300) according to one of the preceding claims, with a step (310) of acquiring current image data before the step (302) of reading in, the image data representing an area (106) surrounding the vehicle (100).

Method (300) according to one of the preceding claims, wherein in step (304) of determining the current image data are de-drawn in order to obtain a de-drawn image signal (205), and the imaging error (206) is determined using the de-drawn image signal (205). .

Method (300) according to one of the preceding claims, wherein in the step (304) of determining the aberrations (206) are determined as epipolar errors.

Method (300) according to one of the preceding claims, with a step (312) of filtering the plurality of aberrations (206) in order to filter out outliers from the plurality of aberrations (206).

Method (300) according to one of the preceding claims, in which in the step of determining (307) a first aggregation of the first number of the plurality of aberrations (206) is carried out and a result of the first aggregation is subjected to a mapping rule in order to calculate the first combined aberration ( 207), and a second aggregation of the second number of the plurality of aberrations (206) is carried out and a result of the second aggregation is subjected to the mapping rule in order to determine the second combined aberration (207).

Method (300) according to one of the preceding claims, with a step (314) of providing a change signal (214) using the comparison result (210), wherein the change signal (214) is provided if the comparison result (210) between the at least two of the combined aberrations (207) indicates a value difference that is greater than a predetermined limit value.

Method (300) according to claim 10 , with a step (316) of adjusting the imaging property using the change signal (214).

Method (300) according to one of the preceding claims, with a step (318) of using the imaging property in order to compensate for a current aberration of the plurality of aberrations (206) in a current image signal.

Device (104) for monitoring an imaging property of an optical path of an image acquisition device (102) for a vehicle (100), the device (104) being set up to carry out the steps (302, 304, 306, 308) of the method (300). to execute and/or to control one of the preceding claims in corresponding units (200, 204, 205, 208).

Computer program that is set up to carry out the steps of the method (300) according to one of Claims 1 until 12 execute and/or control.

Machine-readable storage medium on which the computer program Claim 14 is saved.