DE102019117198A1 - Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system - Google Patents

Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system Download PDF

Info

Publication number
DE102019117198A1
DE102019117198A1 DE102019117198.9A DE102019117198A DE102019117198A1 DE 102019117198 A1 DE102019117198 A1 DE 102019117198A1 DE 102019117198 A DE102019117198 A DE 102019117198A DE 102019117198 A1 DE102019117198 A1 DE 102019117198A1
Authority
DE
Germany
Prior art keywords
optical
distortion
camera
reference pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019117198.9A
Other languages
German (de)
Inventor
Georg Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Active Safety GmbH
Original Assignee
ZF Active Safety GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Active Safety GmbH filed Critical ZF Active Safety GmbH
Priority to DE102019117198.9A priority Critical patent/DE102019117198A1/en
Publication of DE102019117198A1 publication Critical patent/DE102019117198A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Ein Verfahren zum Bestimmen einer Verzerrung eines von einer Kamera eines Fahrerassistenzsystems aufzunehmenden Bilds umfasst die Schritte: Bereitstellen eines Referenzmusters an einer bezüglich einer Kameraposition vordefinierten Referenzmusterposition, wobei das Referenzmuster wenigstens ein Mustermerkmal für die Bestimmung einer Verzerrung des Referenzmusters aufweist, Bereitstellen eines optischen Verzerrers an einer vordefinierten Position im optischen Pfad zwischen der Kameraposition und der Referenzmusterposition, Bestimmen eines an einer vordefinierten Kameraposition erfassbaren Kamerabilds des Referenzmusters, und Ermitteln wenigstens eines Verzerrungsparameters der Verzerrung des Referenzmusters auf Grund des optischen Verzerrers aus dem an der Kameraposition bestimmten Kamerabild des Referenzmusters anhand des wenigstens einen Mustermerkmals, wobei das Verfahren wenigstens teilweise mit einem optischen Simulator ausgeführt wird.A method for determining a distortion of an image to be recorded by a camera of a driver assistance system comprises the steps of: providing a reference pattern at a reference pattern position predefined with respect to a camera position, the reference pattern having at least one pattern feature for determining a distortion of the reference pattern, providing an optical distortion at a predefined position in the optical path between the camera position and the reference pattern position, determining a camera image of the reference pattern that can be captured at a predefined camera position, and determining at least one distortion parameter of the distortion of the reference pattern due to the optical distortion from the camera image of the reference pattern determined at the camera position using the at least one Pattern feature, the method being at least partially carried out with an optical simulator.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Verzerrung eines von einer Kamera eines Fahrerassistenzsystems aufzunehmenden Bilds ein Verfahren zum Kompensieren einer optischen Verzerrung in einem Fahrerassistenzsystem.The invention relates to a method for determining a distortion of an image to be recorded by a camera of a driver assistance system, a method for compensating for an optical distortion in a driver assistance system.

Aus DE 10 2014 219 423 A1 ist ein Verfahren zur Rektifizierung von Bildern einer Stereokamera bekannt. DE 10 2014 219 423 A1 beschäftigt sich mit Fehlern bei der Positionsbestimmung von mit der Stereokamera aufgenommen Objekten bezüglich der Aufnahmeposition in einem Fahrzeug. Die Fehler gehen darauf zurück, dass Lichtstrahlen beim Durchtreten durch eine Fahrzeugscheibe entlang des optischen Pfads der Stereokamera beeinflusst werden, die Fahrzeugscheibe jedoch bei der Kalibrierung der Stereokamera unberücksichtigt bleibt. Eine nicht konstante Scheibenkrümmung führt dabei zu einer Objektpositionsabhängigkeit des Fehlers und erschwert eine Beseitigung des Fehlers zusätzlich. DE 102014 219 423 A1 schlägt vor, den Versatz von Bildkorrespondenzen zu bestimmen und aus diesen ein Kompensationsmodell zu erzeugen. Dabei wird vorausgesetzt, dass das 3D-Szenario, auf Basis dessen der Versatz der Bildkorrespondenzen bestimmt wird, konstant ist. Um auch bei variablem 3D-Szenario ein Kompensationsmodell zu erhalten, sollen für nicht ermittelbare Modellparameter sinnvolle Annahmen getroffen werden.Out DE 10 2014 219 423 A1 a method for rectifying images from a stereo camera is known. DE 10 2014 219 423 A1 deals with errors in the position determination of objects recorded with the stereo camera with respect to the recording position in a vehicle. The errors are due to the fact that light rays are influenced when passing through a vehicle window along the optical path of the stereo camera, but the vehicle window is not taken into account in the calibration of the stereo camera. A non-constant curvature of the pane leads to an object position dependency of the error and makes it more difficult to eliminate the error. DE 102014 219 423 A1 suggests determining the offset of image correspondences and generating a compensation model from them. It is assumed that the 3D scenario on the basis of which the offset of the image correspondences is determined is constant. In order to obtain a compensation model even with a variable 3D scenario, sensible assumptions should be made for model parameters that cannot be determined.

Die Qualität der Fehlerkorrektur des Kompensationsmodells, das bei variablem 3D-Szenario ermittelt wird, hängt davon ab, in welchen Betriebszuständen die Annahmen in welchem Maß zutreffen. Die Bestimmung eines Kompensationsmodells mit Hilfe eines konstanten 3D-Szenarios ist nur anwendbar, wenn das gesamte optische System einschließlich Kamera, Scheibe und zu vermessendem 3D-Szenarios verfügbar ist. Eine Beurteilung der optischen Leistung der Kamera ist somit erst spät im Entwicklungsprozess möglich.The quality of the error correction of the compensation model, which is determined in the case of a variable 3D scenario, depends on the operating states in which the assumptions apply to what extent. The determination of a compensation model with the help of a constant 3D scenario can only be used if the entire optical system including the camera, pane and the 3D scenario to be measured is available. An assessment of the optical performance of the camera is therefore only possible late in the development process.

Zudem erfordert das geschilderte Verfahren zur Bestimmung eines Kompensationsmodell bei der Entwicklung einer Kamera für ein Fahrerassistenzsystem repräsentative Windschutzscheiben bereitzustellen und eine jeweilige Vermessung im jeweiligen Fahrzeug vorzunehmen. Ein Vermessungssystem, das die Bestimmung von Messfehlern durch Fahrzeugscheiben hat schließlich einen hohen Platzbedarf.In addition, the described method for determining a compensation model in the development of a camera for a driver assistance system requires the provision of representative windshields and a respective measurement in the respective vehicle. A measurement system that determines measurement errors caused by vehicle windows ultimately requires a lot of space.

Es ist Aufgabe der Erfindung, die Nachteile des Stand der Technik zu überwinden, insbesondere ein Verfahren zum Bestimmen einer optischen Verzerrung und ein Verfahren zur Kompensation einer optischen Verzerrung bereitzustellen, die jeweils frühzeitig im Entwicklungsprozess, kostengünstig und mit geringen Aufwand einsetzbar sind.The object of the invention is to overcome the disadvantages of the prior art, in particular to provide a method for determining an optical distortion and a method for compensating for an optical distortion, which can be used early in the development process, inexpensively and with little effort.

Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen einer Verzerrung eines von einer Kamera eines Fahrerassistenzsystems aufzunehmenden Bilds, mit den Schritten: Bereitstellen eines Referenzmusters an einer bezüglich einer Kameraposition vordefinierten Referenzmusterposition, wobei das Referenzmuster wenigstens ein Mustermerkmal für die Bestimmung einer Verzerrung des Referenzmusters aufweist, Bereitstellen einer optischen Verzerrers an einer vordefinierten Position im optischen Pfad zwischen der Kameraposition und der Referenzmusterposition, Bestimmen eines an einer vordefinierten Kameraposition erfassbaren Kamerabilds des Referenzmusters, und Ermitteln wenigstens eines Verzerrungsparameters der Verzerrung des Referenzmusters auf Grund des optischen Verzerrers aus dem an der Kameraposition bestimmten Kamerabild des Referenzmusters anhand des wenigstens einen Mustermerkmals. Erfindungsgemäß wird das Verfahren wenigstens teilweise mit einem optischen Simulator ausgeführt wird. Die Erfindung macht sich die Erkenntnis zu Nutze, dass durch den Einsatz eines optischen Simulators Bildverfälschungen, insbesondere geometrische Verzerrungen, die entlang des optischen Pfads einer Kamera eines Fahrerassistenzsystems auftreten, frühzeitig im Entwicklungsprozess berücksichtigt werden können. Zudem entfällt die Notwendigkeit, Einflussfaktoren, wie Windschutzscheiben, für die Bestimmung der Verzerrung vorzuhalten und Testszenarien in Realweltgröße vorzusehen.The object is achieved by a method for determining a distortion of an image to be recorded by a camera of a driver assistance system, with the steps of: providing a reference pattern at a reference pattern position predefined with respect to a camera position, the reference pattern having at least one pattern feature for determining a distortion of the reference pattern, Providing an optical distorter at a predefined position in the optical path between the camera position and the reference pattern position, determining a camera image of the reference pattern that can be captured at a predefined camera position, and determining at least one distortion parameter of the distortion of the reference pattern due to the optical distorter from the camera image determined at the camera position of the reference pattern based on the at least one pattern feature. According to the invention, the method is carried out at least partially with an optical simulator. The invention makes use of the knowledge that by using an optical simulator, image falsifications, in particular geometric distortions that occur along the optical path of a camera of a driver assistance system, can be taken into account early in the development process. In addition, there is no need to have influencing factors such as windshields available for determining the distortion and to provide test scenarios in real-world size.

Das Fahrerassistenzsystem ist insbesondere ein System zur adaptiven Dämpferregelung unter Berücksichtigung von mit der Kamera aufgenommen Fahrbahnunebenheiten. Bei einem derartigen System ist eine besonders hohe Messgenauigkeit und genaue Korrespondenz von aus Bildern der Kamera gewonnenen Daten über Position und Größe von Fahrbahnunebenheiten erforderlich. Als Referenzmuster ist insbesondere ein sich in wenigsten zwei senkrecht zueinander liegenden Raumrichtungen geradlinig erstreckendes Kalibrierziel vorgesehen. Das Mustermerkmal kann beispielsweise eine bekannte Kante, also ein Farb- und/oder Kontraständerung in den Bilddaten, oder eine Kantenverlaufsändern oder beides sein. Die Veränderung des Mustermerkmals durch die Verzerrung wird identifiziert und ein Verzerrungsparameter anhand der Veränderung ermittelt. Der Verzerrungsparameter beschreibt die gesamte Veränderung des Referenzmusters durch den optischen Pfad, einschließlich des optischen Verzerrers. Es können auch mehrere Verzerrungsparameter vorgesehen sein, um die Verzerrung entlang des optischen Pfads zu beschreiben. Auch wenn der Verzerrungsparameter aus den Eingangsdaten für den optischen Simulator ermittelt werden könnte, ist das erfindungsgemäße Verfahren, bei dem der optische Pfad zumindest teilweise simuliert und das simulierte verzerrte Referenzmuster hinsichtlich des tatsächlichen Referenzmusters anhand eines Mustermerkmals beurteilt wird flexibler einsetzbar. So kann die Aufnahme mittels der Kamera oder einzelne Strecken des optischen Pfads unvirtualisiert verbleiben, wenn eine die Simulationsgenauigkeit übersteigende Aussagegüte erforderlich ist oder beispielsweise eine Kamerakalibrierstation vorhanden ist.The driver assistance system is, in particular, a system for adaptive damper control, taking into account uneven road surfaces recorded with the camera. In such a system, a particularly high measurement accuracy and precise correspondence of data obtained from images of the camera about the position and size of uneven road surfaces are required. In particular, a calibration target extending in a straight line in at least two spatial directions perpendicular to one another is provided as the reference pattern. The pattern feature can be, for example, a known edge, that is to say a color and / or contrast change in the image data, or a change in the course of the edge, or both. The change in the pattern feature due to the distortion is identified and a distortion parameter is determined based on the change. The distortion parameter describes the entire change in the reference pattern through the optical path, including the optical distortion. A plurality of distortion parameters can also be provided in order to describe the distortion along the optical path. Even if the distortion parameter could be determined from the input data for the optical simulator, that is Method according to the invention, in which the optical path is at least partially simulated and the simulated distorted reference pattern is assessed with respect to the actual reference pattern on the basis of a pattern feature, can be used more flexibly. The recording by means of the camera or individual sections of the optical path can thus remain non-virtualized if a quality of information that exceeds the simulation accuracy is required or, for example, a camera calibration station is available.

In einer besonderen Ausführung wird das Referenzmuster als Teil eines Berechnungsmodells in dem optischen Simulator. Vorzugsweise ist das Berechnungsmodell ein Strahlenverfolgungsmodell oder Raytracing-Modell. Durch Verwendung eines virtualisierten Referenzmusters wird der Platzbedarf für die Kalibrierung des Fahrerassistenzsystem erheblich verringert. Der Fokus einer Kamera in einem Fahrerassistenzsystem liegt üblicherweise mehrere Meter vor dem Fahrzeug und verlangt ein Referenzmuster, das wesentliche Teile des Sichtfelds der Kamera ausfüllt, um eine Aussage über die Abbildungsgenauigkeit im gesamten Sichtfeld zu liefern. Insbesondere umfasst der optische Simulator wenigsten eine Recheneinheit, in der eine optische Übertragungsfunktion auf von dem Referenzmuster kommenden Licht in einer Wellen- und/oder Strahlenrepräsentation angewandt wird. Insbesondere beeinflusst die Übertragungsfunktion durch wenigstens einen Parameter Amplitude, Frequenz und/oder Richtung einer Wellen- und/oder Strahlenrepräsentation des von dem Referenzmuster kommenden Lichts.In a special embodiment, the reference pattern is used as part of a calculation model in the optical simulator. The calculation model is preferably a ray tracing model or ray tracing model. Using a virtualized reference pattern significantly reduces the space required for calibrating the driver assistance system. The focus of a camera in a driver assistance system is usually several meters in front of the vehicle and requires a reference pattern that fills essential parts of the camera's field of view in order to provide information about the imaging accuracy in the entire field of view. In particular, the optical simulator comprises at least one computing unit in which an optical transfer function is applied to light coming from the reference pattern in a wave and / or beam representation. In particular, the transfer function influences the amplitude, frequency and / or direction of a wave and / or beam representation of the light coming from the reference pattern through at least one parameter.

In einer besonderen Ausführung wird der optische Verzerrer als Teil eines Berechnungsmodells in dem optischen Simulator bereitgestellt wird. Insbesondere wird der optische Verzerrer als Satz von vorzugsweise wellenlängenabhängigen Brechungsparametern, wie Brechungsindex bereitgestellt. Die Repräsentation des Verzerrers in Datenform durch optische Parameter ermöglicht eine Virtualisierung des Verzerrungsvorgangs, womit Kosten- und Platzersparnis einhergehen.In a particular embodiment, the optical distorter is provided as part of a calculation model in the optical simulator. In particular, the optical distorter is provided as a set of preferably wavelength-dependent refractive parameters, such as the refractive index. The representation of the distorter in data form by optical parameters enables the distortion process to be virtualized, which is associated with cost and space savings.

In einer besonderen Ausführung verzerrt der optische Verzerrer das Referenzmuster entsprechend einer vordefinierten Windschutzscheibe. Ein Lagerhaltung verschiedener Windschutzscheiben für die Entwicklung des Fahrerassistenzsystems entfällt damit. Änderungen einer Windschutzscheibengeometrie lassen sich anhand der Verzerrungseigenschaften der Windschutzscheibe nachvollziehen und die letztendlichen Auswirkungen auf das mit der Kamera aufgenommene Bild durch erneute Anwendung des Verfahrens bestimmen.In a special embodiment, the optical distorter distorts the reference pattern in accordance with a predefined windshield. There is thus no need to stock different windshields for the development of the driver assistance system. Changes to a windshield geometry can be traced on the basis of the distortion properties of the windshield and the ultimate effects on the image recorded with the camera can be determined by applying the method again.

In einer besonderen Ausführung wird das an der Kameraposition bestimmte Kamerabild und/oder der wenigstens eine Verzerrungsparameter durch Transformation des wenigstens einen Mustermerkmals des Referenzmusters mit einer den optischen Verzerrer repräsentierenden Transformationsvorschrift ermittelt wird. Insbesondere ist die Transformationsvorschrift eine optische Übertragungsfunktion, die vorzugsweise mittels eines Strahlenverfolgungsverfahrens, wie Raytracing, ermittelt wird.In a special embodiment, the camera image determined at the camera position and / or the at least one distortion parameter is determined by transforming the at least one pattern feature of the reference pattern with a transformation rule representing the optical distortion. In particular, the transformation rule is an optical transfer function which is preferably determined by means of a ray tracing method such as ray tracing.

In einer besonderen Ausführung umfasst der wenigstens eine Verzerrungsparameter ein positionsabhängiges Maß für eine optische Brechung durch den optischen Verzerrer.In a particular embodiment, the at least one distortion parameter comprises a position-dependent measure for an optical refraction by the optical distorter.

In einer besonderen Ausführung umfasst der wenigstens eine Verzerrungsparameter ein wellenlängenabhängiges Maß für die chromatische Dispersion durch den optischen Verzerrer.In a particular embodiment, the at least one distortion parameter comprises a wavelength-dependent measure for the chromatic dispersion by the optical distorter.

Die Erfindung betrifft auch ein Verfahren zur Kompensation einer Verzerrung eines von einer Kamera eines Fahrerassistenzsystems aufgenommenen Bilds, mit den Schritten: Ermitteln wenigstens eines Verzerrungsparameters der Verzerrung gemäß dem Verfahren nach einem der vorstehenden Ansprüche, und Berechnen wenigstens eines Entzerrungsparameters aus dem wenigstens einen Verzerrungsparameter, Ermittlung eines kompensierten Bilds aus dem an der Kameraposition bestimmten Kamerabild und einer optischen Transferfunktion, die den wenigstens einen Entzerrungsparameter umfasst.The invention also relates to a method for compensating for a distortion of an image recorded by a camera of a driver assistance system, with the steps of: determining at least one distortion parameter of the distortion according to the method according to one of the preceding claims, and calculating at least one rectification parameter from the at least one distortion parameter, determination a compensated image from the camera image determined at the camera position and an optical transfer function that includes the at least one rectification parameter.

In einer besonderen Ausführung arbeitet das Verfahren gemäß einem geschlossener Regelkreis. Das heißt, dass die Entzerrungsparameter abhängig von der Abweichung im von der Kamera verzerrt aufgenommen Referenzmuster so eingestellt werden, dass die Verzerrung im Vergleich zum tatsächlichen Referenzmuster minimal wird.In a special embodiment, the method works according to a closed control loop. This means that the rectification parameters are set depending on the deviation in the reference pattern recorded in a distorted manner by the camera in such a way that the distortion is minimal compared to the actual reference pattern.

In einer besonderen Ausführung wird der wenigstens eine Kompensationsparameter zumindest teilweise durch Inversion einer den optischen Verzerrer repräsentierenden optischen Übertragungsfunktion ermittelt. Die optische Übertragungsfunktion umfasst insbesondere wenigstens eine Berechnungsvorschrift für eine Wellen- und/oder Strahlenrepräsentation des von dem Referenzmuster kommenden Lichts.In a particular embodiment, the at least one compensation parameter is determined at least partially by inversion of an optical transfer function that represents the optical distortion. The optical transfer function includes in particular at least one calculation rule for a wave and / or beam representation of the light coming from the reference pattern.

In einer besonderen Ausführung umfasst das Referenzmuster eine dreidimensionale Referenzszene.In a particular embodiment, the reference pattern comprises a three-dimensional reference scene.

Weitere Merkmale, Vorteile und Eigenschaften der Erfindung werden anhand der Beschreibung bevorzugter Ausführungen der Erfindung unter Verweis auf die Figuren erklärt, die zeigen:

  • 1: Schematischer Überblick über das erfindungsgemäße Verfahren anhand eines Beispiels.
Further features, advantages and properties of the invention are explained on the basis of the description of preferred embodiments of the invention with reference to the figures, which show:
  • 1 : Schematic overview of the method according to the invention using an example.

1 zeigt schematisch die allgemeine Situation einer Bildaufnahme einer Kamera 112 eines nicht näher dargestellten Fahrerassistenzsystems. Die Kamera nimmt innerhalb des Kameraaufnahmebereichs 114 Bilder auf, aus denen das Fahrerassistenzsystem mittels Objekterkennungsverfahren, Objekte erfasst und diese innerhalb des Bildes und bezüglich der Realumgebung lokalisiert. 1 shows schematically the general situation of an image recording by a camera 112 a driver assistance system not shown in detail. The camera is recording within the camera recording area 114 Images from which the driver assistance system detects objects using object recognition methods and localizes them within the image and with respect to the real environment.

Die Kamera 112 ist üblicherweise hinter einer Windschutzscheibe 116 angebracht. Abhängig von den geometrischen und optischen Eigenschaften der Windschutzscheibe 116 wird durch sie hindurchtretendes Licht abhängig von Einfallswinkel und Einfallsposition in Richtung und/oder Wellenlänge verändert. Objekte, Linien und Kanten und/oder Farben im von der Kamera 112 aufgenommenen Bild erscheinen daher im Vergleich zu deren tatsächlicher Gestalt je nach Bildposition mehr oder weniger stark verzerrt oder verändert. Dies ist prinzipiell durch das verzerrte Muster 102 angedeutet, wie es durch Aufnahme eines Referenzmusters 101 durch die Windschutzscheibe 116 hindurch entsteht. Abhängig von der tatsächlichen Geometrie und den optischen Eigenschaften der Windschutzscheibe 116 ergeben sich Verzerrungen anderer Art, anderen Ausmaßes oder an anderer Position.The camera 112 is usually behind a windshield 116 appropriate. Depending on the geometric and optical properties of the windshield 116 light passing through it is changed in direction and / or wavelength depending on the angle and position of incidence. Objects, lines and edges and / or colors in the camera 112 The recorded image therefore appear more or less heavily distorted or changed in comparison to their actual shape, depending on the image position. This is principally due to the distorted pattern 102 indicated how it is by recording a reference pattern 101 through the windshield 116 arises through it. Depending on the actual geometry and the optical properties of the windshield 116 if there are distortions of a different type, of a different extent or in a different position.

Wie mit den Pfeilen A angedeutet, kann in einem Kompensationsschritt 100 unter Einsatz des erfindungsgemäßen Verfahrens zur Kompensation aus einem verzerrten Bild, wie dem Muster 102, ein entzerrtes Bild, wie das Muster 103 gewonnen werden. Voraussetzung dafür ist, dass das Referenzmuster 101 bekannt ist. Durch in Bezug setzen des verzerrten Musters mit dem Referenzmuster lassen sich die Parameter für die Verzerrung bestimmen. Die Verzerrungsparameter erlauben dann für jedes verzerrte Bild ein unverzerrtes Bild zu ermitteln.As with the arrows A. indicated, can in a compensation step 100 using the method according to the invention for compensation from a distorted image, such as the pattern 102 , a rectified image, like the pattern 103 be won. The prerequisite for this is that the reference sample 101 is known. By relating the distorted pattern to the reference pattern, the parameters for the distortion can be determined. The distortion parameters then allow an undistorted image to be determined for each distorted image.

Zur Bestimmung der Verzerrungsparameter wird der Lichtdurchgang durch die Windschutzscheibe 116 gemäß den Gesetzmäßigkeiten der Optik modelliert. Insbesondere wird dabei ein Modell für die Brechung des Lichts beim Ein- und/oder beim Austritt aus der Windschutzscheibe 116 eingesetzt. Insbesondere wird jeweils ein Modell für die Veränderung der Intensität des Lichts beim Ein- und/oder Austritt aus der Windschutzscheibe 116 aufgestellt. Jedes eingesetzte Modell ist vorzugsweise wellenlängenabhängig angelegt, so dass sich mit der Wellenlänge ändernde Brechungswinkel und/oder Transmissionskoeffizienten berücksichtigt sind.The light transmission through the windshield is used to determine the distortion parameters 116 modeled according to the laws of optics. In particular, a model for the refraction of light when entering and / or exiting the windshield is used 116 used. In particular, a model is provided for the change in the intensity of the light when entering and / or exiting the windshield 116 set up. Each model used is preferably set up as a function of the wavelength, so that angles of refraction and / or transmission coefficients that change with the wavelength are taken into account.

Wie durch die Pfeile B angedeutet, sind bei dem erfindungsgemäßen Verfahren das Referenzmuster 101, die Windschutzscheibe 116, die Position der bildaufnehmenden Kamera 112 und, sofern eine Detailmodellierung der Kamera 112 verfügbar ist, die Kamera 112, sowie der optische Pfad entlang des Aufnahmebereichs 114 der Kamera 112 Bestandteile eines optischen Modells in einem optischen Simulator 120. Das Referenzmuster 101 als zweidimensionales Bild oder dreidimensionale Szene, die Licht reflektiert, im Block 121 modelliert. Der im optischen Simulator 120 wird wenigstens eine allgemeine Lichtquelle für das optische Modell vorgesehen. Die nicht näher dargestellten Lichtquelle bildet ein Eingangssignal für den Block 121, der das Licht der Lichtquelle entsprechend einem optischen Reflexionsmodell insbesondere hinsichtlich dessen Richtung, Farbe und Intensität verändert. Alternativ kann das Referenzmuster 101 als Lichtquelle modelliert werden.As by the arrows B. indicated are the reference pattern in the method according to the invention 101 , the windshield 116 , the position of the image-taking camera 112 and, provided a detailed modeling of the camera 112 is available, the camera 112 , as well as the optical path along the recording area 114 the camera 112 Components of an optical model in an optical simulator 120 . The reference pattern 101 as a two-dimensional image or three-dimensional scene that reflects light in a block 121 modeled. The one in the optical simulator 120 at least one general light source is provided for the optical model. The light source, not shown in detail, forms an input signal for the block 121 , which changes the light from the light source according to an optical reflection model, in particular with regard to its direction, color and intensity. Alternatively, the reference pattern 101 can be modeled as a light source.

Block 126 umfasst ein Brechungsmodell, welches die Umlenkung und Veränderung von am Referenzmuster 101 zurückgeworfenen Lichtstrahlen durch Berechnungsvorschriften für die Lichtbrechung an Grenzflächen bestimmt. Die Einfallsrichtung und Einfallsposition von Lichtstrahlen auf die Windschutzscheibe 116 wird im optischen Simulator 120 durch einen Block 125 beschrieben, der eine Berechnungsvorschriften für den Strahlengang der Lichtstrahlen umfasst, die von dem Referenzmuster 101 reflektiert werden. In gleicher Weise wird die Einfallsrichtung und Einfallsposition an der Position der Kamera 112 durch einen Block 124 ermittelt, der den Strahlengang des Lichts im verbleibenden Bereich des Aufnahmebereichs 114 beschreibt, wie der Block 125 für den Bereich 115 des Aufnahmebereichs 114 der Kamera 112. Block 122 dient im einfachsten Fall lediglich zur Ausgabe des an der Position der Kamera 112 entstehenden Bildes auf Basis der ankommenden Lichtstrahlen. In alternativen Ausgestaltungen kann im Block 122 ein Teil oder die gesamte Linsenoptik der Kamera 122 modelliert sein.block 126 includes a refraction model, which redirects and changes the reference pattern 101 reflected light rays are determined by calculation rules for the refraction of light at interfaces. The direction and position of incidence of light rays on the windshield 116 is in the optical simulator 120 through a block 125 described, which includes a calculation rules for the beam path of the light rays from the reference pattern 101 be reflected. In the same way, the direction and position of incidence are at the position of the camera 112 through a block 124 which determines the beam path of the light in the remaining area of the recording area 114 describes how the block 125 for the area 115 of the recording area 114 the camera 112 . block 122 in the simplest case only serves to output the at the position of the camera 112 resulting image based on the incoming light rays. In alternative configurations, in the block 122 some or all of the lens optics of the camera 122 be modeled.

Der optische Simulator 120 berechnet durch jeweilige Anwendung der den Blöcken 121, 125, 126, 124, 122 zu Grunde liegenden optischen Übertragungsfunktionen aus einem Eingangssignal das Ausgangssignal des jeweiligen Blocks, welches wiederum das Eingangssignal für den folgenden Block darstellt. In einer Variante wird eine Gesamtübertragungsfunktion für den gesamten optischen Pfad gebildet. Vorzugsweise arbeitet der optische Simulator mit eine Strahlenverfolgungsverfahren, auch Raytracing-Verfahren. Die Übertragungsfunktionen eines jeweiligen Blocks sind bei dieser Variante des optischen Simulators durch entsprechende Berechnungsvorschriften, wie eine Winkeländerungsvorschrift bezüglich eines als Vektor repräsentierten Lichtstrahls, ausgebildet.The optical simulator 120 calculated by applying each of the blocks 121 , 125 , 126 , 124 , 122 underlying optical transfer functions from an input signal, the output signal of the respective block, which in turn represents the input signal for the following block. In a variant, an overall transfer function is formed for the entire optical path. The optical simulator preferably works with a ray tracing method, also known as a ray tracing method. In this variant of the optical simulator, the transfer functions of a respective block are formed by appropriate calculation rules, such as an angle change rule with respect to a light beam represented as a vector.

Die jeweiligen Komponenten des Modells enthalten bereits jeweilige Verzerrungsparameter und so kann ein resultierender Verzerrungsparameter auch dem Modell direkt ermittelt werden. Bevorzugt ist eine Berechnung des von der Kamera 112 aufgenommen verzerrten Referenzmusters und ein anschließender Vergleich hinsichtlich des Mustermerkmals, um den resultierenden Verzerrungsparameter zu ermitteln. Hierzu kommt vorzugsweise ein parametrierbare vereinfachte optische Übertragungsfunktion zu Einsatz, um Rechenzeit zu sparen.The respective components of the model already contain respective distortion parameters and so a resulting distortion parameter can also be determined directly from the model. A calculation of the by the camera is preferred 112 recorded distorted reference pattern and a subsequent comparison with regard to the pattern feature in order to determine the resulting distortion parameter. For this purpose, a parameterizable, simplified optical transmission function is preferably used in order to save computing time.

Der optische Simulator ist vorzugsweise als Simulationsprogramm auf einem Rechensystem, wie einem Computer ausgebildet. Es sind andere Ausführungen vorgesehen, bei dem Teile des optischen Gesamtmodells, wie die Brechung an der Windschutzscheibe 116 im optischen Simulator berechnet werden, die Aufnahme durch die Kamera 112 allerdings und die Kompensation der Verzerrung gemäß Block 100 in einer Kamerakalibrierstation durchgeführt wird. Dazu wird ein Bild nach der Verzerrung gemäß Block 126 von dem optischen Simulator auf einem Bilddarstellungsgerät ausgegeben und von der Kamera 112 aufgezeichnet.The optical simulator is preferably designed as a simulation program on a computing system such as a computer. Other designs are envisaged in which parts of the overall optical model, such as the refraction on the windshield 116 are calculated in the optical simulator, the recording by the camera 112 however and the compensation of the distortion according to block 100 is carried out in a camera calibration station. To do this, an image after the distortion according to block 126 output from the optical simulator on an imaging device and from the camera 112 recorded.

Für die Kompensation der Verzerrung gemäß den Pfeilen A, werden Abweichungen des von der Kamera 112 aufgenommenen Musters 102 von dem bekannten Referenzmuster 101 bestimmt und auf Basis der Abweichungen mit Hilfe eine Transformationsvorschrift das Muster 102 entzerrt um zur tatsächlichen Darstellung des kompensierten Musters 103 zu gelangen. Vorzugsweise ist die Transformvorschrift die eine Umkehrung des optischen Modells für die Verzerrung, das im optischen Simulator eingesetzt wurde.For the compensation of the distortion according to the arrows A. , there will be deviations from the camera 112 recorded pattern 102 from the known reference pattern 101 determines the pattern based on the deviations with the help of a transformation rule 102 equalized to the actual representation of the compensated pattern 103 to get. The transform rule is preferably a reversal of the optical model for the distortion that was used in the optical simulator.

BezugszeichenlisteList of reference symbols

A, BA, B
PfeileArrows
100100
KompensationsschrittCompensation step
101101
ReferenzmusterReference sample
102102
verzerrtes Musterdistorted pattern
103103
kompensiertes Mustercompensated pattern
112112
Kameracamera
114114
AufnahmebereichRecording area
116116
WindschutzscheibeWindshield
115115
Abschnitt des AufnahmebereichsSection of the recording area
120120
optischer Simulatoroptical simulator
122122
Blockblock
124124
Blockblock
125125
Blockblock
126126
Blockblock
121121
Blockblock

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102014219423 A1 [0002]DE 102014219423 A1 [0002]

Claims (10)

Verfahren zum Bestimmen einer Verzerrung eines von einer Kamera (112) eines Fahrerassistenzsystems aufzunehmenden Bilds, mit den Schritten: Bereitstellen eines Referenzmusters (101) an einer bezüglich einer Kameraposition vordefinierten Referenzmusterposition, wobei das Referenzmuster (101) wenigstens ein Mustermerkmal für die Bestimmung einer Verzerrung des Referenzmusters (101) aufweist, Bereitstellen eines optischen Verzerrers an einer vordefinierten Position im optischen Pfad zwischen der Kameraposition und der Referenzmusterposition, Bestimmen eines an einer vordefinierten Kameraposition erfassbaren Kamerabilds des Referenzmusters, und Ermitteln wenigstens eines Verzerrungsparameters der Verzerrung des Referenzmusters auf Grund des optischen Verzerrers aus dem an der Kameraposition bestimmten Kamerabild des Referenzmusters anhand des wenigstens einen Mustermerkmals, dadurch g e k e n n z e ich n e t , dass das Verfahren wenigstens teilweise mit einem optischen Simulator (120) ausgeführt wird.Method for determining a distortion of an image to be recorded by a camera (112) of a driver assistance system, with the steps: Providing a reference pattern (101) at a reference pattern position predefined with respect to a camera position, the reference pattern (101) having at least one pattern feature for determining a distortion of the reference pattern (101), Providing an optical distorter at a predefined position in the optical path between the camera position and the reference pattern position, Determining a camera image of the reference pattern that can be captured at a predefined camera position, and Determining at least one distortion parameter of the distortion of the reference pattern due to the optical distortion from the camera image of the reference pattern determined at the camera position on the basis of the at least one pattern feature, as a result of the fact that the method is carried out at least partially with an optical simulator (120). Verfahren nach Anspruch 1, wobei das Referenzmuster (101) als Teil eines Berechnungsmodells in dem optischen Simulator (120) bereitgestellt wird.Procedure according to Claim 1 , wherein the reference pattern (101) is provided as part of a calculation model in the optical simulator (120). Verfahren nach einem der vorstehenden Ansprüche, wobei der optische Verzerrer als Teil eines Berechnungsmodells in dem optischen Simulator bereitgestellt wird.Method according to one of the preceding claims, wherein the optical distorter is provided as part of a computational model in the optical simulator. Verfahren nach einem der vorstehenden Ansprüche, wobei der optische Verzerrer das Referenzmuster entsprechend einer vordefinierten Windschutzscheibe (116) verzerrt.Method according to one of the preceding claims, wherein the optical distorter distorts the reference pattern in accordance with a predefined windshield (116). Verfahren nach einem der vorstehenden Ansprüche, wobei das an der Kameraposition bestimmte Kamerabild und/oder der wenigstens eine Verzerrungsparameter durch Transformation des wenigstens einen Mustermerkmals des Referenzmusters (101) mit einer den optischen Verzerrer repräsentierenden Übertragungsfunktion ermittelt wird.Method according to one of the preceding claims, wherein the camera image determined at the camera position and / or the at least one distortion parameter is determined by transforming the at least one pattern feature of the reference pattern (101) with a transfer function representing the optical distortion. Verfahren nach einem der vorstehenden Ansprüche, wobei der wenigstens eine Verzerrungsparameter ein positionsabhängiges Maß für eine optische Brechung durch den optischen Verzerrer umfasst.Method according to one of the preceding claims, wherein the at least one distortion parameter comprises a position-dependent measure for an optical refraction by the optical distorter. Verfahren nach einem der vorstehenden Ansprüche, wobei der wenigstens eine Verzerrungsparameter ein wellenlängenabhängiges Maß für die chromatische Dispersion durch den optischen Verzerrer umfasst.Method according to one of the preceding claims, wherein the at least one distortion parameter comprises a wavelength-dependent measure for the chromatic dispersion by the optical distorter. Verfahren zur Kompensation einer Verzerrung eines von einer Kamera eines Fahrerassistenzsystems aufgenommenen Bilds, mit den Schritten: Ermitteln wenigstens eines Verzerrungsparameters der Verzerrung gemäß dem Verfahren nach einem der vorstehenden Ansprüche, und Berechnen wenigstens eines Entzerrungsparameters aus dem wenigstens einen Verzerrungsparameter, Ermittlung eines kompensierten Bilds aus dem an der Kameraposition bestimmten Kamerabild und einer optischen Übertragungsfunktion, die den wenigstens einen Entzerrungsparameter umfasst.Method for compensating for a distortion of an image recorded by a camera of a driver assistance system, with the steps: Determining at least one distortion parameter of the distortion according to the method according to one of the preceding claims, and Calculating at least one equalization parameter from the at least one distortion parameter, Determination of a compensated image from the camera image determined at the camera position and an optical transfer function that includes the at least one rectification parameter. Verfahren nach Anspruch 8, das gemäß einem geschlossener Regelkreis arbeitet und/oder wobei das Berechnen des wenigstens einen Entzerrungsparameter eine Inversion einer einen optischen Verzerrer repräsentierenden optischen Übertragungsfunktion umfasst.Procedure according to Claim 8 which operates according to a closed control loop and / or wherein the calculation of the at least one equalization parameter comprises an inversion of an optical transfer function representing an optical distortion. Verfahren nach einem der vorstehenden Ansprüche, wobei das Referenzmuster (101) eine dreidimensionale Referenzszene umfasst.Method according to one of the preceding claims, wherein the reference pattern (101) comprises a three-dimensional reference scene.
DE102019117198.9A 2019-06-26 2019-06-26 Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system Pending DE102019117198A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019117198.9A DE102019117198A1 (en) 2019-06-26 2019-06-26 Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019117198.9A DE102019117198A1 (en) 2019-06-26 2019-06-26 Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system

Publications (1)

Publication Number Publication Date
DE102019117198A1 true DE102019117198A1 (en) 2020-12-31

Family

ID=73747327

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019117198.9A Pending DE102019117198A1 (en) 2019-06-26 2019-06-26 Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system

Country Status (1)

Country Link
DE (1) DE102019117198A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010021383A1 (en) * 2009-05-29 2011-01-05 Kurt Wolfert Method for automatic detection of e.g. tree, via van, involves storing moving image that is provided with corrected position data and distance profile, and determining spatial position and dimensions of detected object
US20140184814A1 (en) * 2012-12-28 2014-07-03 Industrial Technology Research Institute Calibration reference pattern for vehicle camera and setting method thereof, and image conversion method and device
DE102015008887A1 (en) * 2015-07-09 2016-03-24 Daimler Ag Method and device for calibrating a head-up display in a vehicle
DE102014219423A1 (en) * 2014-09-25 2016-03-31 Conti Temic Microelectronic Gmbh Dynamic model for compensation of distortions of a windshield
DE102014219418A1 (en) * 2014-09-25 2016-03-31 Conti Temic Microelectronic Gmbh Method for stereorectification of stereo camera images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010021383A1 (en) * 2009-05-29 2011-01-05 Kurt Wolfert Method for automatic detection of e.g. tree, via van, involves storing moving image that is provided with corrected position data and distance profile, and determining spatial position and dimensions of detected object
US20140184814A1 (en) * 2012-12-28 2014-07-03 Industrial Technology Research Institute Calibration reference pattern for vehicle camera and setting method thereof, and image conversion method and device
DE102014219423A1 (en) * 2014-09-25 2016-03-31 Conti Temic Microelectronic Gmbh Dynamic model for compensation of distortions of a windshield
DE102014219418A1 (en) * 2014-09-25 2016-03-31 Conti Temic Microelectronic Gmbh Method for stereorectification of stereo camera images
DE102015008887A1 (en) * 2015-07-09 2016-03-24 Daimler Ag Method and device for calibrating a head-up display in a vehicle

Similar Documents

Publication Publication Date Title
DE112014005866B4 (en) Improvement of plenoptic camera resolution
DE112010005646T5 (en) Camera distance measuring device
DE102014102634A1 (en) Method for calibrating an optical arrangement, use of a display of a mobile electronic device as a calibration plate, method for displaying a periodic pattern and computer program product
DE102008015499A1 (en) Method and device for determining the 3D coordinates of an object
DE102013108070A1 (en) Image calibration and equalization of a wide-angle camera
DE10354752A1 (en) Automatic correction of images, e.g. photographic images taken from a satellite, whereby a reference image is used for image correction with at least three objects extracted from an image and matched with reference image objects
DE102009013667A1 (en) A method of producing a known fixed spatial relationship between a laser scanner and a digital camera for traffic surveillance
DE102013209770A1 (en) Method for determining adjustable parameters of a plurality of coordinate measuring machines, and method and apparatus for generating at least one virtual image of a measuring object
DE102011107458A1 (en) Method for evaluating an object recognition device of a motor vehicle
WO2013124056A1 (en) Device for non-contact temperature measurement and temperature measurement method
EP3899861A1 (en) Optical correction via machine learning
CN104616294A (en) Visual saliency-based tone mapping image quality evaluation method
CN105913401A (en) Industrial camera photogrammetry image brightness compensation method
DE102017003634A1 (en) Apparatus and method for calibrating optical sensors
DE102016002186A1 (en) Method and image processing device for determining a geometric measured variable of an object
DE10328523B4 (en) Method and measuring device for non-contact measurement of a contour of a surface
DE102014219423B4 (en) Dynamic model to compensate for windshield distortion
CN106022354A (en) SVM-based image MTF measurement method
EP2031348B1 (en) Surface inspection method for detecting surface defects and/or charting the surface topography
EP3726425B1 (en) Method for physical, in particular optical, detection of at least one application object
DE102019117198A1 (en) Method for determining a distortion of an image to be recorded by a camera of a driver assistance system and method for compensating for an optical distortion in a driver assistance system
DE102011056948A1 (en) Method for calibrating a camera to a position sensor
DE102021109386B4 (en) Method for correcting depth images of a time-of-flight camera
DE102011055967B4 (en) Measuring method and device for carrying out the measuring method
DE102016106845B4 (en) Computer controlled method for automatically obtaining a set of radially symmetric distortion parameters

Legal Events

Date Code Title Description
R163 Identified publications notified