DE102016117500A1

DE102016117500A1 - Calibration of a camera of a vehicle

Info

Publication number: DE102016117500A1
Application number: DE102016117500.5A
Authority: DE
Inventors: Ehsan Chah; Alp Gucbilmez
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-09-16
Filing date: 2016-09-16
Publication date: 2018-03-22

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Kamera (3a, 3b, 3’) eines Fahrzeugs, mit den Verfahrensschritten Erfassen einer Bildinformation eines Objekts (9) einer Verkehrsinfrastruktur in einer Umgebung des Fahrzeugs durch die Kamera (3a, 3b, 3’) des Fahrzeugs Erkennen des Objekts (9) durch eine Recheneinrichtung (4, 4’), Extrahieren einer geometrischen Abmessung (10) des erkannten Objekts (9) der Verkehrsinfrastruktur durch die Recheneinrichtung (4, 4’), Vergleichen der extrahierten geometrischen Abmessung (10) mit einer in der Recheneinrichtung (4, 4’) hinterlegten Referenz-Abmessung (10) für das erkannte Objekt (9) der Verkehrsinfrastruktur durch die Recheneinrichtung (4, 4’), Kalibrieren der Kamera (3a, 3b, 3’) anhand eines Ergebnisses des Vergleichens durch die Recheneinrichtung (4, 4’), um das Kalibrieren der an dem Fahrzeug verbauten Kamera (3a, 3b, 3‘) zu vereinfachen.The invention relates to a method for calibrating a camera (3a, 3b, 3 ') of a vehicle, comprising the steps of detecting image information of an object (9) of a traffic infrastructure in an environment of the vehicle by the camera (3a, 3b, 3') of the vehicle Vehicle recognition of the object (9) by a computing device (4, 4 '), extraction of a geometric dimension (10) of the recognized object (9) of the traffic infrastructure by the computing device (4, 4'), comparison of the extracted geometric dimension (10) with a reference dimension (10) stored in the computing device (4, 4 ') for the detected object (9) of the traffic infrastructure by the computing device (4, 4'), calibrating the camera (3a, 3b, 3 ') on the basis of a Result of the comparison by the computing means (4, 4 ') to facilitate the calibration of the camera (3a, 3b, 3') installed on the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Kamera eines Fahrzeugs, sowie eine Kameraeinrichtung für ein Fahrzeug, mit einer Kamera, die ausgelegt ist, eine Bildinformation eines Objekts einer Verkehrsinfrastruktur in einer Umgebung des Fahrzeugs zu erfassen, und mit einer Recheneinrichtung, die ausgelegt ist, das Objekt zu erkennen und eine geometrische Abmessung des erkannten Objekts zu extrahieren. The invention relates to a method for calibrating a camera of a vehicle, as well as a camera device for a vehicle, with a camera which is designed to detect image information of an object of a traffic infrastructure in an environment of the vehicle, and with a computing device which is designed to recognize the object and to extract a geometric dimension of the detected object.

In Kraftfahrzeugen und auch Anhängern kommen heutzutage in einer Vielzahl von Anwendungen Kameras zum Erfassen einer Bildinformation einer Umgebung des jeweiligen Fahrzeugs zum Einsatz. Dies wird durch die Verwendung von sogenannten Satellitenkameras, also Kameras, welche ohne bauliche Anpassung der Kamera selber an verschiedenen Positionen des jeweiligen Fahrzeugs angebracht und für unterschiedliche Funktionen genutzt werden können, noch verstärkt. Um aus der durch die Kamera erfassten Bildinformation zuverlässig und genau eine Information über die Umgebung des Fahrzeugs ableiten zu können, muss dabei eine Einbaulage, also eine Höhe der Kamera in einer Fahrzeughochrichtung des Fahrzeugs und eine Ausrichtung der Kamera bekannt sein. Zu diesem Zweck werden die Kameras kalibriert. Dies erfolgt üblicherweise indem die genannten Informationen entweder von vornherein fest in die Kamera und ein entsprechendes System einprogrammiert werden oder einprogrammierte Ausgangsdaten über die Einbaulage der Kamera nach dem Einbau in der Software nachjustiert werden, um Schwankungen in Fertigungstoleranzen auszugleichen. In motor vehicles and trailers, cameras for detecting image information of an environment of the respective vehicle are used today in a multiplicity of applications. This is reinforced by the use of so-called satellite cameras, so cameras that can be attached without structural adaptation of the camera itself at different positions of the respective vehicle and used for different functions. In order to reliably and accurately derive information about the surroundings of the vehicle from the image information acquired by the camera, an installation position, that is to say a height of the camera in a vehicle vertical direction of the vehicle and an orientation of the camera, must be known. For this purpose, the cameras are calibrated. This is usually done by the above information either from the outset firmly programmed into the camera and a corresponding system or programmed output data on the installation position of the camera after installation in the software are readjusted to compensate for variations in manufacturing tolerances.

Allgemein ist aus der US 8639433 B2 in einem anderen Kontext ein Auswerten von fahrspurrelevanten Informationen für eine Unterstützung eines Fahrers eines straßengebundenen Fahrzeugs bekannt. General is from the US 8639433 B2 in another context, evaluating lane-related information for assistance of a driver of a road-bound vehicle.

Es stellt sich die Aufgabe, das Kalibrieren einer an einem Fahrzeug verbauten Kamera zu vereinfachen. The object is to simplify the calibration of a camera installed on a vehicle.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren. This object is solved by the subject matters of the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Kamera eines Fahrzeugs mit einer Reihe von Verfahrensschritten. Die Kamera ist dabei Teil des Fahrzeugs. The invention relates to a method for calibrating a camera of a vehicle with a series of method steps. The camera is part of the vehicle.

Insbesondere kann es sich bei dem Fahrzeug um ein Kraftfahrzeug oder einen Anhänger oder ein Gespann mit einem Kraftfahrzeug und einem angehängten Anhänger handeln. In particular, the vehicle may be a motor vehicle or a trailer or a trailer with a motor vehicle and an attached trailer.

Ein erster Verfahrensschritt ist hier ein Erfassen einer Bildinformation eines Objekts einer Verkehrsinfrastruktur in einer Umgebung des Fahrzeugs durch die Kamera des Fahrzeugs. Das Objekt kann beispielsweise ein Verkehrs- oder Straßenschild oder eine Straßenmarkierung umfassen. Ein weiterer Verfahrensschritt ist ein Erkennen des Objektes in der Bildinformation, beispielsweise einem Bild oder einer Folge von Einzelbildern oder einem Film, durch die Recheneinrichtung mittels eines Bilderkennungsalgorithmus. Es kann sich bei der Recheneinrichtung insbesondere um eine Recheneinrichtung des Fahrzeugs handeln. Das Erkennen des Objektes kann auch ein Klassifizieren des Objektes umfassen, also beispielsweise ein Erkennen einer Fahrspurbegrenzung als Fahrspurbegrenzung. Ein weiterer Verfahrensschritt ist ein Extrahieren zumindest einer geometrischen Abmessung des erkannten Objektes der Verkehrsinfrastruktur aus der erfassten Bildinformation durch die Recheneinrichtung. Es kann also beispielsweise eine Höhe und/oder eine Breite und/oder eine Länge des erkannten Objekts extrahiert werden. Das erkannte Objekt kann dabei auch insbesondere zwei oder mehr Einzelobjekte umfassen, deren Abstand ebenfalls eine geometrische Abmessung des erkannten übergeordneten Objektes darstellen kann. So kann beispielsweise ein Abstand von Linien einer Fahrbahnmarkierung eine geometrische Abmessung des erkannten Objekts darstellen. Ein darauffolgender Verfahrensschritt ist ein Vergleichen der extrahierten geometrischen Abmessung mit einer in der Recheneinrichtung hinterlegten Referenz-Abmessung für das erkannte Objekt der Verkehrsinfrastruktur durch die Recheneinrichtung. Beispielsweise kann somit ein Abstand zweier Linien einer Fahrspurbegrenzung als geometrische Abmessung des erkannten Objektes mit einem in der Recheneinrichtung hinterlegten Referenzabstand für Linien einer Fahrspurbegrenzung als Referenz-Abmessung verglichen werden. A first method step here is detecting image information of an object of a traffic infrastructure in an environment of the vehicle by the camera of the vehicle. The object may include, for example, a traffic or street sign or a road marking. A further method step is a recognition of the object in the image information, for example an image or a sequence of individual images or a film, by the computing device by means of an image recognition algorithm. In particular, the computing device may be a computing device of the vehicle. The recognition of the object may also include a classification of the object, that is, for example, recognition of a lane boundary as lane boundary. A further method step is an extraction of at least one geometric dimension of the detected object of the traffic infrastructure from the acquired image information by the computing device. Thus, for example, a height and / or a width and / or a length of the detected object can be extracted. The recognized object may also include in particular two or more individual objects whose distance may also represent a geometric dimension of the detected parent object. For example, a distance of lines of a lane marking may represent a geometric dimension of the detected object. A subsequent method step is a comparison of the extracted geometric dimension with a reference dimension stored in the computing device for the detected object of the traffic infrastructure by the computing device. For example, a distance between two lines of a lane boundary as a geometric dimension of the detected object can thus be compared with a stored in the computing device reference distance for lines of a lane boundary as a reference dimension.

Auf das Vergleichen folgt ein Kalibrieren der Kamera anhand eines Ergebnisses des Vergleichens durch die Recheneinrichtung, insbesondere ein automatisches Kalibrieren. Dabei kann beispielsweise anhand des Ergebnisses des Vergleichens eine Einbaulage der Kamera abgeschätzt oder berechnet werden. So erscheinen beispielsweise Linien einer Fahrspurbegrenzung, deren Abstand gemäß einschlägiger gesetzlicher Vorschriften normiert ist, bei einer höheren Anordnung der Kamera über der Fahrbahn mit der Fahrspurbegrenzung in einen geringeren Abstand, als wenn die Kamera näher an der Fahrbahn angeordnet ist, also in einer geringeren Höhe (in Fahrzeughochrichtung) an dem Fahrzeug angebracht ist. Auch führen unterschiedliche Ausrichtungen und somit Blickwinkel der Kamera zu Verzerrungen in der Bildinformation, so dass durch einen Vergleich der aus der Bildinformation extrahierten geometrischen Abmessung mit einer hinterlegten Referenz-Abmessung ein Rückschluss auf eine tatsächliche Einbaulage der Kamera gezogen werden kann. Diese Information kann dann als Kalibrierinformation in der Kamera oder der Recheneinrichtung hinterlegt werden. Ein weiterer Verfahrensschritt kann somit das Hinterlegen der Kalibrierinformation in der Kamera oder der Recheneinrichtung sein. The comparison is followed by calibration of the camera based on a result of the comparison by the computing device, in particular an automatic calibration. In this case, for example, based on the result of the comparison, an installation position of the camera can be estimated or calculated. Thus, for example, lines of a lane boundary, the distance of which is normalized according to pertinent statutory provisions, appear at a higher distance of the camera above the lane with the lane boundary at a smaller distance than when the camera is arranged closer to the lane, ie at a lower altitude ( in the vehicle vertical direction) is attached to the vehicle. Also lead to different orientations and thus the camera angle Distortions in the image information, so that a conclusion on an actual installation position of the camera can be drawn by comparing the extracted from the image information geometric dimension with a stored reference dimension. This information can then be stored as calibration information in the camera or the computing device. Another method step can thus be the storage of the calibration information in the camera or the computing device.

Das hat den Vorteil, dass mit dem beschriebenen Verfahren besonders große Abweichungen in der Einbaulage, welche beispielsweise über 100 mm in einer Hochrichtung betragen können und über 15°, beispiel sweise 20°, Abweichung in einem Blickwinkel auf zuverlässige Weise erkannt und durch das Kalibrieren kompensiert werden können. Damit ist das beschriebene Verfahren besonders zuverlässig und deutlich robuster als bekannte Verfahren. Da für das Kalibrieren Objekte der Verkehrsinfrastruktur in einer Umgebung des Fahrzeugs genutzt werden, sind auch für das Kalibrieren keine speziell gestalteten Referenz-Objekte oder keine spezielle Referenz-Umgebung erforderlich. Damit kann das Verfahren auch zum Nachkalibrieren der Kamera im laufenden Betrieb beziehungsweise während des gesamten Lebenszyklus‘ des Fahrzeugs genutzt werden. Somit kann auf einfache Weise auch ein automatisches Kalibrieren realisiert werden, beispielsweise nach einem Unfall. Dabei ist das beschriebene Verfahren auch ohne Probleme mit weiteren Kalibrierungsverfahren, beispielsweise sogenannten intrinsischen Kalibrierungsverfahren, bei welchen Linsenstörungen korrigiert werden, kombinierbar. Überdies erfordert das beschriebene Verfahren keine initiale Einstellung oder Vorgabe der Einbaulage, wie dies im Stand der Technik erforderlich ist. Insgesamt wird somit ein zuverlässiges und mit geringem Aufwand realisierbares, vereinfachtes Kalibrieren der Kamera ermöglicht. This has the advantage that with the method described particularly large deviations in the installation position, which may be, for example, about 100 mm in a vertical direction and over 15 °, for example, 20 °, deviation in a viewing angle reliably detected and compensated by calibrating can be. Thus, the method described is particularly reliable and much more robust than known methods. Since calibration objects use traffic infrastructure objects in an environment of the vehicle, no specially designed reference objects or special reference environment are required for calibration. Thus, the method can also be used to recalibrate the camera during operation or during the entire life cycle of the vehicle. Thus, an automatic calibration can be realized in a simple manner, for example after an accident. In this case, the described method can also be combined without problems with further calibration methods, for example so-called intrinsic calibration methods, in which lens disorders are corrected. Moreover, the method described requires no initial adjustment or specification of the mounting position, as required in the prior art. Overall, a reliable and with little effort feasible, simplified calibration of the camera is thus possible.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Objekt eine Fahrbahnmarkierung umfasst oder ist. Eine Fahrbahnmarkierung kann beispielsweise auch neben den Linien einer Fahrspurbegrenzung auch Signalzeichen oder Schriftzeichen umfassen. Insbesondere umfasst oder ist das Objekt eine Fahrspurbegrenzung. Beispielsweise umfasst das Objekt eine oder mehrere durchgezogene oder gestrichelte Linien. In an advantageous embodiment it is provided that the object comprises or is a lane marking. For example, a road marking may also include signal signs or characters in addition to the lines of a lane boundary. In particular, the object comprises or is a lane boundary. For example, the object comprises one or more solid or dashed lines.

Da die Fahrbahnmarkierungen in praktisch allen Ländern standardisiert sind, hast das den Vorteil, dass sich aus den Fahrbahnmarkierungen besonders leicht eine geometrische Abmessung extrahieren lassen kann, welche sodann mit der für das jeweilige Land hinterlegten Referenz-Abmessung verglichen werden kann. So ist beispielsweise in Deutschland für Bundesstraßen eine Spurbreite von zumindest 3,5 m vorgeschrieben. Mit dieser Information als Referenzinformation oder Referenz-Abmessung kann so auf einfache Weise die Höhe der Kamera über der Fahrbahn mit der Fahrbahnmarkierung beziehungsweise der Fahrspurbegrenzung berechnet werden: Wie oben beschrieben, sind die Fahrspurbegrenzungen in der erfassten Bildinformation umso näher beieinander, desto höher die Kamera angeordnet ist. Überdies sind praktisch auf allen Fahrbahnen Fahrbahnmarkierungen, gerade Fahrspurbegrenzungen, vorhanden, so dass das Kalibrieren weitgehend unabhängig von der genauen Position des Fahrzeugs in einer Vielzahl von unterschiedlichen Umgebungen oder Fahrsituationen des Fahrzeugs durchgeführt werden kann. Since the lane markings are standardized in virtually all countries, this has the advantage that it is particularly easy to extract from the lane markings a geometric dimension which can then be compared with the reference dimension stored for the respective country. For example, in Germany a track width of at least 3.5 m is required for federal highways. With this information as reference information or reference dimension, the height of the camera above the roadway with the lane marking or the lane boundary can be calculated in a simple manner: As described above, the lane boundaries in the captured image information are closer to each other, the higher the camera is arranged is. Moreover, lane markings, straight lane boundaries, are present on virtually all lanes, so that calibration can be performed largely independently of the exact position of the vehicle in a variety of different environments or driving situations of the vehicle.

In einer besonders vorteilhaften Ausführungsform kann hier vorgesehen sein, dass das Extrahieren der geometrischen Abmessung in Abhängigkeit mehrerer unterschiedlicher Punktpaare erfolgt. Die jeweiligen Punkte der Punktpaare liegen dabei insbesondere auf unterschiedlichen Linien der Fahrbahnmarkierung, insbesondere der Fahrspurbegrenzung. In a particularly advantageous embodiment, it may be provided here that the extraction of the geometric dimension takes place as a function of a plurality of different pairs of points. The respective points of the pairs of points lie in particular on different lines of the lane marking, in particular the lane boundary.

Das hat den Vorteil, dass die geometrische Abmessung zuverlässig auch unter widrigen Bedingungen, beispielsweise bei einer gealterten und nur noch schlecht erkennbaren Fahrbahnmarkierung zuverlässig erfolgt. Damit kann die Genauigkeit des Kalibrierens aufrechterhalten werden. Auch weitere Unregelmäßigkeiten, wie beispielsweise eine Abweichung eines Abstandes von unterschiedlichen Linien einer Fahrspurbegrenzung, wie sie innerhalb gewisser Grenzen in realen Situationen vorkommen kann, führen so nicht zu unerwünschten Effekten bei dem Kalibrieren. This has the advantage that the geometric dimension is reliably reliable even under adverse conditions, for example, an aged and only poorly recognizable road marking. Thus, the accuracy of the calibration can be maintained. Other irregularities, such as a deviation of a distance from different lines of a lane boundary, as may occur within certain limits in real situations, so do not lead to undesirable effects in the calibration.

In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass die hinterlegte Referenz-Abmessung zumindest eine länderspezifische Referenz-Abmessung umfasst und insbesondere das Vergleichen in Abhängigkeit einer Länderinformation über ein Land erfolgt, in welchem das Fahrzeug sich befindet. Das hat den Vorteil, dass so unterschiedliche Verkehrsvorschriften, welche die Verkehrsinfrastruktur in einer für das beschriebene Verfahren relevanten Weise beeinflussen, jeweils berücksichtigt werden können. Damit wird eine fehlerhafte Kalibrierung der Kamera aufgrund unterschiedlicher oder sich ändernder nationaler Standards ausgeschlossen. So ist beispielsweise die minimale Fahrspurbreite eines Interstate Highway in den Vereinigten Staaten von Amerika mit 12 Fuß, also 3,7 m, festgelegt, was als Referenz-Abmessung zu einem anderen Kalibrieren führt als die aus Deutschland bekannten 3,5 m als Referenz-Abmessung. Es wird somit einerseits bei einem Fahrzeug, welches in unterschiedlichen Ländern unterwegs ist, eine fehlerhafte Kalibrierung vermieden und zugleich auch die Verwendung eines einheitlichen Kalibrierverfahrens für Fahrzeuge, die beispielsweise weltweit verkauft werden, ermöglicht. In a further advantageous embodiment, it is provided that the deposited reference dimension comprises at least one country-specific reference dimension and, in particular, the comparison takes place as a function of country information about a country in which the vehicle is located. This has the advantage that such different traffic regulations, which influence the traffic infrastructure in a manner relevant to the method described, can be taken into account in each case. This rules out incorrect calibration of the camera due to different or changing national standards. Thus, for example, the minimum lane width of an Interstate Highway in the United States of America is set at 12 feet, ie 3.7 m, which as a reference dimension leads to a different calibration than the 3.5 m from Germany known as a reference dimension , It is thus on the one hand in a vehicle that is traveling in different countries, a faulty calibration avoided and at the same time the use a standard calibration procedure for vehicles sold worldwide, for example.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das Kalibrieren ein Berechnen einer Höhe der Kamera in einer Fahrzeughochrichtung des Fahrzeugs umfasst. Das hat den Vorteil, dass für unterschiedliche Fahrzeuggeometrien und damit unterschiedliche Einbaulagen der Kamera die jeweilige Einbauhöhe nun nicht mehr genau vorgegeben werden muss, sondern die Höhe der Kamera für eine Vielzahl von unterschiedlichen Fahrzeugtypen und unterschiedlichen Verbaupositionen einheitlich, beispielsweise automatisch, berechnet werden kann. In another advantageous embodiment, it is provided that the calibration comprises calculating a height of the camera in a vehicle vertical direction of the vehicle. This has the advantage that for different vehicle geometries and thus different mounting positions of the camera, the respective installation height now no longer has to be specified exactly, but the height of the camera for a variety of different vehicle types and different installation positions uniformly, for example automatically calculated.

In einer weiteren, besonders bevorzugten Ausführungsform ist vorgesehen, dass das Kalibrieren ein Berechnen einer Ausrichtung der Kamera umfasst. Insbesondere kann das Kalibrieren somit ein Berechnen eines Kippwinkels der Kamera um eine Fahrzeugquerachse und/oder eines Kippwinkels der Kamera um eine Fahrzeuglängsachse und/oder eines Kippwinkels der Kamera um eine Fahrzeughochachse umfassen. Der Kippwinkel kann dabei jeweils relativ zu einer horizontalen Fahrzeugebene oder einer in Fahrzeuglängsrichtung vertikalen Fahrzeugebene bestimmt werden. Fahrzeugquer-, Fahrzeuglängs- und Fahrzeughochachse entsprechen hier Fahrzeugquer-, Fahrzeuglängs- und Fahrzeughochachse bei bestimmungsgemäßem Gebrauch des Fahrzeugs. In a further, particularly preferred embodiment it is provided that the calibration comprises calculating an orientation of the camera. In particular, the calibration can thus include calculating a tilt angle of the camera about a vehicle transverse axis and / or a tilt angle of the camera about a vehicle longitudinal axis and / or a tilt angle of the camera about a vehicle vertical axis. The tilt angle can be determined in each case relative to a horizontal vehicle level or a vertical vehicle level in the vehicle longitudinal direction. Vehicle transverse, vehicle longitudinal and vehicle vertical axis here correspond to vehicle transverse, vehicle longitudinal and vehicle vertical axis when the vehicle is used as intended.

Das hat den Vorteil, dass, ähnlich wie im letzten Absatz beschrieben, mit äußerst geringem Aufwand die Kamera für eine Vielzahl von unterschiedlichen Fahrzeugtypen und Verbaupositionen kalibriert werden kann. Überdies kann so auch eine im Verlauf der Zeit über die Lebensdauer des Fahrzeugs hinweg unter Umständen auftretende Verschiebung der Kamera, welche beispielsweise durch fortgesetzte Vibrationen des Kraftfahrzeugs oder einen Unfall bedingt ist, im Fahrbetrieb kompensiert werden, ohne dass hierfür beispielsweise ein Werkstattbesuch zwingend notwendig sein muss. Damit wird auch die Funktionssicherheit weiterer Funktionen des Fahrzeugs, welche auf die Kamera zugreifen, erhöht. This has the advantage that, as described in the last paragraph, with very little effort, the camera can be calibrated for a variety of different vehicle types and installation positions. Moreover, as a result over time of the lifetime of the vehicle under circumstances possibly occurring displacement of the camera, which is caused for example by continued vibration of the motor vehicle or an accident, can be compensated for while driving, without this, for example, a visit to a garage must be mandatory , This also increases the reliability of other functions of the vehicle which access the camera.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass mittels einer weiteren Sensoreinrichtung, beispielsweise einer weiteren Kamera, des Fahrzeugs eine Relativposition des Objekts der Verkehrsinfrastruktur zu dem Fahrzeug ermittelt wird und das Vergleichen in Abhängigkeit der ermittelten Relativposition erfolgt. Das hat den Vorteil, dass das Kalibrieren in seiner Genauigkeit erhöht werden kann. Überdies können so gerade Kippwinkel um eine Fahrzeuglängsachse besonders gut berechnet werden, da durch diese ein Abstand in einer Fahrzeugquerrichtung verzerrt wird. So erscheint beispielsweise bei einem Verkippen der Kamera um die Fahrzeuglängsachse entgegen dem Urzeigersinn eine Fahrbahnmarkierung links näher am Fahrzeug als dies eigentlich der Fall ist. Somit wird auch hier auf einfache Weise die Zuverlässigkeit des Kalibrierens erhöht. In a further advantageous embodiment, it is provided that by means of a further sensor device, for example a further camera, of the vehicle, a relative position of the object of the traffic infrastructure to the vehicle is determined and the comparison takes place as a function of the determined relative position. This has the advantage that the calibration can be increased in its accuracy. Moreover, tilt angles around a vehicle longitudinal axis can be calculated particularly well, since they distorts a distance in a vehicle transverse direction. Thus, for example, when tilting the camera about the vehicle longitudinal axis counterclockwise, a lane marking appears closer to the left of the vehicle than is actually the case. Thus, the reliability of the calibration is also increased in a simple manner here.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Fahrzeug sich während zumindest eines Verfahrensschrittes in einer Fahrtbewegung befindet, insbesondere sich während aller Verfahrensschritte in einer Fahrtbewegung befindet. Das hat den Vorteil, dass das Kalibrieren immer dann erfolgen kann, wenn es besonders sinnvoll ist, beispielsweise am Beginn einer Fahrt. Überdies ist es somit auch wahrscheinlicher, dass eine für das Kalibrieren geeignete Umgebung vorhanden ist, beziehungsweise ein geeignetes Objekt der Verkehrsinfrastruktur für das Kalibrieren in der Umgebung des Fahrzeugs vorhanden ist. In a further advantageous embodiment, provision is made for the vehicle to be in a moving movement during at least one method step, in particular to be in a moving movement during all method steps. This has the advantage that the calibration can always take place when it makes sense, for example at the beginning of a journey. Moreover, it is thus also more likely that an environment suitable for the calibration is present, or that a suitable object of the traffic infrastructure is present for the calibration in the surroundings of the vehicle.

In besonders vorteilhafter Weise kann dabei vorgesehen sein, dass das Vergleichen in Abhängigkeit der Fahrtbewegung erfolgt. Insbesondere kann das Vergleichen in Abhängigkeit einer Richtung und/oder einer Geschwindigkeit der Fahrtbewegung erfolgen. Eine Information über Richtung und/oder Geschwindigkeit der Fahrtbewegung kann beispielsweise über das Netzwerk des Fahrzeugs wie CAN-Bus oder FlexRay bereitgestellt beziehungsweise abgerufen werden. In a particularly advantageous manner, it can be provided that the comparison takes place as a function of the travel movement. In particular, the comparison can take place as a function of a direction and / or a speed of the travel movement. Information about the direction and / or speed of the movement can, for example, be provided or called up via the network of the vehicle, such as CAN bus or FlexRay.

Auch mit dieser weiteren Information kann das Kalibrieren in einer größeren Genauigkeit erfolgen. Beispielsweise kann so besonders genau ein Kippwinkel der Kamera um eine Fahrzeughochachse berechnet werden, da somit beispielsweise Fahrbahnmarkierungen wie Fahrspurbegrenzungslinien, welche parallel zur Bewegung des Fahrzeugs verlaufen, von anderen Linien, also insbesondere Linien, welche nicht parallel zur Bewegung des Fahrzeugs verlaufen, unterschieden werden können. Also with this further information, the calibration can be done in a greater accuracy. For example, a tilt angle of the camera about a vehicle vertical axis can be calculated so precisely, since, for example, lane markings such as lane boundary lines, which run parallel to the movement of the vehicle, can be differentiated from other lines, ie in particular lines which do not run parallel to the movement of the vehicle ,

Die Erfindung betrifft auch eine Kameraeinrichtung für ein Fahrzeug mit einer Kamera, die ausgelegt ist, eine Bildinformation eines Objekts einer Verkehrsinfrastruktur in einer Umgebung des Fahrzeugs zu erfassen und mit einer Recheneinrichtung, die ausgelegt ist, das Objekt zu erkennen und eine geometrische Abmessung des erkannten Objektes zu extrahieren. Dabei ist die Recheneinrichtung ausgelegt, die extrahierte geometrische Abmessung mit einer in der Recheneinrichtung hinterlegten Referenz-Abmessung für das erkannte Objekt der Verkehrsinfrastruktur zu vergleichen und die Kamera anhand eines Ergebnisses des Vergleichens zu kalibrieren. The invention also relates to a camera device for a vehicle with a camera, which is designed to capture image information of an object of a traffic infrastructure in an environment of the vehicle and having a computing device which is designed to recognize the object and a geometric dimension of the detected object to extract. In this case, the computing device is designed to compare the extracted geometric dimension with a reference dimension stored in the computing device for the detected object of the traffic infrastructure and to calibrate the camera based on a result of the comparison.

Vorteile und vorteilhafte Ausführungsformen der Kameraeinrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens. Advantages and advantageous embodiments of the camera device correspond here to advantages and advantageous embodiments of the described method.

Die Erfindung umfasst auch ein Kraftfahrzeug mit einer solchen Kameraeinrichtung sowie einen Anhänger mit einer solchen Kameraeinrichtung und ein Gespann mit einer solchen Kameraeinrichtung. The invention also includes a motor vehicle with such a camera device and a trailer with such a camera device and a trailer with such a camera device.

In jeweiligen besonders bevorzugten Ausführungsformen ist dabei vorgesehen, dass die Kamera frontseitig oder heckseitig an dem Kraftfahrzeug beziehungsweise an dem Anhänger oder dem Gespann angeordnet ist. Das hat den Vorteil, dass das Objekt der Verkehrsinfrastruktur besonders gut durch die Kamera abgebildet werden kann. Dies gilt gerade für Fahrbahnmarkierungen wie Fahrspurbegrenzungen. Somit kann das Kalibrieren in einer besonders genauen Weise erfolgen. In particular particularly preferred embodiments, it is provided that the camera is arranged on the front or rear side of the motor vehicle or on the trailer or the trailer. This has the advantage that the object of the traffic infrastructure can be imaged particularly well by the camera. This is especially true for lane markings such as lane boundaries. Thus, the calibration can be done in a particularly accurate manner.

Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in ihren Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen. The features and combinations of features mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively indicated combination but also in other combinations without the scope of the invention leave. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond the feature combinations set forth in their back references of the claims or deviate therefrom.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to schematic drawings.

Dabei zeigen: Showing:

1 eine schematische Draufsicht auf ein Kraftfahrzeug und einen Anhänger mit einer jeweiligen beispielhaften Ausführungsform einer Kameraeinrichtung; 1 a schematic plan view of a motor vehicle and a trailer with a respective exemplary embodiment of a camera device;

2 eine schematische Darstellung einer Bildinformation eines Objekts einer Verkehrsinfrastruktur, welche von einer Kamera in einer ersten Höhe erfasst wurde; 2 a schematic representation of an image information of an object of a traffic infrastructure, which was detected by a camera at a first altitude;

3 eine schematische Ansicht einer Bildinformation des Objekts von 3, die von der Kamera in einer zweiten, größeren Höhe erfasst wurde; 3 a schematic view of an image information of the object of 3 that was captured by the camera at a second, higher altitude;

4 eine schematische Darstellung einer beispielhafte Überlagerung zweier unterschiedlicher Repräsentationen des Objekts der Verkehrsinfrastruktur mit der erfassten Bildinformation; und 4 a schematic representation of an exemplary superposition of two different representations of the object of the traffic infrastructure with the captured image information; and

5 eine schematische Darstellung einer weiteren beispielhaften Überlagerung zweier unterschiedlicher Repräsentationen des Objekts der Verkehrsinfrastruktur mit der erfassten Bildinformation. 5 a schematic representation of another exemplary superposition of two different representations of the object of the traffic infrastructure with the captured image information.

Gleiche oder funktionsgleiche Elemente werden in den Figuren und mit den gleichen Bezugszeichen versehen. Identical or functionally identical elements are provided in the figures and with the same reference numerals.

1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug und einen Anhänger mit einer jeweiligen beispielhaften Ausführungsform einer Kameraeinrichtung. Das Kraftfahrzeug 1 weist dabei vorliegend eine Kameraeinrichtung 2 auf. Die Kameraeinrichtung 2 umfasst vorliegend eine erste Kamera 3a, welche im gezeigten Beispiel frontseitig an dem Kraftfahrzeug 1 angeordnet ist. Im gezeigten Beispiel weist die Kameraeinrichtung 2 auch eine zweite Kamera 3b auf, welche heckseitig an dem Kraftfahrzeug 1 angeordnet ist. Beide Kameras 3a, 3b sind hier mit einer Recheneinrichtung 4 gekoppelt, welche ebenfalls Teil der Kameraeinrichtung 2 ist. Vorliegend ist die Recheneinrichtung 4 auch mit einem Fahrerassistenzsystem 5 gekoppelt, welches den Fahrer bei der Wahrnehmung seiner Aufgaben im Straßenverkehr unterstützt. Das Kraftfahrzeug 1 weist eine Längsachse L auf sowie eine senkrecht zur Längsachse stehende Querachse Q. 1 shows a schematic plan view of a motor vehicle and a trailer with a respective exemplary embodiment of a camera device. The car 1 in this case has a camera device 2 on. The camera device 2 in this case comprises a first camera 3a , which in the example shown on the front of the motor vehicle 1 is arranged. In the example shown, the camera device 2 also a second camera 3b on, which at the rear of the vehicle 1 is arranged. Both cameras 3a . 3b are here with a computing device 4 coupled, which also part of the camera device 2 is. In the present case is the computing device 4 also with a driver assistance system 5 coupled, which supports the driver in the performance of its tasks in the road. The car 1 has a longitudinal axis L and a perpendicular to the longitudinal axis transverse axis Q.

Vorliegend ist an das Kraftfahrzeug 1 ein Anhänger 1‘ angekoppelt, welcher eine Kameraeinrichtung 2‘ aufweist. Diese Kameraeinrichtung 2‘ umfasst vorliegend eine Kamera 3‘, welche heckseitig an den Anhänger 1‘ angeordnet ist. Auch eine Recheneinrichtung 4‘ ist hier Teil der Kameraeinrichtung 2‘. In the present case is to the motor vehicle 1 a follower 1' coupled, which is a camera device 2 ' having. This camera device 2 ' in this case includes a camera 3. ' , which at the rear to the trailer 1' is arranged. Also a computing device 4 ' here is part of the camera setup 2 ' ,

Die jeweiligen Kameraeinrichtungen 2, 2‘ können dabei in weiteren Ausführungsformen auch unabhängig voneinander zum Einsatz kommen und sind vorliegend in rein beispielhafter Weise gemeinsam dargestellt. Selbstverständlich ist also auch der Anhänger 1‘ ohne das Kraftfahrzeug 1 von dem gezeigten Ausführungsbeispiel umfasst so wie umgekehrt das Kraftfahrzeug 1 ohne den Anhänger 1‘. Der Anhänger 1‘ weist ebenfalls eine Längsachse L‘ auf sowie eine senkrecht zu der Längsachse stehende Querachse Q‘. The respective camera devices 2 . 2 ' In this case, they can also be used independently of one another in further embodiments, and in the present case are shown together in a purely exemplary manner. Of course, so is the trailer 1' without the motor vehicle 1 from the embodiment shown so as vice versa, the motor vehicle 1 without the trailer 1' , The trailer 1' also has a longitudinal axis L 'and a perpendicular to the longitudinal axis transverse axis Q'.

Vorliegend befindet sich nun das Kraftfahrzeug 1 und der Anhänger 1‘ auf einer Fahrbahn 6 mit einem vorliegend als Fahrspurbegrenzung mit einem durchgezogenen Linie 7 und einer gestrichelten Linie 8 ausgeführten Objekt 9 der Verkehrsinfrastruktur. Als geometrische Abmessung 10 des Objekts 9 wird vorliegend durch die jeweilige Recheneinrichtung 4, 4‘ aus einer von den Kameras 3a, 3b, 3‘ erfassten Bildinformation ein Abstand der beiden Linien 7, 8 voneinander extrahiert. In the present case is now the motor vehicle 1 and the trailer 1 'on a roadway 6 with a present as lane boundary with a solid line 7 and a dashed line 8th executed object 9 the transport infrastructure. As a geometric dimension 10 of the object 9 is present by the respective computing device 4 . 4 ' from one of the cameras 3a . 3b . 3. ' captured image information a distance of the two lines 7 . 8th extracted from each other.

In einem Betrieb der Kameraeinrichtung 2 und 2‘ wird nunmehr durch die jeweiligen Kameras 3a, 3b, 3‘ eine Bildinformation des Objekts 9 einer Verkehrsinfrastruktur in einer Umgebung des Kraftfahrzeugs 1 beziehungsweise des Anhängers 1‘, vorliegend also der Fahrspurbegrenzung, erfasst. Die jeweiligen Recheneinrichtungen 4, 4‘ erkennen das Objekt 9 in der erfassten Bildinformation, beispielsweise einem Bild oder einem Film, als solches, das heißt vorliegend als Fahrspurbegrenzung mit zwei voneinander beabstandeten Linien 7, 8. Aus dieser Bildinformation wird sodann durch die Recheneinrichtung 4, 4‘ die geometrische Abmessung 10, vorliegend also der Abstand der beiden Linien 7, 8 extrahiert. Die extrahierte geometrische Abmessung 10 wird sodann durch die Recheneinrichtung 10 mit einer in der Recheneinrichtung 4, 4‘ hinterlegten Referenz-Abmessung, beispielsweise einem Referenzabstand im gezeigten Beispiel für das erkannte Objekt 9, also für die Linien 7, 8 verglichen. Dabei umfasst im gezeigten Beispiel die hinterlegte Referenz-Abmessung, also hier der hinterlegte Abstand der Linien 7, 8 der Fahrspurbegrenzung, mehrere länderspezifische Referenz-Abmessungen, beispielsweise ein Abstand von 3,5 m für eine deutsche Bundesstraße und einen Abstand von 3,7 m für einen Interstate Highway der Vereinigten Staaten von Amerika. In dem gezeigten Beispiel wird sodann durch das Fahrerassistenzsystem 5 eine Länderinformation über ein aktuellen Land, in welchem sich das Kraftfahrzeug 1 beziehungsweise der Anhänger 1‘ befindet, an die Recheneinrichtungen 4, 4‘ bereitgestellt. Die Recheneinrichtungen 4, 4‘ wählen für das Vergleichen entsprechend die korrekte Referenz-Abmessung, so dass die extrahierte geometrische Abmessung tatsächlich mit der Referenz-Abmessung verglichen wird, welche in dem aktuellen Land valide und relevant sind. In an operation of the camera device 2 and 2 ' is now through the respective cameras 3a . 3b . 3. ' an image information of the object 9 a traffic infrastructure in an environment of the motor vehicle 1 or the trailer 1' , in this case the lane boundary detected. The respective computing devices 4 . 4 ' recognize the object 9 in the captured image information, such as a picture or a movie, as such, that is in the present case as a lane boundary with two spaced-apart lines 7 . 8th , From this image information is then by the computing device 4 . 4 ' the geometric dimension 10 , So here the distance between the two lines 7 . 8th extracted. The extracted geometric dimension 10 is then by the computing device 10 with one in the computing device 4 . 4 ' stored reference dimension, for example, a reference distance in the example shown for the detected object 9 So for the lines 7 . 8th compared. In this case, in the example shown, the stored reference dimension, so here the deposited distance of the lines 7 . 8th the lane boundary, several country-specific reference dimensions, for example, a distance of 3.5 m for a German highway and a distance of 3.7 m for an Interstate Highway of the United States of America. In the example shown is then by the driver assistance system 5 a country information about a current country, in which the motor vehicle 1 or the trailer 1' located to the computing devices 4 . 4 ' provided. The computing devices 4 . 4 ' accordingly, select the correct reference dimension for comparison so that the extracted geometric dimension is actually compared to the reference dimension that is valid and relevant in the current country.

Im gezeigten Beispiel wird für ein verbessertes Vergleichen, welches weniger rauschanfällig ist und auch bei bereits gealterten Fahrbahnmarkierungen zuverlässig erfolgt, eine Vielzahl von jeweiligen Punktpaaren, deren jeweilige Punkte dabei vorliegend auf den beiden unterschiedlichen Linien 7, 9 der Fahrspurbegrenzung liegen ausgewertet. Entsprechend verringern sich aufgrund der bekannten statistischen Zusammenhänge gegebenenfalls Messfehler. In the example shown, for an improved comparison, which is less susceptible to noise and also reliably occurs in already-aged road markings, a plurality of respective pairs of points, their respective points present on the two different lines 7 . 9 the lane boundary are evaluated. Accordingly, due to the known statistical relationships, measuring errors may be reduced accordingly.

Durch die Recheneinrichtungen 4, 4‘ kann sodann ein Kalibrieren der jeweiligen Kameras 3a, 3b, 3‘ anhand eines Ergebnisses des Vergleichens durchgeführt werden. By the computing devices 4 . 4 ' can then calibrate the respective cameras 3a . 3b . 3. ' be performed on the basis of a result of the comparison.

Somit kann beispielsweise die Höhe der Kameras 3a, 3b, 3‘ über der Fahrbahn 6 senkrecht zur Zeichenebene ermittelt und in der jeweiligen Recheneinrichtung 4, 4‘ hinterlegt werden. Entsprechend kann eine Bildinformation der jeweiligen Kameras 3a, 3b, 3‘ verfälschungsfrei ausgewertet werden, indem die Bildinformation beziehungsweise die Kamera auf die berechnete Höhe kalibriert wird. Auch eine Verkippung der jeweiligen Kameras 3a, 3b, 3‘ um die Fahrzeugquerachse Q, Q‘ kann so ohne Weiteres berechnet und in der Kalibrierung berücksichtigt werden. Damit kann auch bei einer um die Fahrzeugquerachse Q, Q‘ verkippten Kamera 3a, 3b, 3‘ aus einer von der jeweiligen Kamera 3a, 3b, 3‘ erfassten Bildinformation ein fehlerfreies Modell der Umgebung des Kraftfahrzeug 1 beziehungsweise des Anhängers 1‘ berechnet werden. Thus, for example, the height of the cameras 3a . 3b . 3. ' above the roadway 6 determined perpendicular to the plane and in the respective computing device 4 . 4 ' be deposited. Accordingly, an image information of the respective cameras 3a . 3b . 3. ' be evaluated without distortion by the image information or the camera is calibrated to the calculated height. Also a tilt of the respective cameras 3a . 3b . 3. ' around the vehicle transverse axis Q, Q 'can thus be easily calculated and taken into account in the calibration. This can also at a tilted about the vehicle transverse axis Q, Q 'camera 3a . 3b . 3. ' from one of the respective camera 3a . 3b . 3. ' captured image information a bug-free model of the environment of the motor vehicle 1 or the trailer 1' be calculated.

Im gezeigten Beispiel ist nun überdies eine weitere Sensoreinrichtung 11, vorliegend in Form einer weiteren Kamera, mit der Recheneinrichtung 4 des Kraftfahrzeugs 1 gekoppelt. Mittels der weiteren Sensoreinrichtung 11 wird vorliegend eine Relativposition des Objekts 9 zu dem Kraftfahrzeug 1 ermittelt. Damit kann bei dem Kalibrieren auch eine Rotation oder ein Verkippen der Kameras 3a, 3b des Kraftfahrzeugs 1 um die Längsachse L berücksichtigt und kompensiert werden. In the example shown is now also a further sensor device 11 , in the form of another camera, with the computing device 4 of the motor vehicle 1 coupled. By means of the further sensor device 11 in the present case, a relative position of the object 9 to the motor vehicle 1 determined. This can also cause rotation or tilting of the cameras when calibrating 3a . 3b of the motor vehicle 1 be considered and compensated for the longitudinal axis L.

Eine Verkippung oder Drehung der Kameras 3a, 3b um eine senkrecht zur Fahrzeuglängsachse L und L‘ beziehungsweise der Fahrzeugquerachse Q, Q‘ stehenden Fahrzeughochachse wird im gezeigten Beispiel in Abhängigkeit einer Richtung der Fahrtbewegung des Kraftfahrzeugs 1 beziehungsweise des Anhängers 1‘ bei dem Kalibrieren berücksichtigt. Eine entsprechende Information kann an die Recheneinrichtung 4 oder 4‘ beispielsweise durch das Fahrerassistenzsystem 5 bereitgestellt werden. Alternativ kann beispielweise die Recheneinrichtung 4, 4‘ diese Information an einen CAN-Bus abrufen. A tilt or rotation of the cameras 3a . 3b about a perpendicular to the vehicle longitudinal axis L and L 'or the vehicle transverse axis Q, Q' stationary vehicle axis is in the example shown in dependence on a direction of travel movement of the motor vehicle 1 or the trailer 1' taken into account during calibration. A corresponding information can be sent to the computing device 4 or 4 ' for example, by the driver assistance system 5 to be provided. Alternatively, for example, the computing device 4 . 4 ' retrieve this information to a CAN bus.

Insgesamt wird so vorliegend eine Kameraeinrichtung 2, 2‘ bereitgestellt, welche äußerst einfach und robust in einer Vielzahl von unterschiedlichen Einbaupositionen der jeweiligen Kamera 3a, 3b, 3‘ kalibriert werden kann, ohne dass hier vorab in der aus dem Stand der Technik bekannten Weise über die Höhe in einer Fahrzeughochrichtung oder einen Kippwinkel relativ zur Fahrzeuglängs-, Fahrzeugquer- und Fahrzeughochachse eine Information bereitgestellt werden müsste. Overall, a camera device is thus present 2 . 2 ' which is extremely simple and robust in a variety of different mounting positions of the respective camera 3a . 3b . 3. ' can be calibrated without information in this case in the manner known from the prior art on the height in a vehicle vertical direction or a tilt angle relative to the vehicle longitudinal, vehicle transverse and vertical axis should be provided in advance here in advance.

Die beiden 2 und 3 illustrieren den Einfluss der Höhe der jeweiligen Kamera 3a, 3b, 3‘ (1) auf die extrahierte geometrische Abmessung 10 des Objekts 9. The two 2 and 3 illustrate the influence of the height of each camera 3a . 3b . 3. ' ( 1 ) on the extracted geometric dimension 10 of the object 9 ,

In 2 ist dabei eine Bildinformation eines Objekts einer Verkehrsinfrastruktur, welche von einer Kamera in einer ersten Höhe erfasst wurde, schematisch dargestellt. Die extrahierte geometrische Abmessung 10 des Objekts 9, der Abstand der Linien 7, 8, ist dabei durch den dargestellten Doppelpfeil markiert. Ein weiterer Doppelpfeil 10‘, welcher der extrahierten geometrischen Abmessung 10 gemäß 3 entspricht, ist zum Vergleich ebenfalls dargestellt. Die durch den Doppelpfeil 10‘ repräsentierte geometrische Abmessung 10 ist offensichtlich geringer als die tatsächliche geometrische Abmessung 10, wie dies bei einer Kamera in einer höheren Position zu erwarten wäre. In 2 is an image information of an object of a traffic infrastructure, which was detected by a camera at a first height, shown schematically. The extracted geometric dimension 10 of the object 9 , the distance of the lines 7 . 8th , is marked by the double arrow. Another double arrow 10 ' , which is the extracted geometric dimension 10 according to 3 is also shown for comparison. The by the double arrow 10 ' represented geometric dimension 10 is obviously less than the actual geometric dimension 10 , as would be expected with a camera in a higher position.

Ist jedoch die Kamera 3a, 3b, 3‘ (1) in einer höheren Position, so stellt sich die in 2 gezeigte Umgebung des Fahrzeugs wie in 3 symbolisch gezeigt dar. Entsprechend ist nunmehr die als Abstand zwischen den beiden Linien 7, 8 ausgeführte geometrische Abmessung 10, welche wieder durch einen Doppelpfeil markiert ist, deutlich geringer als 3. Zu Vergleichszwecken ist hier die geometrische Abmessung aus 2 in Form eines weiteren Doppelpfeils 10‘ dargestellt. Is the camera, however 3a . 3b . 3. ' ( 1 ) in a higher position, so the in 2 shown environment of the vehicle as in 3 symbolically shown. Accordingly, now as the distance between the two lines 7 . 8th executed geometric dimension 10 , which is again marked by a double arrow, much lower than 3 , For comparison purposes, here is the geometric dimension 2 in the form of another double arrow 10 ' shown.

Ein Fehler in der hinterlegten Höhe oder Justierung Kamera 3a, 3b, 3‘ (1) führt so zu einer fehlerbehafteten Repräsentation der Umgebung des Fahrzeugs 1 beziehungsweise Anhängers 1‘. Dies kann durch ein entsprechendes Kalibrieren der Kamera, beispielsweise durch das oben beschriebene Verfahren verhindert werden. An error in the stored height or adjustment camera 3a . 3b . 3. ' ( 1 ) thus leads to a faulty representation of the environment of the vehicle 1 or trailer 1' , This can be prevented by a corresponding calibration of the camera, for example by the method described above.

In 4 eine beispielhafte Überlagerung zweier unterschiedlicher Repräsentationen des Objekts der Verkehrsinfrastruktur mit der erfassten Bildinformation schematisch dargestellt. Gezeigt ist hier eine Bildinformation 12, wie sie beispielsweise von einer Kamera 3a, 3b, 3‘ (1) erfasst werden kann. Deutlich zu sehen sind hier die beiden Linien 7, 8, welche mit einem Abstand als geometrische Abmessung 10 voneinander beabstandet verlaufen. Dabei ist aufgrund einer Optik der Kamera 3a, 3b, 3‘ (1) das Bild verzerrt. Die Bildinformation 12 ist nun vorliegend mit einer ersten und mit einer zweiten Repräsentation 13, 14 überlagert dargestellt. Die erste Repräsentation 13 repräsentiert eine Projektion einer geschätzten Position der Linien 7, 8 vor dem Kalibrieren mit einem Verfahren, wie es beispielsweise weiter oben beschrieben ist. Die geometrische Abmessung 10 wird hier, wie durch den Doppelpfeil 10‘ dargestellt, deutlich überschätzt. In 4 an exemplary superposition of two different representations of the object of the traffic infrastructure with the captured image information shown schematically. Shown here is a picture information 12 as seen for example by a camera 3a . 3b . 3. ' ( 1 ) can be detected. Clearly visible here are the two lines 7 . 8th , which with a distance as a geometric dimension 10 spaced from each other. It is due to an optic of the camera 3a . 3b . 3. ' ( 1 ) distorted the picture. The picture information 12 is now present with a first and a second representation 13 . 14 superimposed. The first representation 13 represents a projection of an estimated position of the lines 7 . 8th prior to calibration by a method such as described above. The geometric dimension 10 gets here, as by the double arrow 10 ' shown, significantly overestimated.

Die zweite Repräsentation 14 repräsentiert die beiden Linien nun nachdem das oben beschriebene Verfahren durchgeführt wurde. Idealerweise sollten dabei die Repräsentation 14 der Linien genau auf den Linien 7, 8 zu liegen kommen. Dies vorliegend wird annähernd erreicht. The second representation 14 now represents the two lines after the procedure described above has been performed. Ideally, the representation should 14 the lines exactly on the lines 7 . 8th to come to rest. This is approximately achieved.

Noch gravierender würde die Abweichung zwischen den Repräsentation 13, 14 der Linien 7, 8 ohne Kalibrierung und mit Kalibrierung ausfallen, wenn die Kamera 3a, 3b, 3‘ (1) verkippt ist. Dies ist beispielhaft in 5 dargestellt. Even more serious would be the deviation between the representation 13 . 14 the lines 7 . 8th without calibration and with calibration fail when the camera 3a . 3b . 3. ' ( 1 ) is tilted. This is exemplary in 5 shown.

In 5 ist die Kamera 3a, 3b, 3‘ (1) um die Fahrzeuglängsachse L, L‘ verkippt, beispielsweise im Urzeigersinn. Die überlagerte erste Repräsentation 13 zeigt, dass ohne das Kalibrieren nicht nur die geometrische Abmessung 10 des Objekts 9 verfälscht wird, sondern die fehlende Kalibrierung auch zu einer kompletten Fehleinschätzung der Position des Objekts 9 und damit auch anderer Objekte in der Umgebung des Kraftfahrzeugs 1 oder des Anhängers 1‘ führt. Die zweite Repräsentation 14 hingegen, für welche die Kamera 3a, 3b, 3‘ (1) beispielsweise mit dem oben beschriebenen Verfahren kalibriert wurde, führt zu einer Übereinstimmung zwischen der Repräsentation 14 und der realen Welt, wie sie durch die Bildinformation 12 repräsentiert ist. Damit kann aus der Bildinformation 12 der Kamera 3a, 3b, 3‘ ein zuverlässige Aussage über die reale Welt abgeleitet werden, was für viele Funktionen im Fahrzeug 1, 1‘ wichtig ist. In 5 is the camera 3a . 3b . 3. ' ( 1 ) about the vehicle longitudinal axis L, L 'tilted, for example, in the clockwise direction. The superimposed first representation 13 shows that without the calibration, not only the geometric dimension 10 of the object 9 but the lack of calibration also leads to a complete misjudgment of the position of the object 9 and thus also other objects in the vicinity of the motor vehicle 1 or the trailer 1' leads. The second representation 14 however, for which the camera 3a . 3b . 3. ' ( 1 ) has been calibrated, for example, by the method described above, results in a match between the representation 14 and the real world, as represented by the image information 12 is represented. This can be done from the image information 12 the camera 3a . 3b . 3. ' A reliable statement can be derived about the real world, reflecting many functions in the vehicle 1 . 1' important is.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 8639433 B2 [0003]

Claims

Method for calibrating a camera ( 3a . 3b . 3. ' ) of a vehicle, comprising the steps of: - acquiring image information of an object ( 9 ) a traffic infrastructure in an environment of the vehicle by the camera ( 3a . 3b . 3. ' ) of the vehicle; - recognizing the object ( 9 ) by a computing device ( 4 . 4 ' ); Extracting a geometric dimension ( 10 ) of the recognized object ( 9 ) of the transport infrastructure by the computing device ( 4 . 4 ' ); Comparing the extracted geometric dimension ( 10 ) with one in the computing device ( 4 . 4 ' ) stored reference dimension ( 10 ) for the detected object ( 9 ) of the transport infrastructure by the computing device ( 4 . 4 ' ); - Calibrating the camera ( 3a . 3b . 3. ' ) based on a result of the comparison by the computing device ( 4 . 4 ' ).

Method according to claim 1, characterized in that the object ( 9 ) comprises a lane marking, in particular a lane boundary.

Method according to one of the preceding claims, characterized in that the extraction of the geometric dimension ( 10 ) depending on a plurality of pairs of points whose respective points are in particular on different lines ( 7 . 8th ) of the lane marking are.

Method according to one of the preceding claims, characterized in that the stored reference dimension ( 10 ) at least one country-specific reference dimension ( 10 ) and in particular the comparison takes place in dependence on a country information about a country in which the vehicle is located.

Method according to one of the preceding claims, characterized in that the calibration comprises calculating a height of the camera ( 3a . 3b . 3. ' ) in a vehicle vertical direction of the vehicle.

Method according to one of the preceding claims, characterized in that the calibration comprises calculating an orientation of the camera ( 3a . 3b . 3. ' ), in particular a tilt angle of the camera ( 3a . 3b . 3. ' ) about a vehicle transverse axis (Q, Q ') and / or a tilt angle of the camera ( 3a . 3b . 3. ' ) about a vehicle longitudinal axis (L, L ') and / or a tilt angle of the camera ( 3a . 3b . 3. ' ) around a vehicle vertical axis.

Method according to one of the preceding claims, characterized in that by means of a further sensor device ( 11 ) of the vehicle, a relative position of the object ( 9 ) of the traffic infrastructure is determined to the vehicle and the comparison takes place in dependence of the determined relative position.

Method according to one of the preceding claims, characterized in that the vehicle is during a process step in a traveling motion, in particular during all process steps.

A method according to claim 8, characterized in that the comparison takes place as a function of the travel movement, in particular as a function of a direction of the travel movement and / or a speed of the travel movement.

Camera device ( 2 . 2 ' ) for a vehicle, with - a camera ( 3a . 3b . 3. ' ), which is designed to display image information of an object ( 9 ) to detect a traffic infrastructure in an environment of the vehicle; and - a computing device ( 4 . 4 ' ), which is designed to be the object ( 9 ) and a geometric dimension ( 10 ) of the recognized object ( 9 ) to extract; characterized in that the computing device ( 4 . 4 ' ), the extracted geometric dimension ( 10 ) with one in the computing device ( 4 . 4 ' ) stored reference dimension ( 10 ) for the detected object ( 9 ) of the transport infrastructure and the camera ( 3a . 3b . 3. ' ) based on a result of the calibration.

Motor vehicle ( 1 ) with a camera device ( 2 . 2 ' ) according to claim 10.

Motor vehicle ( 1 ) according to claim 11, characterized in that the camera ( 3a . 3b . 3. ' ) on the front or rear side of the motor vehicle ( 1 ) is arranged.

Pendant ( 1' ) with a camera device ( 2 . 2 ' ) according to claim 10.

Pendant ( 1' ) according to claim 13, characterized in that the camera ( 3a . 3b . 3. ' ) on the front or rear of the trailer ( 1' ) is arranged.