DE102012218123A1

DE102012218123A1 - Method for calibrating optical sensor of driver assistance system-camera of e.g. passenger car, involves extracting calibration information from QR-code, where optical sensor of vehicle is calibrated based on calibration information

Info

Publication number: DE102012218123A1
Application number: DE201210218123
Authority: DE
Inventors: Omar Alaa El-Din
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-10-04
Filing date: 2012-10-04
Publication date: 2014-04-10
Anticipated expiration: 2032-10-05
Also published as: DE102012218123B4

Abstract

The method involves reading image data of a vehicle environment, where the image data comprises an image of a QR-code (100). Calibration information is extracted from the QR-code, and an optical sensor of a vehicle is calibrated based on the calibration information. The calibration information is extracted based on a pattern structure (102) and/or a geometric structure of the image of the QR-code and based on dimension information contained in the QR-code. A dimension (104) of a portion of the image of the QR-code is extracted. Independent claims are also included for the following: (1) a device for calibrating an optical sensor of a vehicle (2) a computer program product with program code having a set of instructions for performing a method for calibrating an optical sensor of a vehicle.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.The present invention relates to a method for calibrating at least one optical sensor of a vehicle, to a corresponding device and to a corresponding computer program product.

Es existieren Standards und Verfahren zur Codierung von Informationen in sogenannte QR-Codes. Diese werden oft im mobilen Umfeld benutzt, um ähnlich wie Bar-Codes Informationen, beispielsweise Website-Adressen, zu codieren und anzuzeigen. Weiterhin existieren Applikationen, mit deren Hilfe Benutzer QR-Codes einlesen und interpretieren können und weitere Applikationen, um QR-Codes zu generieren. Außerdem existieren kamerabasierte Fahrer-Assistenz-Systeme (auch als FAS abgekürzt), die im Werk bei der Montage kalibriert werden und deren Kalibrierung algorithmisch aufwendig während des Betriebs nachgeführt werden muss. Dieser Prozess wird auch als Online-Kalibrierung bezeichnet. Die Nachführung ist erforderlich, da sonst die Genauigkeit und somit die Funktionalität des FAS degradiert.There are standards and methods for encoding information in so-called QR codes. These are often used in mobile environments to encode and display information, such as website addresses, similar to bar codes. There are also applications that allow users to read and interpret QR codes and other applications to generate QR codes. In addition, there are camera-based driver assistance systems (also abbreviated as FAS), which are calibrated at the factory during assembly and whose calibration must be tracked algorithmically consuming during operation. This process is also known as online calibration. Tracking is required because otherwise the accuracy and thus the functionality of the FAS degrades.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, the present invention provides a method for calibrating at least one optical sensor of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims. Advantageous embodiments emerge from the respective subclaims and the following description.

In der Umwelt vermehrt auftretende QR-Codes können eingesetzt werden, um eine Kalibrierung eines optischen Sensors, beispielsweise einer FAS-Kamera eines Fahrzeugs, online nachzuführen und somit für eine korrekte Funktionalität des optischen Sensors und damit auch des FAS zu sorgen.Increasingly occurring in the environment QR codes can be used to track a calibration of an optical sensor, such as a FAS camera of a vehicle, online and thus ensure proper functionality of the optical sensor and thus the FAS.

Gemäß dem hier vorgestellten Konzept können in der Umwelt – z. B. auf Werbeplakaten – angebrachte QR-Codes zur Kalibrierung der geometrischen Eigenschaften eines videobasierten FAS herangezogen werden. Dabei können z. B. die Eigenheiten des geometrischen Aufbaus der QR-Codes genutzt werden, um eine einfache, schnelle und exakte Kalibrierung einer Kamera oder mehrerer Kameras im Fahrzeugumfeld zu erlauben. Damit kann eine regelmäßige Kalibrierung der optischen Fahrzeugsensoren besonders einfach, schnell und kostengünstig realisiert werden.According to the concept presented here, in the environment -. B. on billboards - attached QR codes are used to calibrate the geometric properties of a video-based FAS. This z. B. the peculiarities of the geometric structure of the QR codes are used to allow a simple, fast and accurate calibration of a camera or multiple cameras in the vehicle environment. Thus, a regular calibration of the optical vehicle sensors can be realized in a particularly simple, fast and cost-effective manner.

Es wird ein Verfahren zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Einlesen von Bilddaten einer Fahrzeugumgebung, wobei die Bilddaten ein Abbild eines QR-Codes umfassen, insbesondere wobei die Bilddaten von dem optischen Sensor erfasst wurden;
Extrahieren einer Kalibrierungsinformation aus dem QR-Code; und
Kalibrieren des optischen Sensors basierend auf der Kalibrierungsinformation.A method for calibrating at least one optical sensor of a vehicle is presented, the method comprising the following steps:
Reading in image data of a vehicle environment, the image data comprising an image of a QR code, in particular wherein the image data was acquired by the optical sensor;
Extracting calibration information from the QR code; and
Calibrating the optical sensor based on the calibration information.

Bei dem Fahrzeug kann es sich um ein Straßenfahrzeug wie einen Personenkraftwagen oder einen Lastkraftwagen handeln. Bei dem optischen Sensor kann es sich um einen Bildsensor einer Kamera oder eines Kamerasystems des Fahrzeugs handeln, der ausgebildet ist, um Bilddaten zu erfassen. Diese Bilddaten können zweidimensionale Abbilder der Fahrzeugumgebung darstellen. Das Kalibrieren des optischen Sensors kann in regelmäßigen Abständen erforderlich sein, um eine Metrik des optischen Sensors zu überprüfen, nachzuführen und/oder zu gewährleisten, dass dieser stets korrekte Messwerte an das Kamerasystem liefert. The vehicle may be a road vehicle such as a passenger car or a truck. The optical sensor may be an image sensor of a camera or a camera system of the vehicle, which is designed to acquire image data. This image data can represent two-dimensional images of the vehicle environment. The calibration of the optical sensor may be required at regular intervals to check, track, and / or ensure a metric of the optical sensor to always provide correct readings to the camera system.

Der Schritt des Einlesens kann über eine Schnittstelle mit einer Recheneinheit drahtlos oder drahtgebunden erfolgen. Bei der Fahrzeugumgebung kann es sich um einen das Fahrzeug umgebenden Bereich handeln, der zu einem gewissen Zeitpunkt während einer Fahrt des Fahrzeugs von dem Kamerasystem des Fahrzeugs erfasst und abgebildet werden kann. So kann die Fahrzeugumgebung einen vor dem Fahrzeug liegenden Abschnitt einer von dem Fahrzeug befahrenen Straße einschließlich einer den Straßenabschnitt umgebenden Landschaft, Bebauung und Infrastruktur umfassen. Dazu können neben privaten und gewerblichen Gebäuden auch Brücken, Straßenschilder und z. B. Werbetafeln zählen. Das Abbild des QR-Codes kann beispielsweise auf Elementen der Infrastruktur wie beispielsweise Verkehrszeichen oder Werbetafeln abgebildet, z. B. aufgedruckt sein. Bei dem QR-Code handelt es sich um einen zweidimensionalen Code. Die Bezeichnung ist ein Markenbegriff, der sich aus dem englischen Quick Response (= schnelle Antwort) ableitet. Der QR-Code besteht aus einer quadratischen Matrix aus schwarzen (oder dunklen) und weißen (oder hellen) Punkten oder Bereichen zur binären Darstellung einer Information. Mit Kameras, wie sie beispielsweise in modernen Mobilfunkgeräten bereits standardmäßig verbaut sind, können QR-Codes gescannt und anschließend decodiert werden, um die Information einem Leser zugänglich zu machen. Entsprechend finden sich heutzutage viele QR-Codes z. B. an Haltestellen des öffentlichen Nahverkehrs zur Fahrplanauskunft oder auf Werbeplakaten als Zusatzinformation zum beworbenen Produkt. Das Kamerasystem des Fahrzeugs kann ausgebildet sein, um in vorgegebenen Zeitintervallen Abbilder der Fahrzeugumgebung zu erstellen, die sich aufgrund der Fortbewegung des Fahrzeugs natürlich unterscheiden. Ob ein Abbild der Fahrzeugumgebung ein Abbild eines QR-Codes umfasst, kann auf dem Zufallsprinzip beruhen. Alternativ kann das Kamerasystem ausgebildet sein, um ein Vorhandensein eines QR-Code-Abbildes aufgrund seines charakteristischen Erscheinungsbildes zu identifizieren und zwingend eine Aufnahme der Umgebung tätigen, wenn ein Abbild eines QR-Codes darin enthalten ist. Die Extrahierung der Kalibrierungsinformation aus dem QR-Code kann mittels eines geeigneten Algorithmus erfolgen. Dabei können nur diejenigen in dem QR-Code enthaltenen Daten herausgefiltert werden, die für eine Kalibrierung des optischen Sensors sinnvoll und nützlich sind. Beispielsweise repräsentieren solche Daten Abmessungen und Dimensionen des QR-Codes oder von Teilen desselben. Im Schritt des Kalibrierens des optischen Sensors kann die Kalibrierungsinformation verwendet werden, um eine Skalierung des optischen Sensors zu überprüfen und gegebenenfalls nachzujustieren. The step of reading in can take place via an interface with a computer unit wirelessly or by wire. The vehicle environment may be an area surrounding the vehicle that may be captured and imaged at some point during a ride of the vehicle by the camera system of the vehicle. Thus, the vehicle surroundings may include a section of a road traveled by the vehicle in front of the vehicle, including a landscape, development and infrastructure surrounding the road section. In addition to private and commercial buildings, bridges, street signs and z. B. billboards count. The image of the QR code can, for example, be mapped to elements of the infrastructure, such as traffic signs or billboards, e.g. B. be printed. The QR code is a two-dimensional code. The term is a brand term, which is derived from the English Quick Response (= quick response). The QR code consists of a square matrix of black (or dark) and white (or bright) points or areas for the binary representation of information. With cameras, such as are already installed as standard in modern mobile devices, QR codes can be scanned and then decoded to make the information accessible to a reader. Accordingly, many QR codes z. B. at public transport stops for timetable information or advertising posters as additional information to the advertised product. The camera system The vehicle may be designed to generate images of the vehicle environment at predetermined time intervals, which of course differ due to the vehicle's travel. Whether an image of the vehicle environment includes an image of a QR code can be based on the random principle. Alternatively, the camera system may be configured to identify a presence of a QR code image because of its distinctive appearance and to compulsorily capture the environment when an image of a QR code is contained therein. The extraction of the calibration information from the QR code can be done by means of a suitable algorithm. In this case, only those data contained in the QR code can be filtered out, which are useful and useful for a calibration of the optical sensor. For example, such data represents dimensions and dimensions of the QR code or portions thereof. In the step of calibrating the optical sensor, the calibration information may be used to check and, if necessary, readjust a scale of the optical sensor.

Gemäß einer Ausführungsform können in dem Schritt des Einlesens ferner Fahrzeugdaten eingelesen werden, wobei in dem Schritt des Kalibrierens der optische Sensor ferner basierend auf den Fahrzeugdaten kalibriert wird. Bei den Fahrzeugdaten kann es sich z. B. um Geschwindigkeitsdaten handeln, die Rückschlüsse darüber erlauben, wie schnell sich das Fahrzeug auf das Abbild des QR-Codes zubewegt. So kann die Kalibrierung des optischen Sensors noch genauer und fehlerreduziert erfolgen, da die zusätzliche Information einer Veränderung von beispielsweise erfassten Dimensionen des QR-Codes bei einer bestimmten Fahrgeschwindigkeit vorliegt. Zusätzlich zu den Fahrzeugdaten können noch Systemdaten, z. B. eines Navigationssystems des Fahrzeugs, in die Kalibrierung des optischen Sensors einfließen. In one embodiment, in the step of reading in, further vehicle data may be read in, wherein in the step of calibrating, the optical sensor is further calibrated based on the vehicle data. The vehicle data may be z. For example, it may be speed data that allows conclusions about how fast the vehicle is moving toward the image of the QR code. Thus, the calibration of the optical sensor can be made even more accurate and error-reduced, since the additional information of a change of, for example, detected dimensions of the QR code is present at a certain driving speed. In addition to the vehicle data can still system data, eg. B. a navigation system of the vehicle, incorporated into the calibration of the optical sensor.

Beispielsweise kann in dem Schritt des Extrahierens die Kalibrierungsinformation basierend auf einer Struktur und/oder einem geometrischen Aufbau des Abbilds des QR-Codes extrahiert werden. Bei der Struktur bzw. dem geometrischen Aufbau kann es sich um eine individuelle Verteilung der schwarzen (d. h. dunklen) und weißen (d. h. hellen) Punkte verschiedener codierter Informationen innerhalb des Matrixquadrats handeln. Die Strukturen der QR-Codes eignen sich aufgrund der rechtwinkligen Anordnung der durch die Punkte gebildeten schwarzen und weißen Flächen und durch die Verwendung der stark kontrastierenden Farben Schwarz und Weiß besonders als Mittel zur Kalibrierung optischer Geräte.For example, in the step of extracting, the calibration information may be extracted based on a structure and / or a geometric structure of the image of the QR code. The structure may be an individual distribution of the black (i.e., dark) and white (i.e., bright) dots of various coded information within the matrix square. The structures of the QR codes are particularly suitable as a means of calibrating optical devices due to the orthogonal arrangement of the black and white areas formed by the dots, and the use of the strongly contrasting black and white colors.

Alternativ oder zusätzlich kann in dem Schritt des Extrahierens die Kalibrierungsinformation basierend auf einer in dem QR-Code enthaltenen Abmessungsinformation, die zumindest eine Abmessung zumindest eines Abschnitts des Abbilds des QR-Codes repräsentiert, extrahiert werden. Die Abmessungsinformation kann beispielsweise eine Breite oder Länge des den QR-Code aufweisenden Abbildes beschreiben. Die Abmessungsinformation kann zusätzlich zu der eigentlichen Information des QR-Codes in dessen Matrix verschlüsselt sein. Derartige QR-Codes werden auch als dezidierte QR-Codes bezeichnet. Sie können beispielsweise bewusst an Straßenbauelementen wie Brücken oder auch an Verkehrsschildern angebracht sein und explizit der Kalibrierung der Bildsensoren von Fahrzeugkameras dienen. Diese Ausführungsform der Erfindung bietet den Vorteil, dass Messdaten des Bildsensors anhand der aus dem QR-Code entschlüsselten Abmessungsinformation verifiziert werden können. Alternatively or additionally, in the step of extracting, the calibration information may be extracted based on a dimension information included in the QR code representing at least a dimension of at least a portion of the image of the QR code. The dimension information may, for example, describe a width or length of the image having the QR code. The dimension information may be encrypted in addition to the actual information of the QR code in its matrix. Such QR codes are also referred to as dedicated QR codes. For example, they may be deliberately attached to road construction elements such as bridges or traffic signs, and may explicitly serve to calibrate the image sensors of vehicle cameras. This embodiment of the invention offers the advantage that measurement data of the image sensor can be verified on the basis of the dimension information decoded from the QR code.

Gemäß einer weiteren Ausführungsform kann in dem Schritt des Kalibrierens die Kalibrierungsinformation oder eine davon abgeleitete Information zur Kalibrierung eines weiteren Sensors verwendet werden. Statt eines können auch mehrere weitere Sensoren mittels dieser auch als Kreuzkalibrierung bezeichneten Ausführungsform kalibriert werden. So bietet diese Ausführungsform die Vorteile der Zeit-, Kosten- und Bauraumersparnis.According to a further embodiment, in the step of calibrating the calibration information or an information derived therefrom can be used for the calibration of a further sensor. Instead of one, several other sensors can also be calibrated by means of this embodiment, which is also referred to as cross-calibration. Thus, this embodiment offers the advantages of time, cost and space savings.

Ferner wird eine Vorrichtung zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
eine Einrichtung zum Einlesen von Bilddaten einer Fahrzeugumgebung, wobei die Bilddaten ein Abbild eines QR-Codes umfassen, insbesondere die Einrichtung zum Einlesen ausgebildet ist, um die Bilddaten von dem optischen Sensor einzulesen;
eine Einrichtung zum Extrahieren einer Kalibrierungsinformation aus dem QR-Code; und
eine Einrichtung zum Kalibrieren des optischen Sensors basierend auf der Kalibrierungsinformation.Furthermore, a device for calibrating at least one optical sensor of a vehicle is presented, the device having the following features:
a device for reading in image data of a vehicle environment, the image data comprising an image of a QR code, in particular the device for reading in to read the image data from the optical sensor;
means for extracting calibration information from the QR code; and
means for calibrating the optical sensor based on the calibration information.

Die Vorrichtung kann ausgebildet sein, um die Schritte des erfindungsgemäßen Verfahrens in den entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The device can be designed to carry out or implement the steps of the method according to the invention in the corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In a hardware training, the interfaces may for example be part of a so-called system ASICs, the various functions of the Device includes. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Gemäß einer Ausführungsform kann die Vorrichtung einen Bordcomputer und/oder ein Kamera-Steuergerät und/oder ein Navigationssystem umfassen.According to one embodiment, the device may comprise an on-board computer and / or a camera control unit and / or a navigation system.

Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.A computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program product is installed on a computer or a device is also of advantage is performed.

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The invention will now be described by way of example with reference to the accompanying drawings. Show it:

1 einen beispielhaften QR-Code; 1 an exemplary QR code;

2 eine Prinzipskizze eines Fahrzeugs mit einer Vorrichtung zum Kalibrieren zumindest eines optischen Sensors des Fahrzeugs, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 2 a schematic diagram of a vehicle with a device for calibrating at least one optical sensor of the vehicle, according to an embodiment of the present invention; and

3 ein Ablaufdiagramm eines Verfahrens zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 3 a flowchart of a method for calibrating at least one optical sensor of a vehicle according to an embodiment of the present invention.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.

1 zeigt ein Beispiel eines Abbildes eines QR-Codes 100, wie er in der freien Online-Enzyklopädie Wikipedia enthalten ist. Es handelt sich um einen zweidimensionalen Code. Gezeigt ist eine quadratische Matrix aus schwarzen und weißen Punkten. Spezielle Positionsmarkierungen in drei Ecken des Quadrats geben eine Orientierung des Codes für eine Leserichtung durch ein Lesegerät, beispielsweise einen Bildsensor einer Fahrzeugkamera, vor. Die schwarzen und weißen Punkte bilden ein geometrisches Muster bzw. eine Struktur 102 aus schwarzen und weißen Flächen, die durch die Farbwahl visuell deutlich voneinander abgrenzbar sind und sich somit gut als Kalibrierungsinstrument eignen. Das durch die Matrix gebildete Muster 102 enthält die codierten Daten in redundanter Form. Der in 1 dargestellte QR-Code 100 enthält die Information „QR Code“. Mit einer anderen als der in 1 gezeigten Matrix kann der QR-Code 100 eine verschlüsselte Information zu einer Abmessung 104 des in 1 gezeigten Abbildes des QR-Codes 100, beispielsweise zu einer Seitenlänge des Abbildes, enthalten. 1 shows an example of an image of a QR code 100 as it is contained in the free online encyclopedia Wikipedia. It is a two-dimensional code. Shown is a square matrix of black and white dots. Special position markers in three corners of the square indicate orientation of the code for a reading direction by a reading device, for example an image sensor of a vehicle camera. The black and white dots form a geometric pattern or structure 102 From black and white surfaces, which are visually distinct from each other by the color choice and are thus well suited as a calibration instrument. The pattern formed by the matrix 102 contains the coded data in redundant form. The in 1 illustrated QR code 100 contains the information "QR Code". With a different one than the one in 1 The matrix shown can be the QR code 100 an encrypted information to a dimension 104 of in 1 shown image of the QR code 100 , For example, to a page length of the image included.

2 zeigt anhand einer Prinzipdarstellung ein Fahrzeug mit einem Ausführungsbeispiel einer Vorrichtung zum Kalibrieren zumindest eines optischen Sensors des Fahrzeugs. Gezeigt sind ein Fahrzeug 200 und eine Fahrzeugumgebung 202. Das Fahrzeug 200 umfasst eine Vorrichtung 204 zum Kalibrieren zumindest eines optischen Sensors des Fahrzeugs 200 sowie ein Kamerasystem 206 mit einem optischen Sensor bzw. Bildsensor 208. Selbstverständlich kann das Kamerasystem 206 auch eine Mehrzahl von Bildsensoren 208 aufweisen. Die Vorrichtung 206 umfasst eine Einrichtung 210 zum Einlesen von Bilddaten der Fahrzeugumgebung 202, eine Einrichtung 212 zum Extrahieren einer Kalibrierungsinformation und eine Einrichtung zum Kalibrieren des optischen Sensors 208 basierend auf der Kalibrierungsinformation. Die Fahrzeugumgebung 202 zeigt eine Szene mit einem Straßenabschnitt 216 und einer Werbetafel 218, die ein Abbild eines beispielhaften QR-Codes 100 aufweist. Der Bildsensor 208 der Kamera 206 erfasst die Fahrzeugumgebung 202 und liefert entsprechende Bilddaten 220 über eine Datenschnittstelle 222 an die Vorrichtung zum Kalibrieren 204. Dort werden die Bilddaten 220 mittels der Einrichtung 210 eingelesen. Die Einrichtung 212 ist ausgebildet, um das Abbild des QR-Codes 100 aus der aufgenommenen Szene 202 herauszufiltern und eine Kalibrierungsinformation 224 daraus zu extrahieren und an die Einrichtung 214 zu übermitteln. Die Einrichtung 214 verwendet anschließend die Kalibrierungsinformation 224, um den optischen Sensor 208 zu kalibrieren. Bei dem in 2 gezeigten Ausführungsbeispiel der Vorrichtung 204 wird die Kalibrierung des Sensors 208 ferner durch über eine weitere Schnittstelle 226 an die Vorrichtung 204 übermittelte Fahrzeug- und Systemdaten 228, beispielsweise Geschwindigkeitsdaten, unterstützt. 2 shows a schematic representation of a vehicle with an embodiment of a device for calibrating at least one optical sensor of the vehicle. Shown are a vehicle 200 and a vehicle environment 202 , The vehicle 200 includes a device 204 for calibrating at least one optical sensor of the vehicle 200 as well as a camera system 206 with an optical sensor or image sensor 208 , Of course, the camera system 206 also a plurality of image sensors 208 exhibit. The device 206 includes a device 210 for reading image data of the vehicle environment 202 , An institution 212 for extracting calibration information and means for calibrating the optical sensor 208 based on the calibration information. The vehicle environment 202 shows a scene with a road section 216 and a billboard 218 , which is an image of an exemplary QR code 100 having. The image sensor 208 the camera 206 captures the vehicle environment 202 and provides corresponding image data 220 via a data interface 222 to the device for calibration 204 , There are the image data 220 by means of the device 210 read. The device 212 is designed to be the image of the QR code 100 from the recorded scene 202 to filter out and calibration information 224 extract from it and to the facility 214 to convey. The device 214 then uses the calibration information 224 to the optical sensor 208 to calibrate. At the in 2 shown embodiment of the device 204 will be the calibration of the sensor 208 further through another interface 226 to the device 204 transmitted vehicle and system data 228 such as speed data.

Das Kamerasystem 206 ist am Fahrzeug 200 angebracht und nimmt mit einem oder mehreren Kamerasensoren 208 die aktuelle Szene 202 vor dem Fahrzeug 200 auf. Über die Schnittstelle 222 überträgt das Kamerasystem 206 seine Bilddaten 220 drahtgebunden oder drahtlos an eine oder mehrere Recheneinheiten der Vorrichtung 204. Bei dem in 2 gezeigten Ausführungsbeispiel umfasst die Vorrichtung 204 u. a. einen Bordcomputer bzw. ein Kombiinstrument, ein Kamera-Steuergerät sowie ein Steuergerät eines Navigationssystems. Aufgrund der Bilddaten 220 und der weiteren Fahrzeug- und Systemdaten 228 erfolgt die Extraktion des QR-Codes 100 und die Kalibrierung des Kamerasystems 208.The camera system 206 is on the vehicle 200 attached and takes with one or more camera sensors 208 the current scene 202 in front of the vehicle 200 on. About the interface 222 transmits the camera system 206 his image data 220 wired or wireless to one or more computing units of the device 204 , At the in 2 embodiment shown, the device comprises 204 including an on-board computer or an instrument cluster, a camera control unit and a control unit of a navigation system. Due to the image data 220 and the other vehicle and system data 228 the extraction of the QR code takes place 100 and the calibration of the camera system 208 ,

Die Vorrichtung 204 zur Nutzung von QR-Codes zur Online-Kalibrierung von Automotive-Kameras kann in einer weiteren Ausprägung ausgebildet sein, um die aus dem QR-Code 100 extrahierte Kalibrierungsinformation 224 zur Kreuzkalibrierung von mehreren Kamerasensoren 208 (in der Darstellung in 2 nicht gezeigt) im Fahrzeug 200 zueinander zu nutzen. Dies ist beispielsweise bei einem Einsatz eines Stereo-Kamera-Systems 206 im Fahrzeug 200 sinnvoll. The device 204 The use of QR codes for online calibration of automotive cameras can be designed in a further form to that from the QR code 100 extracted calibration information 224 for cross-calibration of several camera sensors 208 (in the illustration in 2 not shown) in the vehicle 200 to use each other. This is for example when using a stereo camera system 206 in the vehicle 200 meaningful.

Zusätzlich können auf Infrastrukturelementen des Straßenbaus, z. B. auf Brücken oder Verkehrsschildern, dedizierte QR-Codes 100 angebracht werden, die explizit für die Kalibrierung von Kamerasensoren 208 entwickelt wurden. Derartige QR-Codes 100 können spezifische Angaben beispielsweise zu Breite 104 und Höhe des Abbildes des QR-Codes 100 oder Ähnliches aufweisen. Die spezifischen Angaben sind in der Codematrix enthalten und können wie jede andere Information decodiert werden. Eine Verwendung dedizierter QR-Codes 100 kann die Aufgabe der Kalibrierung erleichtern.In addition, on infrastructure elements of road construction, z. On bridges or traffic signs, dedicated QR codes 100 be attached explicitly for the calibration of camera sensors 208 were developed. Such QR codes 100 For example, you can specify specific widths 104 and height of the image of the QR code 100 or the like. The specifics are included in the code matrix and can be decoded like any other information. A use of dedicated QR codes 100 can facilitate the task of calibration.

3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Kalibrieren zumindest eines optischen Sensors eines Fahrzeugs. In einem Schritt 302 erfasst ein optischer Sensor eines Fahrzeugs eine Fahrzeugumgebung, die sich als eine vor dem Fahrzeug liegende Szene darstellt. Die Szene weist u. a. ein Abbild eines QR-Codes auf. In einem Schritt 304 werden die die erfasste Szene repräsentierenden Bilddaten des Sensors in eine geeignete Einrichtung einer Vorrichtung zum Kalibrieren des optischen Sensors eingelesen. In einem Schritt 306 wird in einer weiteren geeigneten Einrichtung der Vorrichtung eine Kalibrierungsinformation aus dem in den Bilddaten enthaltenen QR-Code extrahiert. Diese Kalibrierungsinformation wird in einem Schritt 308 in einer weiteren Einrichtung der Vorrichtung eingesetzt, um den optischen Sensor zu kalibrieren. 3 shows a flowchart of an embodiment of a method 300 for calibrating at least one optical sensor of a vehicle. In one step 302 For example, an optical sensor of a vehicle detects a vehicle environment that presents itself as a scene ahead of the vehicle. Among other things, the scene has an image of a QR code. In one step 304 For example, the image data of the sensor representing the detected scene is read into a suitable device of a device for calibrating the optical sensor. In one step 306 In another suitable device of the device, calibration information is extracted from the QR code contained in the image data. This calibration information is in one step 308 used in another device of the device to calibrate the optical sensor.

Die hier vorgestellte Erfindung der Nutzung von QR-Codes zur Kalibrierung von Kameras im automobilen Umfeld ist direkt nachweisbar und kann in Video-Fahrerassistenzsystemen und Fahrerinformationssystemen zum Einsatz kommen. The present invention of the use of QR codes for calibrating cameras in the automotive environment is directly detectable and can be used in video driver assistance systems and driver information systems.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.

Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims

Procedure ( 300 ) for calibrating at least one optical sensor ( 208 ) of a vehicle ( 200 ), the method comprising the following steps: reading in ( 304 ) of image data ( 220 ) of a vehicle environment ( 202 ), where the image data is an image of a QR code ( 100 ); Extract ( 306 ) calibration information ( 224 ) from the QR code; and calibration ( 308 ) of the optical sensor based on the calibration information.

Procedure ( 300 ) according to claim 1, characterized in that in the step of reading ( 304 ) vehicle data ( 228 ), wherein in the step of calibrating ( 308 ) the optical sensor ( 208 ) is further calibrated based on the vehicle data.

Procedure ( 300 ) according to one of the preceding claims, characterized in that in the step of extracting ( 306 ) the calibration information ( 224 ) based on a structure ( 102 ) and / or a geometric structure of the image of the QR code ( 100 ) is extracted.

Procedure ( 300 ) according to one of the preceding claims, characterized in that in the step of extracting ( 306 ) the calibration information ( 224 ) based on one in the QR code ( 100 dimensional information containing at least one dimension ( 104 ) at least a portion of the image of the QR code is extracted.

Procedure ( 300 ) according to one of the preceding claims, characterized in that in the step of calibrating ( 308 ) the calibration information ( 224 ) or information derived therefrom for calibrating another sensor ( 208 ) is used.

Contraption ( 204 ) for calibrating at least one optical sensor ( 208 ) of a vehicle ( 200 ), the device having the following features: An institution ( 210 ) for reading image data ( 220 ) of a vehicle environment ( 202 ), where the image data is an image of a QR code ( 100 ); An institution ( 212 ) for extracting a calibration information ( 224 ) from the QR code; and a facility ( 214 ) for calibrating the optical sensor based on the calibration information.

Contraption ( 204 ) according to claim 6, characterized in that the device comprises an on-board computer and / or a camera control unit and / or a navigation system.

Computer program product with program code for carrying out the method ( 300 ) according to one of claims 1 to 5, when the program product is stored on a device ( 204 ) is performed.