DE102021133091A1

DE102021133091A1 - Method for determining an alignment of a camera unit of a detection device, detection device and vehicle

Info

Publication number: DE102021133091A1
Application number: DE102021133091.2A
Authority: DE
Inventors: Steffen Klingenhöfer; Maximilian Jansen
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2023-06-15

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit (3) einer Erfassungseinrichtung (2) eines Fahrzeugs (1) bezüglich einer horizontalen Oberfläche (14) in einer Fahrzeugumgebung (5) des Fahrzeugs (1), wobei durch die Kameraeinheit (3) ein Umgebungsbild (4) der Fahrzeugumgebung (5) erfasst wird, wobei das Umgebungsbild (4) Bildpunkte (6) aufweist, die an jeweiligen Bildpunktkoordinaten (7) des Bildes angeordnet sind, und durch die Erfassungseinrichtung (2) in dem Umgebungsbild (4) ein Bezugsbereich (16) erfasst wird, der die horizontale Oberfläche (14) darstellt, durch die Erfassungseinrichtung (2) nach einem vorbestimmten Tiefenermittlungsverfahren Bildpunkttiefen (18) von zumindest einigen der Bildpunkte (6) in dem Bezugsbereich (16) ermittelt werden, die einen jeweiligen Abstand zur Kameraeinheit (3) beschreiben, durch die Erfassungseinrichtung (2) aus den Bildpunktkoordinaten und den Bildpunkttiefen (18) nach einem vorbestimmten Transformationsverfahren jeweilige räumliche Lagen der Bildpunkte (6) in Bezug auf die Kameraeinheit (3) ermittelt werden, und durch die Erfassungseinrichtung (2) aus den räumliche Lagen der Bildpunkte (6) nach einem vorbestimmten Topografieermittlungsverfahren eine räumliche Kameralage (15) der horizontalen Oberfläche (14) ermittelt wird.The invention relates to a method for determining an alignment of a camera unit (3) of a detection device (2) of a vehicle (1) with respect to a horizontal surface (14) in a vehicle environment (5) of the vehicle (1), with the camera unit (3) an environment image (4) of the vehicle environment (5) is captured, the environment image (4) having pixels (6) which are arranged at respective pixel coordinates (7) of the image, and by the capture device (2) in the environment image (4) a reference area (16) is detected, which represents the horizontal surface (14), by the detection device (2) using a predetermined depth determination method, pixel depths (18) of at least some of the pixels (6) in the reference area (16) are determined, the one describe the respective distance to the camera unit (3), the respective spatial positions of the pixels (6) in relation to the camera unit (3) are determined by the detection device (2) from the pixel coordinates and the pixel depths (18) according to a predetermined transformation method, and by the A spatial camera position (15) of the horizontal surface (14) is determined by a detection device (2) from the spatial positions of the pixels (6) according to a predetermined topography determination method.

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung eines Fahrzeugs, eine Erfassungseinrichtung und ein Fahrzeug.The invention relates to a method for determining an alignment of a camera unit of a detection device of a vehicle, a detection device and a vehicle.

Erfassungseinrichtungen für Fahrzeuge werden beispielsweise für erweiterte Fahrerassistenzsysteme benötigt, welche einen Fahrer beim Führen des Fahrzeugs unterstützten können. Solche Fahrerassistenzsysteme umfassen adaptive Geschwindigkeitsregler, Kollisionsvermeidungssysteme, Spurwechsel- und Spurhalteassistenzsysteme sowie Parkunterstützungssysteme. Insbesondere für autonome Fahrsysteme der Stufen 2 bis 5 wird eine genaue Erfassung einer Fahrzeugumgebung durch Erfassungseinrichtungen vorausgesetzt.Detection devices for vehicles are required, for example, for advanced driver assistance systems, which can support a driver in driving the vehicle. Such driver assistance systems include adaptive cruise control, collision avoidance systems, lane change and lane keeping assistance systems, and parking assist systems. In particular for autonomous driving systems of levels 2 to 5, precise detection of a vehicle environment by detection devices is required.

Die Erfassungseinrichtungen weisen verschiedene Arten von Sensoren auf, welche eine Fahrzeugumgebung des Fahrzeugs erfassen können. Die Sensoren können beispielsweise Lidar-, Radar-, Ultraschall- oder Kameraeinheiten aufweisen. Bei Kameraeinheiten handelt es sich um die am häufigsten verwendeten Sensoren in Erfassungseinrichtungen für erweiterte Fahrerassistenzsysteme. Dies ist darauf zurückzuführen, dass mittels Kameraeinheiten Daten für unterschiedliche Systeme bereitgestellt werden, welche relativ einfach verarbeitet werden können.The detection devices have different types of sensors, which can detect a vehicle environment of the vehicle. The sensors can have lidar, radar, ultrasonic or camera units, for example. Camera units are the most commonly used sensors in detection devices for advanced driver assistance systems. This is due to the fact that camera units are used to provide data for different systems, which can be processed relatively easily.

Für die Verwendung von Kameraeinheiten in Erfassungseinrichtungen ist es jedoch erforderlich, dass diese kalibriert sind. Unter der Kalibrierung wird eine Verknüpfung einer Lage einer Kameraeinheit mit dem Fahrzeug beschrieben. However, for the use of camera units in detection devices, it is necessary for them to be calibrated. A link between a position of a camera unit and the vehicle is described under calibration.

Dadurch ist es möglich, durch die Kameraeinheit erfasste Positionen von einem Koordinatensystem der Kameraeinheit in ein Koordinatensystem des Fahrzeugs zu übertragen. Das Koordinatensystem des Fahrzeugs wird auch als Weltkoordinatensystem bezeichnet. Um eine Transformation zwischen beiden Koordinatensystemen zu ermöglichen, ist es erforderlich, eine Rotation zwischen dem Kamerakoordinatensystem und dem Weltkoordinatensystem zu erfassen. Diese Rotation kann durch Drehmatrizen oder Eulerwinkel beschrieben werden. Bei der Verwendung von Eulerwinkeln ist dabei die Verwendung des Roll-Pitch-Yaw-Angle weit verbreitet. Diese beziehen sich auf die Längsachse, die Querachse und die Vertikalachse der Kamera beziehungsweise des Fahrzeugs. Eine sogenannte statische Kalibrierung erfolgt in der Regel im Werk am Ende eines Herstellungsprozesses des Fahrzeugs. Die Kalibrierung erfolgt beispielsweise mittels einer statischen Kalibrierung oder einer Kurzstreckenkalibration (Short-Track-Kalibrierung). Die statische Kalibrierung umfasst eine Kalibrierung mittels Markierungen in einer Umgebung des Fahrzeugs, wobei sich das Fahrzeug nicht bewegt. Durch eine bekannte Lage der Markierungen und des Fahrzeugs ist es möglich, die Transformation zu ermitteln, welche das Kamerakoordinatensystem in das Weltkoordinatensystem überführt.This makes it possible to transfer positions captured by the camera unit from a coordinate system of the camera unit to a coordinate system of the vehicle. The coordinate system of the vehicle is also referred to as the world coordinate system. In order to enable a transformation between both coordinate systems, it is necessary to detect a rotation between the camera coordinate system and the world coordinate system. This rotation can be described by rotation matrices or Euler angles. When using Euler angles, the use of the roll pitch yaw angle is widespread. These relate to the longitudinal axis, the transverse axis and the vertical axis of the camera or vehicle. A so-called static calibration is usually carried out in the factory at the end of a vehicle manufacturing process. The calibration is carried out, for example, by means of a static calibration or a short-distance calibration (short-track calibration). Static calibration includes calibration using markers in an environment of the vehicle where the vehicle is not moving. With a known position of the markings and the vehicle, it is possible to determine the transformation that converts the camera coordinate system into the world coordinate system.

Die Kurzstreckenkalibration ist eine Kalibration, bei der das Fahrzeug mit einer Geschwindigkeit von etwa 10 km/h entlang einer geraden, vorgegebenen Strecke mit Markierungen gefahren wird.The short-distance calibration is a calibration in which the vehicle is driven at a speed of approximately 10 km/h along a straight, predetermined route with markings.

Die Kalibrierung kann hierbei über eine Ermittlung und Verfolgung von Koordinaten der Markierungen in dem Weltkoordinatensystem und dem Kamerakoordinatensystem ermittelt werden.In this case, the calibration can be determined by determining and tracking coordinates of the markings in the world coordinate system and the camera coordinate system.

Während eines Betriebs des Fahrzeugs kann es erforderlich sein, eine erneute Kalibrierung durchzuführen. Dies bedeutet, dass eine Transformation, welche die Bildpunktkoordinaten in die Weltkoordinaten überführt, adaptiert werden muss. Dies kann beispielsweise aufgrund von Änderungen des Rotationsanteils und/oder der Position der Kamera aufgrund der Fahrzeugdynamik erforderlich sein. Dies kann beispielsweise aufgrund der Bewegung des Fahrgestells aufgrund von Straßenunebenheiten oder plötzlichen Bremsvorgängen oder aufgrund von Änderungen der Winkel und der Position der Kamera aufgrund unterschiedlicher Belastungen im Fahrzeug erforderlich sein. Im Fall von sogenannten hochdynamischen Kalibrierungen betrifft die größte Veränderung der Ausrichtung einer Frontkamera den Neigungswinkel. In einem zweiten Fall, welcher auch als dynamische Kalibrierung bezeichnet wird, betrifft die größte Änderung der Frontkamera sowohl den Neigungswinkel als auch den Rollwinkel. In beiden Fällen ist im Wesentlichen keine Änderung der Kameraposition zu erwarten. Somit ist lediglich eine Anpassung des Rotationsanteils erforderlich.During operation of the vehicle, it may be necessary to recalibrate. This means that a transformation that converts the pixel coordinates into the world coordinates must be adapted. This may be necessary, for example, due to changes in the rotation percentage and/or the position of the camera due to vehicle dynamics. This may be necessary, for example, due to the movement of the chassis due to bumps in the road or sudden braking, or changes in the angles and position of the camera due to different loads in the vehicle. In the case of so-called highly dynamic calibrations, the biggest change in the orientation of a front camera concerns the tilt angle. In a second case, also known as dynamic calibration, the biggest change in the front camera affects both the pitch angle and the roll angle. In both cases essentially no change in camera position is to be expected. Thus, only an adjustment of the rotation component is required.

Aus dem Stand der Technik sind mehrere Verfahren bekannt, welche eine hochdynamische oder eine dynamische Kalibrierung von Kameraeinheiten ermöglichen. Verbreitet ist beispielsweise eine Kalibrierung beruhend auf der Erkennung von Merkmalen auf einer Straße und deren Verfolgung über mehrere Bilder hinweg. Bei diesen Merkmalen kann es sich beispielsweise um Fahrbahnmarkierungen handeln.A number of methods are known from the prior art which enable highly dynamic or dynamic calibration of camera units. For example, calibration based on recognizing features on a road and tracking them across multiple images is common. These features can be road markings, for example.

In der US 2009/0290032 A1 wird ein Verfahren zur Kalibrierung einer Kamera an einem Fahrzeug während der Fahrt offenbart. Die Kamera nimmt während des Verfahrens eine Folge von Bildern auf, während das Fahrzeug fährt. Das Fahrzeug identifiziert mindestens zwei Merkmalspunkte, zum Beispiel entlang von Fahrbahnmarkierungen, in mindestens zwei Kamerabildern. In dem Verfahren wird eine Kameratranslation zwischen zwei Kamerapositionen und einer Bodenebene in Kamerakoordinaten auf der Grundlage der entsprechenden Merkmale aus den Bildern und der Kameratranslationsrichtung ermittelt. In dem Verfahren wird eine Höhe der Kamera über dem Boden sowie eine Drehung der Kamera in Fahrzeugkoordinaten ermittelt. Diese Kalibrierung erfordert es, dass zumindest zwei Bilder zur Kalibrierung erfasst werden müssen.In the U.S. 2009/0290032 A1 discloses a method for calibrating a camera on a vehicle while driving. The camera captures a sequence of images during the procedure while the vehicle is moving. The vehicle identifies at least two feature points, for example along lane markings, in at least two camera images. In the method, a camera translation between two camera posis tion and a ground plane in camera coordinates based on the corresponding features from the images and the camera translation direction. In the method, a height of the camera above the ground and a rotation of the camera in vehicle coordinates are determined. This calibration requires at least two images to be captured for calibration.

In der DE 10 2019 008 081 A1 ist ein Verfahren offenbart, wobei die Kamerakalibrierung über eine Erfassung der Unschärfe der Kamera erfolgt. In the DE 10 2019 008 081 A1 a method is disclosed in which the camera calibration takes place by detecting the blurring of the camera.

Dabei ist es erforderlich, Objekte in mehreren Bildern zu erkennen, um die Unschärfe zu berechnen und die Kalibrierung durchzuführen.It is necessary to recognize objects in several images in order to calculate the blur and carry out the calibration.

Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur Kalibrierung einer Kameraeinheit eines Fahrzeugs bereitzustellen, die eine schnellere und robustere Kalibrierung der Kameraeinheit ermöglichen.It is an object of the invention to provide a method and a device for calibrating a camera unit of a vehicle, which enables a faster and more robust calibration of the camera unit.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren.The object is solved by the subject matter of the independent patent claims. Advantageous developments of the invention result from the features of the dependent patent claims, the following description and the figures.

Die Erfindung betrifft ein Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung eines Fahrzeugs bezüglich einer horizontalen Oberfläche in einer Fahrzeugumgebung des Fahrzeugs. Mit anderen Worten ist es in dem Verfahren vorgesehen, dass die Ausrichtung der Kameraeinheit der Erfassungseinrichtung des Fahrzeugs in Bezug auf die horizontale Oberfläche, die sich in der Fahrzeugumgebung des Fahrzeugs befindet, ermittelt wird. Bei der horizontalen Oberfläche kann es sich beispielsweise um eine Fläche handeln, auf der das Fahrzeug angeordnet ist, insbesondere eine Fahrbahnfläche. Die Kameraeinheit kann an einer vorbestimmten Position an dem Fahrzeug angeordnet sein.The invention relates to a method for determining an alignment of a camera unit of a detection device of a vehicle with respect to a horizontal surface in a vehicle environment of the vehicle. In other words, the method provides for the alignment of the camera unit of the vehicle's detection device to be determined in relation to the horizontal surface that is located in the area surrounding the vehicle. The horizontal surface can be, for example, a surface on which the vehicle is arranged, in particular a roadway surface. The camera unit may be arranged at a predetermined position on the vehicle.

In einem ersten Schritt ist es vorgesehen, dass durch die Kameraeinheit der Erfassungseinrichtung ein Umgebungsbild der Fahrzeugumgebung erfasst wird. Mit anderen Worten wird durch die Kameraeinheit der Erfassungseinrichtung das Umgebungsbild aufgenommen, welches einen Bereich der Fahrzeugumgebung des Fahrzeugs abbildet. Die Kameraeinheit kann beispielsweise eine Bug- oder Heckkamera sein, welche die vorbestimmte Position an dem Fahrzeug aufweisen kann. Das Umgebungsbild weist Bildpunkte auf, die an jeweiligen Bildpunktkoordinaten des Bildes angeordnet sind. Mit anderen Worten handelt es sich bei dem Umgebungsbild um ein Bild, das die Bildpunkte aufweist, welche sich an jeweiligen Koordinaten des Bildes befinden können. Die Bildpunktkoordinaten können beispielsweise eine Zeile und eine Spalte des Umgebungsbildes umfassen. Es ist vorgesehen, dass durch die Erfassungseinrichtung in dem Umgebungsbild nach einem vorbestimmten Erkennungsverfahren ein Bezugsbereich erfasst wird, der die horizontale Oberfläche darstellt. Mit anderen Worten ist es vorgesehen, dass der Bezugsbereich des Umgebungsbilds durch die Erfassungseinrichtung ermittelt wird, welcher die sich in der Fahrzeugumgebung des Fahrzeugs befindliche horizontale Oberfläche aufweist. Das Erkennungsverfahren kann ein sogenanntes semantisches Segmentierungsverfahren sein, dass Bezugsbereiche, die Beispielsweise eine Straße oder andere horizontale Oberflächen aufweisen, auf Basis von Deep Learning Algorithmen nach dem Stand der Technik erfassen kann.In a first step, it is provided that an image of the surroundings of the vehicle is captured by the camera unit of the capture device. In other words, the image of the surroundings, which depicts an area of the vehicle surroundings of the vehicle, is recorded by the camera unit of the detection device. The camera unit can be a front or rear camera, for example, which can have the predetermined position on the vehicle. The environmental image has pixels that are arranged at the respective pixel coordinates of the image. In other words, the environmental image is an image that has the pixels that can be located at the respective coordinates of the image. The pixel coordinates can include a row and a column of the environment image, for example. It is provided that a reference area, which represents the horizontal surface, is detected by the detection device in the image of the surroundings according to a predetermined detection method. In other words, it is provided that the reference area of the image of the surroundings is determined by the detection device, which has the horizontal surface located in the vehicle surroundings of the vehicle. The recognition method can be a so-called semantic segmentation method that can detect reference areas that have a street or other horizontal surfaces, for example, based on deep learning algorithms according to the prior art.

Durch die Erfassungseinrichtung werden nach einem vorbestimmten Tiefenermittlungsverfahren Bildpunkttiefen von zumindest einigen der Bildpunkte in dem Bezugsbereich ermittelt. Die Bildpunkttiefen beschreiben dabei einen jeweiligen Abstand des Bildpunktes zu der Kameraeinheit. Mit anderen Worten wird der Abstand, den ein Bildpunkt zu der Kameraeinheit aufweist, nach dem vorbestimmten Tiefenermittlungsverfahren ermittelt. Das vorbestimmte Tiefenermittlungsverfahren kann ein monokulares Tiefenschätzungsverfahren auf Basis von Deep Learning Algorithmen nach dem Stand der Technik sein.Pixel depths of at least some of the pixels in the reference area are determined by the detection device according to a predetermined depth determination method. The pixel depths describe a respective distance of the pixel from the camera unit. In other words, the distance that a pixel has from the camera unit is determined according to the predetermined depth determination method. The predetermined depth determination method can be a monocular depth estimation method based on prior art deep learning algorithms.

Durch die Erfassungseinrichtung werden aus den Bildpunktkoordinaten und den Bildpunkttiefen nach einem vorbestimmten Transformationsverfahren jeweilige räumliche Lagen der Bildpunkte in Bezug auf die Kameraeinheit ermittelt. Mit anderen Worten ist es vorgesehen, dass durch die Erfassungseinrichtung das vorbestimmte Transformationsverfahren durchgeführt wird, welches aus den Bildpunktkoordinaten und den Bildpunkttiefen der jeweiligen Bildpunkte die jeweiligen räumlichen Lagen der Bildpunkte in der Fahrzeugumgebung in Bezug auf die Kameraeinheit ermittelt. Die vorbestimmten Transformationsverfahren können Projektionsgleichungen umfassen, welche Strahlenverläufe und Linsenkrümmungen einbeziehen, um die Koordinaten des Bildpunktes in der Umgebung in Bezug auf die Kamera ermitteln zu können. Die jeweiligen räumlichen Lagen der Bildpunkte können beispielsweise in einem kartesischen System in Bezug auf die Kameraeinheit ausgegeben werden. In einem Schritt wird durch die Erfassungseinrichtung aus den räumlichen Lagen der Bildpunkte nach einem vorbestimmten Topografieermittlungsverfahren eine räumliche Kameralage der horizontalen Oberfläche ermittelt. Mit anderen Worten wird aus den Lagen der Bildpunkte, welche sich in dem Bezugsbereich befinden, der die horizontale Oberfläche abbildet, eine Lage der horizontalen Oberfläche nach dem Topografieermittlungsverfahren ermittelt. Das Topographieermittlungsverfahren kann beispielsweise dazu eingerichtet sein, die horizontale Oberfläche durch eine einfache Verbindung der jeweiligen Bildpunkte zu ermitteln. Es kann auch vorgesehen sein, die horizontale Oberfläche mittels Fittingverfahren oder bekannten Verfahren zur Verbindung von Punktwolken zu bestimmen. Durch die Erfindung ergibt sich der Vorteil, dass eine Lage der horizontalen Oberfläche aus einem einzigen Bild ermittelt werden kann. Dadurch ist es mittels eines einzigen Bildes möglich, eine Lage der Kameraeinheit in Bezug auf ihre horizontale Oberfläche abzuleiten und die räumliche Kameralage auszugeben.The respective spatial positions of the pixels in relation to the camera unit are determined by the detection device from the pixel coordinates and the pixel depths according to a predetermined transformation method. In other words, it is provided that the detection device carries out the predetermined transformation method, which determines the respective spatial positions of the pixels in the vehicle environment in relation to the camera unit from the pixel coordinates and the pixel depths of the respective pixels. The predetermined transformation methods can include projection equations which include beam paths and lens curvatures in order to be able to determine the coordinates of the image point in the environment in relation to the camera. The respective spatial positions of the pixels can be output in a Cartesian system in relation to the camera unit, for example. In one step, a spatial camera position of the horizontal surface is determined by the detection device from the spatial positions of the pixels according to a predetermined topography determination method. In other words, the positions of the pixels located in the reference area that maps the horizontal surface become a position of the horizontal surface determined according to the topography determination method. The topography determination method can be set up, for example, to determine the horizontal surface by simply connecting the respective pixels. Provision can also be made to determine the horizontal surface by means of fitting methods or known methods for connecting point clouds. The advantage of the invention is that a position of the horizontal surface can be determined from a single image. This makes it possible, using a single image, to derive a position of the camera unit in relation to its horizontal surface and to output the spatial camera position.

Die Erfindung umfasst auch Weiterbildungen, durch die sich weitere Vorteile ergeben.The invention also includes developments that result in further advantages.

Eine Weiterbildung der Erfindung sieht vor, dass der Bezugsbereich ein vorbestimmtes Referenzmuster umfasst, das in Bezug auf die Kameraeinheit oder das Fahrzeug vorbestimmt ist. Mit anderen Worten sind die zu verwendenden Bildpunkte durch das vorbestimmte Referenzmuster vorgegeben. Das vorbestimmte Referenzmuster kann Punkte, Linien und/oder Bereiche definieren, welche bezüglich der Kameraeinheit oder des Fahrzeugs definiert sein können. Es kann, also vorgesehen sein, dass das Referenzmuster einen vorbestimmten Bereich vor dem Fahrzeug definiert. Der vorbestimmte Bereich kann in die Bildpunktkoordinaten des Bildes transformiert sein, sodass der entsprechende Bereich in dem Bild als Bezugsbereich verwendet wird. Durch die Weiterbildung ergibt sich der Vorteil, dass zumindest einige der Bildpunkte durch das Referenzmuster vorgegeben sind. Dadurch kann zumindest für diese Bildpunkte ein rechenaufwändiges Erfassungsverfahren zur Auswahl der Bildpunkte eingespart werden.A development of the invention provides that the reference area includes a predetermined reference pattern that is predetermined in relation to the camera unit or the vehicle. In other words, the pixels to be used are specified by the predetermined reference pattern. The predetermined reference pattern can define points, lines and/or areas, which can be defined with respect to the camera unit or the vehicle. Provision can therefore be made for the reference pattern to define a predetermined area in front of the vehicle. The predetermined area can be transformed into the pixel coordinates of the image, so that the corresponding area in the image is used as the reference area. The development results in the advantage that at least some of the pixels are specified by the reference pattern. As a result, a computationally expensive detection method for selecting the pixels can be saved, at least for these pixels.

Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Referenzmuster zumindest eine parallel zu einer Querrichtung des Fahrzeugs verlaufende Bezugslinie umfasst. Mit anderen Worten weist das vorbestimmte Referenzmuster die Bezugslinie auf, welche in Weltkoordinaten parallel zu der Querrichtung des Fahrzeugs ausgerichtet ist. Die parallel zur Querrichtung des Fahrzeugs verlaufende Bezugslinie kann in die Bildpunktkoordinaten transformiert als horizontal verlaufende Linie in dem Bild dargestellt sein. Durch die Weiterbildung ergibt sich der Vorteil, dass es möglich ist, eine Wölbung einer Fahrspur quer zum Fahrzeug zu erfassen.A development of the invention provides that the predetermined reference pattern comprises at least one reference line running parallel to a transverse direction of the vehicle. In other words, the predetermined reference pattern has the reference line oriented parallel to the lateral direction of the vehicle in world coordinates. The reference line running parallel to the transverse direction of the vehicle can be shown in the image as a horizontally running line transformed into the pixel coordinates. The development results in the advantage that it is possible to detect a bulge in a lane perpendicular to the vehicle.

Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Referenzmuster zumindest eine parallel zu einer Längsrichtung des Fahrzeugs verlaufende Bezugslinie umfasst. Mit anderen Worten weist das vorbestimmte Referenzmuster die Bezugslinie auf, die in Weltkoordinaten bezüglich der Längsrichtung des Fahrzeugs definiert ist. In dem Bild kann die Bezugslinie als auf einen Fluchtpunkt des Bildes verlaufende Linie dargestellt sein. Dadurch ergibt sich der Vorteil, dass eine Steigung oder ein Gefälle in Fahrtrichtung des Fahrzeugs erfasst werden kann.A development of the invention provides that the predetermined reference pattern comprises at least one reference line running parallel to a longitudinal direction of the vehicle. In other words, the predetermined reference pattern includes the reference line defined in world coordinates with respect to the longitudinal direction of the vehicle. In the image, the reference line can be represented as a line running to a vanishing point of the image. This results in the advantage that an uphill or downhill gradient in the direction of travel of the vehicle can be detected.

Eine Weiterbildung der Erfindung sieht vor, dass die horizontale Oberfläche als Ebene ermittelt wird. Mit anderen Worten ist es vorgesehen, dass die horizontale Oberfläche als Ebene angenähert wird. Es kann beispielsweise vorgesehen sein, dass zumindest 3 Bildpunkte erfasst werden und basierend auf den Koordinaten der zumindest 3 Bildpunkte die horizontale Oberfläche vereinfacht als Ebene angenähert wird. Das Topografieermittlungsverfahren kann bekannte Verfahren der Linearen Algebra zur Ermittlung einer Lage der Ebene aus Lagen von Punkten in der Ebene umfassen. Es kann beispielsweise vorgesehen sein, dass durch die Lagen der Bildpunkte eine Ebene ermittelt wird, welche nach einem vorbestimmten Fitverfahren an die Lage der Bildpunkte angenähert wird. Die Ebene kann bezüglich ihrer Lage in Bezug auf die Kameraeinheit beschrieben sein, so dass eine räumliche Kameralage der horizontalen Oberfläche in Bezug auf die Kameraeinheit beschrieben werden kann. Dadurch ergibt sich der Vorteil, dass eine Durchführung von aufwendigen Fittingverfahren eingespart werden kann.A development of the invention provides that the horizontal surface is determined as a plane. In other words, the horizontal surface is intended to be approximated as a plane. Provision can be made, for example, for at least 3 pixels to be recorded and for the horizontal surface to be approximated in a simplified manner as a plane based on the coordinates of the at least 3 pixels. The topography determination method can include known linear algebra methods for determining a position of the plane from positions of points in the plane. Provision can be made, for example, for a plane to be determined from the positions of the pixels, which plane is approximated to the position of the pixels using a predetermined fitting method. The plane can be described with regard to its position in relation to the camera unit, so that a spatial camera position of the horizontal surface can be described in relation to the camera unit. This results in the advantage that it is possible to save on carrying out complex fitting processes.

Eine Weiterbildung der Erfindung sieht vor, dass die ermittelte räumliche Kameralage mit einer Referenzkameralage verglichen wird und ein vorbestimmtes Fehlersignal ausgegeben wird, wenn durch eine Relation zwischen der Kameralage und der Referenzkameralage ein vorbestimmtes Fehlerkriterium erfüllt wird. Mit anderen Worten ist es vorgesehen, die aus dem Umgebungsbild ermittelte räumliche Kameralage der Kameraeinheit in Bezug auf die horizontale Oberfläche mit der Referenzkameralage zu vergleichen. Die Referenzkameralage kann eine vorbestimmte räumliche Lage der Kameraeinheit in Bezug auf die horizontale Oberfläche beschreiben, welche in einem vorbestimmten Kalibrierungsverfahren ermittelt worden sein kann. Durch die Weiterbildung ergibt sich der Vorteil, dass durch das Verfahren eine Änderung der Kameralage in Bezug auf die horizontale Oberfläche festgestellt werden kann.A development of the invention provides that the determined spatial camera position is compared with a reference camera position and a predetermined error signal is output if a predetermined error criterion is met by a relationship between the camera position and the reference camera position. In other words, it is provided to compare the spatial camera position of the camera unit determined from the image of the surroundings with reference to the horizontal surface with the reference camera position. The reference camera position can describe a predetermined spatial position of the camera unit in relation to the horizontal surface, which can have been determined in a predetermined calibration method. The further development has the advantage that a change in the camera position in relation to the horizontal surface can be detected by the method.

Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Fehlerkriterium eine Abweichung eines Rotationsanteils der Kameralage von einem Rotationsanteil der Referenzkameralage umfasst. Mit anderen Worten ist es vorgesehen, dass das vorbestimmte Fehlerkriterium erfüllt ist, wenn der Rotationsanteil der Kameralage von dem Rotationsanteil der Referenzkameralage um einen bestimmten Wertebereich abweicht.A development of the invention provides that the predetermined error criterion includes a deviation of a rotation component of the camera position from a rotation component of the reference camera position. In other words, it is provided that the predetermined error criterion is met when the rotation component of the camera position deviates from the rotation component of the reference camera position by a specific value range.

Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Fehlerkriterium eine Abweichung eines Rollwinkels und/oder eines Nickwinkels der Kameralage von einer Rotation der Referenzkameralage umfasst. Mit anderen Worten ist das vorbestimmte Fehlerkriterium erfüllt, wenn sich der Rollwinkel der Kameraeinheit und/oder der Nickwinkel der Kameraeinheit in Bezug auf die Lage der horizontalen Oberfläche um einen bestimmten Wertebereich geändert hat.A development of the invention provides that the predetermined error criterion includes a deviation of a roll angle and/or a pitch angle of the camera position from a rotation of the reference camera position. In other words, the predetermined error criterion is met when the roll angle of the camera unit and/or the pitch angle of the camera unit has changed by a specific value range in relation to the position of the horizontal surface.

Eine Weiterbildung der Erfindung sieht vor, dass die Referenzkameralage bei einer Erfüllung des vorbestimmten Fehlerkriteriums durch die ermittelte Kameralage ersetzt wird. Mit anderen Worten ist es vorgesehen, dass die Referenzkameralage durch die ermittelte Kameralage überschrieben wird, falls das Fehlerkriterium erfüllt wird.A development of the invention provides that the reference camera position is replaced by the determined camera position when the predetermined error criterion is met. In other words, it is provided that the reference camera position is overwritten by the determined camera position if the error criterion is met.

Eine Weiterbildung der Erfindung sieht vor, dass die Bildpunkttiefen in dem vorbestimmten Tiefenermittlungsverfahren mittels eines Monotiefenverfahrens ermittelt werden. Mit anderen Worten umfasst das vorbestimmte Tiefenermittlungsverfahren ein Monotiefenverfahren. Ein Monotiefenverfahren ist ein maschinelles Lernverfahren, das die Schätzung der Tiefe in einem einzigen zweidimensionalen Bild ermöglicht. Der maschinelle Lernalgorithmus wird in der Regel anhand von Stereobildern trainiert. Es ist auch möglich, den Algorithmus anhand von Daten eines anderen 3D-Sensors, zum Beispiel eines LiDAR oder anhand von Daten aus Structure-from-Motion-Verfahren zu trainieren. Der maschinelle Lernalgorithmus kann ein überwachter oder unüberwachter Algorithmus sein. Vorzugsweise ist der maschinelle Lernalgorithmus ein neuronales Netz. Am Ende des Trainings ist der maschinelle Lernalgorithmus in der Lage, als Ausgabe Tiefenwerte für jeden Bildpunkt eines einzelnen zweidimensionalen Bildes zu liefern. Der Vorteil dieser Methode ist, dass die Tiefeninformation aus nur einem zweidimensionalen Bild berechnet wird. Ein weiterer Vorteil einer solchen maschinellen Lernmethode ist, dass keine Daten von einem dreidimensionalen Sensor verwendet werden müssen.A development of the invention provides that the pixel depths are determined in the predetermined depth determination method using a mono-depth method. In other words, the predetermined depth determination method includes a mono-depth method. A mono-depth method is a machine learning method that allows the estimation of depth in a single two-dimensional image. The machine learning algorithm is usually trained using stereo images. It is also possible to train the algorithm using data from another 3D sensor, for example a LiDAR, or using data from structure-from-motion processes. The machine learning algorithm can be a supervised or unsupervised algorithm. Preferably the machine learning algorithm is a neural network. At the end of the training, the machine learning algorithm is able to provide depth values for each pixel of a single two-dimensional image as output. The advantage of this method is that the depth information is calculated from just one two-dimensional image. Another advantage of such a machine learning method is that it does not have to use data from a three-dimensional sensor.

Eine Weiterbildung der Erfindung sieht vor, dass der Bezugsbereich des Umgebungsbilds in dem vorbestimmten Erkennungsverfahren mittels einer vorbestimmten semantischen Segmentierung des Umgebungsbildes erfasst wird. Mit anderen Worten ist es vorgesehen, dass das Umgebungsbild mittels des semantischen Segmentierungsverfahrens durch die Erfassungseinrichtung ausgewertet wird, wobei nach dem vorbestimmten semantischen Segmentierungsverfahren der Bezugsbereich des Umgebungsbildes ermittelt wird, welcher Bildpunkte umfasst, die der horizontalen Oberfläche zugeordnet sind.A development of the invention provides that the reference area of the image of the surroundings is detected in the predetermined recognition method by means of a predetermined semantic segmentation of the image of the surroundings. In other words, it is provided that the image of the surroundings is evaluated by the detection device using the semantic segmentation method, with the reference area of the image of the surroundings being determined according to the predetermined semantic segmentation method, which includes pixels that are assigned to the horizontal surface.

Eine Weiterbildung der Erfindung sieht vor, dass das Verfahren eine Erfassung von jeweiligen Umgebungsbildern von jeweiligen Kameraeinheiten der Erfassungseinrichtung umfasst. Mit anderen Worten ist es vorgesehen, dass die Erfassungseinrichtung mehrere Kameraeinheiten aufweist, wobei während des Verfahrens Umgebungsbilder der jeweiligen Kameraeinheiten erfasst werden. Es kann vorgesehen sein, dass die Ermittlung der Kameralagen der jeweiligen Kameraeinheiten basierend auf den jeweiligen Umgebungsbildern erfolgt.A further development of the invention provides that the method includes capturing respective images of the surroundings by respective camera units of the capturing device. In other words, it is provided that the detection device has a plurality of camera units, with environmental images of the respective camera units being detected during the method. Provision can be made for the camera positions of the respective camera units to be determined on the basis of the respective environmental images.

Die Erfindung umfasst eine Erfassungseinrichtung, die zur Ermittlung einer Ausrichtung einer Kameraeinheit der Erfassungseinrichtung bezüglich einer horizontalen Oberfläche in einer Fahrzeugumgebung eines Fahrzeugs eingerichtet ist. Die Kameraeinheit der Erfassungseinrichtung ist dazu eingerichtet, ein Umgebungsbild der Fahrzeugumgebung zu erfassen, wobei das Umgebungsbild Bildpunkte aufweist, die an jeweiligen Bildpunktkoordinaten des Bildes angeordnet sind. Die Erfassungseinrichtung ist dazu eingerichtet, in dem Umgebungsbild nach einem vorbestimmten Erkennungsverfahren einen Bezugsbereich zu erfassen, der die horizontale Oberfläche darstellt. Die Erfassungseinrichtung ist dazu eingerichtet, nach einem vorbestimmten Tiefenermittlungsverfahren Bildpunkttiefen von zumindest einigen der Bildpunkte in dem Bezugsbereich zu ermitteln, die einen jeweiligen Abstand zur Kameraeinheit beschreiben und aus den Bildpunktkoordinaten und den Bildpunkttiefen nach einem vorbestimmten Transformationsverfahren jeweilige räumliche Lagen der Bildpunkte in Bezug auf die Kameraeinheit zu ermitteln. Die Erfassungseinrichtung ist dazu eingerichtet, aus den räumlichen Lagen der Bildpunkte nach einem vorbestimmten Topografieermittlungsverfahren eine räumliche Kameralage der horizontalen Oberfläche zu ermitteln.The invention includes a detection device that is set up to determine an alignment of a camera unit of the detection device with respect to a horizontal surface in a vehicle environment of a vehicle. The camera unit of the detection device is set up to capture an image of the surroundings of the vehicle, the image of the surroundings having pixels which are arranged at the respective pixel coordinates of the image. The detection device is set up to detect a reference area, which represents the horizontal surface, in the environmental image according to a predetermined detection method. The detection device is set up to determine, according to a predetermined depth determination method, pixel depths of at least some of the pixels in the reference area, which describe a respective distance from the camera unit, and from the pixel coordinates and the pixel depths, according to a predetermined transformation method, to determine respective spatial positions of the pixels in relation to the camera unit to determine. The detection device is set up to determine a spatial camera position of the horizontal surface from the spatial positions of the pixels according to a predetermined topography determination method.

Die Erfassungseinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The detection device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code which is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.

Die Erfindung umfasst auch ein Fahrzeug, das eine Erfassungseinrichtung aufweist. Das erfindungsgemäße Fahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The invention also includes a vehicle that has a detection device. that invent The vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Erfassungseinrichtung und des erfindungsgemäßen Fahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Erfassungseinrichtung und des erfindungsgemäßen Fahrzeugs hier nicht noch einmal beschrieben.The invention also includes developments of the detection device according to the invention and of the vehicle according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the detection device according to the invention and the vehicle according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of features of the described embodiments. The invention also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments were not described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Fahrzeugs, das eine Erfassungseinrichtung aufweist;
2 eine schematische Darstellung eines Umgebungsbildes, das von einer Kameraeinheit eines Fahrzeugs aufgenommen wurde; und
3 eine schematische Darstellung eines Ablaufs eines Verfahrens.

Exemplary embodiments of the invention are described below. For this shows:

1 a schematic representation of a vehicle having a detection device;
2 a schematic representation of an environment image that was recorded by a camera unit of a vehicle; and
3 a schematic representation of a sequence of a method.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is also intended to encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols designate elements with the same function.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1, das eine Erfassungseinrichtung 2 aufweist. Die Erfassungseinrichtung 2 kann zwei Kameraeinheiten 3 aufweisen, die dazu eingerichtet sein können, jeweilige Umgebungsbilder 4 einer Fahrzeugumgebung 5 des Fahrzeugs 1 zu erfassen. Die Erfassungseinrichtung 2 kann eine Datenverarbeitungsvorrichtung 19 oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Umgebungsbilder 4 können Bildpunkte 6 aufweisen, die jeweilige Bildpunktkoordinaten 7 in dem Umgebungsbild 4 aufweisen können. Es kann vorgesehen sein, dass die Erfassungseinrichtung 2 dazu eingerichtet ist, die durch die Kameraeinheiten 3 erfassten Umgebungsbilder 4 einem Fahrerassistenzsystem 8 bereitzustellen, welches dazu eingerichtet ist, das Fahrzeug 1 zumindest teilweise zu führen oder vorbestimmte Signale an den Fahrer auszugeben. Damit eine Erfassung von Objekten 9 und deren Lage in Bezug auf das Fahrzeug 1 erfolgen kann, ist es erforderlich, die Kameraeinheiten 3 in Bezug auf das Fahrzeug 1 zu kalibrieren. Die Kalibration erfolgt durch eine Generierung einer Referenzkameralage 11, welche die jeweilige Lage der jeweiligen Kameraeinheit 3 in Bezug auf ein Weltkoordinatensystem 12 der Fahrzeugumgebung 5 beschreiben kann. Mittels der Referenzkameralage 11 können die erfassten Objekte 9 von einem Kamerakoordinatensystem 13 der Kameraeinheit 3 in das Weltkoordinatensystem 12 transformiert werden. Dies kann beispielsweise erforderlich sein, wenn auf einem Bildschirm des Fahrzeugs 1 eine Aufnahme des Umgebungsbildes 4 mit Führungslinien, welche einen zu verfolgenden Verlauf kennzeichnen, gezeigt werden soll. Die Kalibrierung kann während einer Fertigung des Fahrzeugs 1 erfolgt sein. Dabei kann angenommen sein, dass sich das Fahrzeug 1 auf einer horizontalen Oberfläche 14 befindet, welche eine vorbestimmte Lage in Bezug auf das Fahrzeug 1 aufweisen kann. Während eines Betriebs des Fahrzeugs 1 kann es jedoch zu Änderungen der Lage der horizontalen Oberfläche 14 zu dem Fahrzeug 1 kommen. Dies kann beispielsweise bei einem Beschleunigen, Bremsen und/oder Lenken des Fahrzeugs 1 erfolgen. Aufgrund der Fahrmanöver kann sich die Lage der Kameraeinheit 3 in Bezug auf die Oberfläche 14 verändern. Die Veränderung kann beispielsweise eine Rotation umfassen, so dass beispielsweise eine Rotationsmatrix, ein Nick- oder Rollwinkel der horizontale Oberfläche 14 sich in Bezug auf die Kameraeinheit 3 ändern kann. Dadurch kann es erforderlich sein, eine neue Kameralage 15 zu erfassen und diese statt der Referenzkameralage 11 zu verwenden. Um die Lage der horizontalen Oberfläche 14 erfassen zu können, kann es vorgesehen sein, dass durch die Erfassungseinrichtung 2 ein Bezugsbereich 16 erfasst wird, in welchem die horizontale Oberfläche 14 in dem Umgebungsbild 4 zu erkennen ist. Zusätzlich oder alternativ dazu kann es vorgesehen sein, dass der Bezugsbereich 16 ein vorbestimmtes Referenzmuster 24 umfasst, das in Bezug auf die Kameraeinheit 3 oder das Fahrzeug 1 vorbestimmt ist. Das vorbestimmte Referenzmuster 24 kann beispielsweise Punkte, Bezugslinien 22 oder Flächen beschreiben, deren Lagen in Bezug auf die Kameraeinheit 3 oder das Fahrzeug 1 in Weltkoordinaten 17 vorbestimmt sein können. Die Lagen bezüglich der Kameraeinheit 3 oder dem Fahrzeug 1 in den Weltkoordinaten 17 können entsprechend in Bildpunktkoordinaten 7 transformiert sein, um deren Lage in dem Umgebungsbild 4 beschreiben zu können. Dadurch ergibt sich der Vorteil, dass zumindest einige der Bildpunkte 6 nicht durch aufwändige Verfahren ausgewählt werden müssen sondern durch das Referenzmuster 24 vorgegeben sein können. Das Referenzmuster 24 kann beispielsweise zumindest eine parallel zu einer Querrichtung des Fahrzeugs 1 verlaufende Bezugslinie 22 umfassen. Dadurch kann es beispielsweise möglich sein, eine Wölbung der Straße quer zu einer Fahrtrichtung zu erfassen. Die parallel zu einer Querrichtung des Fahrzeugs 1 verlaufende Bezugslinie 22 kann in dem Umgebungsbild 4 als horizontal verlaufende Bezugslinie 22 verlaufen, auf der zumindest einige der Bildpunkte 6 angeordnet sein können. Das vorbestimmte Referenzmuster 24 kann auch zumindest eine parallel zu einer Längsrichtung des Fahrzeugs 1 verlaufende Bezugslinie 22 umfassen. In dem Umgebungsbild 4 kann die zumindest eine parallel zu der Längsrichtung des Fahrzeugs 1 verlaufende Bezugslinie 22 als Linie erscheinen, welche auf einen Fluchtpunkt des Umgebungsbildes 4 zulaufen kann. Dadurch kann beispielsweise ermittelt werden, ob die horizontale Oberfläche 14 in einer Fahrtrichtung des Fahrzeugs 1 ansteigt, abnimmt, oder gewölbt ist.. Die Erfassungseinrichtung 2 kann bestimmte der Bildpunkte 6, welche innerhalb des Bezugsbereichs 16 liegen, auswählen und nach einem vorbestimmten Bildpunkttiefenermittlungsverfahren Bildpunkttiefen 18 der jeweiligen Bildpunkte 6 ermitteln. Nach einem vorbestimmten Transformationsverfahren kann die Erfassungseinrichtung 2 die Lage der Bildpunkte 6 als Weltkoordinaten 17 in dem Weltkoordinatensystem 12 ermitteln und nach einem vorbestimmten Topografieermittlungsverfahren die horizontale Oberfläche 14 an die ausgewählten Bildpunkte 6 annähern. In einem einfachen Fall kann das Topographieermittlungsverfahren als ein Verfahren ausgebildet sein, dass dazu eingerichtet ist, die horizontale Oberfläche 14 als Ebene zu ermitteln, welche an die Weltkoordinaten 17 der Bildpunkte 6 angenähert wird. In dieser Ausführungsform wird somit lediglich eine plane Ebene ermittelt, was eine einfache und schnelle Ermittlung der horizontalen Oberfläche 14 ermöglichen kann. Weitere Ausführungsformen des Topographieermittlungsverfahrens können Fitverfahrensschritte umfassen, um beispielsweise Polynome zur Beschreibung der horizontalen Oberfläche 14 ermitteln zu können. Für die horizontale Oberfläche 14 kann die Lage der Oberfläche 14 in Bezug auf die Kameraeinheit 3 ermittelt werden. Es kann vorgesehen sein, dass die dabei ermittelte Kameralage 15 mit der Referenzkameralage 11 auf ein Vorliegen eines vorbestimmten Fehlerkriteriums überprüft wird. 1 shows a schematic representation of a vehicle 1 which has a detection device 2 . The detection device 2 can have two camera units 3 which can be set up to capture respective images 4 of a vehicle environment 5 of the vehicle 1 . The detection device 2 can have a data processing device 19 or a processor device that is set up to carry out an embodiment of the method according to the invention. The environmental images 4 can have pixels 6 which can have respective pixel coordinates 7 in the environmental image 4 . Provision can be made for the detection device 2 to be set up to provide the surroundings images 4 captured by the camera units 3 to a driver assistance system 8 which is set up to at least partially guide the vehicle 1 or to output predetermined signals to the driver. So that objects 9 and their position in relation to vehicle 1 can be detected, it is necessary to calibrate camera units 3 in relation to vehicle 1 . The calibration takes place by generating a reference camera position 11 which can describe the respective position of the respective camera unit 3 in relation to a world coordinate system 12 of the vehicle environment 5 . The detected objects 9 can be transformed from a camera coordinate system 13 of the camera unit 3 into the world coordinate system 12 by means of the reference camera position 11 . This can be necessary, for example, if a recording of the image of the surroundings 4 with guide lines that characterize a course to be followed is to be shown on a screen of the vehicle 1 . The calibration can have taken place during production of the vehicle 1 . In this case, it can be assumed that the vehicle 1 is located on a horizontal surface 14 which can have a predetermined position in relation to the vehicle 1 . However, changes in the position of the horizontal surface 14 in relation to the vehicle 1 can occur during operation of the vehicle 1 . This can take place, for example, when the vehicle 1 accelerates, brakes and/or steers. The position of the camera unit 3 in relation to the surface 14 can change as a result of the driving manoeuvre. The change can include a rotation, for example, so that, for example, a rotation matrix, a pitch or roll angle of the horizontal surface 14 can change in relation to the camera unit 3 . As a result, it may be necessary to acquire a new camera position 15 and to use this instead of the reference camera position 11 . In order to be able to detect the position of the horizontal surface 14 , it can be provided that the detection device 2 detects a reference area 16 in which the horizontal surface 14 can be seen in the environmental image 4 . In addition or as an alternative to this, it can be provided that the reference area 16 includes a predetermined reference pattern 24 which is predetermined in relation to the camera unit 3 or the vehicle 1 . The predetermined reference pattern 24 can, for example Describe points, reference lines 22 or areas whose positions can be predetermined in relation to the camera unit 3 or the vehicle 1 in world coordinates 17 . The positions with respect to the camera unit 3 or the vehicle 1 in the world coordinates 17 can be correspondingly transformed into pixel coordinates 7 in order to be able to describe their position in the environmental image 4 . This results in the advantage that at least some of the pixels 6 do not have to be selected using complex methods, but can be specified by the reference pattern 24 . The reference pattern 24 can, for example, comprise at least one reference line 22 running parallel to a transverse direction of the vehicle 1 . It can thereby be possible, for example, to detect a bulge in the road perpendicular to a direction of travel. The reference line 22 running parallel to a transverse direction of the vehicle 1 can run in the environmental image 4 as a horizontally running reference line 22 on which at least some of the image points 6 can be arranged. The predetermined reference pattern 24 can also include at least one reference line 22 running parallel to a longitudinal direction of the vehicle 1 . In the environmental image 4 , the at least one reference line 22 running parallel to the longitudinal direction of the vehicle 1 can appear as a line which can converge on a vanishing point of the environmental image 4 . In this way it can be determined, for example, whether the horizontal surface 14 increases, decreases or is curved in a direction of travel of the vehicle 1. The detection device 2 can select certain of the pixels 6 which lie within the reference area 16 and, according to a predetermined pixel depth determination method, pixel depths 18 determine the respective pixels 6. According to a predetermined transformation method, the detection device 2 can determine the position of the pixels 6 as world coordinates 17 in the world coordinate system 12 and approximate the horizontal surface 14 to the selected pixels 6 according to a predetermined topography determination method. In a simple case, the topography determination method can be designed as a method that is set up to determine the horizontal surface 14 as a plane that is approximated to the world coordinates 17 of the pixels 6 . In this embodiment, therefore, only a planar plane is determined, which can enable the horizontal surface 14 to be determined easily and quickly. Further embodiments of the topography determination method can include fitting method steps in order, for example, to be able to determine polynomials for describing the horizontal surface 14 . The position of the surface 14 in relation to the camera unit 3 can be determined for the horizontal surface 14 . Provision can be made for the camera position 15 determined in the process to be checked with the reference camera position 11 for the presence of a predetermined error criterion.

Wird das vorbestimmte Fehlerkriterium erfüllt, kann durch die Erfassungseinrichtung 2 ein vorbestimmtes Fehlersignal ausgegeben werden. Es kann auch vorgesehen sein, dass eine neue Kalibration der Kameraeinheit 3 durchgeführt wird, wobei die Referenzkameralage 11 durch die ermittelte Kameralage 15 ersetzt werden kann. Das vorbestimmte Fehlerkriterium kann eine Abweichung der Referenzlage von der erfassten Kameralage 15 beschreiben. Dies kann beispielsweise eine Rotation und/oder eine Translation betreffen. Es kann beispielsweise vorgesehen sein, dass das vorbestimmte Fehlerkriterium erfüllt ist, wenn beispielsweise der Nick- oder Rollwinkel der ermittelten Kameralage 15 von dem der Referenzkameralage 11 abweicht.If the predetermined error criterion is met, a predetermined error signal can be output by the detection device 2 . Provision can also be made for a new calibration of the camera unit 3 to be carried out, in which case the reference camera position 11 can be replaced by the determined camera position 15 . The predetermined error criterion can describe a deviation of the reference position from the recorded camera position 15 . This can relate to a rotation and/or a translation, for example. Provision can be made, for example, for the predetermined error criterion to be met if, for example, the pitch or roll angle of the determined camera position 15 deviates from that of the reference camera position 11 .

2 zeigt eine schematische Darstellung eines Umgebungsbildes 4, das von einer Kameraeinheit 3 eines Fahrzeugs 1 aufgenommen wurde. Die Kameraeinheit 3 kann ein zweidimensionales Umgebungsbild 4 der Fahrzeugumgebung 5 des Fahrzeugs 1 aufnehmen. Die Fahrzeugumgebung 5 umfasst eine Straßenebene oder Fahrbahn, einen befahrbaren Bereich und optional ein oder mehrere Objekte 9 an jeweiligen Objektlagen 10. Der befahrbare Bereich ist ein Teilbereich der Fahrbahnebene. Im Folgenden bezeichnen wir den befahrbaren Bereich als Bezugsbereichs 16 oder ROI (Region of Interest). Die Ausrichtung der Kameraeinheit 3 in Bezug auf die Fahrbahnebene, welche die horizontale Oberfläche 14 sein kann, kann als willkürlich angenommen werden. Das Fahrzeug 1 kann sich auf der Fahrbahnebene bewegen. Der Bezugsbereich 16 kann das Referenzmuster 24 umfassen, welches zwei Bezugslinien 22 aufweisen kann, entlang derer vorbestimmte Bildpunkte 6 angeordnet sein können. 2 shows a schematic representation of an image of the surroundings 4 which was recorded by a camera unit 3 of a vehicle 1 . The camera unit 3 can record a two-dimensional image 4 of the surroundings 5 of the vehicle 1 . The vehicle environment 5 includes a street level or roadway, an area that can be driven on and optionally one or more objects 9 in respective object locations 10. The area that can be driven on is a sub-area of the roadway plane. In the following we refer to the drivable area as the reference area 16 or ROI (Region of Interest). The orientation of the camera unit 3 with respect to the road plane, which can be the horizontal surface 14, can be assumed to be arbitrary. The vehicle 1 can move on the road surface. The reference area 16 can include the reference pattern 24, which can have two reference lines 22 along which predetermined pixels 6 can be arranged.

In einer bevorzugten Ausführungsform kann der befahrbare Bereich durch eine semantische Segmentierungsmethode bestimmt werden. Der zweidimensionale Bezugsbereichs 16 kann als Eingabe für das vorbestimmte Tiefenermittlungsverfahren, welches ein Algorithmus für maschinelles Lernen sein kann, verwendet werden. Das Tiefenermittlungsverfahren ordnet mindestens einem Teil der Bildpunkte 6 des zweidimensionalen Bezugsbereichs 16 jeweilige Bildpunkttiefen 18 zu. Mit anderen Worten wird eine Tiefenkarte 20 geschätzt, indem zumindest einem Teil der Bildpunkte 6 in dem Bezugsbereich 16 der Abstand des Bildpunktes 6 zu der Kameraeinheit 3 als jeweilige Bildpunkttiefe 18 zugewiesen wird. In einer bevorzugten Ausführungsform ordnet der maschinelle Lernalgorithmus jedem Bildpunkt 6 des zweidimensionalen Bezugsbereichs 16 die jeweilige Bildpunkttiefe 18 zu.In a preferred embodiment, the drivable area can be determined by a semantic segmentation method. The two-dimensional reference area 16 can be used as input to the predetermined depth determination method, which can be a machine learning algorithm. The depth determination method assigns respective pixel depths 18 to at least some of the pixels 6 of the two-dimensional reference area 16 . In other words, a depth map 20 is estimated by assigning the distance of the pixel 6 to the camera unit 3 as the respective pixel depth 18 to at least some of the pixels 6 in the reference region 16 . In a preferred embodiment, the machine learning algorithm assigns the respective pixel depth 18 to each pixel 6 of the two-dimensional reference area 16 .

Aus den Bildpunkttiefen 18, der Bildpunkte 6 des ursprünglichen zweidimensionalen Bezugsbereichs 16 kann eine Tiefenkarte 20 gebildet sein, welche eine Fläche oder eine Verlaufslinie der Tiefe beschreiben kann. Es ist dann möglich, eine Ebene, welche die horizontale Oberfläche 14 beschreiben kann, an die Bildpunkte 6 des Bezugsbereichs 16 im Weltkoordinatensystem 12 anzupassen und den Neigungs- und Rollwinkel der Kameraeinheit 3 als die relative Ausrichtung des Weltkoordinatensystems 12 zum Kamerakoordinatensystem 13 zu bestimmen.A depth map 20 can be formed from the pixel depths 18 of the pixels 6 of the original two-dimensional reference area 16, which map can describe an area or a profile of the depth. It is then possible to adapt a plane, which the horizontal surface 14 can describe, to the pixels 6 of the reference area 16 in the world coordinate system 12 and to determine the pitch and roll angle of the camera unit 3 as the relative orientation of the world coordinate system 12 to the camera coordinate system 13.

Die Beziehung zwischen Bildpunkten 6 im Kamerakoordinatensystem 13 und Bildpunkten 6 im Weltkoordinatensystem 12 ist gegeben durch; $Pc = R (Pw - T)$

Pc: Bildpunkt in Kamerakoordinatensystem
Pw: zu transformierender Bildpunkt in Weltkoordinatensystem
R: Rotationsmatrix
T: Übersetzungsmatrix

Die Rotationsmatrix kann wie folgt geschrieben werden

R = (\begin{matrix} s i n α_{p} s i n α_{r} & - c o s α_{r} & - c o s α_{p} s i n α_{r} \\ s i n α_{p} c o s α_{r} & s i n α_{r} & - c o s α_{r} c o s α_{p} \\ c o s α_{p} & 0 & s i n α_{p} \end{matrix})

Wobei ap der Neigungswinkel und ar der Rollwinkel istThe relationship between pixels 6 in camera coordinate system 13 and pixels 6 in world coordinate system 12 is given by;

personal = R (pw - T)

personal: Pixel in camera coordinate system
pw: pixel to be transformed in the world coordinate system
R: rotation matrix
T: translation matrix

The rotation matrix can be written as follows

R = (\begin{matrix} s i n a_{p} s i n a_{right} & - c O s a_{right} & - c O s a_{p} s i n a_{right} \\ s i n a_{p} c O s a_{right} & s i n a_{right} & - c O s a_{right} c O s a_{p} \\ c O s a_{p} & 0 & s i n a_{p} \end{matrix})

Where ap is the pitch angle and ar is the roll angle

Die Werte der so ermittelten Nick- und Rollwinkel werden dann mit den statischen Werten für Nick- und Rollwinkel verglichen: Wenn die beiden Werte nicht übereinstimmen, wird eine Fehlkalibrierung festgestellt und gegebenenfalls eine Kalibrierung durchgeführt.The values of the pitch and roll angles determined in this way are then compared with the static values for pitch and roll angles: if the two values do not match, a faulty calibration is determined and, if necessary, a calibration is carried out.

Wenn eine Kameraeinheit 3 jedoch falsch kalibriert ist, sind die Kameradaten nicht zuverlässig und können nicht verwendet werden, um den ADAS-Systemen verwertbare Informationen zu liefern. Aus diesen Gründen ist die Kamerakalibrierung eine wesentliche Aufgabe in ADAS-Systemen. Normalerweise sind in einem Fahrzeug 1 mehrere der Kameraeinheiten 3 vorhanden: eine Frontkamera, eine oder mehrere Seitenkameras und eine Heckkamera. In vielen Erfassungseinrichtungen 2 ist die Frontkamera eine Monokamera. Obwohl wir uns im Folgenden auf eine Kalibrierung für eine Frontkamera, insbesondere für eine Monokamera, beziehen, kann die vorliegende Idee auch auf andere der Kameraeinheiten 3, insbesondere auf eine Rückfahrkamera, angewendet werden.However, if a camera unit 3 is incorrectly calibrated, the camera data is not reliable and cannot be used to provide useful information to the ADAS systems. For these reasons, camera calibration is an essential task in ADAS systems. A vehicle 1 normally has a number of the camera units 3: a front camera, one or more side cameras and a rear camera. In many detection devices 2, the front camera is a mono camera. Although below we refer to a calibration for a front camera, in particular for a mono camera, the present idea can also be applied to other camera units 3, in particular to a rear view camera.

Die Kalibrierung besteht in der Auswertung einer Winkeldrehung die in Form einer Matrix ausgedrückt werden kann zwischen einem Kamerakoordinatensystem 13, das der Kameraeinheit 3 zugeordnet ist, und einem Weltkoordinatensystem 12, das sich auf die Welt/Fahrzeugumgebung 5 bezieht.The calibration consists in the evaluation of an angular rotation, which can be expressed in the form of a matrix, between a camera coordinate system 13 that is associated with the camera unit 3 and a world coordinate system 12 that relates to the world/vehicle environment 5 .

Diese Drehung kann in drei elementare Drehungen unterteilt werden, die jeweils durch die Winkel Pitch, Roll und Yaw definiert sind. Eine erste Kalibrierung der Kameraeinheit 3 kann im Werk am Ende des Herstellungsprozesses mit Hilfe einer statischen oder Short-Track-Kalibrierung erfolgen. Unter „statischer Kalibrierung“ ist eine Kamerakalibrierung zu verstehen, die mit Hilfe von Markern erfolgt, während sich das Fahrzeug 1 nicht bewegt.This rotation can be broken down into three elementary rotations, each defined by the pitch, roll, and yaw angles. A first calibration of the camera unit 3 can take place in the factory at the end of the manufacturing process using a static or short-track calibration. “Static calibration” is to be understood as a camera calibration that takes place using markers while the vehicle 1 is not moving.

Unter „Kurzstrecke“ ist eine Kalibrierung zu verstehen, die stattfindet, während das Fahrzeug 1 langsam mit einer Geschwindigkeit von etwa 10 km/h eine gerade Straße mit Markierungen abfährt, ausgehend von einer Linienmontage bis zu einer Parklücke. Durch die Erfassung der Marker während der Kalibrierung kann die Referenzkameralage 11 ermittelt werden, welche eine Relation zwischen dem Kamerakoordinatensystem 13, das der Kameraeinheit 3 zugeordnet ist, und einem Weltkoordinatensystem 12, das sich auf die Welt/Fahrzeugumgebung 5 bezieht, ermöglicht.“Short distance” means a calibration that takes place while the vehicle 1 is slowly driving down a straight road with markings at a speed of about 10 km/h, starting from an assembly line to a parking space. By detecting the markers during the calibration, the reference camera position 11 can be determined, which enables a relationship between the camera coordinate system 13 assigned to the camera unit 3 and a world coordinate system 12 that relates to the world/vehicle environment 5 .

Auch während der Fahrt kann es notwendig sein, eine erneute Kalibrierung durchzuführen, zum Beispiel wegen Änderungen der Winkel und der Position der Kameraeinheit 3 aufgrund der Fahrzeugdynamik, zum Beispiel Bewegungen des Fahrgestells aufgrund von Straßenunebenheiten oder plötzlichen Bremsvorgängen, oder aufgrund von Änderungen der Winkel und der Position der Kameraeinheit 3 aufgrund unterschiedlicher Belastungen im Fahrzeug 1.It may also be necessary to recalibrate while driving, for example due to changes in the angles and position of the camera unit 3 due to vehicle dynamics, for example chassis movements due to bumps in the road or sudden braking, or due to changes in the angles and the Position of the camera unit 3 due to different loads in the vehicle 1.

Im ersten Fall hochdynamische Kalibrierung betrifft die größte Veränderung der Frontkamera den Neigungswinkel. Im zweiten Fall dynamische Kalibrierung betrifft die größte Änderung der Frontkamera sowohl den Neigungswinkel als auch den Rollwinkel. In beiden Fällen ist im Wesentlichen keine Änderung der Kameraposition am Fahrzeug 1 zu erwartenIn the first case, high-dynamic calibration, the biggest change in the front camera affects the tilt angle. In the second case, dynamic calibration, the biggest change in the front camera affects both the pitch angle and the roll angle. In both cases, essentially no change in the camera position on the vehicle 1 is to be expected

2 zeigt ein Umgebungsbild, das von einer Kameraeinheit 3 eines Fahrzeugs 1 aufgenommen wurde. Das Umgebungsbild 4ist zweidimensional und zeigt eine Straße, die von Bordsteinen begrenzt wird. Auf dem Umgebungsbild 4 sind beispielhaft einige Objekte 9 wie Bäume, geparkte Autos und Gebäude zu sehen. Der befahrbare Bereich ist definiert als der freie Raum vor dem Fahrzeug. Die Bildpunkte 6 in dem Bezugsbereich 16 sind die Bildpunkte 6, für die ein Tiefenwert ermittelt wird. Diese Bildpunkte 6 können dann zum Einpassen einer zweidimensionalen Oberfläche 14 oder Ebene in das XYZ-Weltkoordinatensystem 12 verwendet werden. 2 shows an image of the surroundings that was recorded by a camera unit 3 of a vehicle 1 . The environmental image 4 is two-dimensional and shows a road that is bordered by curbs. Some objects 9 such as trees, parked cars and buildings can be seen as examples on the environment image 4 . The drivable area is defined as the free space in front of the vehicle. The pixels 6 in the reference area 16 are the pixels 6 for which a depth value is determined. These pixels 6 can then be used for fitting a two-dimensional surface 14 or plane into the XYZ world coordinate system 12.

Eine ermittelte Horizontlinie 21 definiert den Horizont, wie er nach der zuvor erläuterten Methode berechnet wurde, während die Horizontlinie 23 den statisch kalibrierten Horizont darstellt. Die Bezugslinien 22 auf der Fahrbahn stellen Fluchtlinien dar: es ist klar, dass die ermittelte Horizontlinie 21 mit den Fluchtlinien kompatibel ist.A determined horizon line 21 defines the horizon as it was calculated using the method explained above, while the horizon line 23 represents the statically calibrated horizon. The reference lines 22 on the road represent alignment lines: it is clear that the horizon line 21 determined is compatible with the alignment lines.

Für die Durchführung des oben beschriebenen Verfahrens ist es nicht erforderlich, dass der Horizont sichtbar ist: der Horizont kann durch andere Objekte 9 verdeckt sein, ohne dass sich die Ergebnisse der vorliegenden Methode ändern. Das heißt es ist weiterhin möglich, den Roll- und Nickwinkel der Kameraeinheit 3 zu bestimmen. Das vorliegende Verfahren funktioniert besonders gut bei Fehlkalibrierungen, die durch plötzliche Bremsvorgänge verursacht werden.It is not necessary for the horizon to be visible in order to carry out the method described above: the horizon can be hidden by other objects 9 without changing the results of the present method. That means it is still possible to determine the roll and pitch angle of the camera unit 3 . The present method works particularly well for miscalibrations caused by sudden braking.

Der Begriff Oberfläche 14 oder Bodenebene bezieht sich auf eine reale Ebene parallel zur Fahrbahn. Der Begriff Bildebene bezieht sich auf einen zweidimensionalen Raum, der als Ausgabe der Kameraeinheit 3 bereitgestellt wird, die einen realen dreidimensionalen Raum betrachtet. Der Begriff Ebene im Unendlichen bezeichnet alle Punkte im Unendlichen und bezieht sich auf eine Ebene, die senkrecht zur Grundebene liegt. Der Begriff Horizontlinie 21, 23 bezeichnet eine Gerade in der sich die Grundebene und eine zur Grundebene parallele Ebene im Unendlichen schneiden. Der Begriff Fluchtpunkt bezeichnet einen Punkt, an dem parallele Linien in der Grundebene in einer Bildebene zu konvergieren scheinen. Wenn die Kameraeinheit 3 zwischen zwei parallelen Linien in der Grundebene zentriert ist, die parallel zur optischen Achse der Kameraeinheit 3 verlaufen, wird der Schnittpunkt der beiden parallelen Linien als zentraler Fluchtpunkt bezeichnet. Der Begriff Fluchtlinie beschreibt einen Ort mit geschätzten Fluchtpunkten.The term surface 14 or ground plane refers to a real plane parallel to the roadway. The term image plane refers to a two-dimensional space provided as an output of the camera unit 3 viewing a real three-dimensional space. The term plane at infinity denotes all points at infinity and refers to a plane perpendicular to the ground plane. The term horizon line 21, 23 designates a straight line in which the base plane and a plane parallel to the base plane intersect at infinity. The term vanishing point denotes a point where parallel lines in the ground plane appear to converge in an image plane. When the camera unit 3 is centered between two parallel lines in the ground plane that are parallel to the optical axis of the camera unit 3, the intersection of the two parallel lines is called the central vanishing point. The term vanishing line describes a location with estimated vanishing points.

3 zeigt eine weitere schematische Darstellung eines Umgebungsbildes 4, das von einer Kameraeinheit 3 eines Fahrzeugs 1 aufgenommen wurde. In dem Umgebungsbild 4 sind die zwei Bezugslinien 22a, 22b zu erkennen welche parallel zu der Fahrzeuglängsachse des Fahrzeugs 1 verlaufen. In dem Umgebungsbild 4 laufen diese auf einen gemeinsamen Fluchtpunkt zu. Die Bildpunkte 6 sind entlang der beiden Bezugslinien 22a, 22b angeordnet. In der Tiefenkarte 20 sind jeweilige Höhenverläufe 25a, 25b der Oberfläche entlang der Bezugslinien 22a ,22b dargestellt. Der Höhenverlauf 25a ergibt sich aus einer statischen Kalibrierung, der Höhenverlauf 25b aus dem beschriebenen Verfahren. 3 shows a further schematic representation of an environment image 4 that was recorded by a camera unit 3 of a vehicle 1. The two reference lines 22a, 22b, which run parallel to the longitudinal axis of the vehicle 1, can be seen in the image of the surroundings 4. In the environmental image 4, these run towards a common vanishing point. The pixels 6 are arranged along the two reference lines 22a, 22b. The depth map 20 shows the respective height profiles 25a, 25b of the surface along the reference lines 22a, 22b. The height curve 25a results from a static calibration, the height curve 25b from the method described.

4 zeigt eine schematische Darstellung eines Ablaufs eines Verfahrens. Das Verfahren kann zur Ermittlung einer Ausrichtung einer Kameraeinheit 3 einer Erfassungseinrichtung 2 eines Fahrzeugs 1 bezüglich einer horizontalen Oberfläche 14 in einer Fahrzeugumgebung 5 des Fahrzeugs 1 vorgesehen sein. 4 shows a schematic representation of a sequence of a method. The method can be provided for determining an orientation of a camera unit 3 of a detection device 2 of a vehicle 1 with respect to a horizontal surface 14 in a vehicle environment 5 of the vehicle 1 .

In einem Schritt P1 kann durch die Kameraeinheit 3 der Erfassungseinrichtung 2 ein Umgebungsbild 4 der Fahrzeugumgebung 5 erfasst wird, wobei das Umgebungsbild 4 Bildpunkte 6 aufweist, die an jeweiligen Bildpunktkoordinaten 7 des Bildes angeordnet sind.In a step P1, the camera unit 3 of the detection device 2 can capture an image of the surroundings 4 of the surroundings 5 of the vehicle, the image of the surroundings 4 having pixels 6 which are arranged at the respective pixel coordinates 7 of the image.

In einem Schritt P2 kann durch die Erfassungseinrichtung 2 in dem Umgebungsbild 4 nach einem vorbestimmten Erkennungsverfahren ein Bezugsbereich 16 erfasst werden, der die horizontale Oberfläche 14 darstellt.In a step P2, a reference region 16, which represents the horizontal surface 14, can be detected by the detection device 2 in the environmental image 4 according to a predetermined detection method.

In einem Schritt P3 kann durch die Erfassungseinrichtung 2 nach einem vorbestimmten Tiefenermittlungsverfahren Bildpunkttiefen 18 von zumindest einigen der Bildpunkte 6 in dem Bezugsbereich 16 ermittelt werden, die einen jeweiligen Abstand zur Kameraeinheit 3 beschreiben.In a step P3, the detection device 2 can use a predetermined depth determination method to determine pixel depths 18 of at least some of the pixels 6 in the reference area 16, which describe a respective distance from the camera unit 3.

In einem Schritt P4 kann durch die Erfassungseinrichtung 2 aus den Bildpunktkoordinaten 7 und den Bildpunkttiefen 18 nach einem vorbestimmten Transformationsverfahren jeweilige räumliche Lagen der Bildpunkte 6 in Bezug auf die Kameraeinheit 3 ermittelt werden.In a step P4, the respective spatial positions of the pixels 6 in relation to the camera unit 3 can be determined by the detection device 2 from the pixel coordinates 7 and the pixel depths 18 according to a predetermined transformation method.

In einem Schritt P5 kann durch die Erfassungseinrichtung 2 aus den räumliche Lagen der Bildpunkte 6 nach einem vorbestimmten Topografieermittlungsverfahren eine räumliche Kameralage 15 der horizontalen Oberfläche 14 ermittelt wird.In a step P5, a spatial camera position 15 of the horizontal surface 14 can be determined by the detection device 2 from the spatial positions of the pixels 6 according to a predetermined topography determination method.

Insgesamt zeigen die Beispiele, wie die Kameralage relativ zur Straßenoberfläche aus einem einzigen zweidimensionalen Umgebungsbild ermittelt werden kann.Overall, the examples show how the camera position relative to the road surface can be determined from a single two-dimensional image of the surroundings.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 2009/0290032 A1 [0010]
DE 102019008081 A1 [0011]

Claims

Method for determining an alignment of a camera unit (3) of a detection device (2) of a vehicle (1) with respect to a horizontal surface (14) in a vehicle environment (5) of the vehicle (1), wherein - An environmental image (4) of the vehicle environment (5) is captured by the camera unit (3), wherein - the environmental image (4) has pixels (6) which are arranged at the respective pixel coordinates (7) of the environmental image (4), - a reference area (16), which represents the horizontal surface (14), is detected by the detection device (2) in the environmental image (4) according to a predetermined detection method, - the detection device (2) uses a predetermined depth determination method to determine pixel depths (18) of at least some of the pixels (6) in the reference area (16), which describe a respective distance from the camera unit (3), - the respective spatial positions of the pixels (6) in relation to the camera unit (3) are determined by the detection device (2) from the pixel coordinates and the pixel depths (18) according to a predetermined transformation method, and - A spatial camera position (15) of the horizontal surface (14) is determined by the detection device (2) from the spatial positions of the pixels (6) according to a predetermined topography determination method.

procedure after claim 1 , characterized in that the reference area (16) comprises a predetermined reference pattern (24) which is predetermined in relation to the camera unit (3) or the vehicle (1).

procedure after claim 2 , characterized in that the predetermined reference pattern (24) comprises at least one parallel to a transverse direction of the vehicle (1) reference line (22).

procedure after claim 2 or 3 , characterized in that the predetermined reference pattern (24) comprises at least one reference line (22) running parallel to a longitudinal direction of the vehicle (1).

Method according to one of the preceding claims, characterized in that the horizontal surface (14) is determined as a plane.

Method according to one of the preceding claims, characterized in that the spatial camera position (15) is compared with a reference camera position (11), and a predetermined error signal is output if a relation between the camera position (15) and the reference camera position (11) predetermined error criterion is met.

procedure after claim 6 , characterized in that the predetermined error criterion includes a deviation of a rotation component of the camera position (15) from a rotation component of the reference camera position (11).

procedure after claim 7 , characterized in that the predetermined error criterion includes a deviation of a roll angle and / or a pitch angle of the camera position (15) from a rotation of the reference camera position (11).

Procedure according to one of Claims 6 until 8th , characterized in that the reference camera position (11) is replaced by the spatial camera position (15) if the predetermined error criterion is met.

Method according to one of the preceding claims, characterized in that the pixel depths (18) are determined in the predetermined depth determination method using a mono-depth method.

Method according to one of the preceding claims, characterized in that the reference region (16) of the image of the surroundings (4) is detected in the predetermined recognition method by means of a predetermined semantic segmentation of the image of the surroundings (4).

Method according to one of the preceding claims, characterized in that the method comprises capturing respective environmental images (4) by at least two camera units (3) of the capturing device (2).

Detection device (2), set up to determine an alignment of a camera unit (3) of a detection device (2) of a vehicle (1) with respect to a horizontal surface (14) in a vehicle environment (5) of the vehicle (1), wherein - the camera unit (3 ) the detection device (2) is set up to detect an environmental image (4) of the vehicle environment (5), wherein - the environmental image (4) has pixels (6) which are arranged at respective pixel coordinates (7) of the image, - the detection device (2) is set up to detect a reference area (16) in the environmental image (4) according to a predetermined detection method, which represents the horizontal surface (14), - the detection device (2) is set up for this to determine pixel depths (18) of at least some of the pixels (6) in the reference area (16) according to a predetermined depth determination method, which describe a respective distance from the camera unit (3), - the detection device (2) is set up to, from the pixel coordinates ( 7) and the pixel depths (18) according to a predetermined transformation method to determine respective spatial positions of the pixels (6) in relation to the camera unit (3), and from the spatial positions of the pixels (6) according to a predetermined topography determination method to determine a spatial camera position (15 ) of the horizontal surface (14).

Vehicle (1) having a detection device (2) according to Claim 13 .