EP4619938A1 - Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt - Google Patents

Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt

Info

Publication number
EP4619938A1
EP4619938A1 EP23808761.3A EP23808761A EP4619938A1 EP 4619938 A1 EP4619938 A1 EP 4619938A1 EP 23808761 A EP23808761 A EP 23808761A EP 4619938 A1 EP4619938 A1 EP 4619938A1
Authority
EP
European Patent Office
Prior art keywords
camera unit
image data
neural network
vehicle
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23808761.3A
Other languages
English (en)
French (fr)
Inventor
Carsten Knoeppel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler Truck Holding AG
Original Assignee
Daimler Truck AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Truck AG filed Critical Daimler Truck AG
Publication of EP4619938A1 publication Critical patent/EP4619938A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the invention relates to a system for determining position angles of a camera unit of a vehicle relative to a reference coordinate system while the vehicle is traveling, a vehicle with such a system, and a method for training an artificial neural network for producing such a system.
  • Autonomous vehicles like a human driver, typically rely on obtaining information about their surroundings. For example, in order to be able to perform optical lane detection using a camera, a highly precise extrinsic calibration of the camera is necessary. The calibration results in the camera's position angle relative to a reference coordinate system in order to describe the orientation of the camera. Only when these position angles are known with sufficient accuracy can coordinate system transformations of camera data be transferred to a reference coordinate system for driver assistance systems or automatic driver control systems, for example automatic lateral control, in particular automatic lane guidance.
  • WO 2019/067298 A2 relates to a device for an extrinsic camera calibration system (ECCS).
  • the device has an extrinsic calibration processor for receiving an image from a plurality of cameras mounted on a vehicle, wherein the respective image has recorded features from a calibration pattern; one or more extrinsic calibration parameters (ECP) are also determined from one or more of the features recorded by the camera(s), wherein the ECP(s) map one or more coordinates of the recorded feature(s) to one or more camera coordinates.
  • ECP extrinsic calibration parameters
  • WO 2019/067298 A2 describes an extrinsic calibration of surround vision cameras. The relative extrinsic position of the cameras to each other is calibrated, but this is not done in the direction of travel.
  • US 10,298,910 B1 also relates to a system with a vehicle, comprising: a plurality of cameras arranged on a body of the vehicle such that fields of view of at least two of the cameras at least partially overlap; one or more processors; and computer-readable media storing instructions executable by the one or more processors, the instructions comprising: receiving a set of images from the plurality of cameras, the set of images comprising images substantially representing the environment at a first point in time and captured by the plurality of cameras; determining a plurality of point pairs for the set of images, each of the point pairs comprising a first point in one of the images of the set of images and a second point in another of the images of the set of images, the first point and the second point corresponding to the same image feature; determining first errors associated with the plurality of point pairs, the first errors at least partially comprising a first distance between the first point and an epipolar line corresponding to the second point; Determining, based at least in part on the first errors, a first subset of the
  • DE 10 2015 209 764 A1 further relates to a device for extrinsic calibration of an image capture device of a vehicle, in particular a passenger car, comprising: a storage device; at least one image capture device, in particular at least one video camera, which is designed to capture at least one image of the vehicle's surroundings; an identification device; a comparison device; and a calibration device; wherein at least one vehicle feature and at least one target position of the at least one vehicle feature are stored in the storage device; the identification device is designed to identify an actual position of the at least one vehicle feature in the at least one environmental image of the vehicle; the comparison device is designed to compare the actual position with the target position; and the calibration device determines the extrinsic parameters of the at least one image capture device based on a deviation of the actual position from the target position.
  • DE 10 2015 209 764 A1 thus describes an extrinsic calibration of an image capture device, but only for a stationary vehicle.
  • the object of the invention is to improve the camera-based environmental detection for an automated vehicle in such a way that the position angles of a camera unit relative to a predetermined reference coordinate system are determined during the journey on the basis of the respective camera images of the camera unit itself, in particular without further separate devices such as additional sensors or physical calibration images (such as screens).
  • a first aspect of the invention relates to a system for determining position angles of a camera unit of a vehicle relative to a reference coordinate system while the vehicle is traveling, comprising the camera unit and a computing unit connected to the camera unit, wherein the computing unit is designed to capture current image data of the camera unit while the vehicle is traveling and to check the suitability of the current image data of the camera unit for determining position angles of the camera unit and, if the image data is sufficiently suitable, to execute a pre-trained artificial neural network with the image data of the camera unit recorded while the vehicle is traveling as the input variable of the artificial neural network, wherein the output variable of the artificial neural network associated with the image data of a respective image comprises the current position angles of the camera unit relative to the predetermined reference coordinate system.
  • the reference coordinate system is preferably intended to be fixed to the body or another component of the vehicle.
  • This definition of the The advantage of a reference coordinate system is that, if the orientation of the camera unit relative to the vehicle, in particular the vehicle body, remains unchanged, the relative position angles between the camera unit and the vehicle body remain constant, regardless of the kinematic driving state.
  • the relationship, expressed by the obtained position angles of the camera unit is limited to the relative orientation between a coordinate system fixed to the body of the camera unit and a coordinate system fixed to the body of the vehicle.
  • the reference coordinate system can in turn be the result of further coordinate system transformations.
  • the reference coordinate system can also be determined on the basis of kinematic variables, in particular aligned to a current direction of movement of the vehicle.
  • the pitch angle describes the angle of the camera unit that occurs when the camera unit rotates around a transverse axis. A change in the pitch angle is therefore caused by the camera unit pitching up and down in a vertical plane.
  • a change in pitch angle therefore always means a change in the detection range relative to a perpendicular to the horizon line.
  • the yaw angle describes an azimuth change in the detection range of the camera unit.
  • the yaw angle therefore represents an angle in a compass plane.
  • the artificial neural network is trained as described below before it is used in the system according to the invention. Since, when training the artificial neural network, image data in particular is used as a predetermined input variable, which includes scenarios suitable for training, when the fully trained artificial neural network is used on the basis of current image data while the vehicle is driving, the result of the position angles of the camera unit relative to the reference coordinate system can be obtained from the image data. Key features that are implicitly used by the artificial neural network for this purpose are objects in the image data that converge towards a common vanishing point, which allow the position of the vanishing point to be determined relative to the remaining image data. Therefore, such image data from images of a straight road are better suited to Application of the artificial neural network is suitable, for example, for images of curves in roads.
  • the artificial neural network is a convolutional neural network.
  • the system is therefore used in particular for extrinsically determining position angles of a camera unit of a vehicle, in particular for extrinsically calibrating a camera unit arranged on a vehicle when the position angles are used to calibrate the camera unit, for example in use for a driver assistance system or a fully automatic vehicle guidance system.
  • the camera unit is used in particular to capture the area in front of the vehicle with its detection range, so it is aligned in the main direction of travel of the vehicle.
  • a camera unit with only a single camera or a single stereo camera is preferably used.
  • the position angles are advantageously determined while the vehicle is driving. Since the system can be used while driving, no separate workshop visit is necessary for the vehicle, for example after a windshield has been replaced, the camera unit has been replaced, repairs have been made after an accident, or other relevant modifications have been made to the vehicle. As soon as suitable image data is available, the currently assumed position angles can also be repeatedly verified while the vehicle is driving. This is particularly important in order to be able to guarantee the safety of fully autonomous vehicles.
  • the system for a vehicle described above uses an artificial neural network, which was trained as described below. Properties resulting from the training process described also characterize the artificial neural network used in this system, which is implemented in particular in such a way that data about the artificial neural network is stored on a permanent The processing is stored in the memory of the computing unit so that it can be executed by the computing unit while the vehicle is moving.
  • the image data for training the artificial neural network as well as the image data in the later application for operating the system are preferably those image data that contain an interesting sub-area of the complete camera image.
  • Such an interesting sub-area is also called a "region of interest" or ROI for short.
  • the attitude angles only include a pitch angle and a yaw angle.
  • the roll angle of the camera unit is therefore ignored.
  • the computing unit is designed to check the suitability of the image data of the camera unit for determining position angles of the camera unit by analyzing the image data of the camera unit. Additional sensors are therefore advantageously not necessary - the suitability is checked from the image data of the camera unit and, if suitable, the position angles are derived.
  • the computing unit is designed to check the suitability of the image data of the camera unit by executing an additional pre-trained artificial neural network with the current image data as an input variable.
  • This additional pre-trained artificial neural network is therefore preferably used exclusively to check the suitability of the position angle determination.
  • Straight roads in front of the vehicle are therefore classified by the additional pre-trained artificial neural network as more suitable than curved roads, since a vanishing point can be derived in the straight roads as described above and the position angles can be derived from this.
  • the computing unit is designed to check the suitability of the image data of the camera unit for determining position angles of the camera unit by analyzing current kinematic data of the vehicle.
  • kinematic data of the vehicle can be used, which are compared with limit values in particular - in particular a minimum speed and maximum kinematic values of an inertial measurement unit of the vehicle (such as the rate of rotation around a vertical axis, also called the yaw rate of the vehicle), or translational accelerations of the vehicle.
  • limit values in particular - in particular a minimum speed and maximum kinematic values of an inertial measurement unit of the vehicle (such as the rate of rotation around a vertical axis, also called the yaw rate of the vehicle), or translational accelerations of the vehicle.
  • the computing unit is designed to only execute the artificial neural network with the image data of the camera unit recorded while the vehicle is driving as an input variable if it is sufficiently suitable, or to use the output variable of the artificial neural network that is continuously determined regardless of the suitability. If the artificial neural network is only executed if suitability is determined, this saves computing power.
  • the computing unit is designed to use the determined position angles of the camera unit to calibrate the camera unit while the vehicle is driving and/or to verify an existing calibration of the camera unit while the vehicle is driving.
  • a calibrated camera unit means that the assumed vanishing point corresponds to an actual vanishing point in the image data.
  • a further aspect of the invention relates to a vehicle with a system as described above and below.
  • a further aspect of the invention relates to a method for training an artificial neural network, wherein in a plurality of repetitions of training processes the input variables of the artificial neural network comprise image data in a respective translational shift and the output variable for the respective position angles associated with the translational displacement of a camera unit that is imaginarily or actually associated with the image data, so that the training of the artificial neural network designs the parameters of the artificial neural network in such a way that the artificial neural network maps the relationship between the position angles and the translational displacement of the image data in order to obtain the position angles of the camera unit generating the image data as an output variable in the later operation of the artificial neural network by means of a real or virtual displacement of the image data as an input variable.
  • a very large number of shifted image data is preferably used, particularly preferably in the order of 10 4 to 10 7 individual combinations of shifts and image data.
  • the artificial neural network is preferably trained offline, ie in a stationary computing unit and not while the vehicle is driving, as this makes it easier for a user to assist in the selection of images with suitable image data. If the artificial neural network is sufficiently trained, it can be used in the subsequent operation of the vehicle.
  • the artificial neural network receives image data from a real or realistic virtual scene for training, there is no need to manually select certain features from the image data and specifically pass them on to the artificial neural network via the input variable, but rather a complete set of image data in the sense of the input variable is transmitted to the artificial neural network.
  • the artificial neural network takes relevant features into account independently and without further action, because it is in the nature of an artificial neural network to use certain patterns and features to arrive at a certain output variable as the result of the calculations within the artificial neural network.
  • artificial neural networks will take into account not only lane markings, but also other objects that are depicted in the image data - this applies, for example, to direction arrows, guard rails, and in particular all those objects that are perspectively directed towards a common vanishing point in the image data and either reach it or do not reach it.
  • the process of training the artificial neural network at least parameter values of the artificial neural network are obtained, and even if a variable structure of the artificial neural network (for example, with a variable number of levels), also structural parameters.
  • the first-mentioned parameter values indicate factors with which corresponding signal paths are amplified.
  • the translational shift simulates a change in the pitch angle or a change in the yaw angle. If the image data is shifted horizontally, this corresponds to a change in the yaw angle. If the image data is shifted vertically, this corresponds to a change in the pitch angle. In the multitude of shifts, in some cases only horizontal shifts can occur, in others only vertical shifts, and horizontal and vertical shifts can also be used in combination in some or all cases.
  • the translational shifts of the image data therefore represent a deliberate deviation from the correct camera-fixed vanishing point.
  • the translational shifts thus correspond equally to a change in the pitch angle and/or a change in the yaw angle (depending on whether the translational shifts have vertical and/or horizontal shifts) of the camera unit relative to the reference coordinate system.
  • the artificial neural network generates exactly one set of position angles, particularly for an image with image data.
  • the training of the artificial neural network can be automated to a high degree, for example by automating the translational shifts of the image data, for example by means of a random generator.
  • the selection of the image data that is suitable for training the artificial neural network can be automated on the one hand by checking the image data through image analysis, for example to see whether it captures a straight road course, but alternatively or additionally, the selection of suitable image data can be carried out by a person.
  • the translational shift of the image data is carried out by means of a random generator, wherein the random generator determines the direction and amount of the shift.
  • Fig. 1 A vehicle with a system for determining position angles of a camera unit according to an embodiment of the invention.
  • Fig. 2 A typical camera image that can be recorded while the vehicle is driving.
  • Fig. 3 A method for training the artificial neural network using the camera image from Fig. 2.
  • Fig. 1 shows the tractor unit of a semi-trailer as vehicle 3.
  • a camera unit 1 aligned in the direction of travel uses its detection range to capture the area in front of the vehicle 3, including the lane markings, signs, crash barriers, the edge of the asphalt road, etc.; in the upper part of Fig. 1, the vehicle 3 is shown from the side, in the lower part of the image the same vehicle 3 is shown from above.
  • the pitch angle N refers to a pitching and pitching of the camera unit 1 relative to the horizon line
  • the yaw angle G is defined around a vertical axis of the vehicle 3 and correlates with a left-right view from the driver's cab of the vehicle 3. If the camera unit 1 were to be rotated by a pitch angle N, this change would appear as an apparent translational shift of the camera image up and down, but if it were rotated by the yaw angle G, the camera image would appear to be shifted sideways.
  • Pitch angle N and yaw angle G are the attitude angles that are to be determined by the computing unit 5 as follows:
  • the system for determining the attitude angles has the camera unit 1 and a computing unit 5 connected to the camera unit 1.
  • the computing unit 5 receives current image data from the camera unit 1 while the vehicle 3 is driving and uses the image data to check its suitability for determining the attitude angles of the Camera unit 1. Only if the image data is sufficiently suitable does the computing unit 5 execute a pre-trained artificial neural network with the image data of the camera unit 1 currently recorded while the vehicle 3 is traveling as the input variable of the artificial neural network.
  • the output variable of the artificial neural network is a vector with the position angles "pitch angle" and "yaw angle” as described in Fig. 1. How the artificial neural network is pre-trained before it is permanently used in the vehicle 3 in operation, and is used in operation for the repeated recalibration of the pitch angle N and the yaw angle G, is described with reference to Fig. 2 and Fig. 3.
  • Fig. 2 shows the complete camera image of the camera unit 1 with the outer frame. There is a central region which is of particular interest, the so-called “region of interest” Rol, within which the course of the road is contained. The road markings or edges of the road and, if applicable, their extensions meet at a common vanishing point, the so-called "focus of expansion”. Furthermore, Fig. 2 shows the horizon line up to which the aligned road markings are captured by the camera image. This camera image was specifically selected either fully automatically and/or with the help of manual selection by a person, as it shows a straight road course and is therefore particularly suitable for training the artificial neural network.
  • the suitability of the camera image stems from the fact that a straight course of the road can be seen, from which a central vanishing point FoE can be derived.
  • the possibility of deriving such a vanishing point FoE is an important property for training the artificial neural network.
  • Fig. 3 shows an artificial modification of the real camera image of Fig. 2.
  • the central section of interest Rol is randomly shifted to the side and up/down artificially on Rol' in order to simulate a change in the pitch angle and a change in the yaw angle of the camera unit 1.
  • a large data set can be generated for training the artificial neural network.
  • the artificial neural network receives the translations converted into the corresponding pitch angle and yaw angle of the camera unit 1 as a specified output variable and the shifted image data as an input variable.
  • the parameters of the artificial neural network are determined in such a way that the artificial neural network also determines the specified output variable on the basis of the input variable.
  • the trained artificial neural network can then be applied to suitable image data currently determined during the journey during subsequent operation of the vehicle 3 in order to determine a current pitch angle and a current yaw angle of the camera unit 1 relative to the body of the vehicle 3 on the basis of the current image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein System zum Ermitteln von Lagewinkeln einer Kameraeinheit (1) eines Fahrzeugs (3) während der Fahrt des Fahrzeugs (3), aufweisend die Kameraeinheit (1) und eine mit der Kameraeinheit (1) verbundene Recheneinheit (5), wobei die Recheneinheit (5) dazu ausgeführt ist, aktuelle Bilddaten der Kameraeinheit (1) während der Fahrt des Fahrzeugs (3) zu erfassen und eine Eignung der aktuellen Bilddaten der Kameraeinheit (1) zum Ermitteln von Lagewinkeln der Kameraeinheit (1) zu überprüfen und bei genügender Eignung der Bilddaten ein vortrainiertes künstliches neuronales Netz mit den während der Fahrt des Fahrzeugs (3) aufgenommenen Bilddaten der Kameraeinheit (1) als Eingangsgröße des künstlichen neuronalen Netzes auszuführen, wobei eine Ausgangsgröße des künstlichen neuronalen Netzes die aktuellen Lagewinkel der Kameraeinheit (1) umfasst.

Description

Lagewinkel-Kalibrierung einer Fahrzeugkamera während der Fahrt
Die Erfindung betrifft ein System zum Ermitteln von Lagewinkeln einer Kameraeinheit eines Fahrzeugs gegenüber einem Referenzkoordinatensystem während der Fahrt des Fahrzeugs, ein Fahrzeug mit einem solchen System, sowie ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Herstellung eines solchen Systems.
Autonom fahrende Fahrzeuge sind, wie ein menschlicher Fahrer auch, typischerweise auf die Beschaffung von Informationen über die Umgebung angewiesen. Um beispielsweise eine optische Spurerkennung mittels einer Kamera ausführen zu können, ist eine hochgenaue extrinsische Kalibrierung der Kamera notwendig. Die Kalibrierung liefert im Ergebnis Lagewinkel der Kamera gegenüber einem Bezugskoordinatensystem, um eine Orientierung der Kamera zu beschreiben. Nur dann nämlich, wenn diese Lagewinkel ausreichend genau bekannt sind, können Koordinatensystemtransformationen von Daten der Kamera in ein Referenzkoordinatensystem für Fahrerassistenzsysteme oder automatische Fahrersteuerungssysteme überführt werden, beispielsweise eine automatische Querregelung, insbesondere eine automatische Spurführung.
Im Stand der Technik sind extrinsische Kamerakalibrierungssysteme bekannt. In diesem Zusammenhang betrifft die WO 2019/067298 A2 eine Einrichtung für ein extrinsisches Kamerakalibrierungssystem (ECCS). Die Einrichtung weist einen extrinsischen Kalibrierungsprozessor zum Empfangen eines Bildes von mehreren Kameras auf, die an einem Fahrzeug montiert sind, wobei das jeweilige Bild aufgenommene Merkmale von einem Kalibrierungsmuster aufweist; es erfolgt ferner das Bestimmen eines oder mehrerer extrinsischer Kalibrierungsparameter (ECP) von einem oder mehreren der durch die Kamera(s) aufgenommenen Merkmale, wobei der oder die ECP eine oder mehrere Koordinaten des oder der aufgenommene Merkmale auf eine oder mehrere Kamerakoordinaten abbilden. In der WO 2019/067298 A2 wird demnach eine extrinsische Kalibrierung von Surroundvision Kameras beschrieben. Dabei wird die relative extrinsische Lage der Kameras zueinander kalibriert, dies erfolgt jedoch nicht in Fahrtrichtung.
Die US 10,298,910 B1 betrifft außerdem ein System mit einem Fahrzeug, das umfasst: Mehrere Kameras, die so an einer Karosserie des Fahrzeugs angeordnet sind, dass Sichtfelder von mindestens zwei der Kameras sich mindestens teilweise überlappen; einen oder mehrere Prozessoren; und computerlesbare Medien, die Anweisungen speichern, die von dem einen oder den mehreren Prozessoren ausführbar sind, wobei die Anweisungen Folgendes umfassen: Empfangen eines Satzes von Bildern von der Vielzahl von Kameras, wobei der Satz von Bildern Bilder umfasst, die die Umgebung im Wesentlichen zu einem ersten Zeitpunkt darstellen und von der Vielzahl von Kameras aufgenommen wurden; Bestimmen einer Vielzahl von Punktpaaren für den Satz von Bildern, wobei jedes der Punktpaare einen ersten Punkt in einem der Bilder des Satzes von Bildern und einen zweiten Punkt in einem anderen der Bilder des Satzes von Bildern umfasst, wobei der erste Punkt und der zweite Punkt demselben Bildmerkmal entsprechen; Bestimmen erster Fehler, die der Mehrzahl von Punktpaaren zugeordnet sind, wobei die ersten Fehler zumindest teilweise einen ersten Abstand zwischen dem ersten Punkt und einer dem zweiten Punkt entsprechenden Epipolarlinie umfassen; Bestimmen, zumindest teilweise basierend auf den ersten Fehlern, einer ersten Teilmenge der Vielzahl von Punktpaaren; Bestimmen einer ersten Korrekturfunktion, die eine Fehlausrichtung einer geschätzten relativen Pose der Kameras darstellt, aus der ersten Teilmenge der Vielzahl von Punktpaaren; Bestimmen zweiter Fehler, die den mehreren Punktpaaren zugeordnet sind, wobei die zweiten Fehler zumindest teilweise einen zweiten Abstand zwischen dem ersten Punkt und einer Neuprojektion des zweiten Punkts umfassen, der eine Punkttiefe schätzt; zumindest teilweise auf den zweiten Fehlern basierendes Bestimmen einer zweiten Teilmenge der Vielzahl von Punktpaaren; Bestimmen einer zweiten Korrekturfunktion, die eine Fehlausrichtung einer geschätzten relativen Pose der Kameras darstellt, aus der zweiten Teilmenge der Vielzahl von Punktpaaren; und Kalibrieren der Vielzahl von Kameras zumindest teilweise basierend auf der ersten Korrekturfunktion und der zweiten Korrekturfunktion. Die US 10,298,910 B1 bezieht sich daher auf die extrinsische Kalibrierung von Kameras zueinander.
Die DE 10 2015 209 764 A1 betrifft ferner eine Vorrichtung zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs, insbesondere eines PKW, umfassend: Eine Speichereinrichtung; mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs zu erfassen; eine Identifikationseinrichtung; eine Vergleichseinrichtung; und eine Kalibriereinrichtung; wobei in der Speichereinrichtung mindestens ein Fahrzeugmerkmal und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals gespeichert sind; die Identifikationseinrichtung dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild des Fahrzeugs zu identifizieren; die Vergleichseinrichtung dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und die Kalibriereinrichtung auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung bestimmt. Die DE 10 2015 209 764 A1 beschreibt damit zwar eine extrinsische Kalibrierung einer Bilderfassungseinrichtung, jedoch nur für ein stehendes Fahrzeug.
Aufgabe der Erfindung ist es, die kamerabasierte Umgebungserfassung für ein automatisiertes Fahrzeug dahingehend zu verbessern, dass eine Ermittlung von Lagewinkeln einer Kameraeinheit gegenüber einem vorgegebenen Referenzkoordinatensystem während der Fahrt auf Basis der jeweiligen Kamerabilder der Kameraeinheit selbst, insbesondere ohne weitere gesonderte Vorrichtungen wie zusätzliche Sensoren oder physische Kalibrierungsbilder (wie Leinwände), erfolgt.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein System zum Ermitteln von Lagewinkeln einer Kameraeinheit eines Fahrzeugs gegenüber einem Referenzkoordinatensystem während der Fahrt des Fahrzeugs, aufweisend die Kameraeinheit und eine mit der Kameraeinheit verbundene Recheneinheit, wobei die Recheneinheit dazu ausgeführt ist, aktuelle Bilddaten der Kameraeinheit während der Fahrt des Fahrzeugs zu erfassen und eine Eignung der aktuellen Bilddaten der Kameraeinheit zum Ermitteln von Lagewinkeln der Kameraeinheit zu überprüfen und bei genügender Eignung der Bilddaten ein vortrainiertes künstliches neuronales Netz mit den während der Fahrt des Fahrzeugs aufgenommenen Bilddaten der Kameraeinheit als Eingangsgröße des künstlichen neuronalen Netzes auszuführen, wobei die den Bilddaten eines jeweiligen Bildes zugeordnete Ausgangsgröße des künstlichen neuronalen Netzes die aktuellen Lagewinkel der Kameraeinheit gegenüber dem vorgegebenen Referenzkoordinatensystem umfasst.
Das Referenzkoordinatensystem ist bevorzugt gedacht körperfest an der Karosserie oder einem anderen Bauelement des Fahrzeugs angeordnet. Diese Definition des Referenzkoordinatensystems weist den Vorteil auf, dass bei einer unveränderten Orientierung der Kameraeinheit gegenüber dem Fahrzeug, insbesondere der Fahrzeugkarosserie, die relativen Lagewinkel zwischen Kameraeinheit und Karosserie des Fahrzeugs konstant bleiben, unabhängig vom kinematischen Fahrzustand. Die Relation, ausgedrückt durch die erhaltenen Lagewinkel der Kameraeinheit, ist dabei auf die relative Orientierung zwischen einem zur Kameraeinheit körperfesten Koordinatensystem und einem zur Karosserie des Fahrzeugs körperfesten Koordinatensystem beschränkt. Alternativen zur Definition des Referenzkoordinatensystems sind jedoch möglich, so kann das Referenzkoordinatensystem wiederum das Ergebnis weiterer Koordinatensystemtransformationen sein, das Referenzkoordinatensystem kann jedoch in einer weiteren alternativen Ausführungsform auch auf Basis von kinematischen Größen bestimmt werden, insbesondere an einer aktuellen Bewegungsrichtung des Fahrzeugs ausgerichtet werden. Bei einer solchen kinematischen Definition kann ein engerer logischer Zusammenhang mit einer Fahrzeugführungs- Regelung des Fahrzeugs erreicht werden, stellt jedoch ein komplexeres Vorgehen dar als die Nutzung von ausschließlich körperfest definierten Koordinatensystemen.
Der Nickwinkel beschreibt denjenigen Winkel der Kameraeinheit, der beim Rotieren der Kameraeinheit um eine Querachse entsteht. Eine Änderung des Nickwinkel kommt somit durch Aufnicken und Abnicken der Kameraeinheit in einer vertikalen Ebene zustande.
Ein veränderter Nickwinkel bedeutet damit immer auch einen veränderten Erfassungsbereich bezüglich einer Senkrechten zur Horizontlinie. Der Gierwinkel dagegen beschreibt eine Azimut-Änderung des Erfassungsbereichs der Kameraeinheit. Der Gierwinkel stellt somit einen Winkel in einer Kompassebene dar.
Das künstliche neuronale Netz wird wie weiter unten beschrieben trainiert, bevor es im erfindungsgemäßen System Anwendung findet. Da beim Trainieren des künstlichen neuronalen Netzes insbesondere Bilddaten als vorgegebene Eingangsgröße verwendet werden, die für das Training passende Szenarien umfassen, kann in der Anwendung des fertig trainierten künstlichen neuronalen Netzes auf Grundlage von aktuellen Bilddaten während der Fahrt des Fahrzeugs aus den Bilddaten das Ergebnis von Lagewinkeln der Kameraeinheit gegenüber dem Referenzkoordinatensystem gewonnen werden. Kernmerkmale, die implizit vom künstlichen neuronalen Netz dafür genutzt werden, sind in den Bilddaten auf einen gemeinsamen Fluchtpunkt zulaufende Objekte, welche es erlauben, die Position des Fluchtpunkts relativ zu den übrigen Bilddaten zu ermitteln. Daher sind solche Bilddaten von Bildern einer geradlinig verlaufenden Straße besser zur Anwendung des künstlichen neuronalen Netzes geeignet, als beispielsweise Bildern von Kurven in Straßen.
Bevorzugt ist das künstliche neuronale Netz ein Convolutional Neuronal Network.
Das System dient damit insbesondere zum extrinsischen Ermitteln von Lagewinkeln einer Kameraeinheit eines Fahrzeugs, insbesondere zum extrinsischen Kalibrieren einer an einem Fahrzeug angeordneten Kameraeinheit, wenn die Lagewinkel zum Kalibrieren der Kameraeinheit beispielsweise in der Verwendung für ein Fahrerassistenzsystem oder einem vollautomatischen Fahrzeugführungssystem genutzt werden.
Die Kameraeinheit dient insbesondere dazu, mit ihrem Erfassungsbereich die Umgebung vor dem Fahrzeug zu erfassen, sie ist daher in Haupt-Fahrtrichtung des Fahrzeugs ausgerichtet. Bevorzugt wird eine Kameraeinheit mit nur einer einzigen Kamera oder einer einzigen Stereokamera verwendet.
Es ist eine vorteilhafte Wirkung des ersten Aspekts der Erfindung, dass zur Bestimmung der Lagewinkel der Kameraeinheit und daraus folgend zur Kalibrierung der Kameraeinheit lediglich Kamerabilder der Kameraeinheit selbst erforderlich sind, sodass weitere Vorrichtungen nicht notwendig sind, insbesondere an den Rädern oder Fahrwerksteilen angeordnete Lasermesseinrichtungen, sowie externe physische Kalibrierbilder wie speziell bedruckte Leinwände. Außerdem erfolgt das Ermitteln der Lagewinkel vorteilhaft während der Fahrt des Fahrzeugs. Indem das System während der Fahrt anwendbar ist, ist kein separater Werkstattaufenthalt für das Fahrzeug notwendig, beispielsweise nachdem eine Windschutzscheibe erneuert wurde, die Kameraeinheit ausgetauscht wurde, Reparaturen nach einem Unfall, oder andere relevante Modifikationen am Fahrzeug vorgenommen wurden. Sobald sich eignende Bilddaten vorliegen, kann damit außerdem während einer Fahrt des Fahrzeugs wiederholt eine Verifikation der aktuell angenommenen Lagewinkel vorgenommen werden. Dies ist insbesondere wichtig, um die Sicherheit von vollautonomen Fahrzeugen gewährleisten zu können.
Das oben beschriebene System für ein Fahrzeug verwendet ein künstliches neuronales Netz, welches wie im Folgenden beschrieben trainiert wurde. Eigenschaften, die aus dem beschriebenen Trainingsvorgang resultieren, kennzeichnen damit auch das in diesem System verwendete künstliche neuronale Netz, welches insbesondere so implementiert ist und Daten über das künstliche neuronale Netz auf einem permanenten Speicher der Recheneinheit abgelegt sind, dass es von der Recheneinheit während der Fahrt des Fahrzeugs ausgeführt werden kann.
Die Bilddaten sowohl zum Training des künstlichen neuronalen Netzes, wie auch die Bilddaten in der späteren Anwendung für den Betrieb des Systems sind bevorzugt diejenigen Bilddaten, die ein interessierender Teilbereich des vollständigen Kamerabildes enthalten. Ein solcher interessierender Teilbereich wird auch "Region of Intereset" oder abgekürzt ROI genannt.
Gemäß einer vorteilhaften Ausführungsform umfassen die Lagewinkel nur einen Nickwinkel und einen Gierwinkel. Der Rollwinkel der Kameraeinheit wird demnach ignoriert.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Eignung der Bilddaten der Kameraeinheit zum Ermitteln von Lagewinkeln der Kameraeinheit durch Analyse der Bilddaten der Kameraeinheit zu überprüfen. Weitere Sensorik ist damit vorteilhaft nicht nötig - aus den Bilddaten der Kameraeinheit werden damit sowohl die Eignung überprüft, als auch bei vorliegender Eignung die Lagewinkel abgeleitet.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Eignung der Bilddaten der Kameraeinheit durch Ausführung eines zusätzlichen vortrainierten künstlichen neuronalen Netzes mit den aktuellen Bilddaten als Eingangsgröße durchzuführen. Dieses zusätzliche vortrainierte künstliche neuronale Netz dient damit bevorzugt ausschließlich der Überprüfung auf Eignung der Lagewinkelermittlung. Geradlinige Straßenverläufe vor dem Fahrzeug werden von dem zusätzlichen vortrainierten künstlichen neuronalen Netz demnach als geeigneter eingestuft, als kurvige Straßen, da in den geradlinigen Straßen wie oben beschrieben ein Fluchtpunkt herleitbar ist und daraus die Lagewinkel abgeleitet werden können.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Eignung der Bilddaten der Kameraeinheit zum Ermitteln von Lagewinkeln der Kameraeinheit durch Analyse von aktuellen kinematischen Daten des Fahrzeugs zu überprüfen.
Alternativ zur Überprüfung der Eignung der aktuellen Bilddaten der Kameraeinheit zum Ermitteln von Lagewinkeln der Kameraeinheit, oder zusätzlich dazu beispielsweise mittels einer gemeinsamen Metrik, können kinematische Daten des Fahrzeugs verwendet werden, die insbesondere mit Grenzwerten abgeglichen werden - insbesondere eine Mindestgeschwindigkeit und maximale kinematische Größen einer inertialen Messeinheit des Fahrzeugs (wie Drehrate um eine Hochachse, auch genannt Gierrate des Fahrzeugs), oder translatorische Beschleunigungen des Fahrzeugs. Denn dann wird von einer schnelleren Geradeausfahrt ausgegangen, welche nur auf geraden Streckenabschnitten möglich ist. Dies schließt Verkehrssituationen für die Ermittlung von Lagewinkeln der Kameraeinheit aus, die dafür weniger geeignet sind, insbesondere Kurvenfahrten, Fahrten im städtischen Verkehr, auf Parkplätzen, etc.;
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, nur bei genügender Eignung das künstliche neuronale Netz mit den während der Fahrt des Fahrzeugs aufgenommenen Bilddaten der Kameraeinheit als Eingangsgröße auszuführen oder die unabhängig von der Eignung fortwährend ermittelte Ausgangsgröße des künstlichen neuronalen Netzes zu verwenden. Wird nur bei festgestellter Eignung das künstliche neuronale Netz ausgeführt, spart dies Rechenleistung.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die ermittelten Lagewinkel der Kameraeinheit zum Kalibrieren der Kameraeinheit während der Fahrt des Fahrzeugs und/oder zum Verifizieren einer bestehenden Kalibrierung der Kameraeinheit während der Fahrt des Fahrzeugs zu verwenden.
Eine kalibrierte Kameraeinheit bedeutet, dass der angenommene Fluchtpunkt einem tatsächlichen Fluchtpunkt in den Bilddaten entspricht. An diesem Fluchtpunkt enden in einer idealen Geradeausfahrt alle (nahezu) unendlichen geradlinigen Objekte der Umgebung, die in den Bilddaten abgebildet werden, wie Spurmarkierungen, Leitplanken, etc.;
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei in einer Vielzahl an Wiederholungen von Traingsvorgängen die Eingangsgrößen des künstlichen neuronalen Netzes Bilddaten in einer jeweiligen translatorischen Verschiebung umfassen und die Ausgangsgröße zur jeweiligen translatorischen Verschiebung zugehörige Lagewinkel einer zu den Bilddaten gedacht oder real zugehörigen Kameraeinheit umfassen, sodass das Trainieren des künstlichen neuronalen Netzes die Parameter des künstlichen neuronalen Netzes so auslegt, dass das künstliche neuronale Netz den Zusammenhang zwischen den Lagewinkeln und der translatorischen Verschiebung der Bilddaten abbildet, um im späteren Betrieb des künstlichen neuronalen Netzes durch eine reale oder virtuelle Verschiebung der Bilddaten als Eingangsgröße die Lagewinkel der die Bilddaten erzeugende Kameraeinheit als Ausgangsgröße zu erhalten.
Beim Trainieren des künstlichen neuronalen Netzes wird bevorzugt eine sehr große Zahl aus verschobenen Bilddaten verwendet, insbesondere bevorzugt in der Größenordnung 104 bis 107 individuelle Kombinationen aus Verschiebungen und Bilddaten. Das Trainieren des künstlichen neuronalen Netzes erfolgt bevorzugt offline, d. h. in einer stationären Recheneinheit und nicht während einer Fahrt des Fahrzeuges, da so eine unterstützende Auswahl von Bildern mit passenden Bilddaten durch einen Anwender erleichtert wird. Ist das künstliche neuronale Netz ausreichend trainiert, so kann es im späteren Betrieb des Fahrzeugs verwendet werden.
Indem das künstliche neuronale Netz zum Trainieren Bilddaten von einer realen oder realitätsnahen virtuellen Szene erhält, besteht nicht die Notwendigkeit, bestimmte Merkmale aus den Bilddaten manuell auszuwählen und gezielt dem künstlichen neuronalen Netz über die Eingangsgröße zu übergeben, sondern es wird ein vollständiger Satz von Bilddaten im Sinne der Eingangsgröße an das künstliche neuronale Netz übermittelt. Das künstliche neuronale Netz berücksichtigt selbstständig und ohne weiteres Zutun relevante Merkmale, denn es liegt in der Natur der Sache eines künstlichen neuronalen Netzes bestimmte Muster und Merkmale zu verwenden, um zu einer bestimmten Ausgangsgröße als Ergebnis der Berechnungen innerhalb des künstlichen neuronalen Netzes zu gelangen. So lässt sich erwarten, dass von künstlichen neuronalen Netz nicht nur Spurmarkierungen, sondern andere Objekte, welche in den Bilddaten abgebildet werden, berücksichtigt werden - dies betrifft beispielsweise Richtungspfeile, Leitplanken, und insbesondere all diejenigen Objekte, die in den Bilddaten perspektivisch auf einen gemeinsamen Fluchtpunkt gerichtet sind, und diesen entweder erreichen oder aber auch nicht erreichen.
Als Ergebnis des Vorgangs des Trainierens des künstlichen neuronalen Netzes werden damit zumindest Parameterwerte des künstlichen neuronalen Netzes erhalten, und wenn auch eine variable Struktur des künstlichen neuronalen Netzes (beispielsweise mit einer variablen Anzahl von Ebenen) verwendet wird, auch Strukturparameter. Die erstgenannten Parameterwerte geben insbesondere Faktoren an, mit welchen entsprechende Signalpfade verstärkt werden.
Die translatorische Verschiebung simuliert dabei eine Nickwinkel-Änderung bzw. eine Gierwinkel-Änderung. Werden die Bilddaten in horizontaler Richtung verschoben, entspricht dies einem veränderten Gierwinkel. Werden die Bilddaten in vertikaler Richtung verschoben, entspricht dies einem veränderten Nickwinkel. In der Vielzahl der Verschiebungen können somit in manchen Fällen nur horizontale Verschiebungen erfolgen, in anderen nur vertikale Verschiebungen, es können auch horizontale und vertikale Verschiebungen in manchen oder in allen Fällen kombiniert angewendet werden. Die translatorischen Verschiebungen der Bilddaten bedeuten somit eine bewusste Abweichung vom korrekten kamerafesten Fluchtpunkt. Die translatorischen Verschiebungen entsprechen somit gleichwertig einer Nickwinkel-Änderung und/oder einer Gierwinkel-Änderung (je nachdem, ob die translatorischen Verschiebungen vertikale und/oder horizontale Verschiebungen aufweisen) der Kameraeinheit gegenüber dem Referenzkoordinatensystem. Das künstliche neuronale Netz erzeugt insbesondere auf ein Bild mit Bilddaten hin genau einen Satz von Lagewinkeln.
Es ist eine vorteilhafte Wirkung des zweiten Aspekts der Erfindung, dass das Trainieren des künstlichen neuronalen Netzes zu einem hohen Grad automatisiert erfolgen kann, beispielsweise indem die translatorischen Verschiebungen der Bilddaten automatisiert erfolgt, beispielsweise mittels eines Zufallsgenerators. Die Auswahl der Bilddaten, die sich für das Trainieren des künstlichen neuronalen Netzes eignen, kann einerseits automatisiert erfolgen, indem die Bilddaten durch Bildanalyse beispielsweise dahingehend überprüft werden, ob sie einen geradlinigen Straßenverlauf erfassen, es kann jedoch alternativ oder auch zusätzlich dazu die Selektion von passenden Bilddaten durch eine Person erfolgen.
Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt die translatorische Verschiebung der Bilddaten mittels eines Zufallsgenerators, wobei der Zufallsgenerator Richtung und Betrag der Verschiebung bestimmt.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen. Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 : Ein Fahrzeug mit einem System zum Ermitteln von Lagewinkeln einer Kameraeinheit gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 2: Ein typisches Kamerabild, welches während der Fahrt des Fahrzeugs aufgezeichnet werden kann.
Fig. 3: Ein Verfahren zum Trainieren des künstlichen neuronalen Netzes anhand des Kamerabilds aus Fig. 2.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
Fig. 1 zeigt die Zugmaschine eines Sattelschleppers als Fahrzeug 3. Eine in Fahrtrichtung ausgerichtete Kameraeinheit 1 erfasst mit ihrem Erfassungsbereich die Umgebung vorderhalb des Fahrzeugs 3, einschließlich der Fahrspurmarkierungen, der Beschilderungen, Leitplanken, des Rands der asphaltierten Straße, etc.; im oberen Teilbild der Fig. 1 ist das Fahrzeug 3 von der Seite gezeigt, im unteren Teilbild dasselbe Fahrzeug 3 von oben. Anhand dieser Ansichten können die Lagewinkel der Kameraeinheit 1 gegenüber dem restlichen Fahrzeug 3, welche von Interesse sind, veranschaulicht werden: Der Nickwinkel N bezieht sich auf ein Abnicken und Aufnicken der Kameraeinheit 1 relativ zur Horizontlinie, der Gierwinkel G ist dagegen um eine Hochachse des Fahrzeugs 3 definiert und korreliert mit einer links-rechts-Betrachtung aus dem Fahrerhaus des Fahrzeugs 3. Würde die Kameraeinheit 1 um einen Nickwinkel N rotiert werden, so erscheint diese Änderung als scheinbare translatorische Verschiebung des Kamerabildes nach oben und unten, bei einer Drehung um den Gierwinkel G dagegen erscheint das Kamerabild seitlich verschoben. Nickwinkel N und Gierwinkel G sind diejenigen Lagewinkel, welche es wie folgt von der Recheneinheit 5 zu ermitteln gilt: Das System zum Ermitteln der Lagewinkel weist die Kameraeinheit 1 und eine mit der Kameraeinheit 1 verbundene Recheneinheit 5 auf. Die Recheneinheit 5 erhält aktuelle Bilddaten der Kameraeinheit 1 während der Fahrt des Fahrzeugs 3 und prüft anhand der Bilddaten selbst eine Eignung auf Ermittelbarkeit von Lagewinkeln der Kameraeinheit 1. Nur bei genügender Eignung der Bilddaten führt die Recheneinheit 5 ein vortrainiertes künstliches neuronales Netz mit den während der Fahrt des Fahrzeugs 3 aktuell aufgenommenen Bilddaten der Kameraeinheit 1 als Eingangsgröße des künstlichen neuronalen Netzes aus. Die Ausgangsgröße des künstlichen neuronalen Netzes ist ein Vektor mit den Lagewinkeln „Nickwinkel“ und „Gierwinkel“ wie in Fig. 1 beschrieben. Wie das künstliche neuronale Netz vortrainiert wird, bevor es im Fahrzeug 3 in Betrieb dauerhaft zum Einsatz kommt, und im Betrieb für das wiederholte Neukalibrieren des Nickwinkels N und des Gierwinkels G verwendet wird, ist anhand der Fig. 2 und Fig. 3 beschrieben.
Fig. 2 zeigt mit dem äußeren Rahmen das vollständige Kamerabild der Kameraeinheit 1. Hierbei gibt es eine zentrale Region, welche besonders von Interesse ist, die sogenannte "Region of Interest" Rol, innerhalb derer der Verlauf der Straße enthalten ist. Die Fahrbahnmarkierung bzw. Ränder der Straße und gegebenenfalls deren Verlängerungen treffen sich in einem gemeinsamen Fluchtpunkt, dem sogenannten "Focus of Expansion". Weiterhin ist in der Fig. 2 die Horizontlinie eingezeichnet, bis zu der die fluchtenden Straßenmarkierungen von Kamerabild erfasst werden. Dieses Kamerabild wurde entweder vollautomatisch und/oder mit Hilfe manueller Auswahl durch eine Person gezielt ausgewählt, da es einen geraden Straßenverlauf aufweist und sich damit zum Trainieren des künstlichen neuronalen Netzes besonders eignet. Die Eignung des Kamerabildes rührt daher, dass ein geradliniger Verlauf der Straße erkennbar ist, aus dem ein zentraler Fluchtpunkt FoE abgeleitet werden kann. Die Möglichkeit der Ableitung eines solchen Fluchtpunkts FoE ist für das Trainieren des künstlichen neuronalen Netzes eine wichtige Eigenschaft.
Fig. 3 zeigt eine künstliche Modifikation des realen Kamerabildes der Fig. 2. Hierbei wird in einer von einem Zufallsgenerator eines Rechners generierten translatorischen Verschiebung der zentrale Abschnitt von Interesse Rol zufällig zur Seite und nach oben/unten künstlich auf Rol' verschoben, um eine Nickwinkeländerung und eine Gierwinkeländerung der Kameraeinheit 1 zu simulieren. Werden mehrere geeignete Bilder mit einer Vielzahl von zufällig generierten Verschiebungen erzeugt, lässt sich ein großer Datensatz zum Trainieren des künstlichen neuronalen Netzes erzeugen. Hierbei erhält das künstliche neuronale Netz die in zugehörige Nickwinkel und Gierwinkel der Kameraeinheit 1 umgerechnete Translationen als vorgegebene Ausgangsgröße und die verschobenen Bilddaten als Eingangsgröße. Die Parameter des künstlichen neuronalen Netzes werden dabei so bestimmt, dass auf Grundlage der Eingangsgröße das künstliche neuronale Netz die vorgegebene Ausgangsgröße auch ermittelt. Das so trainierte künstliche neuronale Netz kann dann im späteren Betrieb des Fahrzeugs 3 auf geeignete und aktuell während der Fahrt ermittelte Bilddaten angewendet werden, um auf Grundlage der aktuellen Bilddaten einen aktuellen Nickwinkel und einen aktuellen Gierwinkel der Kameraeinheit 1 gegenüber der Karosserie des Fahrzeugs 3 zu ermitteln.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste
1 Kameraeinheit
3 Fahrzeug
5 Recheneinheit
N Nickwinkel
G Gierwinkel
FoE Fluchtpunkt
Rol interessierende Region
Rol' künstlich translatorisch verschobene interessierende Region

Claims

Patentansprüche System zum Ermitteln von Lagewinkeln einer Kameraeinheit (1) eines Fahrzeugs (3) gegenüber einem Referenzkoordinatensystem während der Fahrt des Fahrzeugs (3), aufweisend die Kameraeinheit (1) und eine mit der Kameraeinheit (1) verbundene Recheneinheit (5), wobei die Recheneinheit (5) dazu ausgeführt ist, aktuelle Bilddaten der Kameraeinheit (1) während der Fahrt des Fahrzeugs (3) zu erfassen und eine Eignung der aktuellen Bilddaten der Kameraeinheit (1) zum Ermitteln von Lagewinkeln der Kameraeinheit (1) zu überprüfen und bei genügender Eignung der Bilddaten ein vortrainiertes künstliches neuronales Netz mit den jeweiligen während der Fahrt des Fahrzeugs (3) aufgenommenen Bilddaten der Kameraeinheit (1) als Eingangsgröße des künstlichen neuronalen Netzes auszuführen, wobei die den Bilddaten eines jeweiligen Bildes zugeordnete Ausgangsgröße des künstlichen neuronalen Netzes die aktuellen Lagewinkel der Kameraeinheit (1) gegenüber dem vorgegebenen Referenzkoordinatensystem umfasst. System nach Anspruch 1 , wobei die Lagewinkel nur einen Nickwinkel und einen Gierwinkel umfassen. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, die Eignung der Bilddaten der Kameraeinheit (1) zum Ermitteln von Lagewinkeln der Kameraeinheit (1) durch Analyse der Bilddaten der Kameraeinheit (1) zu überprüfen. System nach Anspruch 3, wobei die Recheneinheit (5) dazu ausgeführt ist, die Eignung der Bilddaten der Kameraeinheit (1) durch Ausführung eines zusätzlichen vortrainierten künstlichen neuronalen Netzes mit den aktuellen Bilddaten als Eingangsgröße durchzuführen. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, die Eignung der Bilddaten der Kameraeinheit (1) zum Ermitteln von Lagewinkeln der Kameraeinheit (1) durch Analyse von aktuellen kinematischen Daten des Fahrzeugs (3) zu überprüfen. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, nur bei genügender Eignung das künstliche neuronale Netz mit den während der Fahrt des Fahrzeugs (3) aufgenommenen Bilddaten der Kameraeinheit (1) als Eingangsgröße auszuführen oder nur bei genügender Eignung die unabhängig von der Eignung fortwährend ermittelte Ausgangsgröße des künstlichen neuronalen Netzes zu verwenden. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, die ermittelten Lagewinkel der Kameraeinheit (1) zum Kalibrieren der Kameraeinheit (1) während der Fahrt des Fahrzeugs (3) und/oder zum Verifizieren einer bestehenden Kalibrierung der Kameraeinheit (1) während der Fahrt des Fahrzeugs (3) zu verwenden. Fahrzeug (3) mit einem System nach einem der vorhergehenden Ansprüche. Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei in einer Vielzahl an Wiederholungen von Traingsvorgängen die jeweilige Eingangsgröße des künstlichen neuronalen Netzes Bilddaten in einer jeweiligen translatorischen Verschiebung umfasst und die jeweilige Ausgangsgröße zur jeweiligen translatorischen Verschiebung zugehörige Lagewinkel einer zu den Bilddaten gedacht oder real zugehörigen Kameraeinheit (1) umfasst, sodass das Trainieren des künstlichen neuronalen Netzes die Parameter des künstlichen neuronalen Netzes so auslegt, dass das künstliche neuronale Netz den Zusammenhang zwischen den Lagewinkeln und der translatorischen Verschiebung der Bilddaten abbildet, um im späteren Betrieb des künstlichen neuronalen Netzes durch eine reale oder virtuelle Verschiebung der Bilddaten als Eingangsgröße die Lagewinkel der die Bilddaten erzeugenden Kameraeinheit (1) als Ausgangsgröße zu erhalten. Verfahren nach Anspruch 9, wobei die jeweilige translatorische Verschiebung der Bilddaten in der jeweiligen Eingangsgröße mittels eines Zufallsgenerators erfolgt, wobei der Zufallsgenerator Richtung und Betrag der Verschiebung bestimmt.
EP23808761.3A 2022-11-16 2023-11-15 Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt Pending EP4619938A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022130327.6A DE102022130327A1 (de) 2022-11-16 2022-11-16 Lagewinkel-Kalibrierung einer Fahrzeugkamera während der Fahrt
PCT/EP2023/081901 WO2024105102A1 (de) 2022-11-16 2023-11-15 Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt

Publications (1)

Publication Number Publication Date
EP4619938A1 true EP4619938A1 (de) 2025-09-24

Family

ID=88839377

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23808761.3A Pending EP4619938A1 (de) 2022-11-16 2023-11-15 Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt

Country Status (4)

Country Link
EP (1) EP4619938A1 (de)
CN (1) CN120303702A (de)
DE (1) DE102022130327A1 (de)
WO (1) WO2024105102A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
DE102015209764A1 (de) 2015-05-28 2016-12-01 Bayerische Motoren Werke Aktiengesellschaft Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE102016223422B4 (de) * 2016-11-25 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
US10621753B2 (en) 2017-09-29 2020-04-14 Intel IP Corporation Extrinsic calibration of camera systems
DE102018204451A1 (de) * 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
US10298910B1 (en) 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
DE102021110287A1 (de) * 2021-04-22 2022-10-27 Avl Software And Functions Gmbh Verfahren und System zum automatisierten Kalibrieren von Sensoren

Also Published As

Publication number Publication date
DE102022130327A1 (de) 2024-05-16
WO2024105102A1 (de) 2024-05-23
CN120303702A (zh) 2025-07-11

Similar Documents

Publication Publication Date Title
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
DE112017001841B4 (de) Vorrichtung zum erfassen eines montagewinkels für eine fahrzeuginterne kamera, vorrichtung zum kalibrieren eines montagewinkels, und verfahren zur erfassung eines montagewinkels
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
EP3475921B1 (de) Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102021110287A1 (de) Verfahren und System zum automatisierten Kalibrieren von Sensoren
EP2131598A2 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102011076795A1 (de) Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
DE102017200477A1 (de) Verfahren, Vorrichtung, mobiles Anwendergerät und ein korrespondierendes Computerprogramm zum Bereitstellen einer Information zur Beeinflussung der Führung des Fahrzeugs im Zusammenhang mit lokalen Geländeartefakten
DE102015006571A1 (de) Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102019108054A1 (de) Verfahren zum Anzeigen eines ausgewählten Anzeigebereichs eines Umgebungsbilds in Abhängigkeit eines charakterisierenden Fahrbahnwinkels, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
EP3621035A1 (de) Verfahren zum führen eines fahrzeugs hinter einem vorausfahrenden fahrzeug
DE102019212829A1 (de) Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
DE102020121785B4 (de) Verfahren zum Manövrieren eines Fahrzeugs in eine Schrägparklücke mit Vermeidung einer Kollision einer Frontschürze des Fahrzeugs mit einer Begrenzung der Schrägparklücke, Fahrerassistenzsystem sowie Fahrzeug
EP4553770A1 (de) Kamerabasiertes system und verfahren zum bestimmen der position eines anhängers
WO2024105102A1 (de) Lagewinkel-kalibrierung einer fahrzeugkamera während der fahrt
DE102021133091B4 (de) Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung, Erfassungseinrichtung und Fahrzeug
DE102017200476A1 (de) Verfahren, Vorrichtung, Computerprogramm und mobiles Anwendergerät zur Nutzung einer Information im Zusammenhang mit einer lokalen Gefahrenstelle
DE102020003465A1 (de) Verfahren zur Detektion von Objekten in monokularen RGB-Bildern
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102019100303A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Krümmung einer Fahrbahn
EP3548335B1 (de) Steuern eines steuerbaren scheinwerfers eines kraftfahrzeugs
DE102024109531B3 (de) Verfahren zur Kalibrierung eines Kamerasystems sowie Kamerasystem mit Prozessoreinheit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250512

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)