EP4315275A1 - Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs - Google Patents

Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs

Info

Publication number
EP4315275A1
EP4315275A1 EP22714211.4A EP22714211A EP4315275A1 EP 4315275 A1 EP4315275 A1 EP 4315275A1 EP 22714211 A EP22714211 A EP 22714211A EP 4315275 A1 EP4315275 A1 EP 4315275A1
Authority
EP
European Patent Office
Prior art keywords
information
vehicle
neural network
movement
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22714211.4A
Other languages
English (en)
French (fr)
Inventor
Dieter KRÖKEL
Stefan Heinrich
Thomas Fechner
Heiko Gustav Kurz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Volkswagen AG
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG, Continental Autonomous Mobility Germany GmbH filed Critical Volkswagen AG
Publication of EP4315275A1 publication Critical patent/EP4315275A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a method and a system for determining information about a vehicle's own movement, and to a vehicle with such a system.
  • the odometry unit receives measurement information from different sensors, for example wheel rotation sensors, yaw rate sensors, steering angle sensors and/or GPS sensors, and determines information on the basis of this
  • Vehicle position can only be insufficiently detected, which is particularly disadvantageous for autonomous driving functions.
  • the invention relates to a method for determining information on the movement of a vehicle.
  • the vehicle has a stereo camera system with at least two cameras for capturing stereo images of the area surrounding the vehicle and an artificial neural network for processing the image information provided by the stereo camera system.
  • the stereo camera system uses the at least two cameras to capture image sequences that contain a plurality of pieces of image information at different points in time.
  • a pair of images which includes image information from a first and a second camera, is captured at successive points in time. The chronologically consecutive image pairs form the image sequences.
  • the artificial neural network receives the image information and based on this generates stereo images with distance information.
  • the stereo images have color information (e.g. RGB values or gray values) and pixel-related distance information for each pixel.
  • the distance information indicates how far away the area of the scene that is imaged by the pixel is from the vehicle or from the stereo camera system.
  • the artificial neural network Based on the image information from the stereo camera system, the artificial neural network provides information regarding the vehicle's own movement at an output interface.
  • the movement of the vehicle itself is estimated by the neural network from the change over time in the image information provided by the cameras, and this is estimated Proper motion information is output in addition to the stereo images.
  • the technical advantage of the proposed method is that the vehicle's own movement can be determined with a very high level of accuracy by evaluating the image information from the cameras of the stereo camera system, since a shift in the image information by one or a few pixels can already be converted into own movement information.
  • the determination of one's own motion by the proposed method is in particular significantly more precise than the determination of one's own motion by known odometry units.
  • This method is also clearly superior to the optical flow with a mono camera because of the significantly better signal-to-noise ratio due to the non-linear correlation of the artificial neural network.
  • the artificial neural network analyzes the change over time in the image information in the image sequences and, based on this, generates information relating to the vehicle's own movement.
  • the artificial neural network analyzes the change over time in the image information in the image sequences and, based on this, generates information relating to the vehicle's own movement.
  • conclusions are drawn about the individual's own movement. Due to the high resolution of image information and the typically large distances between the scene represented in the image information and the vehicle, even very small changes in the vehicle position or vehicle orientation can be detected. This creates a very high level of accuracy in the determination of the self-motion information.
  • the information relating to the vehicle's own movement comprises information relating to the translational movement of the vehicle along three axes of a Cartesian coordinate system.
  • the self-movement information is speed information indicating the speed at which the vehicle is moving in the direction of the respective axes.
  • the information about one's own movement is, for example, longitudinal, vertical, and transverse speed information.
  • the information relating to the vehicle's own movement includes information relating to a rotational movement of the vehicle around the three axes of a Cartesian coordinate system.
  • the self-motion information is rotational speed information or angular speed information that indicates the speed at which the vehicle is rotating about the respective axes.
  • the self-motion information includes pitch, yaw, and roll rate information, for example.
  • the artificial neural network compensates for changes in calibration parameters of the stereo camera system.
  • the artificial neural network uses a non-linear correlation of the image information to compensate for the calibration inaccuracies.
  • the artificial neural network is preferably trained to recognize and compensate for the calibration of the cameras of the stereo camera system from the recognized disparity.
  • the neural network is supplied with image sequences that are recorded from different viewing directions and are suitably labeled, ie disparity information and/or distance information is available for the individual pixels.
  • the training data preferably also has calibration information. This calibration information is uniquely assigned to the image information.
  • the neural network can use this calibration information from the training data learn how stereo images change depending on the calibration of the cameras.
  • the weighting factors of the neural network can thus be selected in such a way that the error between the detected disparity and the disparity specified by the training data or the error between the distance information determined by the neural network and the distance information of the training data is minimized.
  • the cameras of the stereo camera system have inertial sensors that determine changes in the movement of the cameras.
  • the inertial sensors can, for example, detect translational movements of the camera in three spatial directions of a Cartesian coordinate system and rotational movements around the three spatial axes of the Cartesian coordinate system. In this way, absolute changes in position or orientation of the respective camera and changes in the relative position or orientation of the two cameras to one another (extrinsic calibration parameters) can be detected.
  • the calibration parameters of the stereo camera system are adjusted using information provided by the inertial sensors of the cameras of the stereo camera system.
  • the position or alignment changes of the cameras are preferably detected via the inertial sensors of the cameras during ongoing operation of the stereo camera system and calibration parameters of the stereo camera system are adjusted based thereon.
  • information from the inertial sensors of the cameras is used to carry out an initial training of the neural network.
  • the training data preferably includes inertial sensor information that contains position or Emulate orientation changes of the cameras. This allows the neural network to be trained to recognize and compensate for calibration inaccuracies.
  • additional information provided by sensors is used to calculate the speed of the vehicle. According to one embodiment, additional information provided by sensors is used to calculate the speed of the vehicle.
  • Detect and compensate for calibration changes For example, information from a temperature sensor can be used to compensate for temperature dependent calibration changes.
  • the artificial neural network is a pre-trained neural network that is trained using training data in the form of stereo images of a scene and associated calibration parameters, the training data indicating how the stereo images change depending on modifications to the calibration parameters of the cameras of the stereo camera system.
  • the neural network can be trained to compensate for calibration inaccuracies or calibration deviations of the cameras.
  • the artificial neural network is retrained based on calibration information generated from information from the inertial sensors of the cameras. This allows the neural network to be adapted to the calibration changes in online training.
  • the inertial sensors of the cameras can also be used to provide movement information from the cameras, which is used for initial training of the neural network.
  • the invention relates to a system for determining information on a vehicle's own movement.
  • the vehicle has a stereo camera system with at least two cameras Acquisition of stereo images of the area surrounding the vehicle and an artificial neural network for processing the image information provided by the stereo camera system.
  • the stereo camera system is designed to use the at least two cameras to capture image sequences that contain multiple pieces of image information at different points in time while the vehicle is moving.
  • the artificial neural network is designed to receive the image information and, based on this, generates stereo images with distance information.
  • the artificial neural network has an output interface at which information regarding the
  • Own motion of the vehicle are provided, which are calculated based on the image sequences by the artificial neural network.
  • the artificial neural network is designed to analyze the change in the image information over time in the image sequences and, based on this, to generate information relating to the vehicle's own movement.
  • conclusions are drawn about the individual's own movement. Due to the high resolution of image information and the typically large distances between the scene represented in the image information and the vehicle, even very small changes in the vehicle position or vehicle orientation can be detected. This creates a very high level of accuracy in the determination of the self-motion information.
  • the artificial neural network for providing information about the translational movement of the vehicle along three axes of a Cartesian
  • Coordinate system and information about a rotational movement of the vehicle around the three axes of the Cartesian coordinate system formed at the output interface is speed information that indicates the speed at which the vehicle is moving in the direction of the respective axes or the rotational speed at which the vehicle is rotating about one or more of these axes.
  • the self-motion information is, for example, longitudinal, vertical, and lateral speed information and pitch, yaw, and roll speed information.
  • the invention relates to a vehicle comprising an aforesaid system according to one of the exemplary embodiments.
  • Fig. 1 an example of a schematic representation of a
  • Stereo camera system equipped with an artificial neural network for providing stereo imagery and self-motion information of a vehicle is coupled;
  • FIG. 2 shows, by way of example and schematically, a schematic representation of a stereo camera system that uses information from the inertial sensors to train the neural network
  • FIG. 3 shows an example of a schematic representation of the method steps for determining information on the vehicle's own movement.
  • FIG. 1 shows an example of a schematic block diagram of a system 1 for determining information on the movement of a vehicle.
  • the system has a stereo camera system 2, which includes at least two cameras 2.1, 2.2.
  • the stereo camera system 2 records image information of the vehicle surroundings, in particular an area in the forward direction of travel in front of the vehicle, as pairs of images, i.e. an image with the first camera 2.1 and an image with a second camera 2.2 are recorded at the same time, which show the same scene However, they show from different perspectives, since the cameras 2.1, 2.2 are arranged at different positions in the vehicle.
  • the cameras 2.1, 2.2 can be installed in the headlights of the vehicle.
  • the cameras 2.1, 2.2 can also be integrated in the front area of the vehicle or in the windshield.
  • the cameras 2.1, 2.2 are preferably at a distance of more than 0.5 m from one another in order to have a high base width as possible
  • the cameras 2.1, 2.2 take several image pairs one after the other, ie at different points in time, so that image sequences are created.
  • the image information changes as a result of vehicle movement, since the image pairs are recorded at different vehicle positions in space.
  • the system also has an artificial neural network 3 that is pre-trained by initial training and is designed to process the image information provided by the stereo camera system 2 .
  • the artificial neural network 3 can be, for example, a deep neural network, in particular a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the neural network 3 receives the image information provided by the stereo camera system 2 and estimates disparity information for this image information.
  • the disparity information indicates how high the lateral offset is between the individual pixels of the image information of an image pair.
  • This lateral offset is a measure of the distance that the scene area represented by the pixel has from the vehicle or from the stereo camera system 2 .
  • Distance information can thus be obtained from the disparity information, which indicates how far away a scene area represented by a pixel is from the vehicle or from the stereo camera system 2 .
  • the neural network 3 can provide stereo images which, in addition to two-dimensional image information in the form of pixel-related color values, also contain distance information for each pixel.
  • the artificial neural network 3 is also designed to estimate the vehicle's own movement based on the image information provided by the cameras 2.1, 2.2.
  • position changes of the pixels arise due to the vehicle movement, ie due to the vehicle movement a region of a scene appears in a subsequent image of the image sequence at a different position than in a preceding image of the image sequence.
  • the neural network is trained to estimate information on the vehicle's own movement, also referred to below as odometry data, based on these position changes.
  • the neural network has an output interface at which the vehicle's odometry data are output.
  • information about the translatory movement of the vehicle along three spatial axes of a Cartesian coordinate system is output.
  • this is speed information, i.e. the longitudinal, vertical and lateral speed of the vehicle.
  • information about the rotational movement of the vehicle around the three spatial axes of the Cartesian coordinate system is preferably output.
  • this is rotational speed information, i.e. the pitch, yaw and roll speed of the vehicle.
  • the high resolution of the image information results in a high resolution of the vehicle's own motion information. In particular, these are higher than the information provided by an odometry unit of the vehicle.
  • the self-motion information provided by the neural network 3 is preferably used to modify the information provided by an odometry unit of the vehicle.
  • modified odometry information can be obtained by merging the ego-motion information of the neural network 3 and the information of the odometry unit be created that allow a more accurate position determination of the vehicle.
  • FIG. 2 shows an embodiment of a stereo camera system 2 in which the cameras 2.1, 2.2 have inertial sensors.
  • the inertial sensors are designed to detect changes in the movement of the cameras and the vehicle. In particular, this can be translational changes in movement along three axes of a Cartesian coordinate system and rotary changes in movement around these three axes of the Cartesian coordinate system.
  • the inertial sensors make it possible to detect the absolute change in movement of the camera 2.1, 2.2 and thus an absolute change in the position of this camera 2.1, 2.2.
  • the information from the inertial sensors or information derived therefrom is preferably transmitted to the neural network 3, so that the weighting factors of the neural network 3 can be adapted as a function of this information from the inertial sensors.
  • the calculation of the stereo images by the neural network 3 can be adapted to the changed camera positioning and the calibration changes associated therewith.
  • the neural network 3 is preferably designed to estimate disparity information and to compensate for calibration inaccuracies that arise as a result of a change in the extrinsic parameters of the stereo camera system 2 .
  • the neural network 3 is trained using training data in which the distance of all pixels from the stereo camera system is known, and the neural network 3 is optimized for recognizing the disparity.
  • the neural network 3 preferably uses a non-linear correlator in order to determine the disparity information.
  • the information from the inertial sensors of the cameras 2.1, 2.2 can be used as training data in order to suitably adjust the weighting factors of the neural network.
  • the neural network 3 can be trained using training data, i.e. the weighting factors of the neural network 3 are adapted by a training phase in such a way that the neural network 3 provides disparity information and/or distance information for the image information recorded by the stereo camera system 2.
  • the training data (also referred to as ground truth information) has pairs of images that represent the same scene with different positions and orientations of the cameras 2.1, 2.2.
  • the training data also has distance information for each image pixel, so that the error between the calculation result of the neural network 3 and the training data can be determined based on the training data and the weighting factors of the neural network 3 are successively adjusted in such a way that the error is reduced .
  • the training data can have information about the vehicle's own movement, which is assigned to the respective image pairs (ie a self-movement labeling), so that the neural network 3 learns during the training how the image information of image pairs of an image sequence changes over time when the vehicle own movement.
  • the information about the vehicle's own movement in the training data can preferably contain information about the translatory movement of the vehicle along three spatial axes of a Cartesian coordinate system, ie in particular the longitudinal, vertical and lateral speeds of the vehicle.
  • the information about the vehicle's own movement in the training data can contain information about the rotational movement of the vehicle around the three spatial axes of the Cartesian coordinate system, for example the pitch, yaw and roll speed of the vehicle.
  • the neural network 3 has an output interface at which the vehicle's own movement information is provided.
  • this intrinsic movement information estimated by the neural network 3 is compared with the intrinsic movement information of the training data.
  • the weighting factors of the neural network 3 are then adjusted in such a way that the error between the information on the patient's own motion estimated by the neural network 3 and the information on the patient's motion in the training data is minimized.
  • the movement information of the vehicle and/or the cameras 2.1, 2.2 contained in the training data can be provided by the inertial sensors of the cameras 2.1, 2.2, for example. Alternatively or additionally movement information from an odometry unit of the vehicle can also be used.
  • the neural network 3 can be processed in a control unit of the stereo camera system 2, for example. Alternatively, the neural network 3 can also be operated in a control device that is provided separately from the stereo camera system 2 .
  • FIG. 3 shows a block diagram illustrating the steps of a method for determining the own motion information of a vehicle using a neural network.
  • image information is recorded by the cameras 2.1, 2.2 of the stereo camera system 2 (S10).
  • the image information is image pairs, with the images of an image pair being recorded at the same point in time, specifically a first image from the first camera 2.1 and a second image from the second camera 2.2. Several such pairs of images are recorded one after the other, resulting in an image sequence.
  • the neural network then obtains stereo images of the area surrounding the vehicle (S11). In addition to pixel-related color values, these also contain pixel-related distance information
  • the neural network 3 also provides self-motion information of the vehicle (S12). These are determined based on the image information from the stereo camera system, specifically based on the change in position of areas of the scene represented in the image information over time. In particular, this can be the position changes of individual pixels or groups of pixels over time, which result from the vehicle's own movement in space.
  • S12 self-motion information of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs, wobei das Fahrzeug ein Stereokamerasystem (2) mit zumindest zwei Kameras (2.1, 2.2) zur Erfassung von Stereobildern des Umgebungsbereichs des Fahrzeugs und ein künstliches neuronales Netz (3) zur Verarbeitung der von dem Stereokamerasystem (2) bereitgestellten Bildinformationen aufweist, wobei das Stereokamerasystem (2) mittels der zumindest zwei Kameras während der Bewegung des Fahrzeugs Bildsequenzen, die mehrere Bildinformationen zu unterschiedlichen Zeitpunkten enthalten, erfasst, dass das künstliches neuronales Netz (3) die Bildinformationen empfängt und basierend darauf Stereobilder mit Abstandsinformationen erzeugt und dass das künstliche neuronales Netz (3) basierend auf den Bildinformationen des Stereokamerasystem (2) Informationen bezüglich der Eigenbewegung des Fahrzeugs an einer Ausgangsschnittstelle bereitstellt.

Description

VERFAHREN UND SYSTEM ZUR BESTIMMUNG VON INFORMATIONEN BEZÜGLICH DER
EIGENBEWEGUNG EINES FAHRZEUGS
Die Erfindung betrifft ein Verfahren und ein System zur Ermittlung von Eigenbewegungsinformationen eines Fahrzeugs sowie ein Fahrzeug mit einem solchen System.
Für autonome Fahrfunktionen ist es nötig, die Position des Fahrzeugs bzw. die Fahrzeugbewegung im Raum möglichst genau bestimmen zu können. Es ist bekannt, dass Fahrzeuge hierzu eine Odometrieeinheit aufweisen, die Informationen bezüglich der Bewegung des Fahrzeugs im Raum bereitstellt. Flierzu empfängt die Odometrieeinheit Messinformationen aus unterschiedlichen Sensoren, beispielsweise Raddrehsensoren, Gierratensensoren, Lenkwinkelsensoren und/oder GPS-Sensoren und ermittelt basierend darauf Informationen zur
Bewegung des Fahrzeugs im Raum und die daraus resultierende Position des Fahrzeugs.
Problematisch hierbei ist, dass bekannte Odometrieeinheiten eine relativ schlechte Auflösung aufweisen, so dass Änderungen der
Fahrzeugposition nur unzulänglich erfassbar sind, was speziell für autonome Fahrfunktionen nachteilig ist.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs anzugeben, das zuverlässige und hochgenaue Informationen zur Eigenbewegung des Fahrzeugs liefert.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs ist Gegenstand des nebengeordneten Patentanspruchs 10 und ein Fahrzeug mit einem solchen System ist Gegenstand des nebengeordneten Patentanspruchs 15. Gemäß einem ersten Aspekt bezieht sich die Erfindung auf ein Verfahren zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs. Das Fahrzeug weist ein Stereokamerasystem mit zumindest zwei Kameras zur Erfassung von Stereobildern des Umgebungsbereichs des Fahrzeugs und ein künstliches neuronales Netz zur Verarbeitung der von dem Stereokamerasystem bereitgestellten Bildinformationen auf. Das Stereokamerasystem erfasst mittels der zumindest zwei Kameras während der Bewegung des Fahrzeugs Bildsequenzen, die mehrere Bildinformationen zu unterschiedlichen Zeitpunkten enthalten. Insbesondere wird an aufeinanderfolgenden Zeitpunkten jeweils ein Bildpaar erfasst, das Bildinformationen einer ersten und einer zweiten Kamera umfasst. Die zeitlich aufeinanderfolgenden Bildpaare bilden die Bildsequenzen.
Das künstliche neuronale Netz empfängt die Bildinformationen und erzeugt basierend darauf Stereobilder mit Abstandsinformationen. Die Stereobilderweisen insbesondere zu jedem Pixel Farbinformationen (z.B. RGB-Werte oder Grauwerte) und pixelbezogene Abstandsinformationen auf. Die Abstandsinformationen geben dabei an, wie weit der Bereich der Szene, der durch das Pixel abgebildet wird, vom Fahrzeug bzw. vom Stereokamerasystem entfernt ist.
Das künstliche neuronale Netz stellt basierend auf den Bildinformationen des Stereokamerasystem Informationen bezüglich der Eigenbewegung des Fahrzeugs an einer Ausgangsschnittstelle bereitstellt. In anderen Worten wird damit aus der zeitlichen Veränderung der Bildinformationen, die durch die Kameras bereitgestellt werden, die Eigenbewegung des Fahrzeugs durch das neuronale Netz geschätzt und diese geschätzten Eigenbewegungsinformationen werden zusätzlich zu den Stereobildern ausgegeben.
Der technische Vorteil des vorgeschlagenen Verfahrens besteht darin, dass die Eigenbewegung des Fahrzeugs durch die Auswertung der Bildinformationen der Kameras des Stereokamerasystems mit einer sehr hohen Genauigkeit bestimmt werden kann, da bereits eine Verschiebung der Bildinformationen um ein oder wenige Pixel in eine Eigenbewegungsinformation überführt werden kann. Damit ist die Eigenbewegungsbestimmung durch das vorgeschlagene Verfahren insbesondere wesentlich genauer als die Eigenbewegungsbestimmung durch bekannte Odometrieeinheiten. Auch dem optischem Fluss mit einer Monokamera ist dieses Verfahren wegen des wesentlich besseren Signal- zu Rauschverhältnisses aufgrund der nichtlinearen Korrelation des künstlichen neuronalen Netzes deutlich überlegen.
Gemäß einem Ausführungsbeispiel analysiert das künstliche neuronale Netz die zeitliche Veränderung der Bildinformationen in den Bildsequenzen und erzeugt basierend darauf Informationen bezüglich der Eigenbewegung des Fahrzeugs. Insbesondere wird basierend auf Bildverschiebungen und/oder Bildverzerrungen, die durch die geänderte Erfassungsrichtung der Kameras entstehen, auf die Eigenbewegung rückgeschlossen. Durch die hohe Auflösung von Bildinformationen und die typischerweise großen Abstände der in den Bildinformationen dargestellten Szene von dem Fahrzeug werden bereits sehr geringe Veränderungen der Fahrzeugposition bzw. Fahrzeugausrichtung detektierbar. Dies schafft eine sehr hohe Genauigkeit der Bestimmung der Eigenbewegungsinformationen.
Gemäß einem Ausführungsbeispiel umfassen die Informationen bezüglich der Eigenbewegung des Fahrzeugs Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Achsen eines kartesischen Koordinatensystems. Insbesondere sind die Eigenbewegungsinformationen Geschwindigkeitsinformationen, die angeben, mit welcher Geschwindigkeit sich das Fahrzeug in Richtung der jeweiligen Achsen bewegt. In anderen Worten sind die Eigenbewegungsinformationen beispielsweise Längs-, Hoch-, und Quergeschwindigkeitsinformationen.
Gemäß einem Ausführungsbeispiel umfassen die Informationen bezüglich der Eigenbewegung des Fahrzeugs Informationen über eine Rotationsbewegung des Fahrzeugs um die drei Achsen eines kartesischen Koordinatensystems. Insbesondere sind die Eigenbewegungsinformationen Drehgeschwindigkeitsinformationen bzw. Winkelgeschwindigkeitsinformationen, die angeben, mit welcher Geschwindigkeit sich das Fahrzeug um die jeweiligen Achsen rotativ bewegt. In anderen Worten umfassen die Eigenbewegungsinformationen beispielsweise Nick-, Gier- und Rollgeschwindigkeitsinformationen.
Gemäß einem Ausführungsbeispiel kompensiert das künstliche neuronale Netz Veränderungen von Kalibrierungsparameter des Stereokamerasystems. Insbesondere nutzt das künstliche neuronale Netz eine nichtlineare Korrelation der Bildinformationen, um die Kalibrierungsungenauigkeiten zu kompensieren. Das künstliche neuronale Netz ist vorzugsweise dazu trainiert, die Kalibrierung der Kameras des Stereokamerasystems aus der erkannten Disparität zu erkennen und zu kompensieren. Dabei werden dem neuronalen Netz beim Training Bildsequenzen zugeführt, die aus unterschiedlichen Blickrichtungen aufgenommen sind und geeignet gelabelt sind, d.h. zu den einzelnen Pixeln jeweils Disparitätsinformationen und/oder Abstandsinformationen vorliegen. Vorzugsweise weisen die Trainingsdaten zudem Kalibrierungsinformationen auf. Diese Kalibrierungsinformationen sind den Bildinformationen eindeutig zugeordnet. Über diese Kalibrierungsinformationen der Trainingsdaten kann das neuronale Netz lernen, wie sich Stereobilder abhängig von der Kalibrierung der Kameras ändern. Damit können die Gewichtsfaktoren des neuronalen Netzes derart gewählt werden, dass der Fehler zwischen der erkannten Disparität und der durch die Trainingsdaten vorgegebenen Disparität bzw. der Fehler zwischen den Abstandsinformationen, die durch das neuronale Netz bestimmt werden und den Abstandsinformationen der Trainingsdaten minimiert wird.
Gemäß einem Ausführungsbeispiel weisen die Kameras des Stereokamerasystems Inertialsensoren auf, die Bewegungsänderungen der Kameras bestimmen. Die Inertialsensoren können beispielsweise translatorische Bewegungen der Kamera in drei Raumrichtungen eines kartesischen Koordinatensystems und rotative Bewegungen um die drei Raumachsen des kartesischen Koordinatensystems detektieren. Dadurch können absolute Positions- bzw. Ausrichtungsveränderungen der jeweiligen Kamera und Änderungen der relativen Position bzw. Ausrichtung der beiden Kameras zueinander (extrinsische Kalibrierungsparameter) erkannt werden.
Gemäß einem Ausführungsbeispiel werden die Kalibrierungsparameter des Stereokamerasystems mittels Informationen, die durch die Inertialsensoren der Kameras des Stereokamerasystems bereitgestellt werden, angepasst. Über die Inertialsensoren der Kameras werden vorzugsweise im laufenden Betrieb des Stereokamerasystems die Positions- bzw. Ausrichtungsveränderungen der Kameras erfasst und basierend darauf Kalibrierungsparameter des Stereokamerasystems angepasst.
Gemäß einem weiteren Ausführungsbeispiel werden Informationen der Inertialsensoren der Kameras dazu verwendet, ein Initialtraining des neuronalen Netzes vorzunehmen. Vorzugsweise weisen die Trainingsdaten Inertialsensorinformationen auf, die Positions- bzw. Ausrichtungsveränderungen der Kameras nachbilden. Dadurch kann das neuronale Netz damit trainiert werden, Kalibrierungsungenauigkeiten zu erkennen und zu kompensieren.
Gemäß einem Ausführungsbeispiel werden weitere, von Sensoren bereitgestellte Informationen dazu verwendet,
Kalibrierungsveränderungen zu erkennen und zu kompensieren. So können beispielsweise Informationen eines Temperatursensors dazu verwendet werden, temperaturabhängige Kalibrierungsveränderungen zu kompensieren.
Gemäß einem Ausführungsbeispiel ist das künstliche neuronale Netz ein vortrainiertes neuronales Netz ist, das mittels Trainingsdaten in Form von Stereobildern einer Szene und dazugehörigen Kalibrierungsparametern trainiert ist, wobei die Trainingsdaten indizieren, wie sich die Stereobilder abhängig von Modifikationen der Kalibrierungsparameter der Kameras des Stereokamerasystems verändern. Dadurch kann das neuronale Netz dazu trainiert werden, Kalibrierungsungenauigkeiten bzw. Kalibrierungsabweichungen der Kameras zu kompensieren.
Gemäß einem Ausführungsbeispiel wird das künstliche neuronale Netz basierend auf Kalibrierungsinformationen, die aus Informationen der Inertialsensoren der Kameras generiert werden, nachtrainiert. Dadurch kann das neuronale Netz in einem Online-Training an die Kalibrierungsveränderungen angepasst werden. Ebenfalls können die Inertialsensoren der Kameras dazu verwendet werden, Bewegungsinformationen der Kameras bereitzustellen, die für ein initiales Training des neuronalen Netzes verwendet werden.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs. Das Fahrzeug weist ein Stereokamerasystem mit zumindest zwei Kameras zur Erfassung von Stereobildern des Umgebungsbereichs des Fahrzeugs und ein künstliches neuronales Netz zur Verarbeitung der von dem Stereokamerasystem bereitgestellten Bildinformationen auf. Das Stereokamerasystem ist dazu ausgebildet, mittels der zumindest zwei Kameras während der Bewegung des Fahrzeugs Bildsequenzen, die mehrere Bildinformationen zu unterschiedlichen Zeitpunkten enthalten, zu erfassen. Das künstliche neuronale Netz ist zum Empfang der Bildinformationen ausgebildet und erzeugt basierend darauf Stereobilder mit Abstandsinformationen. Das künstliche neuronale Netz weist eine Ausgangsschnittstelle auf, an der Informationen bezüglich der
Eigenbewegung des Fahrzeugs bereitgestellt werden, die basierend auf den Bildsequenzen durch das künstliche neuronale Netz berechnet werden. Gemäß einem Ausführungsbeispiel ist das künstliche neuronale Netz dazu ausgebildet, die Veränderung der Bildinformationen über die Zeit in den Bildsequenzen zu analysieren und basierend darauf Informationen bezüglich der Eigenbewegung des Fahrzeugs zu erzeugen. Insbesondere wird basierend auf Bildverschiebungen und/oder Bildverzerrungen, die durch die geänderte Erfassungsrichtung der Kameras entstehen, auf die Eigenbewegung rückgeschlossen. Durch die hohe Auflösung von Bildinformationen und die typischerweise großen Abstände der in den Bildinformationen dargestellten Szene von dem Fahrzeug werden bereits sehr geringe Veränderungen der Fahrzeugposition bzw. Fahrzeugausrichtung detektierbar. Dies schafft eine sehr hohe Genauigkeit der Bestimmung der Eigenbewegungsinformationen.
Gemäß einem Ausführungsbeispiel ist das künstliche neuronale Netz zur Bereitstellung von Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Achsen eines kartesischen
Koordinatensystems und von Informationen über eine Rotationsbewegung des Fahrzeugs um die drei Achsen des kartesischen Koordinatensystems an der Ausgangsschnittstelle ausgebildet. Insbesondere sind die Informationen Geschwindigkeitsinformationen, die angeben, mit welcher Geschwindigkeit sich das Fahrzeug in Richtung der jeweiligen Achsen bewegt bzw. mit welcher Drehgeschwindigkeit das Fahrzeug um eine oder mehrere dieser Achsen rotiert. In anderen Worten sind die Eigenbewegungsinformationen beispielsweise Längs-, Hoch-, und Quergeschwindigkeitsinformationen und Nick-, Gier- und Rollgeschwindigkeitsinformationen.
Gemäß einem letzten Aspekt bezieht sich die Erfindung auf ein Fahrzeug umfassend ein vorgenanntes System gemäß einem der Ausführungsbeispiele.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 beispielhaft eine schematische Darstellung eines
Stereokamerasystems, das mit einem künstlichen neuronalen Netz zur Bereitstellung von Stereobildern und Eigenbewegungsinformationen eines Fahrzeugs gekoppelt ist;
Fig. 2 beispielhaft und schematisch eine schematische Darstellung eines Stereokamerasystems, das Informationen der Inertialsensoren zum Training des neuronalen Netzes nutzt; und
Fig. 3 beispielhaft eine schematische Darstellung der Verfahrensschritte zur Ermittlung von Informationen zur Eigenbewegung des Fahrzeugs.
Figur 1 zeigt beispielhaft ein schematisches Blockdiagramm eines Systems 1 zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs.
Das System weist ein Stereokamerasystem 2 auf, das zumindest zwei Kameras 2.1, 2.2 umfasst. Das Stereokamerasystem 2 nimmt dabei Bildinformationen der Fahrzeugumgebung, insbesondere eines Bereichs in Vorwärtsfahrtrichtung vor dem Fahrzeug, als Bildpaare auf, d.h. es werden zu gleichen Zeitpunkten jeweils ein Bild mit der ersten Kamera 2.1 und ein Bild mit einer zweiten Kamera 2.2 aufgenommen, die die gleiche Szene jedoch aus unterschiedlichen Blickrichtungen zeigen, da die Kameras 2.1, 2.2 an unterschiedlichen Positionen im Fahrzeug angeordnet sind.
Beispielsweise können die Kameras 2.1, 2.2 in den Scheinwerfern des Fahrzeugs eingebaut sein. Alternativ können die Kameras 2.1, 2.2 auch in den Frontbereich des Fahrzeugs oder in die Windschutzscheibe integriert sein. Die Kameras 2.1 , 2.2 haben vorzugsweise einen Abstand größer als 0,5m zueinander, um über eine möglichst große Basisbreite eine hohe
Entfernungsauflösung zu erreichen. Die Kameras 2.1, 2.2 nehmen zeitlich nacheinander, d.h. zu unterschiedlichen Zeitpunkten mehrere Bildpaare auf, so dass Bildsequenzen entstehen. Aufgrund der Fahrzeugbewegung ändern sich die Bildinformationen, da die Bildpaare an unterschiedlichen Fahrzeugpositionen im Raum aufgenommen werden.
Das System weist ferner ein durch ein initiales Training vortrainiertes künstliches neuronales Netz 3 auf, das zur Verarbeitung der vom Stereokamerasystem 2 bereitgestellten Bildinformationen ausgebildet ist. Das künstliche neuronale Netz 3 kann beispielsweise ein tiefes neuronales Netz sein, insbesondere ein Faltungsnetzwerk (CNN: convolutional neural network).
Das neuronale Netz 3 empfängt die vom Stereokamerasystem 2 bereitgestellten Bildinformationen und schätzt Disparitätsinformationen zu diesen Bildinformationen. Die Disparitätsinformationen geben dabei an, wie hoch der laterale Versatz zwischen den einzelnen Pixeln der Bildinformationen eines Bildpaares ist. Dieser laterale Versatz ist ein Maß für den Abstand, den der mit dem Pixel dargestellte Szenenbereich vom Fahrzeug bzw. von dem Stereokamerasystem 2 hat. Damit können aus den Disparitätsinformationen Abstandsinformationen gewonnen werden, die angeben, wie weit ein mit einem Pixel dargestellter Szenenbereich vom Fahrzeug bzw. von dem Stereokamerasystem 2 entfernt ist. Dadurch können durch das neuronale Netz 3 Stereobilder bereitgestellt werden, die neben einer zweidimensionalen Bildinformation in Form von pixelbezogenen Farbwerten auch Abstandsinformationen zu jedem Pixel enthalten.
Das künstliche neuronale Netz 3 ist zudem dazu ausgebildet, die Eigenbewegung des Fahrzeugs basierend auf den Bildinformationen, die durch die Kameras 2.1 , 2.2 bereitgestellt werden, zu schätzen. In den zeitlich aufeinanderfolgenden Bildinformationen der Bildsequenzen ergeben sich aufgrund der Fahrzeugbewegung Lageveränderungen der Pixel, d.h. ein Bereich einer Szene erscheint aufgrund der Fahrzeugbewegung in einem nachfolgenden Bild der Bildsequenz an einer anderen Position als bei einem vorhergehenden Bild der Bildsequenz. Das neuronale Netz ist darauf trainiert, basierend auf diesen Lageveränderungen Informationen zur Eigenbewegung des Fahrzeugs, nachfolgend auch Odometriedaten genannt, zu schätzen.
Das neuronale Netz weist eine Ausgangsschnittstelle auf, an der die Odometriedaten des Fahrzeugs ausgegeben werden. Insbesondere werden Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Raumachsen eines kartesischen Koordinatensystems ausgegeben. Dies sind insbesondere Geschwindigkeitsinformationen, d.h. die Längs-, Hoch- und Quergeschwindigkeit des Fahrzeugs.
Zudem werden vorzugsweise Informationen über die rotatorische Bewegung des Fahrzeugs um die drei Raumachsen des kartesischen Koordinatensystems ausgegeben. Dies sind insbesondere Drehgeschwindigkeitsinformationen, d.h. die Nick-, Gier- und Rollgeschwindigkeit des Fahrzeugs.
Aufgrund der hohen Auflösung der Bildinformationen ergibt sich eine hohe Auflösung der Eigenbewegungsinformationen des Fahrzeugs. Diese sind insbesondere höher als die von einer Odometrieeinheit des Fahrzeugs bereitgestellten Informationen.
Vorzugsweise werden die von dem neuronalen Netz 3 bereitgestellten Eigenbewegungsinformationen dazu verwendet, die von einer Odometrieeinheit des Fahrzeugs bereitgestellten Informationen zu modifizieren. Insbesondere können durch ein Zusammenführen der Eigenbewegungsinformationen des neuronalen Netzes 3 und der Informationen der Odometrieeinheit modifizierte Odometrieinformationen geschaffen werden, die eine genauere Positionsbestimmung des Fahrzeugs ermöglichen.
Fig. 2 zeigt eine Ausführungsform eines Stereokamerasystems 2, bei dem die Kameras 2.1, 2.2 Inertialsensoren aufweisen. Die Inertialsensoren sind dazu ausgebildet, Bewegungsänderungen der Kameras und des Fahrzeugs zu erfassen. Dies können insbesondere translatorische Bewegungsänderungen entlang von drei Achsen eines kartesischen Koordinatensystems und rotatorische Bewegungsänderungen um diese drei Achsen des kartesischen Koordinatensystems herum sein.
Durch die Inertialsensoren ist es möglich, die absolute Bewegungsänderung der Kamera 2.1 , 2.2 und damit eine absolute Positionsänderung dieser Kamera 2.1, 2.2 zu erfassen. Darüber hinaus ist es unter Berücksichtigung der Informationen zur Bewegungsänderung beider Kameras 2.1 , 2.2 aber auch möglich, eine relative Bewegungsänderung der Kameras 2.1 , 2.2 zueinander bzw. eine Änderung der Relativposition der Kameras 2.1 , 2.2 zueinander zu bestimmen. Damit lassen sich die extrinsische Parameter und Kalibrierparameter der Kameras 2.1 , 2.2 anpassen und damit die Berechnung der Stereobilder bzw. der Abstandsinformationen der Stereobilder verbessern.
Vorzugsweise werden die Informationen der Inertialsensoren oder davon abgeleitete Informationen an das neuronale Netz 3 übermittelt, so dass abhängig von diesen Informationen der Inertialsensoren die Gewichtungsfaktoren des neuronalen Netzes 3 angepasst werden können. Dadurch lässt sich die Berechnung der Stereobilder durch das neuronale Netz 3 an die veränderte Kamerapositionierung und damit einhergehende Kalibrierungsveränderungen anpassen. Das neuronale Netz 3 ist vorzugsweise dazu ausgebildet, Disparitätsinformationen zu schätzen und dabei Kalibrierungsungenauigkeiten, die durch eine Veränderung der extrinsischen Parameter des Stereokamerasystems 2 entstehen, zu kompensieren. Hierzu wird das neuronale Netz 3 mittels Trainingsdaten, bei denen der Abstand aller Pixel zum Stereokamerasystem bekannt sind, trainiert und das neuronale Netz 3 zur Erkennung der Disparität optimiert.
Das neuronale Netz 3 nutzt dabei vorzugsweise einen nichtlinearen Korrelator, um die Disparitätsinformationen zu ermitteln. Beim Training des neuronalen Netzes 3, d.h. beim initialen Training oder bei einem Online-Training beim Betrieb des Systems oder in Betriebspausen können die Informationen der Inertialsensoren der Kameras 2.1, 2.2 als Trainingsdaten verwendet werden, um die Gewichtungsfaktoren des neuronalen Netzes geeignet anzupassen.
Das neuronale Netz 3 kann durch Trainingsdaten trainiert sein, d.h. die Gewichtungsfaktoren des neuronalen Netzes 3 sind durch eine Trainingsphase derart angepasst, dass das neuronale Netz 3 Disparitätsinformationen und/oder Abstandsinformationen zu den vom Stereokamerasystem 2 aufgenommenen Bildinformationen bereitstellt.
Die Trainingsdaten (auch als ground-truth-lnformationen bezeichnet) weisen Bildpaare auf, die die gleiche Szene jeweils mit unterschiedlichen Positionen und Ausrichtungen der Kameras 2.1, 2.2 darstellen. Die Trainingsdaten weisen dabei zudem zu jedem Bildpixel Abstandsinformationen auf, so dass basierend auf den Trainingsdaten der Fehler zwischen dem Berechnungsergebnis des neuronalen Netzes 3 und den Trainingsdaten ermittelt werden kann und die Gewichtungsfaktoren des neuronalen Netzes 3 sukzessive derart angepasst werden, dass sich der Fehler reduziert wird. Zudem können die Trainingsdaten Informationen zur Eigenbewegung des Fahrzeugs aufweisen, die den jeweiligen Bildpaaren zugeordnet sind (d.h. ein Eigenbewegungslabeling), so dass das neuronale Netz 3 im Rahmen des Trainings lernt, wie sich die Bildinformationen von Bildpaaren einer Bildsequenz zeitlich ändern, wenn das Fahrzeug eine Eigenbewegung vollzieht. Die Informationen zur Eigenbewegung des Fahrzeugs in den Trainingsdaten können vorzugsweise Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Raumachsen eines kartesischen Koordinatensystems enthalten, d.h. insbesondere die Längs-, Hoch- und Quergeschwindigkeit des Fahrzeugs. Zudem können die Informationen zur Eigenbewegung des Fahrzeugs in den Trainingsdaten Informationen über die rotatorische Bewegung des Fahrzeugs um die drei Raumachsen des kartesischen Koordinatensystems enthalten, beispielsweise die Nick-, Gier- und Rollgeschwindigkeit des Fahrzeugs.
Das neuronale Netz 3 weist, wie zuvor beschrieben, eine Ausgangsschnittstelle auf, an der Eigenbewegungsinformationen des Fahrzeugs bereitgestellt werden. Beim Training, d.h. beim initialen Training oder aber bei einem Re-Training, d.h. Nachtrainieren des neuronalen Netzes 3, beispielsweise in Form eines Online-Trainings, werden diese vom neuronalen Netz 3 geschätzten Eigenbewegungsinformationen mit den Eigenbewegungsinformationen der Trainingsdaten verglichen. Die Gewichtungsfaktoren des neuronalen Netzes 3 werden anschließend derart angepasst, dass der Fehler zwischen den vom neuronalen Netz 3 geschätzten Eigenbewegungsinformationen und den Eigenbewegungsinformationen der Trainingsdaten minimiert wird.
Die in den Trainingsdaten enthaltenen Bewegungsinformationen des Fahrzeugs und/oder der Kameras 2.1 , 2.2 können beispielsweise durch die Inertialsensoren der Kameras 2.1 , 2.2 bereitgestellt werden. Alternativ oder zusätzlich können auch Bewegungsinformationen von einer Odometrieeinheit des Fahrzeugs verwendet werden.
Das neuronale Netz 3 kann beispielsweise in einem Steuergerät des Stereokamerasystems 2 prozessiert werden. Alternativ kann das neuronale Netz 3 auch in einem Steuergerät betrieben werden, das vom Stereokamerasystem 2 getrennt vorgesehen ist.
Fig. 3 zeigt ein Blockdiagramm, das die Schritte eines Verfahrens zur Bestimmung der Eigenbewegungsinformationen eines Fahrzeugs mittels eines neuronalen Netzes illustriert.
Zunächst werden Bildinformationen durch die Kameras 2.1, 2.2 des Stereokamerasystems 2 aufgenommen (S10). Bei den Bildinformationen handelt es sich um Bildpaare, wobei die Bilder eines Bildpaares zum gleichen Zeitpunkt aufgenommen werden, und zwar ein erstes Bild von der ersten Kamera 2.1 und ein zweites Bild von der zweiten Kamera 2.2. Es werden zeitlich nacheinander mehrere derartiger Bildpaare aufgenommen, so dass sich eine Bildsequenz ergibt.
Anschließend ermittelt das neuronale Netz Stereobilder des Umgebungsbereichs des Fahrzeugs (S11). Diese enthalten neben pixelbezogenen Farbwerten auch pixelbezogene Abstandsinformationen
Das neuronale Netz 3 stellt zudem Eigenbewegungsinformationen des Fahrzeugs bereit (S12). Diese werden basierend auf den Bildinformationen des Stereokamerasystems ermittelt, und zwar basierend auf der Positionsveränderung von in den Bildinformationen dargestellten Bereichen der Szene über die Zeit. Dies können insbesondere die Positionsveränderungen von einzelnen Pixeln oder Gruppen von Pixeln über der Zeit sein, die sich durch die Eigenbewegung des Fahrzeugs im Raum ergeben. Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste 1 System
2 Stereokamerasystem
2.1 , 2.2 Kamera 3 künstliches neuronales Netz

Claims

Patentansprüche
1 ) Verfahren zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs, wobei das Fahrzeug ein Stereokamerasystem (2) mit zumindest zwei Kameras (2.1, 2.2) zur Erfassung von Stereobildern des Umgebungsbereichs des Fahrzeugs und ein künstliches neuronales Netz (3) zur Verarbeitung der von dem Stereokamerasystem (2) bereitgestellten Bildinformationen aufweist, wobei das Stereokamerasystem (2) mittels der zumindest zwei Kameras während der Bewegung des Fahrzeugs Bildsequenzen, die mehrere Bildinformationen zu unterschiedlichen Zeitpunkten enthalten, erfasst, dass das künstliches neuronales Netz (3) die Bildinformationen empfängt und basierend darauf Stereobilder mit Abstandsinformationen erzeugt und dass das künstliche neuronales Netz (3) basierend auf den Bildinformationen des Stereokamerasystem (2) Informationen bezüglich der Eigenbewegung des Fahrzeugs an einer Ausgangsschnittstelle bereitstellt.
2) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das künstliche neuronale Netz (3) die Veränderung der Bildinformationen über die Zeit in den Bildsequenzen analysiert und basierend darauf Informationen bezüglich der Eigenbewegung des Fahrzeugs erzeugt.
3) Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Informationen bezüglich der Eigenbewegung des Fahrzeugs Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Achsen eines kartesischen Koordinatensystems umfassen.
4) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen bezüglich der Eigenbewegung des Fahrzeugs Informationen über eine Rotationsbewegung des Fahrzeugs um die drei Achsen eines kartesischen Koordinatensystems umfassen.
5) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, das künstliche neuronale Netz Veränderungen von Kalibrierungsparameter des Stereokamerasystems (2) kompensiert.
6) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameras (2.1, 2.2) des Stereokamerasystems (2) Inertialsensoren aufweisen, die Bewegungsänderungen der Kameras bestimmen.
7) Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass Kalibrierungsparameter des Stereokamerasystems (2) mittels Informationen, die durch die Inertialsensoren der Kameras des Stereokamerasystems (2) bereitgestellt werden, angepasst werden.
8) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz (3) ein vortrainiertes neuronales Netz ist, das mittels Trainingsdaten in Form von Stereobildern einer Szene und dazugehörigen Kalibrierungsparametern trainiert ist, wobei die Trainingsdaten indizieren, wie sich die Stereobilder abhängig von Modifikationen der Kalibrierungsparameter der Kameras des Stereokamerasystems verändern.
9) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netz (3) basierend auf Kalibrierungsinformationen, die aus Informationen der Inertialsensoren der Kameras (2.1, 2.2) generiert werden, nachtrainiert wird. 10) System zur Bestimmung von Informationen zur Eigenbewegung eines Fahrzeugs, wobei das Fahrzeug ein Stereokamerasystem (2) mit zumindest zwei Kameras (2.1, 2.2) zur Erfassung von Stereobildern des Umgebungsbereichs des Fahrzeugs und ein künstliches neuronales Netz (3) zur Verarbeitung der von dem Stereokamerasystem (2) bereitgestellten Bildinformationen aufweist, wobei das Stereokamerasystem (2) dazu ausgebildet ist, mittels der zumindest zwei Kameras (2.1, 2.2) während der Bewegung des Fahrzeugs Bildsequenzen, die mehrere Bildinformationen zu unterschiedlichen Zeitpunkten enthalten, zu erfassen, dass das künstliche neuronale Netz zum Empfang der Bildinformationen ausgebildet ist und basierend darauf Stereobilder mit Abstandsinformationen erzeugt und dass das künstliche neuronale Netz (3) eine Ausgangsschnittstelle aufweist, an der Informationen bezüglich der Eigenbewegung des Fahrzeugs bereitgestellt werden, die basierend auf den Bildsequenzen durch das künstliche neuronale Netz (3) berechnet werden.
11) System nach Anspruch 10, dadurch gekennzeichnet, dass das künstliche neuronale Netz dazu ausgebildet ist, die Veränderung der Bildinformationen über die Zeit in den Bildsequenzen zu analysieren und basierend darauf Informationen bezüglich der Eigenbewegung des Fahrzeugs zu erzeugen.
12) System nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass das künstliche neuronale Netz zur Bereitstellung von Informationen über die translatorische Bewegung des Fahrzeugs entlang von drei Achsen eines kartesischen Koordinatensystems und von Informationen über eine Rotationsbewegung des Fahrzeugs um die drei Achsen des kartesischen Koordinatensystems an der Ausgangsschnittstelle ausgebildet ist. 13) System nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Kameras (2.1, 2.2) des Stereokamerasystems (2) Inertialsensoren aufweisen, die zur Bestimmung von Bewegungsänderungen der Kameras ausgebildet sind.
14) System nach Anspruch 13, dadurch gekennzeichnet, dass das künstliche neuronale Netz (3) basierend auf
Kalibrierungsinformationen, die aus Informationen der Inertialsensoren der Kameras (2.1 , 2.2) generiert werden, nachtrainiert wird.
15) Fahrzeug umfassend ein System gemäß einem der Ansprüche 10 bis 14.
EP22714211.4A 2021-03-22 2022-03-18 Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs Pending EP4315275A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021106988.2A DE102021106988A1 (de) 2021-03-22 2021-03-22 Verfahren und System zur Bestimmung von Eigenbewegungsinformationen eines Fahrzeugs
PCT/EP2022/057203 WO2022200222A1 (de) 2021-03-22 2022-03-18 Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP4315275A1 true EP4315275A1 (de) 2024-02-07

Family

ID=81074249

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22714211.4A Pending EP4315275A1 (de) 2021-03-22 2022-03-18 Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs

Country Status (5)

Country Link
US (1) US20240174260A1 (de)
EP (1) EP4315275A1 (de)
CN (1) CN117136388A (de)
DE (1) DE102021106988A1 (de)
WO (1) WO2022200222A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2028357B1 (en) * 2021-06-01 2022-12-13 Cyclomedia Tech B V Method for training a neural network
DE102023130929B3 (de) * 2023-11-08 2025-02-06 Daimler Truck AG Verfahren zum Fusionieren von Kamerabildern sowie Fahrzeug

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438776B1 (de) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren, vorrichtung und computerprogramm für ein fahrzeug
DE102017222600B3 (de) 2017-12-13 2018-12-27 Audi Ag Optische Positionsermittlung eines Fahrzeugs mittels eines Convolutional Autoencoders und/oder eines tiefen neuronalen Netzes
CN108230437B (zh) * 2017-12-15 2021-11-09 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
CN111788102B (zh) * 2018-03-07 2024-04-30 罗伯特·博世有限公司 用于跟踪交通灯的里程计系统和方法
US12122420B2 (en) 2018-08-29 2024-10-22 Intel Corporation Computer vision system
US11670088B2 (en) * 2020-12-07 2023-06-06 Ford Global Technologies, Llc Vehicle neural network localization
DE102020215860A1 (de) * 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung

Also Published As

Publication number Publication date
WO2022200222A1 (de) 2022-09-29
US20240174260A1 (en) 2024-05-30
DE102021106988A1 (de) 2022-09-22
CN117136388A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
DE102009005861A1 (de) Fahrzeugumgebungs-Erkennungssystem
DE112014007047B4 (de) Fahrzeugkamera-Steuervorrichtung
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE102004048400A1 (de) Verfahren für die Erfassung einer optischen Struktur
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
EP4315275A1 (de) Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs
EP4068223A1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz
EP4198894A1 (de) Kamerabasierte fahrzeugkonturerfassung für fahrzeugbehandlungsanlagen
DE102011076795A1 (de) Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
EP2630632A1 (de) Bestimmung der basisbreite eines stereobild-erfassungssystems
DE102009007412A1 (de) Verfahren zur Verfolgung wenigstens eines Objekts
DE102021113111B4 (de) Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
EP4381465A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld
DE102020201505A1 (de) Verfahren und Vorrichtung zum kamerabasierten Ermitteln einer Geschwindigkeit eines Fortbewegungsmittels
DE102023116272A1 (de) Verfahren und System zur Detektion eines Objekts
DE102019113962A1 (de) Abbilden eines Umfelds
DE102019209849B4 (de) Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE102023203531A1 (de) Verfahren und Vorrichtungen zum Positionieren einer Kalibriervorrichtung vor einem Kraftfahrzeug
DE112023002835T5 (de) Verbesserter Prozess zum Detektieren von Objekten mittels eines neuronalen Netzwerks

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230928

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250604

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

Owner name: VOLKSWAGEN AG