EP4670134A1 - Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens - Google Patents

Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens

Info

Publication number
EP4670134A1
EP4670134A1 EP24706059.3A EP24706059A EP4670134A1 EP 4670134 A1 EP4670134 A1 EP 4670134A1 EP 24706059 A EP24706059 A EP 24706059A EP 4670134 A1 EP4670134 A1 EP 4670134A1
Authority
EP
European Patent Office
Prior art keywords
stixel
image data
distance
machine learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24706059.3A
Other languages
English (en)
French (fr)
Inventor
Denis Tananaev
Steffen Abraham
Ze GUO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4670134A1 publication Critical patent/EP4670134A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to a method for generating training data for training a machine learning algorithm and in particular to an improved method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • Machine learning algorithms are based on the use of statistical methods to train a data processing system so that it can perform a specific task without it originally being explicitly programmed to do so.
  • the goal of machine learning is to construct algorithms that can learn from data and make predictions. These algorithms create mathematical models that can be used, for example, to classify data.
  • the training of a machine learning algorithm is usually based on training data, for example through a deep learning method, whereby the training data is labeled data or data provided with corresponding information that represents the actual behavior or conditions of an existing application for which the machine learning algorithm is being trained, i.e. a system to be modeled or a corresponding downstream process.
  • Such machine learning algorithms are also used, for example, in controlling driver assistance systems of a motor vehicle and/or functions of an autonomously driving motor vehicle.
  • a corresponding machine learning algorithm can, for example, be designed to detect objects or obstacles, such as other motor vehicles and/or pedestrians, in image data captured by an optical sensor of a motor vehicle.
  • the driver assistance system and/or the function of the autonomously driving motor vehicle can then be controlled based on the detected objects of the motor vehicle in such a way that safety-critical situations can be avoided when using or operating the motor vehicle.
  • Machine learning algorithms are also known which are designed or trained based on corresponding labeled training data to determine at least one pixel in image data captured by an optical sensor of a motor vehicle and a distance to an object represented in the at least one pixel from the image data. It is advantageous here, for example, that no corresponding distance sensor, for example a lidar sensor, is required to determine a distance to the at least one pixel and the machine learning algorithm can also be used in motor vehicles which only have a camera but no corresponding distance sensor.
  • a stixel is a superpixel representation of depth information in an image or image data in the form of a vertical stick or rod that approximates the nearest obstacles within a certain vertical section of the scene.
  • the invention is therefore based on the object of specifying an improved method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • the object is achieved by a method for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, according to the features of patent claim 1.
  • the object is also achieved by a system for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel. the captured image data, according to the features of patent claim 8.
  • this object is achieved by a method for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, wherein the method comprises generating image data, for example image data about an environment of a motor vehicle, wherein the image data is based on information captured by at least one optical sensor, wherein the at least one optical sensor has at least one distance sensor, determining objects represented in the image data, generating at least one stixel from the image data based on the determined objects, and, for each of the at least one stixel, determining a distance to the object represented in the corresponding stixel based on the image data and information captured by the at least one distance sensor, wherein determining a distance comprises transforming coordinates in a coordinate system representing one of the at least one distance sensor into coordinates in
  • image data for example image data about the surroundings of a motor vehicle
  • image data are directly captured by a corresponding sensor, for example a camera attached to the motor vehicle, or that data captured by other optical sensors of the motor vehicle, in particular a lidar sensor, are converted into image data.
  • Image data also refers to data that can be displayed as an image or graphic using a special program.
  • a sensor which is also referred to as a detector, (measured variable or measuring) sensor or (measured) probe, is also a technical component that can detect certain physical or chemical properties and/or the material properties of its environment qualitatively or quantitatively as a measured variable.
  • An optical sensor is a sensor that can detect objects using light or similar radiation.
  • a distance sensor is also a sensor that measures the distance between the sensor and an object.
  • An example of such a distance sensor is a lidar sensor, which can detect objects using laser radiation, or objects based on radiation reflected or scattered back from the objects.
  • Lidar sensors are used, among other things, to measure distances, whereby distances can be determined from the scattered radiation based on the principle of measuring the time of flight of light.
  • a coordinate system representing a distance sensor is also understood to be a coordinate system whose origin coincides with the position of the distance sensor and which defines the position and orientation of the distance sensor.
  • a coordinate system representing the ground plane or a coordinate system of the ground plane is also understood to be a world coordinate system whose origin lies on the ground plane or the ground and from which the coordinates of points lying on the ground plane can be taken.
  • Coordinate transformations or transformations of coordinates also refer to conversions or changes in the coordinate values when changing from one coordinate system to another.
  • a large number of stixels with corresponding Distance information or training data for training the machine learning algorithm can be generated without the need for complex and resource-intensive adjustments or operations.
  • the process can be implemented using relatively simple sensors that are usually already installed in motor vehicles.
  • the method which is based on a coordinate transformation of actually recorded data, is comparatively less prone to errors.
  • Coordinate transformations are used in particular when a problem can be solved more easily in another coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can be derived from the corresponding coordinates in a simple manner, for example based on known standards.
  • an improved method for generating training data for training a machine learning algorithm is thus provided, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • the at least one optical sensor further comprises a camera, wherein the image data is image data captured by the camera, and wherein the step of generating at least one stixel comprises generating a segmentation of the image data.
  • Segmentation is the division of image data into individual columns or regions with related content.
  • the step of generating a segmentation of the image data can comprise applying a machine learning algorithm that is trained to segment image data. This allows the step of generating a segmentation to be automated and made less prone to errors.
  • the step of generating a segmentation of the image data comprises applying a machine learning algorithm that is trained to segment image data is only one possible embodiment. Rather, the segmentation can also be generated, for example, by applying other image processing algorithms that are suitable for generating a segmentation.
  • the information recorded by the at least one distance sensor for each of the at least one stixel can each contain information about at least one point on the object represented in the corresponding stixel at which rays emitted by the at least one distance sensor are reflected. This has the advantage that the distance to the corresponding stixel can be determined directly without any further conversions being necessary, which also allows resources to be saved.
  • the information detected by the at least one distance sensor can include information about a point on the object represented in the corresponding stixel at which rays emitted by the at least one distance sensor are reflected and which has at least a predetermined height relative to the base area.
  • a further embodiment of the invention also provides a method for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, wherein the method comprises generating training data for training the machine learning algorithm, wherein the training data is generated by a method described above for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, and training the machine learning algorithm based on the generated training data.
  • a method for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and for each of the at least one stixel a distance to an object represented in the at least one stixel from the captured image data, which is based on training data generated by an improved method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and for each of the at least one stixel a distance to an object represented in the at least one stixel from the captured image data.
  • a large number of stixels with corresponding Distance information or training data for training the machine learning algorithm can be generated without the need for complex and resource-intensive adjustments or operations.
  • the method can be implemented with relatively simple sensors that are usually already installed in motor vehicles.
  • the method for generating training data which is based on a coordinate transformation of actually recorded data, is comparatively less prone to errors. Coordinate transformations are used in particular when a problem can be solved more easily in a different coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can also be derived in a simple manner, for example based on known standards, from the corresponding coordinates.
  • a further embodiment also provides a method for controlling a controllable system by a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data
  • the method comprises providing a machine learning algorithm for controlling the controllable system, wherein the machine learning algorithm is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, and wherein the machine learning algorithm has been trained by a method described above for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, and controlling the controllable system based
  • a method for controlling a controllable system based on a machine learning algorithm is specified, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, wherein the machine learning algorithm was trained based on training data generated by an improved method for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and a distance to the at least one stixel from the image data.
  • a large number of stixels with corresponding distance information or training data for training the machine learning algorithm can be generated by comparatively simple image processing operations and coordinate transformations, without complex and resource-intensive adaptations or operations being necessary.
  • the method can be implemented with relatively simple sensors that are usually already installed in motor vehicles.
  • the method for generating training data which is based on a coordinate transformation of actually recorded data, is comparatively less prone to errors. Coordinate transformations are used in particular when a problem can be solved more easily in another coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can be derived from the corresponding coordinates in a simple manner, for example based on known standards.
  • a further embodiment of the invention also provides a system for generating training data for training a machine learning algorithm, which is designed to store at least one Stixel in an optical sensor captured image data and for each of the at least one stixel to determine a distance to an object represented in the at least one stixel from the captured image data, wherein the system has a first generation unit which is designed to generate image data, wherein the image data is based on information captured by at least one optical sensor, wherein the at least one optical sensor has at least one distance sensor, and wherein the system further comprises a first determination unit which is designed to determine objects represented in the image data, a second generation unit which is designed to generate at least one stixel from the image data based on the determined objects, and a second determination unit which is designed to determine for each of the at least one stixel a distance to the object represented in the corresponding stixel based on the image data and information captured by the at least one distance sensor, wherein determining a distance comprises transforming coordinates in
  • an improved system for generating training data for training a machine learning algorithm is specified, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • a large number of stixels with corresponding distance information or training data for training the machine learning algorithm can be generated by comparatively simple image processing operations and coordinate transformations, without complex and resource-intensive adjustments or operations being necessary.
  • the system can be implemented with relatively simple sensors that are already installed in motor vehicles.
  • the generation of training data is possible by the system, which is based on a coordinate transformation of actually recorded data, is comparatively less prone to errors.
  • Coordinate transformations are used in particular when a problem can be solved more easily in another coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can also be derived in a simple manner, for example based on known standards, from the corresponding coordinates.
  • the at least one optical sensor further comprises a camera, wherein the image data are image data recorded by the camera, and wherein the first generation unit is designed to generate a segmentation of the image data.
  • the first generation unit can be designed to apply a machine learning algorithm, which is trained to segment image data, to segment the image data. This can automate the generation of a segmentation and make it less prone to errors.
  • the first generation unit is designed to apply a machine learning algorithm that is trained to segment image data is only one possible embodiment. Rather, the first generation unit can also be designed to apply other image processing algorithms that are suitable for generating a segmentation.
  • the information recorded by the at least one distance sensor for each of the at least one stixel can each contain information about at least one point on the object represented in the corresponding stixel at which rays emitted by the lidar sensor are reflected. This has the advantage that the distance to the corresponding stixel can be determined directly without further Conversions would be necessary, which would also save resources.
  • the information detected by the at least one distance sensor can include information about a point on the object represented in the corresponding pixel at which rays emitted by the at least one distance sensor are reflected and which has at least a predetermined height relative to the base surface. This can ensure that the coordinates of the corresponding point in the coordinate system representing the at least one optical sensor can be reliably and easily transformed into coordinates in the coordinate system representing the base plane.
  • a further embodiment of the invention also provides a system for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, wherein the system has a provision unit which is designed to provide training data for training the machine learning algorithm, wherein the training data was generated by a system described above for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, and a training unit which is designed to train the machine learning algorithm based on the training data provided.
  • a system for training a machine learning algorithm which is designed to identify at least one stixel in image data acquired by an optical sensor and for each of the at least one stixel to determine a distance to an object represented in the at least one stixel from the captured image data, which is based on training data generated by an improved system for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • a large number of stixels with corresponding distance information or training data for training the machine learning algorithm can be generated by comparatively simple image processing operations and coordinate transformations, without complex and resource-intensive adjustments or operations being necessary.
  • the system can be implemented with relatively simple sensors that are already installed in conventional motor vehicles.
  • the generation of training data by the system for generating training data which is based on a coordinate transformation of actually captured data, is comparatively less susceptible to errors.
  • coordinate transformations are used when a problem can be solved more easily in another coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can be derived from the corresponding coordinates in a simple manner, for example based on known standards.
  • a further embodiment of the invention also provides a system for controlling a controllable system based on a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data
  • the system comprises a provision unit which is designed to provide a machine learning algorithm for controlling the controllable system, wherein the machine learning algorithm is designed to determine at least one stixel in image data captured by an optical sensor and for each of the at least one stixel, a distance to an object represented in the at least one stixel is to be determined from the captured image data, and wherein the machine learning algorithm has been trained by a method described above for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and for each of the at least one stixel, a distance to an object represented in the at least one stixe
  • a system for controlling a controllable system based on a machine learning algorithm is specified, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data, wherein the machine learning algorithm was trained based on training data generated by an improved system for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • a large number of stixels with corresponding distance information or training data for training the machine learning algorithm can be generated by comparatively simple image processing operations and coordinate transformations, without complex and resource-intensive adjustments or operations being necessary.
  • the system can be implemented using relatively simple sensors that are already installed in vehicles.
  • the generation of training data by the system for generating training data which is based on a coordinate transformation of actually recorded data, is relatively less prone to errors.
  • Coordinate transformations are used in particular when a problem arises in another coordinate system can be solved more easily, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can be derived in a simple manner, for example based on known standards, from the corresponding coordinates.
  • the present invention provides a method for generating training data for training a machine learning algorithm and in particular an improved method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • Fig. 1 shows a flowchart of a method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and for each of the at least one stixel a distance to an object represented in the at least one stixel from the acquired image data, according to embodiments of the invention;
  • Fig. 2 shows a schematic block diagram of a system for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data, according to embodiments of the invention.
  • Fig. 3 shows a flow chart of a method for generating training data for training a machine learning algorithm, which is designed to determine at least one stixel in image data captured by an optical sensor and for each of the at least one stixel a distance to an object represented in the at least one stixel from the captured image data, according to a first embodiment of the invention
  • Fig. 4 shows a flow chart of a method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data, according to a second embodiment of the invention.
  • identical reference symbols designate identical or functionally identical elements, parts or components, unless otherwise stated.
  • Fig. 1 shows a flowchart of a method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data 1, according to embodiments of the invention.
  • Stixels have proven to be a compact and efficient way to prepare image data captured by an optical sensor, such as a video camera in a motor vehicle, for further processing by downstream processes, such as driver assistance systems in a motor vehicle or functions in an autonomously driving motor vehicle.
  • an optical sensor such as a video camera in a motor vehicle
  • downstream processes such as driver assistance systems in a motor vehicle or functions in an autonomously driving motor vehicle.
  • a stixel is a superpixel representation of depth information in an image or image data in the form of a vertical stick or rod that approximates the nearest obstacles within a certain vertical section of the scene.
  • Such stixels can be determined based on image data and motion algorithms, for example.
  • machine learning algorithms are also known which are designed or trained based on corresponding labeled training data to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data. It is advantageous here, for example, that no corresponding distance sensor, for example a lidar sensor, is required to determine a distance to the at least one stixel and the machine learning algorithm can also be used in motor vehicles which only have a camera but no corresponding distance sensor.
  • Fig. 1 shows a method 1 which comprises a step 2 of generating image data, for example image data about the surroundings of a motor vehicle, wherein the image data is based on information acquired by at least one optical sensor, wherein the at least one optical sensor has at least one distance sensor, a step 3 of determining objects represented in the image data, a step 4 of generating at least one stixel from the image data based on the determined objects, and a step 5 of, for each of the at least one stixels, respectively determining a distance to the object represented in the corresponding stixel based on the image data and information acquired by the at least one distance sensor, wherein determining a distance in each case comprises transforming coordinates in a coordinate system representing the at least one distance sensor into coordinates in a coordinate system representing a ground plane.
  • method 1 which is based on a coordinate transformation of actually recorded data, is comparatively less prone to errors.
  • coordinate transformations are used when a problem can be solved more easily in another coordinate system, whereby the corresponding distance value can be read in the world coordinate system representing the base plane or can also be derived in a simple manner, for example based on known standards, from the corresponding coordinates.
  • an improved method 1 for generating training data for training a machine learning algorithm is thus specified, which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data.
  • the machine learning algorithm can, for example, be an artificial neural network.
  • the at least one optical sensor further comprises a camera, wherein the image data is image data recorded by the camera, and wherein step 4 of generating at least one stixel comprises generating a segmentation of the image data.
  • the individual pixels can be generated by first segmenting the image data, whereby the convex hull of each detected or determined object is then determined and the determined convex hull is filled in such a way that it appears as a continuous area, whereby the filling can include filling up to a floor or a ground plane, and whereby the larger objects can be filled in first. Then the image data is divided into columns, whereby for each column a highest and lowest point, or a start and end point of the convex hull of the object that appears in the foreground in the corresponding column or that is closest to a viewer of the image data, is determined. However, if such a highest and lowest point cannot be determined, the process for the corresponding column can be aborted.
  • the image data may also be generated based on data acquired by other sensors, for example a distance sensor such as a lidar sensor, by applying an algorithm to the acquired data which is configured to convert the acquired sensor data into image data.
  • a distance sensor such as a lidar sensor
  • the segmentation can also be an instance segmentation. This prevents a common convex hull for objects that are represented in the image data as overlapping or immediately adjacent to each other.
  • generating a segmentation of the image data further comprises applying a machine learning algorithm trained to segment image data.
  • the information detected by the at least one distance sensor further comprises, for each of the at least one stixel, information about at least one point on the object represented in the corresponding stixel at which rays emitted by the at least one distance sensor are reflected.
  • each of the at least one stixel based on the information detected by the at least one distance sensor, it can be checked whether the information contains information about at least one point on the object represented in the corresponding stixel, which lies between the highest point and the lowest point of the convex hull of the object represented by the corresponding stixel on the corresponding convex hull. If such information cannot be determined, the process for the corresponding stixel or column can be aborted.
  • the information detected by the at least one distance sensor comprises information about a point on the object represented in the corresponding stixel at which rays emitted by the at least one distance sensor are reflected and which has at least a predetermined height relative to the base surface.
  • the point can be determined which has the shortest distance to the at least one distance sensor and which at the same time has at least the predetermined height relative to the base area.
  • a distance to the object represented in the corresponding pixel can be determined by transforming corresponding coordinates in a coordinate system representing one of the at least one distance sensors into coordinates in a coordinate system representing a base plane. If the object is an overhanging object, i.e. an object that protrudes to the rear or has a protruding part, the determined distance can also be adjusted by applying a corresponding correction algorithm or overhang correction algorithm.
  • Fig. 1 describes a method which, in addition to at least one Stixel, also provides information about a distance from the at least one Distance sensor to an object represented in at least one stixel.
  • the training data for training the machine learning algorithm is based on the image data, a stixel generated in it and a distance to the object represented in the corresponding stixel.
  • the training data can then be used to train a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data.
  • the machine learning algorithm can, for example, be trained based on corresponding labeled training data to control a controllable system, where the controllable system can be, for example, a driver assistance system of a motor vehicle or a function of an autonomously driving motor vehicle, such as adaptive cruise control.
  • controllable system can be, for example, a driver assistance system of a motor vehicle or a function of an autonomously driving motor vehicle, such as adaptive cruise control.
  • Fig. 2 shows a schematic block diagram of a system for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data 10, according to embodiments of the invention.
  • the system comprises a first generation unit 11, which is designed to generate image data, wherein the image data is based on information acquired by at least one optical sensor, wherein the at least one optical sensor comprises at least one distance sensor, and wherein the system 10 further comprises a first determination unit 12, which is designed to determine objects represented in the image data, a second generation unit 13 which is designed to generate at least one stixel from the image data based on the determined objects, and a second determination unit 14 which is designed to determine, for each of the at least one stixel, a distance to the object represented in the corresponding stixel based on the image data and information detected by the at least one distance sensor, wherein determining a distance each comprises transforming coordinates in a coordinate system representing the at least one distance sensor into coordinates in a coordinate system representing a ground plane, and wherein the training data are each based on the image data, a stixel generated therein and a distance to the object represented in the corresponding stixel.
  • the first generation unit can have a receiver which is designed to receive corresponding sensor data and can also be implemented based on a code stored in a memory and executable by a processor.
  • the first determination unit, the second generation unit and the second determination unit can also each be implemented based on a code stored in a memory and executable by a processor.
  • the at least one optical sensor further comprises a camera, wherein the image data is image data recorded by the camera, and wherein the first generation unit 11 is designed to generate a segmentation of the image data.
  • the first generation unit 11 is particularly designed to apply a machine learning algorithm, which is trained to segment image data, in order to segment the image data.
  • the information detected by the at least one distance sensor in turn comprises information about at least one point for each of the at least one stixel the object represented in the corresponding stixel, from which rays emitted by the lidar sensor are reflected.
  • the information detected by the at least one distance sensor in turn comprises information about a point on the object represented in the corresponding stixel at which rays emitted by the at least one distance sensor are reflected and which has at least a predetermined height relative to the base area.
  • the at least one distance sensor can be, for example, a lidar sensor.
  • the illustrated system 10 is designed to carry out a method described above for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel.
  • Fig.3 shows a flow chart of a method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data captured by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the captured image data 20, according to a first embodiment of the invention.
  • sensor data is received, in particular image data from a camera and dense lidar data, or lidar data with a high detection density or a lidar point cloud with high density.
  • lidar ground points i.e. points which have a ground and points representing an object (L_obstacle) are determined, for example by means of a plane fit algorithm.
  • the lidar ground points are then projected onto the camera image using camera and lidar extrinsics, camera intrinsics and a corresponding projection model in order to obtain a depth image for the represented objects.
  • this depth image is then divided into bars or vertical sticks of fixed width, whereby in a step 25, corresponding ground points within the corresponding bar are determined for each bar.
  • a step 26 the point closest to the camera point or center of the camera parallel to the ground direction is determined for each rod.
  • a step 27 the ground point closest to this point within the corresponding rod is then determined, whereby based on this ground point, the point of the corresponding object representation closest to the ground point and then the highest point of the corresponding object representation are determined.
  • Fig. 4 shows a flow chart of a method for generating training data for training a machine learning algorithm which is designed to determine at least one stixel in image data acquired by an optical sensor and, for each of the at least one stixel, a distance to an object represented in the at least one stixel from the acquired image data 30, according to a second embodiment of the invention.
  • sensor data is received, in particular a semantically segmented data from a camera and a sparse point cloud from a lidar sensor.
  • a convex hull is then calculated to extend the representation of the objects above the ground, such as vehicles, pedestrians, animals or guard rails, to the ground.
  • the semantically segmented image is then divided into bars or vertical sticks with a fixed width, whereby in a step 34, for each bar, the lidar is projected onto the corresponding bar and the closest 3D point is determined that lies within a range between a highest point and a lowest point of a corresponding object representation.
  • step 35 the intersection point between the direction vector of the camera and the orthogonal to the ground plane is calculated in order to determine the more precise lowest point of the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das Verfahren (1) folgende Schritte aufweist: Ermitteln einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen, wobei das Ermitteln einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen des wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist, und wobei die Trainingsdaten jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basieren (5).

Description

Beschreibung
Titel
Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens und insbesondere ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen.
Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
Das Trainieren eines Algorithmus des maschinellen Lernens erfolgt dabei für gewöhnlich basierend auf Trainingsdaten, beispielsweise durch ein Deep Learning-Verfahren, wobei es sich bei den Trainingsdaten um gelabelte beziehungsweise mit entsprechenden Informationen versehene Daten, welche das tatsächliche Verhalten beziehungsweise Gegebenheiten einer vorliegenden Anwendung, für welche der Algorithmus des maschinellen Lernens trainiert wird, das heißt eines zu modellierenden Systems beziehungsweise eines entsprechenden nachgeordneten Prozesses repräsentieren. Angewendet werden derartige Algorithmen des maschinellen Lernens ferner beispielsweise bei der Steuerung von Fahrerassistenzsystemen eines Kraftfahrzeuges und/oder Funktionen eines autonom fahrenden Kraftfahrzeuges. Dabei kann ein entsprechender Algorithmus des maschinellen Lernens beispielsweise ausgebildet sein, Objekte beziehungsweise Hindernisse, beispielsweise andere Kraftfahrzeuge und/oder Fußgänger, in einem durch einen optischen Sensor eines Kraftfahrzeuges erfassten Bilddaten zu detektierten. Das Fahrerassistenzsystem und/oder die Funktion des autonom fahrenden Kraftfahrzeuges kann anschließend basierend auf den detektierten Objekten des Kraftfahrzeuges derart gesteuert werden, dass sicherheitskritische Situationen beim Benutzen beziehungsweise Betreiben des Kraftfahrzeuges vermieden werden können.
Dabei sind auch Algorithmen des maschinellen Lernens bekannt, welche ausgebildet beziehungsweise basierend auf entsprechenden gelabelten Trainingsdaten trainiert sind, wenigstens ein Stixel in durch einen optischen Sensor eines Kraftfahrzeuges erfassten Bilddaten und jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den Bilddaten zu bestimmen. Vorteilhaft ist hierbei beispielsweise, dass kein entsprechender Abstandssensor, beispielsweise ein Lidar-Sensor zur Bestimmung einer Entfernung zu dem wenigstens einen Stixel vonnöten ist und der Algorithmus des maschinellen Lernens auch bei Kraftfahrzeugen, welche lediglich eine Kamera jedoch keinen entsprechenden Abstandssensor aufweisen, eingesetzt werden kann.
Ein Stixel ist dabei eine Superpixel-Darstellung von Tiefeninformationen in einem Bild beziehungsweise Bilddaten in Form eines vertikalen Sticks beziehungsweise Stabes, der die nächstgelegenen Hindernisse innerhalb eines bestimmten vertikalen Abschnitts der Szene annähert.
Als nachteilig erweist sich dabei jedoch, dass häufig nur wenige Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor eines Kraftfahrzeuges erfassten Bilddaten und jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den Bilddaten zu bestimmen, zur Verfügung stehen und bekannte Verfahren zur Erzeugung zusätzlicher Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor eines Kraftfahrzeuges erfassten Bilddaten und jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den Bilddaten zu bestimmen, welche beispielsweise auf morphologischen Operationen beruhen, häufig fehleranfällig sind.
Aus der Druckschrift DE 10 2019 200 147.5 ist ein Verfahren zum Bereitstellen von Ground-Truth-Daten bekannt, wobei während einer durchgeführten Fahrt aufgezeichnete GPS-Daten bereitgestellt werden, die GPS-Daten zusammen mit Fahrwegen angezeigt werden, und entsprechende Ground-Truth-Daten aus den GPS-Daten durch Selektieren der GPS-Daten zusammen mit dem jeweils zugeordneten Fahrweg generiert werden.
Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, anzugeben.
Die Aufgabe wird gelöst durch ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß den Merkmalen des Patentanspruchs 1.
Die Aufgabe wird zudem auch gelöst durch ein System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß den Merkmalen des Patentanspruchs 8.
Offenbarung der Erfindung
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das Verfahren ein Erzeugen von Bilddaten, beispielsweise Bilddaten über ein Umfeld eines Kraftfahrzeuges, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist, ein Bestimmen von in den Bilddaten repräsentierten Objekten, ein Erzeugen von wenigstens einem Stixel aus den Bilddaten basierend auf den bestimmten Objekten, und, für jedes des wenigstens einen Stixels, jeweils ein Bestimmen einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen aufweist, wobei das Bestimmen einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen des wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist.
Das Bilddaten, beispielsweise Bilddaten über eine Umgebung eines Kraftfahrzeuges erzeugt werden, bedeutet dabei, dass die Bilddaten durch einen entsprechenden Sensor, beispielsweise eine an dem Kraftfahrzeug befestigte Kamera direkt erfasst werden, oder das von anderen optischen Sensoren des Kraftfahrzeuges, insbesondere einem Lidar-Sensor erfasste Daten in Bilddaten umgewandelt werden.
Unter Bilddaten werden weiter Daten verstanden, welche mit Hilfe eines speziellen Programmes als Bild bzw. Grafik wiedergegeben werden können. Ein Sensor, welcher auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet wird, ist ferner ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann.
Unter einem optischen Sensor wird dabei ein Sensor verstanden, welcher mittels Licht oder vergleichbarer Strahlung Gegenstände erfassen kann. Ein Abstandssensor sind weiter Sensoren, welche den Abstand zwischen dem Sensor und einem Objekt messen. Ein Beispiel eines derartigen Abstandssensors ist ein Lidar-Sensor, welcher mittels Laserstrahlung Objekte, beziehungsweise Gegenstände basierend auf von den Gegenständen reflektierter beziehungsweise zurückgestreuter Strahlung erfassen kann. Lidar- Sensoren werden dabei unter anderem zur Abstandsmessung eingesetzt, wobei basierend auf dem Prinzip der Lichtlaufzeitmessung aus der zurückgestreuten Strahlung Abstände ermittelt werden können.
Unter einem einen Abstandssensor repräsentierenden Koordinatensystem wird zudem ein Koordinatensystem verstanden, dessen Ursprung mit der Position des Abstandssensors zusammenfällt, und welches Position und Ausrichtung des Abstandssensors definiert.
Unter einem die Grundebene repräsentierenden Koordinatensystem beziehungsweise einem Koordinatensystem der Grundebene wird ferner ein Weltkoordinatensystem verstanden, dessen Ursprung auf der Grundebene beziehungsweise Boden liegt, und welchem die Koordinaten von auf der Grundebene liegenden Punkten zu entnehmen sind.
Unter Koordinatentransformationen beziehungsweise Transformationen von Koordinaten werden ferner Umwandlungen beziehungsweise Veränderungen der Koordinatenwerte beim Wechsel von einem Koordinatensystem in ein anderes verstanden.
Somit können durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das Verfahren mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden.
Zudem ist das Verfahren, welches auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Insgesamt wird somit ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben.
In einer Ausführungsform weist der der wenigstens eine optische Sensor weiter eine Kamera auf, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei der Schritt des Erzeugens von wenigstens einem Stixel ein Erzeugen einer Segmentierung der Bilddaten aufweist.
Unter einer Segmentierung wird dabei die Einteilung von Bilddaten in einzelne Spalten beziehungsweise inhaltlich zusammenhängende Regionen verstanden.
Dies hat dabei den Vorteil, dass auch dann zuverlässig und genau genügend Trainingsdaten erzeugt werden können, wenn keine oder nur wenige durch den wenigstens einen Abstandssensor erfasste Daten vorliegen, um die Bilddaten zu erzeugen. Dabei kann der Schritt des Erzeugens einer Segmentierung der Bilddaten ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, aufweisen. Hierdurch kann der Schritt des Erzeugens einer Segmentierung automatisiert und weniger fehleranfällig gemacht werden.
Dabei, dass der Schritt des Erzeugens einer Segmentierung der Bilddaten ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, aufweist, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr kann die Segmentierung beispielsweise auch durch Anwendung anderer Bildverarbeitungsalgorithmen, welche geeignet sind, eine Segmentierung zu erzeugen, erzeugt werden.
Weiter können die durch den wenigstens einen Abstandssensor erfassten Informationen für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, aufweisen. Dies hat den Vorteil, dass die Entfernung zu dem entsprechenden Stixel direkt bestimmt werden kann, ohne dass weitere Umrechnungen vonnöten wären, wodurch weiter auch Ressourcen eingespart werden können.
Insbesondere können die durch den wenigstens einen Abstandssensor erfassten Informationen Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, aufweisen.
Dass ein Punkt wenigstens eine vorgegebene Höhe gegenüber der Grundebene aufweist, bedeutet dabei, dass der entsprechende Punkt entlang einer durch den Punkt verlaufenden Normale beziehungsweise Orthogonale einen entsprechenden Abstand zu einem Schnittpunkt zwischen der Normale und der Grundebene aufweist. Hierdurch kann sichergestellt werden, dass die Koordinaten des entsprechenden Punktes in dem wenigstens einen Abstandssensor repräsentierenden Koordinatensystems zuverlässig und auf einfache Art und Weise in Koordinaten in dem die Grundebene repräsentierenden Koordinatensystem transformiert werden können.
Mit einer weiteren Ausführungsform der Erfindung wird auch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei das Verfahren ein Erzeugen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens, wobei die Trainingsdaten durch ein obenstehend beschriebenes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, erzeugt werden, und ein Trainieren des Algorithmus des maschinellen Lernens basierend auf den erzeugten Trainingsdaten aufweist.
Somit wird ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, welches auf durch ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, erzeugten Trainingsdaten basiert. Insbesondere können dabei durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das Verfahren mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden. Zudem ist das Verfahren zum Erzeugen von Trainingsdaten, welches auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Mit einer weiteren Ausführungsform wird weiter auch ein Verfahren zum Steuern eines steuerbaren Systems durch einen Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei das Verfahren ein Bereitstellen eines Algorithmus des maschinellen Lernens zum Steuern des steuerbaren Systems, wobei der Algorithmus des maschinellen Lernens ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, und wobei der Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, trainiert wurde, und ein Steuern des steuerbaren Systems basierend auf dem bereitgestellten Algorithmus des maschinellen Lernens aufweist. Unter einem steuerbaren System wird hierbei insbesondere ein Robotiksystem, beispielsweise ein Fahrerassistenzsystem eines Kraftfahrzeuges oder eine Funktion eines autonom fahrenden Kraftfahrzeuges verstanden.
Somit wird ein Verfahren zum Steuern eines steuerbaren Systems basierend auf einem Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei der Algorithmus des maschinellen Lernens basierend auf durch ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und jeweils eine Entfernung zu dem wenigstens einen Stixel aus den Bilddaten zu bestimmen, erzeugten Trainingsdaten trainiert wurde. Insbesondere können dabei durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das Verfahren mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden. Zudem ist das Verfahren zum Erzeugen von Trainingsdaten, welches auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei das System eine erste Erzeugungseinheit, welche ausgebildet ist, Bilddaten zu erzeugen, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist, aufweist, und wobei das System weiter eine erste Ermittlungseinheit, welche ausgebildet ist, in den Bilddaten repräsentierte Objekte zu ermitteln, eine zweite Erzeugungseinheit, welche ausgebildet ist, wenigstens ein Stixel aus den Bilddaten basierend auf den ermittelten Objekten zu erzeugen, und eine zweite Ermittlungseinheit, welche ausgebildet ist, für jedes des wenigstens einen Stixels, jeweils eine Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen zu ermitteln, wobei das Ermitteln einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen den wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist, und wobei die Trainingsdaten jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem durch das entsprechende Stixel repräsentierte Objekt basieren.
Somit wird ein verbessertes System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben. Dabei können durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das System mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden. Zudem ist die Erzeugung von Trainingsdaten durch das System, welche auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
In einer Ausführungsform weist der wenigstens eine optische Sensor weiter eine Kamera auf, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei die erste Erzeugungseinheit ausgebildet ist, eine Segmentierung der Bilddaten zu erzeugen. Dies hat dabei den Vorteil, dass auch dann zuverlässig und genau genügend Trainingsdaten erzeugt werden können, wenn keine oder nur wenige durch den wenigstens einen Abstandssensor erfasste Daten vorliegen, um die Bilddaten zu erzeugen.
Dabei kann die erste Erzeugungseinheit ausgebildet sein, einen Algorithmus des maschinellen Lernens, welcher trainiert ist, Bilddaten zu segmentieren, anzuwenden, um die Bilddaten zu segmentieren. Hierdurch kann die Erzeugung einer Segmentierung automatisiert und weniger fehleranfällig gemacht werden.
Dabei, dass die erste Erzeugungseinheit ausgebildet ist, einen Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, anzuwenden, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr kann die erste Erzeugungseinheit auch ausgebildet ein, andere Bildverarbeitungsalgorithmen, welche geeignet sind, eine Segmentierung zu erzeugen, anzuwenden.
Weiter können die durch den wenigstens einen Abstandssensor erfassten Informationen für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den Lidar-Sensor ausgesendete Strahlen reflektiert werden, aufweisen. Dies hat den Vorteil, dass die Entfernung zu dem entsprechenden Stixel direkt bestimmt werden kann, ohne dass weitere Umrechnungen vonnöten wären, wodurch weiter auch Ressourcen eingespart werden können.
Insbesondere können die durch den wenigstens einen Abstandssensor erfassten Informationen Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, aufweisen. Hierdurch kann sichergestellt werden, dass die Koordinaten des entsprechenden Punktes in dem wenigstens einen optischen Sensors repräsentierenden Koordinatensystems zuverlässig und auf einfache Art und Weise in Koordinaten in dem die Grundebene repräsentierenden Koordinatensystem transformiert werden können.
Mit einer weiteren Ausführungsform der Erfindung wird außerdem auch ein System zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens bereitzustellen, wobei die Trainingsdaten durch ein obenstehend beschriebenes System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, erzeugt wurden, und eine Trainingseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens basierend auf den bereitgestellten Trainingsdaten zu trainieren, aufweist.
Somit wird ein System zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, welches auf durch ein verbessertes System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, erzeugten Trainingsdaten basiert Insbesondere können dabei durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das System mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden. Zudem ist die Erzeugung von Trainingsdaten durch das System zum Erzeugen von Trainingsdaten, welche auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Mit einer weiteren Ausführungsform der Erfindung wird ferner auch ein System zum Steuern eines steuerbaren Systems basierend auf einem Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens zum Steuern des steuerbaren Systems bereitzustellen, wobei der Algorithmus des maschinellen Lernens ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, und wobei der Algorithmus des maschinellen Lernens durch ein obenstehend beschriebenes Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, trainiert wurde, und eine Steuereinheit, welche ausgebildet ist, das steuerbare System basierend auf dem bereitgestellten Algorithmus des maschinellen Lernens zu steuern, aufweist
Somit wird ein System zum Steuern eines steuerbaren Systems basierend auf einem Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben, wobei der Algorithmus des maschinellen Lernens basierend auf durch ein verbessertes System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welches ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, erzeugten Trainingsdaten trainiert wurde. Insbesondere können dabei durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das System mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden. Zudem ist die Erzeugung von Trainingsdaten durch das System zum Erzeugen von Trainingsdaten, welche auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondre werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens und insbesondere ein verbessertes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben wird.
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.
Kurze Beschreibung der Zeichnungen
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt. Es zeigen:
Fig. 1 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß Ausführungsformen der Erfindung;
Fig. 2 zeigt ein schematisches Blockschaltbild eines Systems zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß Ausführungsformen der Erfindung.
Fig. 3 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß einer ersten Ausführungsformen der Erfindung; und
Fig. 4 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, gemäß einer zweiten Ausführungsformen der Erfindung. In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
Fig. 1 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen 1 , gemäß Ausführungsformen der Erfindung.
Stixel haben sich als kompakte und effiziente Möglichkeit erwiesen, durch einen optischen Sensor, beispielsweise eine Videokamera eines Kraftfahrzeuges, erfasste Bilddaten zur Weiterverarbeitung durch nachgeordnete Prozesse, beispielsweise Fahrerassistenzsysteme eines Kraftfahrzeuges oder Funktionen eines autonom fahrenden Kraftfahrzeuges, aufzubereiten.
Ein Stixel ist dabei eine Superpixel-Darstellung von Tiefeninformationen in einem Bild beziehungsweise Bilddaten in Form eines vertikalen Sticks beziehungsweise Stabes, der die nächstgelegenen Hindernisse innerhalb eines bestimmten vertikalen Abschnitts der Szene annähert.
Derartige Stixel können dabei beispielsweise basierend auf Bilddaten und Bewegungsalgorithmen ermittelt werden. Zudem sind auch Algorithmen des maschinellen Lernens bekannt, welche ausgebildet beziehungsweise basierend auf entsprechenden gelabelten Trainingsdaten trainiert sind, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen. Vorteilhaft ist hierbei beispielsweise, dass kein entsprechender Abstandssensor, beispielsweise ein Lidar-Sensor zur Bestimmung einer Entfernung zu dem wenigstens einen Stixel vonnöten ist und der Algorithmus des maschinellen Lernens auch bei Kraftfahrzeugen, welche lediglich eine Kamera jedoch keinen entsprechenden Abstandssensor aufweisen, eingesetzt werden kann. Als nachteilig erweist sich dabei jedoch, dass häufig nur wenige Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, zur Verfügung stehen und bekannte Verfahren zur Erzeugung zusätzlicher Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, häufig fehleranfällig sind.
Fig. 1 zeigt dabei ein Verfahren 1 , welches einen Schritt 2 eines Erzeugens von Bilddaten, beispielsweise Bilddaten über eine Umgebung eines Kraftfahrzeuges, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist, einen Schritt 3 eines Ermittelns von in den Bilddaten repräsentierten Objekten, einen Schritt 4 eines Erzeugens von wenigstens einem Stixel aus den Bilddaten basierend auf den bestimmten Objekten, und einen Schritt 5 eines, für jedes des wenigstens einen Stixels, jeweiligen Bestimmens einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen aufweist, wobei das Bestimmen einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen den wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist.
Somit können durch vergleichsweise einfache Bildverarbeitungsoperationen und Koordinatentransformationen eine Vielzahl von Stixeln mit entsprechenden Entfernungsangaben, beziehungsweise Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens erzeugt werden, ohne dass hierzu aufwendige und ressourcenintensive Anpassungen beziehungsweise Operationen vonnöten wären. Zudem kann das Verfahren mit relativ einfachen, in gewöhnlich Kraftfahrzeuge bereits verbauten Sensoren realisiert werden.
Zudem ist das Verfahren 1 , welches auf einer Koordinatentransformation von tatsächlich erfassten Daten basiert, vergleichsweise wenig fehleranfällig. Insbesondere werden Koordinatentransformationen angewendet, wenn sich ein Problem in einem anderen Koordinatensystem leichter lösen lässt, wobei der entsprechende Entfernungswert in dem die Grundebene repräsentierenden Weltkoordinatensystem abgelesen beziehungsweise auch einfache Art und Weise, beispielsweise basierend auf bekannten Normen aus den entsprechenden Koordinaten abgeleitet werden kann.
Insgesamt wird somit ein verbessertes Verfahren 1 zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, angegeben.
Bei dem Algorithmus des maschinellen Lernens kann es sich dabei beispielsweise um ein künstliches neuronales Netz handeln.
Gemäß den Ausführungsformen der Fig. 1 weist der wenigstens eine optische Sensor weiter eine Kamera auf, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei der Schritt 4 des Erzeugens von wenigstens einem Stixel ein Erzeugen einer Segmentierung der Bilddaten aufweist.
Insbesondere können die einzelnen Stixel dabei dadurch erzeugt werden, dass die Bilddaten zunächst segmentiert werden, wobei anschließend für jedes detektierte beziehungsweise ermittelte Objekt dessen konvexe Hülle ermittelt wird und die ermittelte konvexe Hülle jeweils derart ausgefüllt wird, dass dieses als ein durchgängiger Bereich erscheint, wobei das Ausfüllen ein Ausfüllen bis zu einem Boden beziehungsweise einer Grundebene aufweisen kann, und wobei zunächst die größeren Objekte ausgefüllt werden können. Anschließend werden die Bilddaten in Spalten eingeteilt, wobei für jede Spalte jeweils ein höchster und niedrigster Punkt, beziehungsweise ein Start- und ein Endpunkt der konvexexen Hülle des in der entsprechenden Spalte vordergründig, beziehungsweise einem Betrachter der Bilddaten am nächsten erscheinenden Objektes ermittelt wird. Falls ein derartiger höchster und ein derartiger niedrigster Punkt jedoch nicht ermittelt werden können, kann das Verfahren für die entsprechende Spalte abgebrochen werden.
Falls jedoch keine Kamera zum Aufnehmen von Bilddaten vorhanden ist, können die Bilddaten ferner auch basierend auf von anderen Sensoren erfassten Daten, beispielsweise einem Abstandssensor wie einem Lidar-Sensor, durch Anwenden eines Algorithmus auf die erfassten Daten, welcher ausgebildet ist, die erfassten Sensordaten in Bilddaten umzuwandeln, erzeugt werden.
Bei der Segmentierung kann es sich ferner um eine Instanz-Segmentierung handeln. Dies verhindert, dass eine gemeinsame konvexe Hülle für Objekte, welche in den Bilddaten überlagernd beziehungsweise unmittelbar aneinander angrenzend repräsentiert werden.
Gemäß den Ausführungsformen der Fig. 1 weist das Erzeugen einer Segmentierung der Bilddaten zudem ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, auf.
Die durch den wenigstens Abstandssensor erfassten Informationen weisen ferner wiederum für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, auf.
Insbesondere kann dabei, für jedes des wenigstens einen Stixels, basierend auf den durch den wenigstens einen Abstandssensor erfassten Informationen überprüft werden, ob die Informationen Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, welcher zwischen dem höchsten Punkt und dem niedrigsten Punkt der konvexen Hülle des durch das entsprechende Stixel repräsentierten Objektes auf der entsprechenden konvexen Hülle liegt, aufweisen. Falls derartige Informationen dabei nicht ermittelt werden können, kann das Verfahren für das entsprechende Stixel beziehungsweise die entsprechende Spalte wiederum abgebrochen werden.
Gemäß den Ausführungsformen der Fig. 1 weisen die die durch den wenigstens einen Abstandssensor erfassten Informationen Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, auf.
Insbesondere kann dabei basierend auf den Informationen über den wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, welcher zwischen dem höchsten Punkt und dem niedrigsten Punkt der konvexen Hülle des in dem entsprechenden Stixel repräsentierten Objektes auf der entsprechenden konvexen Hülle liegt, derjenige Punkt ermittelt werden, welcher die kürzeste Entfernung zu dem wenigstens einen Abstandssensor aufweist, und welcher gleichzeitig wenigstens die vorgegebene Höhe gegenüber der Grundfläche aufweist.
Anschließend kann dabei basierend auf dem gefundenen Punkt beziehungsweise den entsprechenden Informationen durch Transformieren von entsprechenden Koordinaten in einem, einen des wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem eine Entfernung zu dem in dem entsprechende Stixel repräsentierten Objekt ermittelt werden. Falls es sich bei dem Objekt um ein überhängendes Objekt, das heißt ein Objekt, welches nach hinten hinausragt, beziehungsweise einen hinausragenden Teil aufweist, kann die ermittelte Entfernung zudem noch durch Anwendung eines entsprechenden Korrekturalgorithmus, beziehungsweise Überhang- Korrekturalgorithmus angepasst werden.
Somit beschreibt Fig 1 ein Verfahren, welches neben wenigstens einem Stixel auch Informationen über eine Entfernung von dem wenigstens einen Abstandssensor zu einem in dem wenigsten einen Stixel repräsentierten Objekt erzeugt.
Die Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens basieren dabei jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basieren
Die Trainingsdaten können anschließend zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, verwendet werden.
Dabei kann der Algorithmus des maschinellen Lernens basierend auf entsprechenden gelabelten Trainingsdaten beispielsweise trainiert werden, einen steuerbares System zu steuern, wobei es sich bei dem steuerbaren System beispielsweise um ein Fahrerassistenzsystem eines Kraftfahrzeuges oder eine Funktion eines autonom fahrenden Kraftfahrzeuges, wie eine adaptive Geschwindigkeitsregelung, handeln.
Fig. 2 zeigt ein schematisches Blockschaltbild eines Systems zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen 10, gemäß Ausführungsformen der Erfindung.
Wie Fig. 2 zeigt, weist das System dabei eine erste Erzeugungseinheit 11 , welche ausgebildet ist, Bilddaten zu erzeugen, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist, aufweist, und wobei das System 10 weiter eine erste Ermittlungseinheit 12, welche ausgebildet ist, in den Bilddaten repräsentierte Objekte zu ermitteln, eine zweite Erzeugungseinheit 13, welche ausgebildet ist, wenigstens ein Stixel aus den Bilddaten basierend auf den ermittelten Objekten zu erzeugen, und eine zweite Ermittlungseinheit 14, welche ausgebildet ist, für jedes des wenigstens einen Stixels, jeweils eine Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen zu ermitteln, wobei das Ermitteln einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen den wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist, und wobei die Trainingsdaten jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basieren.
Die erste Erzeugungseinheit kann dabei einen Empfänger aufweisen, welcher ausgebildet ist, entsprechende Sensordaten zu empfangen, und ferner basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden. Die erste Ermittlungseinheit, die zweite Erzeugungseinheit und die zweite Ermittlungseinheit können ferner jeweils beispielsweise basierend auf einem in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
Gemäß den Ausführungsformen der Fig. 2 weist der wenigstens eine optische Sensor weiter eine Kamera auf, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei die erste Erzeugungseinheit 11 ausgebildet ist, eine Segmentierung der Bilddaten zu erzeugen.
Dabei ist die erste Erzeugungseinheit 11 insbesondere ausgebildet, einen Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, anzuwenden, um die Bilddaten zu segmentieren.
Gemäß den Ausführungsformen der Fig. 2 weisen die durch den wenigstens einen Abstandssensor erfassten Informationen wiederum für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den Lidar-Sensor ausgesendete Strahlen reflektiert werden, auf.
Insbesondere weisen die die durch den wenigstens einen Abstandssensor erfassten Informationen wiederum Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, auf.
Bei dem wenigstens einen Abstandssensor kann es sich dabei beispielsweise um einen Lidar-Sensor handeln.
Zudem ist das dargestellte System 10 ausgebildet, ein obenstehend beschriebenes Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt, auszuführen.
Fig.3 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen 20, gemäß einer ersten Ausführungsformen der Erfindung.
Dabei werden in einem Schritt21 Sensordaten empfangen, insbesondere Bilddaten von einer Kamera und dichte Lidar-Daten, beziehungsweise Lidar- Daten mit einer hohen Erfassungsdichte beziehungsweise einer Lidar- Punktwolke mit hoher Dichte.
Anschließend werden in einem Schritt 22 basierend auf der Lidar-Punktwolke Lidar-Bodenpunkte (Ground), das heißt Punkte, welche einen Boden repräsentieren, und Punkte, welche ein Objekt repräsentieren (L_obstacle), bestimmt, beispielsweise mittels eines Plane Fit Algorithm.
In einem Schritt 23 werden dann die Lidar-Bodenpunkte mit Hilfe von Kamera- und Lidar- Extrinsik, Kamera-Intrinsik und einem entsprechenden Projektionsmodell auf das Kamerabild projiziert, um ein Tiefenbild für die repräsentierten Objekte zu erhalten.
In einem Schritt 24 wird dieses Tiefenbild dann in Stäbe beziehungsweise vertikale Sticks mit fester Breite aufgeteilt, wobei in einem Schritt 25 für jeden Stab entsprechende Bodenpunkte innerhalb des entsprechenden Stabs bestimmt werden.
Anschließend wird in einem Schritt 26 für jeden Stab jeweils der Punkt ermittelt, der dem Kamerapunkt, beziehungsweise Zentrum der Kamera parallel zur Bodenrichtung am nächsten liegt.
In einem Schritt 27 finden wird dann der diesem Punkt nächstgelegenen Bodenpunkt innerhalb des entsprechenden Stabes ermittelt, wobei basierend auf diesem Bodenpunkt der dem Bodenpunkt am nächsten gelegene Punkt der entsprechenden Objektrepräsentation und anschließend der höchste Punkt der entsprechenden Objektrepräsentation ermittelt wird.
Fig. 4 zeigt ein Flussdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen 30, gemäß einer zweiten Ausführungsformen der Erfindung.
Dabei werden in einem Schritt 31 Sensordaten empfangen, insbesondere ein semantisch segmentiertes einer Kamera und eine spärliche Punktwolke eines Lidar-Sensors. In einem Schritt 32 wird dann eine konvexe Hülle berechnet, um die Repräsentation der über dem Boden gelegenen Objekte, beispielsweise Fahrzeuge, Fußgänger, Tiere oder Leitplanken, auf den Boden auszudehnen. In einem Schritt 33 wird das semantisch segmentierte Bild anschließend wiederum in Stäbe beziehungsweise vertikale Sticks mit fester Breite aufgeteilt, wobei in einem Schritt 34 für jeden Stab jeweils das Lidar auf den entsprechenden Stab projiziert und der nächstgelegene 3D-Punkt ermittelt wird, der innerhalb eines Bereichs zwischen einem höchsten Punkt und einem niedrigsten Punkt einer entsprechenden Objektrepräsentation liegt.
Anschließend wird in einem Schritt 35 schließlich der Schnittpunkt zwischen dem Richtungsvektor der Kamera und der Orthogonalen zur Bodenebene berechnet, um den einen genaueren tiefsten Punkt des Objektes zu bestimmen.

Claims

Ansprüche
1 . Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das Verfahren (1) folgende Schritte aufweist:
Erzeugen von Bilddaten, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, und wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist (2);
Ermitteln von in den Bilddaten repräsentierten Objekten (3);
Erzeugen von wenigstens einem Stixel aus den Bilddaten basierend auf den ermittelten Objekten (4); und
Für jedes des wenigstens einen Stixels, jeweils Ermitteln einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen, wobei das Ermitteln einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen des wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist, und wobei die Trainingsdaten jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basieren (5).
2. Verfahren (1) nach Anspruch 1 , wobei der wenigstens eine optische Sensor weiter eine Kamera aufweist, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei der Schritt des Erzeugens von wenigstens einem Stixel (4) ein Erzeugen einer Segmentierung der Bilddaten aufweist.
3. Verfahren (1) nach Anspruch 2, wobei das Erzeugen einer Segmentierung der Bilddaten ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, aufweist.
4. Verfahren (1) nach einem der Ansprüche 1 bis 3, wobei die durch den wenigstens einen Abstandssensor erfassten Informationen für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, aufweisen.
5. Verfahren (1) nach Anspruch 4, wobei die durch den wenigstens einen Abstandssensor erfassten Informationen Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, aufweisen.
6. Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das Verfahren folgende Schritte aufweist:
Bereitstellen von Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens, wobei die Trainingsdaten durch ein Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, nach einem der Ansprüche 1 bis 5 erzeugt wurden; und
Trainieren des Algorithmus des maschinellen Lernens basierend auf den bereitgestellten Trainingsdaten.
7. Verfahren zum Steuern eines steuerbaren Systems basierend auf einem Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das Verfahren folgende Schritte aufweist:
Bereitstellen eines Algorithmus des maschinellen Lernens zum Steuern des steuerbaren Systems, wobei der Algorithmus des maschinellen Lernens ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, und wobei der Algorithmus des maschinellen Lernens durch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, nach Anspruch 6 trainiert wurde; und
Steuern des steuerbaren Systems basierend auf dem bereitgestellten Algorithmus des maschinellen Lernens.
8. System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das System eine erste Erzeugungseinheit, welche ausgebildet ist, Bilddaten zu erzeugen, wobei die Bilddaten auf durch wenigstens einen optischen Sensor erfassten Informationen basieren, wobei der wenigstens eine optische Sensor wenigstens einen Abstandssensor aufweist, aufweist, und wobei das System weiter eine erste Ermittlungseinheit, welche ausgebildet ist, in den Bilddaten repräsentierte Objekte zu ermitteln, eine zweite Erzeugungseinheit, welche ausgebildet ist, wenigstens ein Stixel aus den Bilddaten basierend auf den ermittelten Objekten zu erzeugen, und eine zweite Ermittlungseinheit, welche ausgebildet ist, für jedes des wenigstens einen Stixels, jeweils eine Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basierend auf den Bilddaten und durch den wenigstens einen Abstandssensor erfassten Informationen zu ermitteln, wobei das Ermitteln einer Entfernung jeweils ein Transformieren von Koordinaten in einem, einen den wenigstens einen Abstandssensor repräsentierenden Koordinatensystems in Koordinaten in einem eine Grundebene repräsentierenden Koordinatensystem aufweist, und wobei die Trainingsdaten jeweils auf den Bilddaten, einem in diesen erzeugtes Stixel und einer Entfernung zu dem in dem entsprechenden Stixel repräsentierten Objekt basieren.
9. System (10) nach Anspruch 8, wobei der wenigstens eine optische Sensor weiter eine Kamera aufweist, wobei es sich bei den Bilddaten um durch die Kamera aufgenommene Bilddaten handelt, und wobei die erste Erzeugungseinheit (11) ausgebildet ist, eine Segmentierung der Bilddaten zu erzeugen.
10. System (10) nach Anspruch 9, wobei die erste Erzeugungseinheit (11) ausgebildet ist, einen Algorithmus des maschinellen Lernens, welcher trainiert ist Bilddaten zu segmentieren, anzuwenden, um die Bilddaten zu segmentieren.
11 . System (10) nach einem der Ansprüche 8 bis 10, wobei die durch den wenigstens einen Abstandssensor erfassten Informationen für jedes des wenigstens einen Stixels jeweils Informationen über wenigstens einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den Lidar-Sensor ausgesendete Strahlen reflektiert werden, aufweisen.
12. System (10) nach Anspruch 11 , wobei die durch den wenigstens einen Abstandssensor erfassten Informationen Informationen über einen Punkt auf dem in dem entsprechenden Stixel repräsentierten Objekt, an dem durch den wenigstens einen Abstandssensor ausgesendete Strahlen reflektiert werden, und welcher wenigstens eine vorgegebene Höhe gegenüber der Grundfläche aufweist, aufweisen.
13. System zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, Trainingsdaten zum Trainieren des Algorithmus des maschinellen Lernens bereitzustellen, wobei die Trainingsdaten durch ein System zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, nach einem der Ansprüche 8 bis 12 erzeugt wurden, und eine Trainingseinheit, welche ausgebildet ist, den Algorithmus des maschinellen Lernens basierend auf den bereitgestellten Trainingsdaten zu trainieren, aufweist.
14. System zum Steuern eines steuerbaren Systems basierend auf einem Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, wobei das System eine Bereitstellungseinheit, welche ausgebildet ist, einen Algorithmus des maschinellen Lernens zum Steuern des steuerbaren Systems bereitzustellen, wobei der Algorithmus des maschinellen Lernens ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, und wobei der Algorithmus des maschinellen Lernens durch ein Verfahren zum Trainieren eines Algorithmus des maschinellen Lernens, welcher ausgebildet ist, wenigstens ein Stixel in durch einen optischen Sensor erfassten Bilddaten und für jedes des wenigstens einen Stixels jeweils eine Entfernung zu einem in dem wenigstens einen Stixel repräsentierten Objekt aus den erfassten Bilddaten zu bestimmen, nach Anspruch 13 trainiert wurde, und eine Steuereinheit, welche ausgebildet ist, das steuerbare System basierend auf dem bereitgestellten Algorithmus des maschinellen Lernens zu steuern, aufweist.
EP24706059.3A 2023-02-21 2024-02-16 Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens Pending EP4670134A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023201500.5A DE102023201500A1 (de) 2023-02-21 2023-02-21 Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
PCT/EP2024/053984 WO2024175488A1 (de) 2023-02-21 2024-02-16 Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens

Publications (1)

Publication Number Publication Date
EP4670134A1 true EP4670134A1 (de) 2025-12-31

Family

ID=89983669

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24706059.3A Pending EP4670134A1 (de) 2023-02-21 2024-02-16 Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens

Country Status (5)

Country Link
EP (1) EP4670134A1 (de)
JP (1) JP2026506728A (de)
CN (1) CN121285840A (de)
DE (1) DE102023201500A1 (de)
WO (1) WO2024175488A1 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217335A1 (en) * 2009-02-27 2016-07-28 GM Global Technology Operations LLC Stixel estimation and road scene segmentation using deep learning
DE102019200147A1 (de) 2019-01-08 2020-07-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen von Ground-Truth-Daten

Also Published As

Publication number Publication date
CN121285840A (zh) 2026-01-06
WO2024175488A1 (de) 2024-08-29
JP2026506728A (ja) 2026-02-25
DE102023201500A1 (de) 2024-08-22

Similar Documents

Publication Publication Date Title
DE102019114622B4 (de) Erfassung und planare darstellung dreidimensionaler fahrspuren in einer strassenszene
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
EP3782117A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
DE102015208429A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102021205154A1 (de) Vorrichtung und verfahren zum erzeugen eines vogelperspektive-bilds
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102018124979A1 (de) Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen zwei Fahrzeugen mit einer Kamera
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
WO2020164671A1 (de) Modulares inpainting verfahren
DE102022200139A1 (de) Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mittels zusätzlicher Referenzsensorik
EP4670134A1 (de) Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102019124498A1 (de) Verfahren zum Komprimieren von 3D-Punktdaten in einer mittels eines Detektionssystems eines Fahrzeugs erzeugten 3D-Punktwolke
DE102021133091B4 (de) Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung, Erfassungseinrichtung und Fahrzeug
EP4045876B1 (de) Verfahren zum detektieren einer verkehrskartenänderung mit classifiern
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102023120011A1 (de) Vorrichtung und verfahren zum erstellen einer tiefenkarte mittels eines volumetrischen merkmals
EP3895415A1 (de) Transfer von zusatzinformation zwischen kamerasystemen
WO2023186428A1 (de) Kalibrierung und justierung einer kamera eines fahrzeugs
EP4381465A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld
DE102024004074B3 (de) Verfahren zum Trainieren eines KI-Modells zur Onlineerzeugung von HD-Karten, Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs und Fahrzeug
EP4198482B1 (de) Erstellen von testdaten mit konsistenten anfangsbedingungen zum stimulieren eines zu testenden steuergeräts
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug
DE102024202506A1 (de) Generierung eines Umfeldmodells für ein Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250922

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR